總有人會(huì)淺薄地認(rèn)為，你只是加了一個(gè)攝像頭，世界上也有其他超廣角攝像頭了，這有啥新鮮的？

菲爾·席勒（Phil Schiller）拿起桌上的一部 iPhone 11，打開(kāi)相機(jī)，他指著屏幕兩側(cè)延伸出的取景畫(huà)面對(duì)我說(shuō)：

你瞧，它實(shí)際上是兩顆攝像頭同時(shí)在運(yùn)作。

眼前這位負(fù)責(zé)營(yíng)銷的蘋果高級(jí)副總裁，看起來(lái)比鏡頭前清瘦不少——在緊鑼密鼓的蘋果發(fā)布會(huì)上，席勒掌控著關(guān)于產(chǎn)品和技術(shù)層面的講解時(shí)間。

但我們沒(méi)有時(shí)間在 Keynote 上解釋它具體是如何發(fā)生的，但它就在那里，從來(lái)沒(méi)有人做過(guò)。

在大約 40 分鐘的專訪里，盡管我試圖把對(duì)話引向更符合這位高管身份的話題上，但這位具備技術(shù)背景的高級(jí)副總裁，卻始終滔滔不絕地向我吐露發(fā)布會(huì)上他沒(méi)來(lái)及說(shuō)的技術(shù)細(xì)節(jié)。

拍照是 iPhone 11 系列的核心賣點(diǎn)。正如我們此前評(píng)測(cè)，無(wú)論是三攝變焦的毫無(wú)頓挫，還是夜間模式的純凈度，iPhone 的攝影都再一次回到行業(yè)領(lǐng)先的位置。

芯片改變攝影

席勒把 iPhone 11 攝影的突破歸功于 A13 仿生芯片上。這塊由蘋果自研的第二代 7nm 芯片， 依然采用 2+4 的設(shè)計(jì)，即兩個(gè)高性能核心和四個(gè)能效核心設(shè)計(jì)，其中 CPU 速度最高可提升 20%，能耗最多可降低 30%，而四個(gè)能效核心速度提升了 20%，能耗卻降低了 40%。

席勒認(rèn)為，機(jī)器學(xué)習(xí)是 A13 仿生芯片區(qū)別于 A12 設(shè)計(jì)的一個(gè)重點(diǎn)，CPU 上新增了兩個(gè)新的機(jī)器學(xué)習(xí)加速器，能以最高達(dá) 6 倍的速度執(zhí)行矩陣數(shù)學(xué)運(yùn)算，每秒可進(jìn)行 1 萬(wàn)億次的運(yùn)算。

在相同的尺寸里，A13 仿生芯片比上一代多塞進(jìn)了 11 億個(gè)晶體管。那么，多出算力花在哪里？

答案是機(jī)器學(xué)習(xí)和圖像處理的性能。

最好的例子莫過(guò)于 Deep Fusion，這個(gè)被席勒稱為「計(jì)算攝影的瘋狂哲學(xué)」的功能，可以在用戶按下快門前拍攝 8 張照片，并融合一張按下快門時(shí)的長(zhǎng)曝圖片，生成一張媲美專業(yè)相機(jī)的高動(dòng)態(tài)范圍照片，即便在中低光環(huán)境下也能呈現(xiàn)更多細(xì)節(jié)。

席勒向我解釋了它與智能 HDR 的不同：在正常情況下，智能 HDR 是通過(guò)多張圖片的堆棧得到一張更好的照片，ISP 提供數(shù)據(jù)負(fù)責(zé)最后的成片，神經(jīng)網(wǎng)絡(luò)引擎只是協(xié)助成片。

ISP 意為圖像信號(hào)傳感器，主要負(fù)責(zé)講傳感器上的數(shù)據(jù)信號(hào)轉(zhuǎn)換為屏幕上的圖像。iPhone 11 取景框來(lái)自兩個(gè)攝像頭同時(shí)取景的畫(huà)面，近乎完美的拼接， ISP 功不可沒(méi)。

但是 Deep Fusion 不一樣，當(dāng)你拍攝了更多的照片數(shù)據(jù)時(shí)，它們會(huì)直接給到神經(jīng)網(wǎng)絡(luò)引擎，神經(jīng)網(wǎng)絡(luò)引擎具備一種全新的模型，可以整合大量的照片——它會(huì)對(duì) 2400 萬(wàn)像素進(jìn)行逐一像素的比對(duì)，從而合成最終的照片。這是第一次，神經(jīng)網(wǎng)絡(luò)引擎主要去負(fù)責(zé)這個(gè)工作，而非 ISP。

那么，合成的時(shí)間？

一秒鐘！你只需要關(guān)心拍照的事，當(dāng)你回到相冊(cè)的時(shí)候，它已經(jīng)靜靜地躺在那里了。

iPhone 的拍照頁(yè)面保持了 iOS 一貫的簡(jiǎn)潔，蘋果希望幫助用戶做選擇，但背后卻有精確的數(shù)字調(diào)度。席勒透露，DeepFusion 只會(huì)在 10-600lux 下的照度下激活，如果光線低于 10 lux，相機(jī)啟用的則是夜間模式。

芯片的「大腦」

不止是蘋果，各家智能手機(jī)廠商們逐漸意識(shí)到，智能手機(jī)時(shí)代的影像，早已脫離元器件的堆積，不是 CMOS 底大一寸壓死人的粗暴邏輯，是感光元件、ISP、算法，甚至機(jī)器學(xué)習(xí)的配合與協(xié)同。

在 AI 大行其道的今天，當(dāng) AI 智慧拍照、 AI 人像、AI 美顏概念幾乎成為 Android 手機(jī)的金字招牌，蘋果顯得有些格格不入，在發(fā)布會(huì)上輕描淡寫，對(duì)媒體守口如瓶，你甚至在 iPhone 里找不到半個(gè) AI 字眼。

在斯坦福教授人工智能歷史一課的 Jerry Kaplan?表示，蘋果不屬于社區(qū)的一分子，就像是 AI 領(lǐng)域的 NSA（美國(guó)國(guó)家安全局）。

席勒沒(méi)有透露更多關(guān)于蘋果 AI 的進(jìn)展，但他認(rèn)為，機(jī)器學(xué)習(xí)的用武之地絕不僅僅在于如何讓照片更好看：從 Siri 更自然的人聲效果到相冊(cè)的智能檢索，從提升電池續(xù)航到 AR 的光影效果，它已經(jīng)橫貫于 iOS 大小功能的細(xì)枝末節(jié)和用戶體驗(yàn)的方方面面。

當(dāng)我猜測(cè)說(shuō) Apple Pencil 在 iPad 的「防誤觸」是否來(lái)自機(jī)器學(xué)習(xí)算法時(shí)，席勒笑著打斷我的話：

可不止，連 Apple Pencil 的軌跡也是機(jī)器學(xué)習(xí)去預(yù)測(cè)的，它知道你可能會(huì)畫(huà)到哪里。

事實(shí)上，機(jī)器學(xué)習(xí)在 iPhone 中無(wú)處不在，正如 Backchannel 主編 Steven Levy 提到的，你的 iPhone 早已經(jīng)內(nèi)置了?Apple Brain。

Apple Brain 就是那顆 A13 仿生芯片——與其他大公司利用云端運(yùn)算做機(jī)器學(xué)習(xí)不同，蘋果調(diào)用的完全是本地芯片的能力。

這個(gè)「大腦」有多大？iPhone 上有多少用戶數(shù)據(jù)緩存可供機(jī)器學(xué)習(xí)調(diào)用？

對(duì)于絕大多數(shù)公司，這個(gè)大腦可能是數(shù)以 TB 級(jí)的云端數(shù)據(jù)，但對(duì)于蘋果而言，只有平均 200 MB——這些大到你的聲音和面部數(shù)據(jù)，小到你滑屏的軌跡與習(xí)慣，都以加密的形式存儲(chǔ)在 iPhone 的芯片之上。

從用戶角度看，這種行為的確令人尊敬，但利用本地芯片做 AI 無(wú)疑是一條更艱難的賽道。

「的確很難，這意味著我們需要在芯片上投入大量的精力，意味著我們必須找到軟件的方式去訓(xùn)練模型。」席勒說(shuō)：

我們?cè)敢膺@樣做，不僅僅是因?yàn)楸镜剡\(yùn)算更快，還因?yàn)椤獩](méi)有人不在意自己的隱私。

芯片是蘋果護(hù)城河最堅(jiān)固的那部分

自從 2008 年收購(gòu)芯片制造商 P.A. 半導(dǎo)體，并在 iPhone 4 和初代 iPad 上采用首顆自研處理器 A4，蘋果逐漸與 ARM 公版設(shè)計(jì)分道揚(yáng)鑣。到了 iPhone 5 所采用的 A6 芯片，蘋果真正的設(shè)計(jì)實(shí)力與野心才開(kāi)始逐漸展露。

從核心的 SoC，到協(xié)處理器、電源管理芯片，蘋果正在一步步讓半導(dǎo)體元器件的設(shè)計(jì)掌控在自己手中。

蘋果芯片的客戶只有自己，好處在于自己才更能了解自己需要什么，并將其發(fā)揮到最大的價(jià)值，從而達(dá)到軟硬件的高度契合。

今年 3 月發(fā)布的第二代 AirPods 上，蘋果首次為耳機(jī)產(chǎn)品研發(fā)了芯片組 H1。

對(duì)于大眾而言，H1 芯片帶來(lái)的升級(jí)，遠(yuǎn)不如加個(gè)新配色或是改個(gè)外觀來(lái)得吸引人，但芯片卻直接關(guān)乎著左右耳連接的穩(wěn)定性，以及低延遲表現(xiàn)，這恰恰是競(jìng)品與 AirPods 差距最大的部分。

用戶對(duì)蘋果芯片實(shí)力的感知并不直觀，很多人覺(jué)得 iPhone 好用，卻道不出其技術(shù)緣由，簡(jiǎn)單粗暴地把用戶體驗(yàn)歸為 iOS 的老本。

人們往往會(huì)忽略蘋果的整個(gè)生態(tài)系統(tǒng)。

芯片是一個(gè)門檻更高的產(chǎn)業(yè)，很難被競(jìng)爭(zhēng)對(duì)手模仿與跟隨。某種意義上，自研芯片才是 iOS 生態(tài)系統(tǒng)的核心，是整個(gè)護(hù)城河里最堅(jiān)固的部分。

芯片的研發(fā)周期大約在 2-3 年，涉及多個(gè)團(tuán)隊(duì)，這期間架構(gòu)工程師要同數(shù)目龐大的軟件和硬件人員共同協(xié)作。芯片團(tuán)隊(duì)每周都要和其他團(tuán)隊(duì)當(dāng)面溝通。

Anand Shimpi 曾是?AnandTech?的創(chuàng)始人，加入蘋果后負(fù)責(zé)芯片業(yè)務(wù)，就在采訪前，他剛剛和 GPU 部門的架構(gòu)師開(kāi)了一場(chǎng)會(huì)：

攝像頭經(jīng)常會(huì)用到 GPU。這有兩方面影響，芯片部門設(shè)計(jì)的 GPU 可以告訴相機(jī)部門如何把它用到最好，而相機(jī)部門的需求也會(huì)指導(dǎo) GPU 未來(lái)的發(fā)展。

接近十年自研芯片的歷史讓蘋果對(duì) A 系列芯片非常自信，不僅發(fā)布會(huì)史無(wú)前例地在 Keynote 吊打兩大競(jìng)品，在采訪中，席勒也毫不掩飾地評(píng)論競(jìng)爭(zhēng)對(duì)手：

他們很難持久，他們也許會(huì)關(guān)注單一性能的指標(biāo)，而我們更在乎每瓦的性能……我們不銷售芯片，我思考的只是如何讓體驗(yàn)更好。

采訪結(jié)束后，當(dāng)我掏出相機(jī)合影時(shí)，席勒指著我的相機(jī)笑著說(shuō)：

Not very smart camera, but a big lens.

本文作者：何宗丞