如今旗艦手機(jī)的大光圈虛化與相機(jī)還有多大的差距?
最近正好在做”旗艦機(jī)的算法虛化模擬與相機(jī)真實(shí)光學(xué)虛化在實(shí)戰(zhàn)時(shí)的差異“這個(gè)課題,所以就在這個(gè)問(wèn)題下抽出自研課題的部分內(nèi)容與大家分享一下我的所見(jiàn)與所想。
在這里先放個(gè)圖,裁切成了同樣的長(zhǎng)寬比,請(qǐng)大家來(lái)猜猜哪個(gè)是vivo X90 Pro+拍的、哪個(gè)是富士X-H2(傳感器APS-C幅面)配合XF 33mm F1.4R WR LM鏡頭(約等效全副50mm F2景深)拍的:

相信拋開(kāi)色彩色深、只憑虛化來(lái)分辨的話,有七八成的閱讀者暫時(shí)還找不到頭緒。我把這組圖作為引子,讓大家了解一下2022年年底的移動(dòng)影像旗艦手機(jī),其模擬虛化已經(jīng)進(jìn)展到了什么水準(zhǔn),與真實(shí)光學(xué)虛化之間到底還有多大的差異。
我們先回到題主的求解,關(guān)于“手機(jī)景深虛化能否接近或超越相機(jī)”這個(gè)問(wèn)題需要分兩方面來(lái)說(shuō):
摳像精度與虛化量
首先是摳像精度,這是基于實(shí)景光學(xué)虛化(也就是傳統(tǒng)光學(xué)相機(jī)體系)的最大優(yōu)勢(shì),景深范圍完全遵照鏡頭孔徑、焦距、物距、傳感器面積等物理法則,這意味著無(wú)論是主體、還是主體邊緣至背景的過(guò)渡均為客觀的物理形態(tài)(暨我們普遍認(rèn)同的觀測(cè)真實(shí)態(tài))。
對(duì)手機(jī)來(lái)說(shuō),較小的鏡頭孔徑、傳感器面積、較短的焦距,每一個(gè)項(xiàng)目都是在拖淺景深的后腿,可以說(shuō)這個(gè)系統(tǒng)天生是和淺景深有矛盾的。如果用戶想在手機(jī)上創(chuàng)造具有淺景深觀感的圖片就需要借助基于深度偵測(cè)的算法模式來(lái)實(shí)現(xiàn)(如某些手機(jī)的人像模式或大光圈模式)。然而深度偵測(cè)的精度是有限的,會(huì)被real world的各種因素干擾造成概率性錯(cuò)判,依賴于采樣就意味它的上限只能趨近物理法則而無(wú)法超越。因此只考慮“精度”的話,光學(xué)成像有著無(wú)法逾越的優(yōu)勢(shì)。
接下來(lái)就是虛化量,對(duì)純粹基于光學(xué)物理法則的影像設(shè)備(傳統(tǒng)意義上的相機(jī))來(lái)說(shuō),虛化量是把“雙刃劍”,在傳感器幅面定死的情況下,更大的虛化量意味著需要更大孔徑(體積、重量)的鏡頭,攜帶性開(kāi)始受到制約:

以尼康的Nikkor Z系列85mm焦段的兩枚鏡頭為例,增加一檔光圈(從F/1.8到F/1.2)的同時(shí)還要維持高素質(zhì),就需要額外堆料,構(gòu)建更復(fù)雜的光路結(jié)構(gòu),顯著的重量與體積增加是無(wú)可避免的,這也是新出的Nikkor Z85mm F/1.2S比F/1.8的小弟不僅大了兩圈,還重了不止一倍的原因。
這一情況對(duì)手機(jī)倒是還好,基于算法的手機(jī)體積并不太受虛化量影響(當(dāng)然,為了提升虛化量下限,某些品牌也會(huì)使用更大幅面?zhèn)鞲衅髋c更大孔徑鏡頭,這也會(huì)造成體積與重量的適當(dāng)增加,但增幅遠(yuǎn)沒(méi)有相機(jī)鏡頭那么夸張與顯著),而且當(dāng)保證了基礎(chǔ)采樣精度這根底線的品質(zhì)之后,之后所有的迭代都可以將虛化量相對(duì)放心地拓展,換句話說(shuō),吃科技進(jìn)步紅利的手機(jī)與吃光學(xué)進(jìn)步紅利的相機(jī),起點(diǎn)雖然相差懸殊,但兩者的進(jìn)化速度卻不可同日而語(yǔ)。
前者需要巨量的體積為代價(jià)換取淺景深,而后者則依托精度與算法的發(fā)展,站在消費(fèi)者的角度顯然是后者的更易于被接受。隨著深度檢測(cè)的發(fā)展,已經(jīng)開(kāi)始有影像旗艦機(jī)在較為理想的工況下拍出與相機(jī)觀感趨近的淺景深照片了,我再放幾組不加標(biāo)識(shí)的圖片讓大家猜猜哪個(gè)是手機(jī)拍的:

可以看到對(duì)比組的背景虛化表現(xiàn)是十分接近的,我問(wèn)過(guò)不少人,只有幾個(gè)老手通過(guò)高光壓制(手機(jī)的特性)分辨出來(lái),但大多數(shù)人都難以分清。多說(shuō)一句,這兩組照片都是隔著有一定反射的厚玻璃拍攝的,這種2年前會(huì)造成虛化翻車的場(chǎng)景現(xiàn)在也開(kāi)始難不倒旗艦手機(jī)了。
這是有明顯前后景的工況,如果你不是摳細(xì)節(jié)的老手,僅憑虛化品質(zhì)是很難在小圖看出端倪的:

就比如這組圖,我讓@楠爺猜,他是通過(guò)放大焦點(diǎn)區(qū)域找實(shí)體邊緣的高光毛刺來(lái)判斷哪張是手機(jī)拍的。

但通過(guò)放大到200%來(lái)找差距其實(shí)說(shuō)明了兩件事情:
1.?深度算法已經(jīng)到了較高的水準(zhǔn),需要通過(guò)局部放大檢驗(yàn)精度來(lái)判別;
2.?對(duì)于分享交流為主的社交圈來(lái)說(shuō),精度進(jìn)一步強(qiáng)化的下輪迭代,旗艦手機(jī)的虛化模擬勢(shì)必會(huì)滿足大多數(shù)人在絕大部分工況下的淺景深拍攝需求;
勢(shì)頭很好是吧,OK,下面就來(lái)說(shuō)說(shuō)目前手機(jī)景深模擬的短板:
1.?近攝時(shí)的前景虛化品質(zhì)與虛化量較低:

通過(guò)上圖的對(duì)比我們可以看到窗框邊緣有些錯(cuò)算且虛化量也不如相機(jī)的多(手機(jī)為vivo X90 Pro+2X焦段F/0.95模擬、相機(jī)為APSC幅面X-H2+XF33mm F/1.4鏡頭光圈全開(kāi))。
這種較為顯著的差異主要集中在物距1m以內(nèi)的拍攝工況,例如拍攝靜物與花卉特寫(xiě)時(shí),相機(jī)/手機(jī)與被攝物的距離通常是小于1m的,此時(shí)兩者的虛化量差異就會(huì)比較明顯:

或許我可以粗淺地理解為縱深算法在物距差距不大的工況下(如構(gòu)圖畫(huà)面的最近與最遠(yuǎn)處均距離手機(jī)2m以內(nèi))無(wú)法展示實(shí)力。
2. 在背景有細(xì)密紋理或眾多反射的工況下,手機(jī)的虛化模擬會(huì)出現(xiàn)錯(cuò)算:


上文說(shuō)過(guò),現(xiàn)在手機(jī)虛化模擬雖然進(jìn)步顯著,但采樣精度依然是主要短板,在背景復(fù)雜場(chǎng)景下仍然有露怯的概率。
3. 視頻虛化差距依然很大:

兩機(jī)均使用4K60p記錄,由于手機(jī)在4K視頻記錄時(shí)無(wú)法進(jìn)行實(shí)時(shí)的虛化演算,雖然等效焦距相仿,景深仍明顯比具有真實(shí)F/1.4光圈的鏡頭深不少(櫥窗反射出的對(duì)街景象沒(méi)有被虛化模糊)。
即使把主體與相機(jī)的物距拉近,讓手機(jī)的景深刻意變淺,這一感觀上的差距并沒(méi)有縮?。?/span>

所以相機(jī)與手機(jī)之間虛化與景深的主要差距并非在靜幀照片,而是在視頻記錄。
說(shuō)到這里,咱們?cè)囍言掝}延展一下:手機(jī)的影像記錄功能是否會(huì)替代相機(jī)?
在《安卓傳奇》中有這么一段描述,當(dāng)Andy開(kāi)始創(chuàng)造劃時(shí)代的安卓(Android)系統(tǒng)并打算把它用于相機(jī)系統(tǒng)時(shí)(沒(méi)錯(cuò),一開(kāi)始安卓系統(tǒng)是打算服務(wù)于相機(jī)的),風(fēng)投們的態(tài)度都是抗拒的(即使Andy是常駐的場(chǎng)內(nèi)專家)。
為什么?因?yàn)樵缭谀莻€(gè)時(shí)候(2004年)手機(jī)已經(jīng)開(kāi)始大量蠶食卡片機(jī)了,風(fēng)投明說(shuō)每次新手機(jī)追加了新的拍攝功能,卡片機(jī)的銷量就會(huì)相應(yīng)下滑(只不過(guò)那時(shí)候不是因?yàn)楫?huà)質(zhì)而是因?yàn)楸憬菪裕?/span>
所以不止是現(xiàn)在,早在近20年前手機(jī)已經(jīng)開(kāi)始嚴(yán)重影響低端相機(jī)了,我認(rèn)為消費(fèi)者出現(xiàn)追隨意愿的第一個(gè)節(jié)點(diǎn)出現(xiàn)在手機(jī)的性能與功能徹底超越PDA(個(gè)人電子助理)、瀏覽網(wǎng)頁(yè)不再依賴WAP,此時(shí)消費(fèi)者對(duì)手機(jī)的認(rèn)知是極其正面且包容的。比如我,曾有過(guò)一臺(tái)做工精美、采用全鎂合金外殼的SONY CLIE作為隨身娛樂(lè)助理,在手機(jī)(Mobile Phone)快速迭代的歷程中,結(jié)果不到一年就吃灰了。

現(xiàn)在,手機(jī)能站在頂點(diǎn)是因?yàn)樯罟?jié)奏與對(duì)信息獲取渠道的依賴讓人們不得不繼續(xù)慣性地與手機(jī)“擁抱”,想象一下當(dāng)在銀行辦理業(yè)務(wù)、餐館超市支付、在車上電話會(huì)議、在路上開(kāi)著分屏比價(jià)瀏覽、在圖書(shū)館寫(xiě)稿時(shí),眼前的手機(jī)忽然憑空消失,你內(nèi)心會(huì)產(chǎn)生怎樣的焦慮,因?yàn)槟阒烙卸嗌倜孛芘c資料存在這方寸之間。
簡(jiǎn)而言之,如果有一款產(chǎn)品能把溝通、社交、查閱、支付、記錄、出行以及生態(tài)多樣性集于一體且小巧便攜,那它就是天生討好、活該受資本寵愛(ài)的存在,只不過(guò)這個(gè)角色不偏不倚地落在名為“手機(jī)”的器械身上罷了。
說(shuō)回影像,我們通過(guò)隨手一拍的對(duì)比來(lái)看看手機(jī)是怎么處理大光比場(chǎng)景的:

大家都是直出,由于計(jì)算攝影的存在,手機(jī)可以不借助穩(wěn)定設(shè)備將明暗壓縮信息至更窄的范圍呈現(xiàn),或許有朋友會(huì)說(shuō)相機(jī)的畫(huà)質(zhì)上限更高,但別忘了對(duì)更多不追求大屏細(xì)膩畫(huà)質(zhì)的人來(lái)說(shuō),為了那些畫(huà)質(zhì)就要多帶1500g設(shè)備出游簡(jiǎn)直是撿芝麻丟西瓜的蠢事,他們需要的是第一眼就討喜、稍加處理就能立即分享的圖片,還記得我剛才說(shuō)的SONY CLIE嘛?在功能集成性降維打擊的情況下,做工與材質(zhì)都不是事兒,因?yàn)橹灰獜S商想復(fù)制,這個(gè)項(xiàng)目就能很快被追上并替代掉。
文章的最后我再放幾組圖片,大家或許能明白2022年年底的影像旗艦手機(jī)已經(jīng)處于怎樣的分水嶺了,而2023年的旗艦們只會(huì)更猛:

備注:
文中所有手機(jī)圖片均為vivo X90 Pro+使用2X中焦鏡頭拍攝(約等效全畫(huà)幅46mm視角)、相機(jī)圖片均為FUJIFILM X-H2+XF33mm F1.4R WR LM(約等效全畫(huà)幅50mm視角)拍攝。