2023 年手機影像還能怎么卷?硬件?算法?到底什么才是未來?
看到這個問題,我想起來之前被問到這么一個問題:
怎樣才能得到一張好看的照片?
作為一個學(xué)物理出身的人,無數(shù)的名詞在腦海中浮現(xiàn),CMOS,拜耳陣列,YUV域,縱向色差,ISP,3A,堆棧,雙增益,Lut與視椎細胞,要把這些概念/技術(shù)原理說清楚,其實是一件很麻煩的事情。
正如同這個問題一樣,硬件和算法,到底什么才是未來?你很難用一句話去回答這個問題。
那我們倒不如從頭開始,因為答案往往不在結(jié)尾,過程本身就是答案。
一張照片是如何誕生的?
這個過程說起來其實非常簡單,光線透過鏡頭經(jīng)過傳感器,傳感器將光信號轉(zhuǎn)換成電信號變?yōu)殡娮踊臄?shù)據(jù),再經(jīng)過ISP和后續(xù)算法的處理,在手機的屏幕上就得到了一張照片。

魔鬼藏匿在細節(jié)里.
不妨先從硬件部分講起。
長期被無視的鏡頭
如果讓我挑一個目前手機影像的短板,那一定是鏡頭,各家發(fā)布會對于攝影的介紹,鏡片這塊總是一筆帶過(最多只能說說有幾枚鏡片),有的甚至壓根不提。
如果給目前手機攝影的傳感器,算法以及鏡頭打分:
現(xiàn)在的傳感器能打80分,算法能打90分,鏡頭呢?真的給40分都算多的了,完全不及格。
而目前手機鏡頭模組在鏡頭上的投入占比,實在是太小了。
如果玩相機的話,玩到最后,差不多機身和鏡頭的投入是三七開,而且七成還是鏡頭的。
大家都知道鏡頭成像本質(zhì)是通過鏡片對光線折射實現(xiàn)的,由于光線是復(fù)合光,不同波長的光線折射率也不同,這樣就出現(xiàn)了我們所說的『色散』問題。

尤其是現(xiàn)在大家都開始卷長焦影像的時候,鏡頭的重要性就更加凸顯了出來。
這個問題在攝影界已經(jīng)給出了解法,如果你用過蔡司的一些『中高檔』鏡頭,就會發(fā)現(xiàn)鏡頭標識上,有這么三個字母-APO。

了解影像器材的話,你就會知道,這三個字母代表是復(fù)消色差技術(shù)(Apochromatic)。
在說復(fù)消色差之前,不妨先了解一下消色差技術(shù),我們都知道色差其實是由于鏡片對于不同波長的光折射率不同,那是不是可以用兩個鏡片來校正色差呢?答案是可以的,大家可以這么近似的理解,A鏡片散掉的光,可以由B鏡片給你聚回來。
但是如你所見,消色差通常上只能兩種色光聚焦在相同平面上,如何更進一步?
既然,色差是由折射率引起的,那么是否可以使用這么一種,折射率對于波長的變化不是很敏感的材料呢,比如螢石就是其中的一種。當(dāng)然所謂的復(fù)消色差并不只是光學(xué)材料的升級,它還要考慮曲率半徑、透鏡厚度及相互間隙的問題。

當(dāng)然更好的材料,更復(fù)雜的結(jié)構(gòu),更麻煩的裝配過程,就導(dǎo)致了復(fù)消色差幾乎是高檔器材的代名詞,簡單來說,就是貴。
這方面上,走的最快的是vivo,帶來了全新的蔡司 APO 浮動長焦鏡頭。其實復(fù)消色差并不只是能夠還原色彩,還能夠有限的提升畫面銳度,增加對比度。

這位演講者是Sebastian Doentgen,蔡司消費光學(xué)品類管理,銷售及營銷負責(zé)人。
你是否還注意到了兩個字?
浮動。
即使是定焦鏡頭,由于對焦單元的存在,所以我們上邊說的鏡片間隙會在對焦的過程中發(fā)生變化,那我們所做的復(fù)消色差就會受到一定的影響,如何解決呢 ?蔡司給出的解法是,浮動鏡片。
在調(diào)焦的過程中 ,改變各個鏡片或鏡組的軸向距離來矯正光線偏差和影像變形。無疑這對工藝技術(shù)以及研發(fā)能力提出了更高的要求。
另外,還有我們熟知的蔡司T*鍍膜,早在X70上就出現(xiàn)在了vivo手機上。作為反例,鏡頭炫光鬼影的問題依舊還在很多旗艦手機上出現(xiàn)。

如果你深度體驗過vivo手機的影像功能,能夠很明顯感知到有著蔡司的深度參與,并不只是口頭上的聯(lián)合研發(fā)或者聯(lián)名濾鏡那么簡單。

補充一個小細節(jié),蔡司官網(wǎng),攝影板塊下,首個宣傳位是X90。

不僅只是蔡司大中華區(qū),國際站亦是。
CMOS:我們忽略了什么?
這塊大家已經(jīng)很熟悉了,CMOS我們關(guān)注像素面積,關(guān)注讀取速度,不可否認的是,一英寸就是目前的手機天花板。
但是我們卻忽略了一件事情,色彩。
CMOS的色彩成像原理其實靠的就是拜耳濾鏡,也因此產(chǎn)生了各種各樣的排列方式,RGGB,RYYB , RGBW層出不窮。

但是本質(zhì)上,拜耳濾鏡的顏色是猜出來的,怎么樣都會不準。那么如何盡量獲得一個準的色彩呢?
所謂準,其實是以人眼為基準的。

這也就體現(xiàn)了vivo VCS光譜技術(shù)的必要性,相比于傳統(tǒng)的傳感器后置處理光信號不只是簡單更改拜耳濾鏡的排列方式,VCS把處理光信號這個過程前置了,盡量還原人眼細胞對于光線的『處理邏輯』,收益也十分明顯,能夠得到更好的色彩還原度以及噪點控制。
說爛了的計算攝影
各類高大上的算法名詞,我們聽得耳朵都起了繭子。
到底在計算什么?又是如何計算的?
我們不妨把手機成像過程再細化一些,來看一個傳統(tǒng)的算法流程。

簡單來說,拍攝到一個畫面,用什么樣的曝光參數(shù),使用多少K的白平衡,哪些部分需要提亮,哪些部分需要降暗,都是ISP處理的??梢哉f,ISP是一個手機成像的靈魂,這也就是即使是相同的圖像傳感器(Image Sensor),各家的成像質(zhì)量也會出現(xiàn)差異的原因。
但是我們知道,ISP一般會集成在SoC中,同樣的SoC內(nèi)ISP處理的邏輯其實大同小異,難道不同廠家的不同色彩風(fēng)格只是套了一個濾鏡么。
為了得到更好的成像效果,還有什么別的解法?
vivo給出的解法是,再加一塊芯片,輔助運算。
其實 vivo的V系列芯片已經(jīng)進化到了第三代,V3,回顧整個歷程 ,我們就會發(fā)現(xiàn)vivo的思路是十分清晰的。
V1扮演的角色更多地是『驗證』,外掛一顆芯片是否有必要,是否有收益;
后來的故事大家也知道了,X70,尤其是在暗光夜景下的表現(xiàn)令人驚艷地表現(xiàn),到了V1+,更是把X80的影像能力提升到很多人認可的『旗艦級別』。
到了V2上,這顆芯片其實優(yōu)化了更多的ISP功能,借助更多的輔助信息,就可以更好地進行一些計算 ,比如上圖中我們提到的3A過程『自動對焦(AF),自動曝光(AE)和自動白平衡(AWB)』。
計算有三個關(guān)鍵元素,數(shù)據(jù),算力,以及算法。
在V1上 ,更多的還是采用的傳統(tǒng)算法,到了V2上 ,我們看到了更多AI的加持,最重要的是對于語義的理解,什么是主體,主體是什么,應(yīng)該應(yīng)用什么樣的算法,其實都是在這個過程中進行。

對于算法來講,結(jié)果的呈現(xiàn)需要表達出一定的傾向,即色彩風(fēng)格。如果你經(jīng)??匆恍z影作品的話,其實是能夠很快地分辨出來,哪些照片是vivo拍攝的。

當(dāng)然,這一切都離不開算力。
到了V3,芯片制程升級到了6nm,這無疑會大幅度地提升算力(作為對比,V2是12nm制程),大力出奇跡,算力的提升無疑可以提供更為廣泛的應(yīng)用,實現(xiàn)之前無法完成的功能,比如視頻端的人像模式,以及4K分辨率下的電影模式。

當(dāng)然我們不要忘了,V系列芯片除了影像處理單元,還有AI計算單元以及片上內(nèi)存單元。
新技術(shù)的可能
算力的提升,帶來的是更多的可能性。
正如同大家所知,GPT的原理上并沒有多么大的創(chuàng)新,只因為參數(shù)過大,從而發(fā)生了量變到質(zhì)變的過程。各類大模型也雨后春筍一樣層出不窮。
手機算力的提升,無疑也拓寬了這方面的應(yīng)用,不妨做個大膽假設(shè),你的自拍很快不會只局限在美顏和濾鏡里。
最簡單的應(yīng)用,換背景,換面部光照,換服裝,只需要幾張日常照片,就可以幫你生成一張簽證所需的證件照,是沒有必要去什么天真藍的。
又或者是虛擬元素與現(xiàn)實的結(jié)合,這些其實我們不久之后就能見到,這無疑為創(chuàng)作提供了更為廣泛的空間。
好的影像,其實是在驅(qū)策你
在藝術(shù)史上,很長一段時間內(nèi),攝影都在繪畫面前有一種『自卑』情結(jié)。
早期攝影師總是努力追求圖像的準確再現(xiàn),往往忽略了藝術(shù)創(chuàng)作的主觀情感。它太過于『準確』,馬蒂斯也認為,準確不等于真實。
這十幾年來手機影像的發(fā)展,回頭來看,其實是一個很有趣的過程。
在計算攝影的早期發(fā)展階段,我們經(jīng)常看到一些用力過猛的狀況:人像照片的處理上,臉越白越好,皮膚越光滑越好,風(fēng)景越銳越好,夜晚的照片恨不得和白晝一樣明亮。
但是顯然這是一種不自然的審美狀態(tài)。過度追求技術(shù)效果而忽視真實感,已經(jīng)不是當(dāng)下用戶的審美取向。
但是現(xiàn)在,當(dāng)技術(shù)進化到一定程度之后,我們也逐漸地明確,此時此刻,我們需要的不僅僅是準確,也不僅僅是真實,而是一種帶有情感的真實,一種能觸動心靈的真實。
這也與vivo的vivo影像體驗slogan不謀而合:
還原眼之所見,超越眼之所見。

梁文道在介紹約翰伯格的《觀看之道》時候,說過這么一句話:
所有影像其實都與權(quán)力或某種欲望有關(guān)。
我們看到朋友的笑容,遠方的山川,或者是陌生的偶遇,很不自覺產(chǎn)生了一種『按下快門』的沖動,心之所想需要具象影像來呈現(xiàn)。
當(dāng)下此刻,一個好的影像系統(tǒng),會更多的『引誘』你去拍攝。
這個引誘有可能來自于一次朋友的贊賞,有可能來自于一次瞬間的記錄,有可能只是一個陌生的漣漪。

國內(nèi)智能手機市場經(jīng)過十多年的高速發(fā)展,已經(jīng)告別了過去那種粗狂生長,狂飆發(fā)展的階段,進入后半場的存量市場的競爭后,逐漸形成『VO榮米』的格局,拿我們關(guān)心的影像舉例,大家在技術(shù)/資源上的積累都很豐富,而且主力產(chǎn)品上都有著很不錯的表現(xiàn),差異化更多的是來自于思路的不同。
在vivo的影像盛典中,有這樣一個細節(jié)令我觸動,他們會自問:
給用戶提供的這些影像技術(shù),能夠讓他們覺得“這樣拍,有意思/意義嗎?
思考的路徑導(dǎo)致了結(jié)果的不同,因為他們也是用戶,也是影像創(chuàng)作者,人類的情感也是相通的。從這個角度去思考,就不會出現(xiàn)『我覺著你需要』的功能出現(xiàn),更多的是『我覺著我們都需要』的技術(shù)產(chǎn)生。
之前我們很難拍好一張照片,還有一個重要因素,就是受制于器材以及操作,像素不夠畫質(zhì)不好,不清楚什么曝光,后期也不知道什么是中性灰,在手機上,vivo把整個光學(xué),操作,算法,這些專業(yè)過程都隱藏在了快門按鈕之后,你需要做的只是按下快門。
現(xiàn)在我可以回答你這個問題,讓普通人擁有專業(yè)的影像能力,讓普通人更加愿意去拍攝,才是手機影像的未來。
去拍,再加一張。