一、多張合成

????????目前多數(shù)手機(jī)在打開(kāi)相機(jī)后，就會(huì)開(kāi)始持續(xù)快速拍照并寫(xiě)入內(nèi)存。當(dāng)按下快門(mén)鍵后，選取按下快門(mén)前的幾張以及按下快門(mén)后的幾張進(jìn)行合成。按下快門(mén)后的照片可根據(jù)實(shí)際場(chǎng)景進(jìn)行曝光調(diào)整。多張照片對(duì)齊后，可以進(jìn)行HDR合成和提升畫(huà)質(zhì)。
????????HDR原理：HDR，High Dynamic Range，高動(dòng)態(tài)范圍。當(dāng)遇到明暗差距很大的場(chǎng)景時(shí)，手機(jī)的CIS面積小，僅依靠普通的單次曝光無(wú)法提供足夠的動(dòng)態(tài)范圍，即要么高光過(guò)曝，要么暗部難以看清。因此拍攝多張照片，一部分提高曝光使照片的暗部可以看清，另一部分壓低曝光使照片亮部可以看清，該過(guò)程稱(chēng)為包圍曝光。將這樣的照片疊加，即可得到暗部亮部均清晰的照片，從而變相提高動(dòng)態(tài)范圍。手機(jī)的夜景模式，就是一種較為暴力的HDR合成。

???????? 畫(huà)質(zhì)提升原理：多次采樣取平均值，減少散粒噪聲等隨機(jī)噪聲（詳情見(jiàn)后續(xù)文章）的影響。一般疊加n張可以使等效ISO變?yōu)樵鹊?/n^0.5 。

????????仍以1/1.7大小傳感器手機(jī)為例，在理想狀況下大概只要疊加444張就可以趕上全畫(huà)幅的單張照片了。以目前來(lái)看，菊廠(chǎng)的“ISO 409600”采用的就是這一方式，將按下快門(mén)后曝光1/2秒的照片與按下快門(mén)前的照片疊加，最后合成的亮度等效于ISO 102400曝光1/2s的照片，然后說(shuō)它是409600。事實(shí)上在看過(guò)前文的【原生ISO】后，就會(huì)了解極高的ISO對(duì)拍照并沒(méi)有太大意義，但對(duì)降噪的算法有不小的考驗(yàn)。

????????在上一篇文章中提到，像素多合一，將小像素合并為大像素，即提升單個(gè)像素的尺寸并不能提高暗光下的畫(huà)質(zhì)。但在實(shí)際使用手機(jī)時(shí)會(huì)發(fā)現(xiàn)，在環(huán)境較暗時(shí)，高像素模式的畫(huà)質(zhì)確實(shí)不如低像素模式，這是為什么呢？

????????原因就是，在低像素模式下，數(shù)據(jù)的壓力較小，手機(jī)的處理器可以將遠(yuǎn)遠(yuǎn)多于高像素下拍攝的張數(shù)的照片進(jìn)行合成。例如，4800w像素時(shí)，可能只能利用三張進(jìn)行合成，而1200w像素則可能利用10張。這樣，暗光下圖片的畫(huà)質(zhì)就更優(yōu)了。也就是說(shuō)，像素多合一的意義是在充分利用CIS面積的前提下減少計(jì)算壓力。

二、背景虛化

????????近年的手機(jī)除了極少數(shù)有2檔可變光圈外，其余的光圈均不可變。在某些手機(jī)中見(jiàn)到的“大光圈”模式，實(shí)質(zhì)上是通過(guò)算法估計(jì)景深和對(duì)焦距離來(lái)虛化。在拍攝時(shí)，可通過(guò)對(duì)圖像內(nèi)容分析、對(duì)相位對(duì)焦（詳情見(jiàn)后續(xù)文章）的數(shù)據(jù)分析，或通過(guò)TOF鏡頭獲取距離信息來(lái)進(jìn)行模擬。瑕疵不可避免，軟件并不能與硬件大光圈相匹敵。但隨著算法的不斷提升，發(fā)朋友圈足夠了。

三、像素插值

????????目前絕大多數(shù)手機(jī)的鏡頭均為定焦鏡頭，只有少數(shù)老手機(jī)或非量產(chǎn)機(jī)型會(huì)有連續(xù)的光學(xué)變焦。在手機(jī)變焦時(shí)，本質(zhì)為數(shù)碼裁切。其利用的傳感器的面積與像素會(huì)減少，需要進(jìn)行像素插值來(lái)小幅提升畫(huà)質(zhì)。目前手機(jī)的像素插值基本沒(méi)有僅僅簡(jiǎn)單使用傳統(tǒng)的插值方法如雙立方插值法的，多數(shù)都會(huì)利用AI對(duì)圖像進(jìn)行分析學(xué)習(xí)后再結(jié)合超分辨率算法（例如后續(xù)提到的像素?fù)u搖樂(lè)）下的多張合成來(lái)插值。

四、插幀

????????常用的方法有幀混合法和光流法。

????????光流法在應(yīng)對(duì)畫(huà)面變化不大的場(chǎng)景時(shí)效果幾乎沒(méi)有破綻，它通過(guò)對(duì)比關(guān)鍵幀及關(guān)鍵幀前后的畫(huà)面變化來(lái)算出相應(yīng)的幀的畫(huà)面，但在面對(duì)高速運(yùn)動(dòng)或旋轉(zhuǎn)的物體時(shí)會(huì)出現(xiàn)魔幻的場(chǎng)景：

????????幀混合法則是改變前后兩幀的權(quán)重，例如在AB兩幀間插入3幀，則該三幀為3/4A+1/4B、1/2A+1/2B、1/4A+3/4B。 SONY、Samsung、華為以外的960幀采用光流法插幀；華為的7680幀采用幀混合法由1920幀的視頻插幀而成。

????????拍攝的視頻在升格后如果幀數(shù)不足，通常會(huì)采用光流法。

目錄：

????????我不是專(zhuān)門(mén)學(xué)這個(gè)的，這些知識(shí)都是我在購(gòu)買(mǎi)相機(jī)前，以及個(gè)人興趣從網(wǎng)上的文章中學(xué)的，結(jié)合自己的理解寫(xiě)的這一系列的文章?；蛞?yàn)樵恼卤旧碛姓`，或因?yàn)槲业挠洃浕蚶斫獬霈F(xiàn)差錯(cuò)，不能保證文章的內(nèi)容都是正確的。如果文章中有錯(cuò)誤，可以在評(píng)論區(qū)指出或私信與我討論。

傳送門(mén)：

CV9177067?? 前言
CV9266076?? 基礎(chǔ)篇（上）

CV9340341?? 基礎(chǔ)篇（下）