譯者按：大家好，我是 Laze Sun，前年我曾翻譯了一篇諾基亞在 2013 年發(fā)布的論文《超采樣相機(jī)的畫面質(zhì)量》，那篇文章的第六個(gè)參考資料，就是這篇于 2007 年發(fā)表的論文。雖然這篇文章中的一部分以現(xiàn)在的眼光看已經(jīng)有些過時(shí)（例如 BSI 和 HDR 在當(dāng)時(shí)還是展望未來的玩意兒），但是本文的重點(diǎn)：“如何通過參數(shù)判定拍照能力”的思路，在現(xiàn)在依然有討論價(jià)值，所以我順便也花時(shí)間把這篇論文翻譯成中文供各位參考（部分文字有演繹）。

另：B 站文章發(fā)不了公式，所以部分章節(jié)會(huì)使用圖片代替。

原文作者：

Juha Alakarhu

Nokia, Technology Platforms, Camera Entity, P.O. Box 1000, FI-33721 Tampere juha.alakarhu@nokia.com (+358 50 4860226)

摘要：本文關(guān)注拍照手機(jī)中的圖像傳感器和畫面質(zhì)量。提出了一種使用其關(guān)鍵參數(shù)估計(jì)圖像傳感器和圖像質(zhì)量和性能的方法。討論了主觀畫質(zhì)以及相機(jī)技術(shù)參數(shù)與主觀圖像質(zhì)量之間的對(duì)應(yīng)映射關(guān)系。開發(fā)出的性能指標(biāo)可用于優(yōu)化傳感器性能來讓拍照手機(jī)有能達(dá)到的最好的畫質(zhì)。而在文末則討論了未來的技術(shù)和技術(shù)趨勢(shì)。圖像傳感器的主要發(fā)展趨勢(shì)逐漸從縮小單個(gè)像素尺寸轉(zhuǎn)換到在相同的像素尺寸下實(shí)現(xiàn)更強(qiáng)的性能。如果像素大小保持不變，則在代與代之間能夠觀察到大約 30% 的性能提升。同時(shí)，圖像傳感器也是未來為用戶提供新功能的關(guān)鍵組成部分。

1. 介紹

拍照手機(jī)可以隨時(shí)隨地的拍照、錄像和分享內(nèi)容——這為用戶帶來了巨大的好處。除了拍照之外，現(xiàn)代的手機(jī)還提供一系列廣泛的功能，而這些功能需要安裝相對(duì)大量的組件。這為每個(gè)單獨(dú)組件的尺寸和成本設(shè)定了嚴(yán)格的限制。所以尺寸和成本也是手機(jī)中相機(jī)模組主要的挑戰(zhàn)之一。從另一個(gè)角度來看，寸土寸金使得例如使用更先進(jìn)的硅工藝技術(shù)成為可能。

現(xiàn)在市面上有各種定位的拍照手機(jī)產(chǎn)品（相機(jī)的優(yōu)先級(jí)或高或低），以及各種各樣可能應(yīng)用的相機(jī)技術(shù)。只有經(jīng)過精心的產(chǎn)品規(guī)劃和技術(shù)管理才能將正確的技術(shù)和相機(jī)放入正確的產(chǎn)品中。本文考慮了圖像傳感器的性能指標(biāo)、主觀圖像質(zhì)量和傳感器優(yōu)化。最后討論了傳感器性能趨勢(shì)和未來的傳感器。

即便在充滿挑戰(zhàn)的手機(jī)環(huán)境中，圖像傳感器也是實(shí)現(xiàn)高畫質(zhì)的關(guān)鍵組件。在過去的幾年里，圖像傳感器的性能獲得了極大的改善。而在將來，也會(huì)有很多有前途的新技術(shù)像現(xiàn)在一樣被完善。

2. 性能指標(biāo)

3. 主觀畫質(zhì)

在諾基亞，主觀畫質(zhì)是通過在標(biāo)準(zhǔn)條件下捕捉測試圖像并要求一組測試人員對(duì)畫質(zhì)進(jìn)行評(píng)級(jí)來衡量的。這樣，我們就可以計(jì)算出每個(gè)相機(jī)在各個(gè)條件下的平均意見得分（MOS）。

在設(shè)定未來相機(jī)的參數(shù)時(shí)，它的目標(biāo)性能應(yīng)當(dāng)包含目標(biāo)平均意見得分。為了讓規(guī)劃和指定目標(biāo)平均意見得分成為可能，需要一種將技術(shù)參數(shù)映射到平均意見得分的方法。這種映射非常具有挑戰(zhàn)性，因?yàn)槌上窳鞒贪撕芏嘟M件：閃光燈、光學(xué)系統(tǒng)、圖像傳感器、圖像處理。主觀畫質(zhì)取決于其中每個(gè)組件的質(zhì)量和它們一起工作時(shí)的質(zhì)量。

圖 1 表示一個(gè)簡單的啟發(fā)式模型，用于評(píng)估攝像頭的平均意見得分。x 軸為圖像傳感器的性能指標(biāo)，例如本文中開發(fā)的傳感器性能指標(biāo)，y 軸為估算的平均意見得分（MOS）。曲線將不同分辨率相機(jī)系統(tǒng)（包括光學(xué)系統(tǒng)、圖像傳感器和圖像處理）的圖像傳感器性能和它們的平均意見得分（MOS）聯(lián)系在一起。

該模型時(shí)根據(jù)不同相機(jī)的實(shí)測平均意見得分得出的。當(dāng)圖像傳感器輸出帶有很多噪聲的圖像時(shí)，平均意見得分（MOS）主要受到圖像傳感器性能的限制，即相機(jī)系統(tǒng)的分辨率和對(duì)比度對(duì)結(jié)果并沒有明顯的影響。另一方面，當(dāng)圖像傳感器輸出干凈無噪聲的圖像時(shí)，平均意見得分（MOS）則主要受制于光學(xué)系統(tǒng)的性能。由于這個(gè)簡單的模型假定圖像處理平臺(tái)保持不變，所以實(shí)際上需要對(duì)不同的圖像處理平臺(tái)做單獨(dú)調(diào)優(yōu)。不同的色溫可能也需要單獨(dú)調(diào)校。

在未來發(fā)展的主要挑戰(zhàn)和領(lǐng)域如下：

• 制定公平的圖像傳感器性能指標(biāo)，上一節(jié)中列出的挑戰(zhàn)在設(shè)立也適用。光學(xué)性能的評(píng)估也需要類似的方法。這不在本文的討論范圍之內(nèi)。

• 模型包含了圖像處理，將圖像處理映射到主觀畫質(zhì)的形式化方法極具挑戰(zhàn)性，可能無法實(shí)現(xiàn)。也許總是需要啟發(fā)式的進(jìn)展。

• 將圖像傳感器分辨率映射到模型? x 軸上的準(zhǔn)確方法。如果光學(xué)分辨率和像素級(jí)的信噪比保持不變，但圖像傳感器的分辨率發(fā)生了變化，則應(yīng)該如何將其映射到模型上？而圖像處理則讓最終有效信噪比的計(jì)算變得更加復(fù)雜。

即便在模型中仍然有未完成的項(xiàng)目很艱難，關(guān)鍵點(diǎn)在于：技術(shù)選擇和最終產(chǎn)品的圖像質(zhì)量之間必須存在聯(lián)系。如果沒有性能指標(biāo)，如果沒有方法來估計(jì)主觀畫質(zhì)，或者沒有辦法將技術(shù)參數(shù)映射到主觀畫質(zhì)，相機(jī)的研發(fā)就會(huì)變成蒙著雙眼奔跑。前期的性能預(yù)測與最終產(chǎn)品性能的對(duì)比，也是反饋和持續(xù)改進(jìn)模型的重要渠道。

4. 畫質(zhì)優(yōu)化

在討論畫質(zhì)問題時(shí)，通常會(huì)首先提到弱光性能。不過，比起在 1 勒克斯下拍攝的照片能否看清東西，更重要的問題是，需要多少曝光量才能捕捉到第一張可用的圖像。

事實(shí)證明，在主觀圖像質(zhì)量測試中，經(jīng)過白平衡和色彩矩陣后的 SNR=10 是作為第一個(gè)可用圖像的一個(gè)很好的近似標(biāo)準(zhǔn)。即使信噪比（SNR）的計(jì)算方法不同，在 ISO 標(biāo)準(zhǔn)中也得出了類似的結(jié)論[3]。并不需要更準(zhǔn)確的數(shù)值，因?yàn)椤暗谝粡埧捎谩北緛砭褪莻€(gè)很主觀的標(biāo)準(zhǔn)，而且這還取決于相機(jī)系統(tǒng)其他部分的參數(shù)。

優(yōu)化圖像傳感器以獲得第一張可用的圖像是具有挑戰(zhàn)性的。在 SNR=10 的情況下，使用典型的拍照手機(jī)鏡頭以及曝光時(shí)間時(shí)，最主要的噪聲源通常是光子散粒噪聲。因此，只有通過提高量子效率和減少串?dāng)_（減少串?dāng)_有助于降低顏色矩陣系數(shù)），才能顯著改善信噪比。

讀出噪聲和暗電流通常很低，以至于進(jìn)一步降低它們并不會(huì)顯著改善信噪比，例如 [4]。在 SNR=10 的條件下，滿阱容量也不會(huì)對(duì)圖像質(zhì)量產(chǎn)生影響。另外，有意思的是，在大多數(shù)情況下，串?dāng)_對(duì)最大有效信噪比的貢獻(xiàn)要比滿阱容量或光響應(yīng)不均勻性要大得多。

圖 2 顯示了 1.75μm 像素優(yōu)化的示例。該圖展示了在不同的 1.75μm 像素優(yōu)化下達(dá)到 SNR=10 時(shí)的照度水平：標(biāo)準(zhǔn)，讀出噪聲降低 30% 、靈敏度（量子效率 QE）提升 10% 以及 -0.1 ?較小的對(duì)角元（和 +0.05 +0.05 較大的非對(duì)角元）。

除了基本的信噪比性能外，最重要的參數(shù)還有角響應(yīng)、線路噪聲特性、動(dòng)態(tài)范圍和色彩精度。尤其是角響應(yīng)、暗部和串?dāng)_表現(xiàn)需要特別關(guān)注。因?yàn)樵诶w薄的手機(jī)中，高度較小的相機(jī)鏡組會(huì)導(dǎo)致更大的主光線角度。

5. 技術(shù)趨勢(shì)

由于當(dāng)代像素尺寸讓我們即使在小型相機(jī)模塊中也可以實(shí)現(xiàn)高分辨率，因此新一代傳感器有兩種選擇：1、繼續(xù)縮小像素尺寸，或者 2、在相同的像素尺寸下優(yōu)化性能。在相同的光學(xué)格式下，大像素和小像素之間的性能差異并不明顯。因?yàn)檩^大的分辨率可以減少噪聲的干擾或者實(shí)現(xiàn)倍率更大的下變換，這將提升信噪比。

基于歷史數(shù)據(jù)，如果像素大小保持不變，則新一代技術(shù)能將 SNR=10 為標(biāo)準(zhǔn)的性能提升大約 30%。市場上已經(jīng)有產(chǎn)品表明了這一點(diǎn)：基于 SNR=10 標(biāo)準(zhǔn)，諾基亞 N95 中的圖像傳感器比諾基亞 N80 上的好大約 30%。兩款產(chǎn)品使用相同的像素大小，但 N95 使用了更新一代的像素技術(shù)。

觀察同樣的性能提升趨勢(shì)能夠維持多久是非常有趣的。由于理想的圖像傳感器擁有 100% 的量子效率和具有統(tǒng)一顏色矩陣的完美色彩，因此在未來存在很大的進(jìn)步空間。當(dāng)使用傳統(tǒng)技術(shù)時(shí)，改善光路對(duì)于量子效率和角響應(yīng)都是非常重要的[5]。當(dāng)達(dá)到傳統(tǒng)方法的極限時(shí)，有前途的新技術(shù)——例如背照式[6]（消費(fèi)領(lǐng)域的新應(yīng)用）和有機(jī)薄膜材料[7]能讓平均進(jìn)步趨勢(shì)維持更長的時(shí)間。能有效實(shí)現(xiàn)零本底噪聲的電子倍增或光子技術(shù)方法也可能時(shí)一種潛在的解決方案[8]。

相機(jī)的一個(gè)非常重要的趨勢(shì)是為用戶提供新功能——特別是高動(dòng)態(tài)范圍[9]和高幀率技術(shù)[8]很有前途。針對(duì)靜態(tài)圖像的圖像穩(wěn)定也將是個(gè)奇妙的功能。如果背照式變得可行，它將讓更多的數(shù)字處理能力被集成在圖像傳感器上，從而使小像素?fù)碛泻芏嘈碌臄?shù)字功能。

6. 總結(jié)

使用提議的圖像傳感器性能指標(biāo)對(duì)其的性能進(jìn)行了討論。量子效率和串?dāng)_是目前最重要的圖像傳感器參數(shù)。已觀察到以本文提議的信噪比標(biāo)準(zhǔn)來看每年有 30% 的性能提升。我們也能看到在未來有一些很有前景的技術(shù)來繼續(xù)改進(jìn)它們。圖像傳感器也是未來提供相機(jī)新功能的關(guān)鍵組件。

譯者：這是我第三次翻譯英文文獻(xiàn)，但是是第二次出于愛好翻譯一篇非自身專業(yè)的文獻(xiàn)，可能在一些專業(yè)概念和專有名詞的使用上還會(huì)有一些偏差和錯(cuò)誤，歡迎各位大佬指正。

參考資料

1. ^X. Zhang and D. Brainard, “Bayesian Color Correction Method for Non-Colorimetric Digital Image Sensors,” in Proc. 12th Color Imaging Conference: Color Science and Engineering Systems, Technologies, Applications, Nov. 2004, pp. 308-314.

2. ^R. L. Baer, “A model for dark current characterization and simulation,” in Proc. SPIE, Vol. 6068, Sensors, Cameras, and Systems for Scientific / Industrial Applications VII, Feb. 2006, pp. 37-48.

3. ^ISO 12232, Photography – Electronic still-picture cameras – Determination of ISO speed.

4. ^H. Takahashi, T. Noda, T. Matsuda, T. Watanabe, M. Shinohara, T. Endo, S. Takimoto, R. Mishima, S. Nishimura, K. Sakurai, H. Yuzurihara, S. Inoue, “A 1/2.7 inch Low-Noise CMOS Image Sensor for Full HD Camcorders”, in Digest of Technical papers, 50thIEEE Int. Solid-State Circuits Conference, Feb. 2007, pp. 510-511.

5. ^H. Takahashi, T. Noda, T. Matsuda, T. Watanabe, M. Shinohara, T. Endo, S. Takimoto, R. Mishima, S. Nishimura, K. Sakurai, H. Yuzurihara, S. Inoue, “A 1/2.7 inch Low-Noise CMOS Image Sensor for Full HD Camcorders”, in Digest of Technical papers, 50thIEEE Int. Solid-State Circuits Conference, Feb. 2007, pp. 510-511.

6. ^B. Pain, T. Cunningham, S. Nikzad, M. Hoenk, T. Jones, B. Hancock, C. Wrigley, “A Back-illuminated Megapixel CMOS Image Sensor,” in Proc. IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, June 2005, pp. 35-38.

7. ^S. Takada, M. Ihama, M. Inuiya, ”CMOS Image Sensor with Organic Photoconductive Layer Having Narrow Absorption Band and Proposal of Stack Type Solid-State Image Sensors,” in Proc. SPIE, Vol. 6068, Sensors, Cameras, and Systems for Scientific / Industrial Applications VII, Feb. 2006, pp. 86-93.

8. ^M. Rabbins and B. Hadwen, “The Noise Performance of Electron Multiplying Charge-Coupled Devices,” IEEE Trans. On Electron Devices, vol. 50, no. 5, May 2003.

9. ^R. L. Baer, “A model for dark current characterization and simulation,” in Proc. SPIE, Vol. 6068, Sensors, Cameras, and Systems for Scientific / Industrial Applications VII, Feb. 2006, pp. 37-48.