一些容易忽略的Camera相關(guān)概念整理
人眼特性
幀、場
BLC（Black level correction）
Binning
Video Size
防紅眼中的紅眼
色調(diào)映射
一些光源的名稱
什么是3D sensing？
慢鏡頭視頻
超高速攝像頭凝時拍攝
圖像分割
平坦區(qū)
紋理區(qū)
Bayer CFA
Distortion
Artifacts
CIE1931
色彩偏移
ISP
一、人眼特性
97 million rods(桿細胞)
4.6 million cones(錐細胞)
1 million 節(jié)細胞 100w節(jié)細胞
視網(wǎng)膜里有大約1.25億個視桿細胞和視錐細胞，它們扮演感光器的角色。
其中視桿細胞的數(shù)量是視錐細胞的18倍之多。
視桿細胞對弱光敏感（可感受到一個光子），主要負責(zé)在昏暗環(huán)境中產(chǎn)生暗視覺，但只能辨別明暗，不能分辨物體的細節(jié)和顏色。97 million rods(桿細胞)
視錐細胞感受強光和顏色，產(chǎn)生明視覺，對物體細節(jié)和顏色分辨力強，我們能夠讀書看報，視錐細胞功不可沒。4.6 million cones(錐細胞)
視桿細胞和視錐細胞接收到的信息隨后被傳送給視網(wǎng)膜上的近100萬個節(jié)細胞。
這些節(jié)細胞將來自視桿細胞和視錐細胞的信息通過視神經(jīng)發(fā)送到大腦。
視錐細胞有 3種，分別含有對紅、綠、藍3種光敏感的感光色素。
色光引起色覺，這是一種復(fù)雜的物理和心理現(xiàn)象。
根據(jù)三原色學(xué)說解釋色覺的機制認為：不同的色光作用于視網(wǎng)膜時，3種視錐細胞產(chǎn)生了不同程度的興奮，這樣興奮信息經(jīng)處理后轉(zhuǎn)化為不同組合的視神經(jīng)沖動，
傳到大腦皮層就產(chǎn)生不同的色覺。
例如紅、綠、藍3種視錐細胞興奮程度的比例為4：1：0時，產(chǎn)生紅色色覺；比例為2：8：1時，產(chǎn)生綠色色覺。
人眼可分辨波長在380～760nm約150種顏色，
但某些人多由于遺傳因素，缺乏相應(yīng)的視錐細胞，不能辨別某些顏色，稱為色盲。
如缺乏感受紅光或綠光的視錐細胞，不辨紅綠，稱為紅綠色盲。
有些人多由于健康或營養(yǎng)不佳，辨色能力較差，稱為色弱。
二、幀、場
活動電視圖像是由一幅一幅連續(xù)的且內(nèi)容變化不大的靜止圖像組成的。
其中一幅靜止的圖像在電視技術(shù)上稱為“一幀”。
為了保證收看圖像時不閃爍，根據(jù)人眼的視覺暫留特點（先前出現(xiàn)在人眼的圖像在圖像消失后會保留一段時間），要求每秒傳送的連續(xù)圖像達到25幀。
在電視傳輸技術(shù)中，為了進一步提高傳輸質(zhì)量，又將一幀圖像分成兩幅來傳，這時候的一幅就叫做“一場”了。
三、BLC（Black level correction）
模擬信號很微弱時，有可能不被 A/D 轉(zhuǎn)換出來，導(dǎo)致光線很暗時，圖像細節(jié)丟失。
因此，Sesnor 會在 A/D 轉(zhuǎn)換前，給模擬信號一個固定的偏移量，保證輸出的數(shù)字信號保留更多的圖像細節(jié)。
黑電平校正模塊就是通過標定的方式，確定這個偏移量的具體值。后續(xù)的 ISP 處理模塊，需要先減掉該偏移值，才能保證數(shù)據(jù)的線性一致性。
四、Binning
Camera Binning Mode：像素合并模式，將相鄰的像素單元電荷通過物理的方法疊加在一起作為一個像素輸出信號
水平方向Binning: 同列相鄰行的電荷疊加；
垂直方向Binning: 同行相鄰列的電荷疊加；
Binning Mode 優(yōu)勢：
增加感光面積，提高暗處對光感應(yīng)的靈敏度；應(yīng)用：增加物理感光像素單元，采用像素合并模式，提升暗處對光感應(yīng)的靈敏度；
Binning Mode 劣勢：
降低輸出分辨率；
五、Video Size
? ? ?FHD Video: 1920 * 1080 -16:9 30 fps ?
? ? ?HD Video: 1280 ?* 720 -16:9 60 fps
? ? ?VGA Video: 640 * 480 -4:3 120 fps
4K 視頻拍攝 3840x2160 30fps
1080p 視頻拍攝 1920x1080 30fps
720p 視頻拍攝 1280x720 30fps
480p 視頻拍攝 720x480 30fps
慢動作視頻， 720p 120fps
舉個例子，水平視場角120度的行車記錄儀，720P最遠可拍清楚5.5米距離的車牌，大概一個車身的距離。
而1080P則可拍清楚8.3米的車牌，大概1個半車身的距離。而1296P則可拍清楚10米遠外的車牌，約為2個車身的距離。
1、720P和1080P的區(qū)別僅為分辨率的上的區(qū)別。
2、1080P的畫面分辨率為：1920x1080
3、720P的畫面分辨率為：1280x720
4、720P中的“720”指的是畫面分辨率，“P”指的是逐行掃描。一般的幀率有60幀，30幀，25幀，24幀。
以下是幾種常見的掃描格式：
D1為480i格式，和NTSC模擬電視清晰度相同，525條垂直掃描線，480條可見垂直掃描線，4：3 或16：9，隔行/60Hz，行頻為15.25KHz。
D2為480P格式，和逐行掃描DVD規(guī)格相同，525條垂直掃描線，480條可見垂直掃描線4：3 或 16：9，分辨率為640×480，逐行/60Hz，行頻為31.5KHz。
D3為1080i格式，是標準數(shù)字電視顯示模式，1125條垂直掃描線，1080條可見垂直掃描線16：9，分辨率為1920×1080，隔行/60Hz，行頻為33.75KHz。
D4為 720p格式，是標準數(shù)字電視顯示模式，750條垂直掃描線，720條可見垂直掃描線16：9，分辨率為1280×720，逐行/60Hz，行頻為45KHz。
D5為1080p格式，是標準數(shù)字電視顯示模式，1125條垂直掃描線，1080條可見垂直掃描線16：9，分辨率為1920×1080逐行掃描，專業(yè)格式。
高清網(wǎng)絡(luò)攝像機中，我們通常叫成百萬、兩百萬像素攝像機：
1080P 實際是指分辨率1920*1080像素 ——計算一下就是1920×1080=2073600像素 大家一般都會叫 1080p或1080i為200萬像素分辨率
960P 實際是指分辨率1280*960像素 ——計算一下就是1280×960=1228800像素大家一般都會叫960p或960i為130萬像素分辨率
720P 實際是指分辨率1280*720像素——計算一下就是1280×720=921600像素大家一般都會叫720p或720i為百萬像素分辨率
1、XGA ?分辨率 ?1024*768
2、VGA ?分辨率 ?640*480
3、UXGA 分辨率 ?1600x1200
六、防紅眼中的紅眼
由于視網(wǎng)膜上的血管豐富，夜晚，用閃光燈拍照時，瞬間的強光令瞳孔來不及收縮，反而會放大以便讓更多的光線通過，這樣，光線便透過瞳孔投射到視網(wǎng)膜上。
視網(wǎng)膜的血管就會在照片上產(chǎn)生泛紅現(xiàn)象，人的眼珠便呈現(xiàn)出一片紅色，即人們常說的“紅眼”。
七、色調(diào)映射
指對圖像顏色進行映射變換的算法。
目的是調(diào)整圖像的灰度，使得處理后的圖像人眼看起來更加舒適，能更好的表達原圖里的信息與特征。
八、一些光源的名稱
Tungsten：鎢光，Horizon
Warm Fluorescent：A
Shade：D75
Strobe：閃光燈
Fluorescent：熒光燈 即CWF、TL84
Daylight Fluorescent：日光熒光燈
Incandescent：白熾燈，A,H
Neutral-density filter ：
中性灰度鏡（Neutral Density Filter）又叫中灰密度鏡，簡稱ND鏡，其作用是過濾光線。
這種濾光作用是非選擇性的，也就是說，ND鏡對各種不同波長的光線的減少能力是同等的、均勻的，只起到減 弱光線的作用，而對原物體的顏色不會產(chǎn)生任何影響，因此可以真實再現(xiàn)景物的反差。
九、什么是3D sensing？
3D Sensing 從字面意思理解，就是將原來 2D 的攝像頭轉(zhuǎn)換為 3D 數(shù)據(jù)，不僅讓成像顯得立體，更讓每一個像素能夠除了 x、y 軸數(shù)據(jù)外，還有 z 軸（深度 / 距離）數(shù)據(jù)。
所以簡單的說 3D Sensing 就是原有的攝像頭再新增一個測算深度數(shù)據(jù)的模塊。
目前 3D Sensing 主要由發(fā)射端與接收端構(gòu)成。不同的路徑有著不同的器件結(jié)構(gòu)，一般有激光發(fā)射器（VCSEL 發(fā)射端）、wafer-level optics ( WLO ) 、Sensor 這幾個結(jié)構(gòu)。
目前 3D Sensing 市場上有三種方案，成熟度按照從高到低順序排列為：結(jié)構(gòu)光、TOF 和雙目。
其中最成熟的結(jié)構(gòu)光方案已大量應(yīng)用于工業(yè) 3D 視覺領(lǐng)域，而 TOF 方案已出現(xiàn)在 Google 的 Project Tango 方案中，雙目由于算法開發(fā)難度高，在不在乎功耗的機器人、自動駕駛等新興領(lǐng)域應(yīng)用較多。
十、慢鏡頭視頻
電影攝影中的一種技術(shù)手段，“電影是每秒鐘24畫格的真理?！?/p>
為了實現(xiàn)一些簡單的技巧，就要改變正常的拍攝速度，比如高于24格/秒，拍攝速度達到50幀/秒、100幀/秒，甚至更高。
回放速度依舊為24幀/秒，這就相當(dāng)于把實際1秒鐘拍攝的圖像用2秒多到4秒多時間回放，這就是我們口中說的慢鏡頭效果。
如果降低拍攝速度（低于24格/秒），放映效果就是快動作。
960fps 超高幀率的慢動作錄影，并用 30fps 的幀率輸出影片。
? 960fps/30fps=32x
這意味著即使是手機也具備 32 倍的慢動作錄影能力，相較于 Google Pixel 所具備的 240fps 錄影，Sony Xperia XZs、XZ Premium 的超慢動作錄影還要慢了 4 倍，并且所搭載的感光元件圖像記錄速度上要快 5 倍，過往需要 40ms（毫秒）記錄的影像僅需要 8ms 即可紀錄完成，這也大幅減低了滾動快門效應(yīng)。
大家不少新款手機，像iPhone X已支持1080/240P慢動作視頻，但慢動作視頻會削弱畫質(zhì)，并占用大量儲存空間，不是一個常用功能。
1、120fps是每秒播放120幀，也可以理解為每秒播放120張圖片。240fps是每秒播放240幀，也可以理解為每秒播放240張圖片。
兩者相對而言，播放慢動作的話，后者可以播放慢動作更慢。
2、iphone6可以達到慢動作240fps，一般相對而言的話，幀數(shù)越高，可能造成的畫面相對于60幀有些模糊。
產(chǎn)生這種情況的原因是攝像頭和圖像處理器性能相同，數(shù)值越大，相對圖像越模糊。
經(jīng)常念叨的“果凍”，或者是拍到現(xiàn)場有相機閃光燈的只拍到 了一條亮線，根源都是 CMOS的滾動快門造成的。
1.滾動快門（electronic rolling shutter，又名卷簾快門）
目前大多數(shù)CMOS傳感器采用這種快門。對任一像素，在曝光開始時現(xiàn)將其清零，然后等待曝光時間過后，將信號值讀出。因為數(shù)據(jù)的讀出是串行的，所以清零/曝光/讀出也只能逐行順序進行，通常是從上至下，和機械的焦平面快門非常像。和機械式焦平面快門一樣，對高速運動的物體會產(chǎn)生明顯的變形。而且因為其掃描速度比機械式焦平面快門慢，變形會更加明顯。例如如果數(shù)據(jù)的讀出速度是每秒20幀，那么圖像頂部和底部的曝光先后差異將多達50毫秒。為了彌補這個缺陷，通常數(shù)碼相機中通常配合機械快門，曝光開始時整個圖像傳感器清零（目前的絕大多數(shù)傳感器都具備快速清零功能，可以在幾個時鐘周期內(nèi)完成整個傳感器的清零），然后機械快門打開，曝光結(jié)束后機械快門關(guān)閉，數(shù)據(jù)順序讀出。
2.全局快門(global shutter/snapshot shutter)
最主要的區(qū)別是在每個像素處增加了采樣保持單元，在指定時間達到后對數(shù)據(jù)進行采樣然后順序讀出，這樣雖然后讀出的像素仍然在進行曝光，但存儲在采樣保持單元中的數(shù)據(jù)卻并未改變。
十一、超高速攝像頭凝時拍攝
凝時拍攝（960fps）是一個功能可以讓用戶使用超高速攝像頭在960fps條件下錄制視頻，并通過以正常視頻（30fps）的32倍慢速播放捕捉人類肉眼通常無法觀察到的鏡頭并且以使用現(xiàn)有慢動作功能（240fps）的4倍慢速進行。
正常的視頻（30fps）：
視頻的速度與實際運動一樣了。
慢動作視頻（240fps）：
視頻播放比正常人慢8倍，類似于典型的電影，商業(yè)，或運動速度。?
凝時拍攝視頻（960fps）：
圖像的播放比正常人慢32倍，捕捉小的變化在面部表情和快速移動物體的細微的動作。
在慢動作（240fps）中，所有視頻片段都是以240fps進行保存的。?
而凝時拍攝（960fps）中，只有用戶在超高速條件下拍攝的0.2秒視頻以960fps進行保存，其余部分為普通視頻（30 fps）。因此凝時拍攝（960fps）存儲的視頻相對較小。
960fps慢動作攝影是什么？
首先是fps的定義，指的是一個圖像或視頻畫面每秒傳輸幀數(shù)，通俗來講可以理解為我們常說的“刷新率”。 這個數(shù)字越高，動態(tài)畫面看起來就越連貫。
當(dāng)一個視頻幀數(shù)高達960fps，就已經(jīng)超越“順暢”的領(lǐng)域，只有用慢動作視頻才能夠完全展示。
這項技術(shù)在專業(yè)的影視領(lǐng)域用的比較多。舉個例子，當(dāng)我們觀看賽車時，高速賽車呼嘯而過連車型都看不清;而應(yīng)用高幀數(shù)的慢動作拍攝，就可以完整看清賽車本身通過觀眾席的全過程，而不只是一個影子。
十二、圖像分割
就是按照一定的特征如灰度，色彩，空間紋理，幾何形狀等將一幅圖像分割為若干部分或子集的技術(shù)過程。
分割質(zhì)量的好壞直接影響圖像分析和處理的結(jié)果。
十三、平坦區(qū)
是指不包含明顯邊緣，像素變化相對平緩的區(qū)域。
十四、紋理區(qū)
是指檢測出邊緣相對密集，并存在一些偽邊緣的區(qū)域紋理區(qū)內(nèi)的邊緣分布呈現(xiàn)一定的周期性，因而存在某些紋理特征。
十五、Bayer CFA
十六、Distortion
十七、Artifacts
十八、CIE1931
十九、色彩偏移
二十 枯葉圖
彩色落幣圖是枯葉圖的升級設(shè)計是為了測量紋理清晰度。
比起舊版的枯葉圖它有幾大優(yōu)勢：包括為提高測量精度和魯棒性不變的比例，左右兩邊的灰色區(qū)域有助于去除噪聲（使用的一種技術(shù)叫做灰塊噪聲的功率光譜密度是從中心溢出區(qū)域的信號和噪聲總和的PSD中減去得到的。）
*本人從事Android Camera相關(guān)開發(fā)已有5年，
*目前在深圳上班，
*歡迎關(guān)注我的微信公眾號：小馳筆記，希望和更多的小伙伴一起交流 ~
