在自動駕駛系統(tǒng)中，攝像頭就像人類駕駛員的眼睛一樣重要，甚至可以說是自動駕駛系統(tǒng)中最重要的傳感器，沒有之一。

與毫米波雷達和激光雷達相比，攝像頭具有成本低、色彩信息豐富、能夠提供語義信息等諸多優(yōu)勢。就是因為這些優(yōu)勢，攝像頭在智能汽車中非常常見，一輛車少則有3-5個攝像頭，多則有十幾個。

您對這種廣泛使用且尤為重要的傳感器到底了解多少呢？

攝像頭基本結(jié)構(gòu)

我們先來看看攝像頭的基本結(jié)構(gòu)。

車載攝像頭主要由光學鏡頭（lens）、圖像傳感器（sensor）、圖像信號處理器（ISP）、串行器和連接器組成。

攝像頭的工作原理是外界光線照射在物體上，經(jīng)過反射和折射后通過光學鏡頭（Lens），投射到圖像傳感器（Sensor）上，傳感器（Sensor）的光電器件將光信號轉(zhuǎn)化為電信號，經(jīng)過圖像信號處理器ISP轉(zhuǎn)換為RGB、YUV等格式的圖像信號輸出。

?

光學鏡頭(Lens)

光學鏡頭負責將光線聚焦并將視野中的物體投射到成像介質(zhì)的表面上。 光學鏡頭還包括紅外濾光片（IR Filter），濾除人眼看不到的紅外光，只留下人眼能看到的可見光。

?

鏡頭的焦距決定了拍攝圖像的視場角（FOV）大小。鏡頭的焦距越長，視角越窄。為了能夠看到150米外的物體，比如紅綠燈，一般前向會加一個長焦鏡頭，F(xiàn)OV一般在30度左右。

焦距越短，視場角越大，比如360度環(huán)視（AVM）中用到的魚眼相機，由于圖像拼接需要非常大的視場角，焦距一般小于16mm，魚眼相機的水平視場角一般大于170°，甚至會超過180°，但是大視場角的代價是圖像會失真，而且越靠近邊緣失真越嚴重，需要做畸變校正。

目前主要的光學鏡頭供應(yīng)商有舜宇光學、聯(lián)創(chuàng)、歐菲光等。

?

圖像傳感器（Sensor）

圖像傳感器利用光電器件的光電轉(zhuǎn)換特性，將感光面上的光信號轉(zhuǎn)換成電信號。

?

車載攝像頭普遍采用CMOS（Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體），而CMOS是攝像頭最重要的部分，也是價值最高的，約占成本的50%。

?

CMOS決定了攝像頭最重要的參數(shù)——像素（Pixel），一般常說的200萬像素或800萬像素，就是說有200萬或800萬個感光點，也就是說CMOS有200萬或800萬個負責光電轉(zhuǎn)換的光電二極管。

?

還有一個很重要的參數(shù)——幀率（Frame Rate）也是由CMOS決定的。 每秒幀率表示 CMOS 每秒更新的次數(shù)。 幀率越高，畫面越清晰。 常見的幀率是 30 或 25。

目前車規(guī)CMOS市場主要由安森美(Onsemi）和豪威科技（OmniVision）兩大廠商主導，市場集中度非常高。

?

圖像信號處理器（Image Signal Processing，ISP）

ISP主要用于對CMOS輸出的RAWDATA格式的圖像數(shù)據(jù)進行處理，通過去除噪點、曝光控制和自動白平衡來提高圖像質(zhì)量，輸出RGB或YUV等格式。

?

ISP可以集成在攝像頭模組內(nèi)部，如直接集成在圖像傳感器內(nèi)部,也可以作為單芯片存在（集成在域控制器中）。

?

如果集成在攝像頭內(nèi)，對外輸出的就是ISP處理過的RGB/YUV圖像,否則對外輸出的是RAWDATA（原始數(shù)據(jù)），RAWDATA傳輸?shù)接蚩刂破骱?，使用域控集成的ISP進行處理。

另外，攝像頭內(nèi)部還有一個串行器，因為視頻信號需要使用GSML等標準傳輸，需要先轉(zhuǎn)換成串行數(shù)據(jù)再傳輸。

?

發(fā)展趨勢

趨勢一：攝像頭數(shù)量越來越多，分辨率越來越高

近來，車載攝像頭呈現(xiàn)出明顯的發(fā)展趨勢，即單車搭載攝像頭的數(shù)量越來越多，分辨率也越來越高。

?

數(shù)量上，最早只有1個前視攝像頭（單V），后來加了4個魚眼攝像頭（5V），再加上1個后視攝像頭（6V）。

?

現(xiàn)在一些車企的為了滿足城區(qū)場景的需求，又加了4個側(cè)視攝像頭和1個前視長焦攝像頭，也就是11V方案。

?

再說分辨率，為了在更遠的距離獲取更多的信息，分辨率也大幅提升，從早期的120萬演變成后期的200萬、300萬、500萬，如今主流的高清攝像頭都是800萬像素，相信不久就會出現(xiàn)更高分辨率的攝像頭。

?

比如蔚來ET7的11顆攝像頭都是800萬像素。 此外，極氪001和長城沙龍機甲龍也有7顆800萬像素的攝像頭。

?

配套設(shè)施

數(shù)量和分辨率的大幅提高意味著能獲得更多的數(shù)據(jù)，感知能力大大提升，相應(yīng)地，傳輸和處理這些數(shù)據(jù)所需的帶寬和算力也相應(yīng)增加。

?

如果相應(yīng)的“配套設(shè)施”不能滿足，那么高分辨率的優(yōu)勢根本發(fā)揮不出來，最終只會淪為配置表上“堆砌”的參數(shù)，營銷噱頭而已。

?

帶寬

首先要保證的是傳輸和存儲帶寬。傳輸一般采用LVDS和車載以太網(wǎng)傳輸就能保證。 為了提高處理帶寬，相應(yīng)的內(nèi)存帶寬也必須提高。 目前的內(nèi)存一般采用LPDDR4或者LPDDR5。 特斯拉HW4.0史無前例的將GDDR6用于車載領(lǐng)域，而且一用就是16顆（每顆2GB，共32GB）。

?

GDDR（Graphics Double Data Rate）是一種顯存，最初是為高端顯卡設(shè)計的。 它比普通DDR具有更高的時鐘頻率、更低的功耗和更高的帶寬。 LPDDR4帶寬為17GB/s，LPDDR5帶寬為26GB/s，GDDR6帶寬最高可達64GB/s。

?

算力

第二是計算能力。隨著攝像頭數(shù)量和分辨率的增加，對AI算力的需求也快速上漲。 過去幾年，算力從最初的幾個TOPS，發(fā)展到現(xiàn)在的幾十、幾百甚至上千TOPS。

考慮到芯片的成本，一塊大算力SoC（如Orin X）動輒幾百美金起，這么算下來，算力非常貴！ 因此，車企會在成本和性能之間做權(quán)衡。

?

特斯拉是成本控制的典范。多年來，Model 3 的 HW3.0 方案的攝像頭一直是 120萬像素 (1MP)。 最近升級的下一代HW4.0，像素也只是從120萬增加到500萬，而不是廣泛使用的800萬。

據(jù)說某新造車新勢力使用的11路8百萬像素的攝像頭，除前視外，其他幾路攝像頭數(shù)據(jù)進入域控后，全部下采樣降低分辨率來使用，真是離了個大譜。

?

趨勢二：ISP集成到域控

攝像頭的另一個明顯趨勢是ISP集成到域控。在電子電氣架構(gòu)的集中化發(fā)展趨勢下，ECU由分布式向集中式轉(zhuǎn)變，攝像頭成為采集信息的硬件設(shè)備，計算和處理功能從攝像頭中剝離出來，集成到大算力SoC和域控制器中。

?

隨著SoC中集成的ISP性能的不斷提升，可以支持多個攝像頭的輸入，這樣就不需要在每個攝像頭模組上都裝一個ISP，從而可以大大降低硬件成本，同時也解決了ISP集成在攝像頭所導致的散熱問題。

?

趨勢三：取消ISP

最后一個趨勢是取消ISP，直接使用原始數(shù)據(jù)（RAWDATA）。但目前采用的還比較少，最著名的就是特斯拉。

?

特斯拉攝像頭的原始數(shù)據(jù)（RAWDATA）不經(jīng)過ISP處理，直接輸入神經(jīng)網(wǎng)絡(luò)，不僅降低了成本，也避免了開發(fā)過程中復雜的ISP調(diào)優(yōu)過程，還提升了視覺感知能力。

?

要知道，攝像頭的動態(tài)范圍比人眼大很多，比如在弱光或極暗場景下，人眼幾乎看不到，但CMOS仍可以接收光子“看到”目標，而很多信息，在ISP處理時，被作為噪音優(yōu)化處理掉了，而不經(jīng)過ISP處理直接用原始數(shù)據(jù)（RAWDATA)進行推理，則可以保留這些數(shù)據(jù)，從而提升這些場景下的感知能力。?

?

但取消 ISP 并不是那么容易。一方面，RAWDATA數(shù)據(jù)量過大，傳輸、存儲和處理的帶寬壓力極高。另一方面，ISP是為了優(yōu)化顯示效果，簡單來說給人看的，在需要人參與的數(shù)據(jù)鏈路中（比如標注），還是少不了ISP的，所以ISP短期內(nèi)會繼續(xù)保留。