汽車工業(yè)百年史中，座艙也一直在發(fā)展，從過去的機(jī)械化走到今天的電子化，也正在走向智能化。

機(jī)械化時期，座艙使用機(jī)械和簡易物理裝置進(jìn)行單一功能和基本信息地展示；電子化時期，音響、液晶屏等開始廣泛使用，配備音樂、導(dǎo)航等基本功能；智能化時期，互聯(lián)網(wǎng)+、AI、大數(shù)據(jù)等技術(shù)開始上車，座艙成為駕乘人員可以發(fā)號施令的自主舒適智能移動空間。

?

智能座艙在傳統(tǒng)座艙基礎(chǔ)上，人機(jī)交互更加便利和多元化，自動化和網(wǎng)聯(lián)化水平也大大提高。當(dāng)前人機(jī)交互主要還是語音交互，駕駛員可以通過對話，完成常見非駕駛動作的指令。

不過，當(dāng)前智能座艙的語音交互在情感性、多輪對話、喚醒或打斷等方面仍存在一些問題，特別是不能領(lǐng)會命令實質(zhì)。而多模態(tài)交互技術(shù)能夠使人機(jī)交互整個過程更加立體、高效和低誤差，必將成為未來智能座艙發(fā)展最為核心的技術(shù)之一。

?

1．語音交互

語音交互包括語音識別技術(shù)、自然語言處理技術(shù)、語音合成技術(shù)等，也就是通過聲音識別、處理，生成指令要求。在智能座艙中語音交互最常用的場景，包括設(shè)備控制、導(dǎo)航和媒體娛樂三個方面。

可見即可說、連續(xù)對話、音源定位、免喚醒等技術(shù)已開始廣泛搭載，語音交互也將變得更自然；個性化體驗是座艙的目標(biāo)，蔚小理等新勢力從聲音自定義、形象自定義、功能自定義等方面下了很多功夫。比如蔚來Nomi通過擬人化表情形象，在語音交互時增加了視覺反饋，Nomi可以通過屏幕表情給出聆聽、開心、點贊等反饋，提高了駕駛員對語音交互的陪伴感和信任感。

2．手勢識別

手勢是人類最基本的肢體語言，手勢識別要能夠區(qū)分二維手勢和三維手勢。二維手勢指的是簡單地上下、左右、揮動等，如點贊、用手去比劃數(shù)字。三維手勢識別則要通過3D TOF攝像頭進(jìn)行三維手勢檢測。

?

現(xiàn)階段手勢識別主要應(yīng)用在多媒體切換、音量控制、接電話、燈光控制等方面，功能比較單一，還是作為補充交互模態(tài)。以嵐圖追光手勢控制為例，可以支持左右、上下和前后3種動態(tài)手勢及5種靜態(tài)手勢，包括了確認(rèn)、自拍、接聽/拒接電話和播放/暫停等常用功能，結(jié)合四音區(qū)語音系統(tǒng)實現(xiàn)語音+手勢的交互方式。

?

3．DMS

DMS是利用座艙內(nèi)攝像頭、近紅外線等傳感器，基于面部特征分析、頭部姿態(tài)追蹤、視線追蹤、面部表情和情緒識別、身體姿勢追蹤和物體偵測等關(guān)鍵技術(shù)，實現(xiàn)對駕駛員的身份識別，以及疲勞駕駛、分心駕駛等危險行為的檢測功能。主流DMS方案采用近紅外攝像頭拍攝駕駛員眼球運動、面部表情，進(jìn)行計算和AI識別，分析出駕駛員疲勞、分心、危險駕駛等動作信號，以此來提醒駕駛員。

?

3D-ToF傳感器

最近3D-ToF傳感器的DMS方案也開始上車。3D-ToF可定位駕駛員眼神，協(xié)助AR-HUD實現(xiàn)動態(tài)校正。3D ToF是一種無掃描光探測和測距技術(shù)（調(diào)制光源主動照射物體），基于持續(xù)的光脈沖捕捉深度信息（通常短距離）。3D-ToF傳感器方案圖像處理深度精度比2D攝像頭（視頻方案）更高；鏡頭幀率較高，能夠接收動態(tài)信息。

比如理想L9搭載的3D-ToF傳感器，除了駕駛員眼睛注視和頭部跟蹤監(jiān)控外，還將作為后續(xù)多模態(tài)交互的主要硬件載體。

?

L3級別自動駕駛要求駕駛員隨時準(zhǔn)備接管車輛，而DMS能時刻監(jiān)控駕駛員狀態(tài)，滿足L3決策安全性要求，所以現(xiàn)在法規(guī)也有標(biāo)配DMS的趨勢。比如歐盟要求所有新車都要配置DMS，C-NCAP（中國新車評價規(guī)程） 2025版本也加入了駕駛員分神和疲勞監(jiān)控功能的測評。

?

4．OMS

OMS是DMS系統(tǒng)的延伸，可以通過監(jiān)測座艙內(nèi)乘客的狀態(tài)來進(jìn)一步提升安全性能。比如OMS系統(tǒng)能夠監(jiān)測兒童或?qū)櫸锸欠襁z留在車內(nèi)，還可以檢測人員是否使用安全帶。交互或娛樂方面，也可以利用OMS攝像頭完成手勢識別，情緒識別，視頻聊天等功能。

5．HUD

HUD 通常是對傳統(tǒng)儀表板顯示的補充，并提供與駕駛相關(guān)的補充信息，和高級駕駛員輔助系統(tǒng)（ADAS）功能集成在一起，能使駕駛員更輕松地檢測到威脅或警告，從而更快地采取行動。HUD分為C-HUD、W-HUD及AR-HUD：

?

① C-HUD通過放置于組合儀表上方的一個半透明的樹脂板作為投影介質(zhì)反射出虛像，目前已逐漸被市場淘汰。W- HUD和AR- HUD成為主流方案。

②W-HUD主要通過擋風(fēng)玻璃作為投影介質(zhì)來反射成像，可以支持更大的成像區(qū)域和更遠(yuǎn)的投影距離，不過產(chǎn)品光學(xué)結(jié)構(gòu)相對復(fù)雜，成本相對較高。

③AR-HUD相對于W-HUD而言成像區(qū)域更大、投影距離更遠(yuǎn)、成像也更加地生動直觀。

?

AR，即增強(qiáng)現(xiàn)實，是指透過攝像頭看到影像的位置及角度計算，再加上圖像分析技術(shù)，讓屏幕上的虛擬世界能夠與現(xiàn)實世界場景進(jìn)行結(jié)合與交互的技術(shù)。隨著光學(xué)、AR、圖像識別等技術(shù)不斷突破，AR-HUD以一種更加自然的方式呈現(xiàn)在駕駛員前方，從而可以用來提供更多有用的信息，例如導(dǎo)航、威脅識別等。

?

AR-HUD將信息直接顯示在真實道路上，實現(xiàn)這一特性需要通過前視攝像頭對前方的路況進(jìn)行解析建模，得到對象的位置、距離、大小，再把HUD需要顯示的信息精準(zhǔn)地投影到對應(yīng)的位置。

?

AR-HUD產(chǎn)品一般都包含車速、駕駛輔助和導(dǎo)航等信息。同時，融合DMS的眼神追蹤攝像頭，保障畫面跟著眼睛實時動態(tài)調(diào)節(jié)，保持動態(tài)中的相對靜止，減少產(chǎn)生眩暈感，提升AR-HUD體驗感。

?

從去年開始，一線車企已經(jīng)開始把AR-HUD作為高配及新旗艦車型的亮點功能，如紅旗E-HS9、奔馳S級系列、大眾ID系列、飛凡汽車等，理想L9配置AR-HUD顯示屏，甚至取消了駕駛員面前的儀表盤，不過額外在方向盤上加了一塊小尺寸的交互屏。

?

6．AID全息投影

全息投影技術(shù)是利用光的干涉和衍射原理，記錄并再現(xiàn)物體真實的三維圖像。AID即為全息空中智能顯示系統(tǒng)（Aerial Holo Intelligent Display）”。技術(shù)源自于全息投影技術(shù)，不同于HUD需要投射在特制前擋風(fēng)玻璃作為介質(zhì)，AID借助光學(xué)原理投射在空氣中，不需要任何介質(zhì)；其次，只有駕駛員能夠看到HUD投射在玻璃上的信息。而AID采用全彩裸眼3D影像，用戶能夠從各個角度感受到懸浮在屏幕上的真實效果。

AID全息顯示同儀表、中控屏、視覺感知系統(tǒng)和語音交互系統(tǒng)等多維深度協(xié)同，與DMS的視線追蹤和表情識別）、自動駕駛的環(huán)境感知等融合，感知駕駛員的心情以及車外環(huán)境，通過數(shù)字虛擬人進(jìn)行主動關(guān)懷（如音樂電影播放、氛圍燈開啟）、疲勞提醒、危險預(yù)警、天氣提醒、節(jié)日變裝等，可以建立更深層次的情感交流，擁有更多陪伴和樂趣。

在“移動出行第三空間”概念指引下，融合視覺、聽覺、觸覺、文本等多維感知信息，打破單模態(tài)輸入輸出限制，多模態(tài)交互正深度應(yīng)用于智能座艙，在大屏化、多屏化、AR全息無屏化的加持下，智能座艙將會帶來更貼近人類真實使用習(xí)慣的沉浸式座艙體驗。