多模態(tài)學(xué)習(xí)技術(shù)是新的AI技術(shù)發(fā)展趨勢(shì)之一?！岸嗄B(tài)技術(shù)逐漸也在視頻網(wǎng)站、電商物流、自動(dòng)駕駛等領(lǐng)域得到廣泛。像愛(ài)奇藝的“只看TA”功能，優(yōu)酷視頻正在使用的視頻幀、人臉幀的圖向量檢索，都離不開(kāi)多模態(tài)識(shí)別技術(shù)。那么在這些新應(yīng)用場(chǎng)景中的技術(shù)現(xiàn)狀如何？又有哪些問(wèn)題呢？

“多模態(tài)學(xué)習(xí)”，正式認(rèn)識(shí)下
1) 多模態(tài)學(xué)習(xí)即試圖通過(guò)機(jī)器學(xué)習(xí)的方法，實(shí)現(xiàn)對(duì)多源模態(tài)信息進(jìn)行分析和理解。當(dāng)前主要熱門(mén)的研究方向自然是對(duì)圖像、視頻、音頻、語(yǔ)義之間的多模態(tài)學(xué)習(xí)。
2) 模態(tài)間映射是研究如何將某一特定模態(tài)數(shù)據(jù)中的信息映射至另一模態(tài)。例如，給定一幅圖像，通過(guò)機(jī)器學(xué)習(xí)得到這副圖像的描述，或者給定一段文字，生成一幅匹配的圖像。類(lèi)似于“看圖說(shuō)話(huà)”和“以題作畫(huà)”。
3) 多模態(tài)對(duì)齊，主要研究如何識(shí)別不同模態(tài)之間的部件、元素的對(duì)應(yīng)關(guān)系，以促進(jìn)學(xué)習(xí)到的多模態(tài)表示更加精確，例如將電影畫(huà)面、口型、語(yǔ)音、字幕的自動(dòng)對(duì)齊。

多模態(tài)學(xué)習(xí)，正在豐富哪些應(yīng)用場(chǎng)景？
1) 在語(yǔ)音交互上，“多模態(tài)深度語(yǔ)義理解”技術(shù)正在為其帶來(lái)更深度的應(yīng)用場(chǎng)景。
? 比如，其中一個(gè)應(yīng)用場(chǎng)景是智能汽車(chē)的數(shù)字座艙，正在從原本單一的車(chē)載語(yǔ)音識(shí)別，實(shí)現(xiàn)融合視覺(jué)、語(yǔ)音、車(chē)內(nèi)外場(chǎng)景圖像的多模態(tài)識(shí)別的轉(zhuǎn)變。
2) 在以機(jī)器視覺(jué)為主的應(yīng)用中，多模態(tài)學(xué)習(xí)技術(shù)也帶來(lái)新的應(yīng)用可能。
? 以電商平臺(tái)購(gòu)物為例，用戶(hù)的一大痛點(diǎn)就是看到一些“心水”的好物或者同款，但不知道名字，通過(guò)拍照識(shí)別和檢索，將為用戶(hù)提供最便捷的推薦服務(wù)。
3) 在傳感器智能上，多模態(tài)識(shí)別技術(shù)可以應(yīng)用到大量的物聯(lián)網(wǎng)設(shè)備場(chǎng)景中。
? 比如在智能空調(diào)中，加入語(yǔ)音交互、視覺(jué)識(shí)別指令，結(jié)合傳感器判斷屋內(nèi)溫度和濕度，可以根據(jù)屋內(nèi)人數(shù)、位置等因素來(lái)實(shí)現(xiàn)更精準(zhǔn)的控溫方案。

技術(shù)尚在中途，未來(lái)仍需努力
1) 不過(guò)，我們?nèi)匀恍枰赋龅氖牵M管多模態(tài)學(xué)習(xí)技術(shù)已經(jīng)有諸多的應(yīng)用場(chǎng)景，但其技術(shù)實(shí)現(xiàn)仍然有諸多不足，也會(huì)有一些場(chǎng)景仍然是“偽多模態(tài)”的技術(shù)應(yīng)用狀態(tài)，導(dǎo)致一些場(chǎng)景體驗(yàn)仍然不能“盡如人意”。
2) 多模態(tài)技術(shù)距離真正的人類(lèi)級(jí)別的智能還有質(zhì)的差別。多模態(tài)技術(shù)仍處在“襁褓狀態(tài)”，我們應(yīng)該留給它足夠長(zhǎng)的成長(zhǎng)時(shí)間，等待美好發(fā)生。