多模態(tài)深度學(xué)習(xí)是一個(gè)相對(duì)較新的領(lǐng)域，它關(guān)注從多模態(tài)數(shù)據(jù)中學(xué)習(xí)的算法。例如，人類可以同時(shí)通過(guò)視覺(jué)和聽(tīng)覺(jué)來(lái)識(shí)別人或物體，而多模態(tài)深度學(xué)習(xí)關(guān)注的是為計(jì)算機(jī)開(kāi)發(fā)類似的能力，讓模型也能同時(shí)處理來(lái)自不同模態(tài)的輸入。

跨模態(tài)深度學(xué)習(xí)是一種多模態(tài)深度學(xué)習(xí)的方法，可以使用跨模態(tài)深度學(xué)習(xí)來(lái)學(xué)習(xí)跨越不同模態(tài)的關(guān)系，比如學(xué)習(xí)聲音和文本之間的關(guān)系，圖像和文本之間的關(guān)系。

多模態(tài)深度學(xué)習(xí)是將多種不同的模態(tài)作為輸入來(lái)訓(xùn)練模型，而跨模態(tài)深度學(xué)習(xí)則是學(xué)習(xí)跨越不同模態(tài)的關(guān)系?！岸嗄B(tài)”指用于多模態(tài)數(shù)據(jù)的 AI 系統(tǒng)，當(dāng)狹義地指集成不同模式并將它們一起使用的 AI 系統(tǒng)時(shí)，“跨模態(tài)”則更為準(zhǔn)確。

多模態(tài)深度學(xué)習(xí)應(yīng)用

多模態(tài)深度學(xué)習(xí)有著廣泛的應(yīng)用，以下是已經(jīng)可用的應(yīng)用：

● 自動(dòng)生成圖像的文本描述，為圖像自動(dòng)生成語(yǔ)言描述，例如盲人字幕。

●?搜索與文本匹配的圖像，例如“找一張藍(lán)色狗的圖片”。

●?文本生成圖像，利用文本描述創(chuàng)作圖像的生成式藝術(shù)系統(tǒng)，例如，創(chuàng)作一張藍(lán)色狗的圖片。

?