本文翻譯自?Multimodal Models and Computer Vision: A Deep Dive?

近年來，機器學(xué)習(xí)領(lǐng)域在不同的問題類型上取得了重大進展，從圖像識別到自然語言處理。

然而，大多數(shù)這些模型都是基于單一模態(tài)的數(shù)據(jù)，如圖像、文本或語音。相比之下，現(xiàn)實世界的數(shù)據(jù)往往來自多種模態(tài)，如圖像和文本、視頻和音頻或來自多個來源的傳感器數(shù)據(jù)。

為了應(yīng)對這一挑戰(zhàn)，研究人員開發(fā)了多模態(tài)機器學(xué)習(xí)模型，能夠處理來自多種模態(tài)的數(shù)據(jù)，為智能系統(tǒng)帶來新的可能性。

在這篇博客文章中，我們將探討多模態(tài)機器學(xué)習(xí)的挑戰(zhàn)和機遇，并討論用于解決多模態(tài)計算機視覺問題的不同架構(gòu)和技術(shù)。

什么是多模態(tài)深度學(xué)習(xí)？

多模態(tài)深度學(xué)習(xí)是深度學(xué)習(xí)的一個子集，它涉及到對來自多種模態(tài)（如文本、圖像、視頻、音頻和傳感器數(shù)據(jù)）的數(shù)據(jù)進行融合和分析。多模態(tài)深度學(xué)習(xí)結(jié)合了不同模態(tài)的優(yōu)勢，創(chuàng)建了一個更完整的數(shù)據(jù)表示，從而提高了各種機器學(xué)習(xí)任務(wù)的性能。

傳統(tǒng)上，機器學(xué)習(xí)模型被設(shè)計為處理來自單一模態(tài)的數(shù)據(jù)，如圖像分類或語音識別。然而，在現(xiàn)實世界中，數(shù)據(jù)往往來自多個來源和模態(tài)，使得數(shù)據(jù)更加復(fù)雜和難以分析。多模態(tài)深度學(xué)習(xí)旨在克服這一挑戰(zhàn)，通過整合來自不同模態(tài)的信息，生成更準確和信息豐富的模型。

多模態(tài)深度學(xué)習(xí)的目標(biāo)是什么？

多模態(tài)深度學(xué)習(xí)的主要目標(biāo)是創(chuàng)建一個共享表示空間，能夠有效地捕捉來自不同模態(tài)的互補信息。這種共享表示可以用于執(zhí)行各種任務(wù)，如圖像描述、語音識別和自然語言處理。

多模態(tài)深度學(xué)習(xí)模型通常由多個神經(jīng)網(wǎng)絡(luò)組成，每個神經(jīng)網(wǎng)絡(luò)專門用于分析特定的模態(tài)。這些網(wǎng)絡(luò)的輸出然后通過各種融合技術(shù)（如早期融合、后期融合或混合融合）組合起來，創(chuàng)建一個聯(lián)合數(shù)據(jù)表示。

早期融合涉及將來自不同模態(tài)的原始數(shù)據(jù)拼接成一個單一的輸入向量，并將其輸入到網(wǎng)絡(luò)中。后期融合則涉及為每個模態(tài)訓(xùn)練單獨的網(wǎng)絡(luò)，然后在后期階段組合它們的輸出。混合融合則結(jié)合了早期和后期融合的元素，創(chuàng)建一個更靈活和適應(yīng)性強的模型。

多模態(tài)學(xué)習(xí)是如何工作的？

多模態(tài)深度學(xué)習(xí)模型通常由多個單一模態(tài)神經(jīng)網(wǎng)絡(luò)組成，它們分別處理每個輸入模態(tài)。例如，一個音頻視覺模型可能有兩個單一模態(tài)網(wǎng)絡(luò)，一個用于音頻，另一個用于視覺數(shù)據(jù)。這種對每個模態(tài)的單獨處理被稱為編碼。

一旦完成了單一模態(tài)編碼，就必須將從每個模態(tài)提取的信息進行整合或融合。有多種融合技術(shù)可供選擇，從簡單的拼接到注意力機制。多模態(tài)數(shù)據(jù)融合是這些模型成功的關(guān)鍵因素。最后，一個“決策”網(wǎng)絡(luò)接受融合后的編碼信息，并針對手頭的任務(wù)進行訓(xùn)練。

一般來說，多模態(tài)架構(gòu)由三部分組成：

單一模態(tài)編碼器對單個模態(tài)進行編碼。通常，每個輸入模態(tài)都有一個。 一個融合網(wǎng)絡(luò)，它將在編碼階段從每個輸入模態(tài)提取的特征組合起來。 一個分類器，它接受融合后的數(shù)據(jù)并做出預(yù)測。

Pictured: A general multimodal workflow. It involves several unimodal neural networks (three in this case) to independently encode various input modalities. The extracted features are then combined using a fusion module. Finally, the fused features are fed into a classification network to make the prediction.

編碼階段

編碼器從每個模態(tài)的輸入數(shù)據(jù)中提取特征，并將它們轉(zhuǎn)換為一個通用的表示，可以被模型后續(xù)的層處理。編碼器通常由多層神經(jīng)網(wǎng)絡(luò)組成，它們使用非線性變換從輸入數(shù)據(jù)中提取越來越抽象的特征。

編碼器的輸入可以由來自多個模態(tài)的數(shù)據(jù)組成，如圖像、音頻和文本，它們通常被分別處理。每個模態(tài)都有自己的編碼器，將輸入數(shù)據(jù)轉(zhuǎn)換為一組特征向量。然后將每個編碼器的輸出組合成一個單一的表示，捕捉每個模態(tài)的相關(guān)信息。

組合各個編碼器輸出的一種流行方法是將它們拼接成一個單一的向量。另一種方法是使用注意力機制來根據(jù)它們對任務(wù)的相關(guān)性來權(quán)衡每個模態(tài)的貢獻。

編碼器的總體目標(biāo)是捕捉多個模態(tài)的輸入數(shù)據(jù)之間的潛在結(jié)構(gòu)和關(guān)系，使模型能夠根據(jù)這種多模態(tài)輸入做出更準確的預(yù)測或生成新的輸出。

模塊融合

融合模塊將來自不同模態(tài)（如文本、圖像、音頻）的信息組合成一個單一的表示，可以用于下游任務(wù)，如分類、回歸或生成。融合模塊可以根據(jù)具體的架構(gòu)和任務(wù)采取不同的形式。

一種常見的方法是使用加權(quán)和對各個模態(tài)的特征進行融合，其中權(quán)重在訓(xùn)練過程中學(xué)習(xí)。另一種方法是將各個模態(tài)的特征拼接起來，并通過一個神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)一個聯(lián)合表示。

在某些情況下，可以使用注意力機制來學(xué)習(xí)在每個時間步應(yīng)該關(guān)注哪個模態(tài)。

無論具體實現(xiàn)如何，融合模塊的目標(biāo)是捕捉不同模態(tài)之間的互補信息，并創(chuàng)建一個更穩(wěn)健和信息豐富的表示用于下游任務(wù)。這在諸如視頻分析之類的應(yīng)用中尤為重要，其中結(jié)合視覺和音頻線索可以大大提高性能。

分類

分類模塊接收融合模塊生成的聯(lián)合表示，并使用它來做出預(yù)測或決策。分類模塊的具體架構(gòu)和方法可以根據(jù)任務(wù)和處理的數(shù)據(jù)類型而有所不同。

在許多情況下，分類模塊采用神經(jīng)網(wǎng)絡(luò)的形式，其中聯(lián)合表示通過一個或多個全連接層傳遞，然后做出最終的預(yù)測。這些層可以包括非線性激活函數(shù)、dropout和其他技術(shù)，以幫助防止過擬合和提高泛化性能。

分類模塊的輸出取決于具體的任務(wù)。例如，在一個多模態(tài)情感分析任務(wù)中，輸出將是一個二元決策，指示文本和圖像輸入是積極的還是消極的。在一個多模態(tài)圖像描述任務(wù)中，輸出可能是一個描述圖像內(nèi)容的句子。

分類模塊通常使用監(jiān)督學(xué)習(xí)的方法進行訓(xùn)練，其中輸入模態(tài)及其相應(yīng)的標(biāo)簽或目標(biāo)用于優(yōu)化模型的參數(shù)。這種優(yōu)化通常使用基于梯度的優(yōu)化方法，如隨機梯度下降或其變體。

總之，分類模塊在多模態(tài)深度學(xué)習(xí)中起著關(guān)鍵的作用，它利用融合模塊生成的聯(lián)合表示來做出有根據(jù)的決策或預(yù)測。

多模態(tài)學(xué)習(xí)在計算機視覺中的應(yīng)用

近年來，多模態(tài)學(xué)習(xí)已經(jīng)成為一種有前途的方法，通過結(jié)合來自多種模態(tài)（如圖像、文本和語音）的信息來解決復(fù)雜的計算機視覺任務(wù)。

這種方法在以下幾個領(lǐng)域取得了重大進展：

視覺問答； 文本到圖像生成； 視覺推理的自然語言。 在本節(jié)中，我們將探討多模態(tài)學(xué)習(xí)模型如何革新了計算機視覺，并使之能夠在以前看似不可能的挑戰(zhàn)性任務(wù)中取得令人印象深刻的結(jié)果。具體來說，我們將深入了解計算機視覺領(lǐng)域三種流行的多模態(tài)架構(gòu)的應(yīng)用：視覺問答（VQA）、文本到圖像生成和視覺推理的自然語言（NLVR）。

+++

構(gòu)建多模態(tài)模型架構(gòu)的挑戰(zhàn)

多模態(tài)深度學(xué)習(xí)革新了我們處理復(fù)雜數(shù)據(jù)分析任務(wù)的方式，例如圖像和語音識別。然而，處理來自多種模態(tài)的數(shù)據(jù)也帶來了獨特的挑戰(zhàn)，必須解決才能達到最佳性能。

在本節(jié)中，我們將討論與多模態(tài)深度學(xué)習(xí)相關(guān)的一些關(guān)鍵挑戰(zhàn)。

對齊

對齊是指確保來自不同模態(tài)的數(shù)據(jù)在時間、空間或其他相關(guān)維度上同步或?qū)R的過程。模態(tài)之間缺乏對齊會導(dǎo)致不一致或不完整的表示，從而對模型的性能產(chǎn)生負面影響。

在模態(tài)之間存在時間或來源差異的場景中，對齊尤其具有挑戰(zhàn)性。一個對齊難以解決的典型例子是視頻分析。由于數(shù)據(jù)采集過程引入的延遲，將音頻與視覺信息對齊可能很困難。同樣，在語音識別中，由于說話速率、口音和背景噪音的變化，將音頻與相應(yīng)的轉(zhuǎn)錄對齊也很困難。

為了解決多模態(tài)機器學(xué)習(xí)模型中的對齊問題，提出了一些技術(shù)。例如，可以使用時間對齊方法來對齊數(shù)據(jù)，通過估計模態(tài)之間的時間偏移?？臻g對齊方法可以用來在空間上對齊數(shù)據(jù)，通過識別不同模態(tài)中相應(yīng)的點或特征。

此外，還可以使用深度學(xué)習(xí)技術(shù)，如注意力機制，在模型訓(xùn)練過程中自動對齊數(shù)據(jù)。然而，每種對齊技術(shù)都有其優(yōu)勢和局限性，選擇哪種對齊方法取決于具體問題和數(shù)據(jù)的特征。

共學(xué)習(xí)

共學(xué)習(xí)涉及到從多個模態(tài)共同學(xué)習(xí)，以提高模型的性能。在共學(xué)習(xí)中，模型從不同模態(tài)之間的相關(guān)性和依賴性中學(xué)習(xí)，從而產(chǎn)生一個更穩(wěn)健和準確的數(shù)據(jù)表示。

共學(xué)習(xí)需要設(shè)計能夠處理不同模態(tài)數(shù)據(jù)的異質(zhì)性和可變性的模型，同時也要識別可以跨模態(tài)共享的相關(guān)信息。這是具有挑戰(zhàn)性的。此外，共學(xué)習(xí)可能導(dǎo)致負向遷移問題，即從一個模態(tài)學(xué)習(xí)會影響另一個模態(tài)上模型的性能。

為了解決多模態(tài)機器學(xué)習(xí)模型中的共學(xué)習(xí)問題，提出了一些技術(shù)。一種方法是使用聯(lián)合表示學(xué)習(xí)方法，如深度典型相關(guān)分析（DCCA）或跨模態(tài)深度度量學(xué)習(xí)（CDML），它們旨在學(xué)習(xí)一個捕捉模態(tài)之間相關(guān)性的共享表示。另一種方法是使用注意力機制，可以動態(tài)地分配模型資源給最有信息量的模態(tài)或特征。

共學(xué)習(xí)仍然是多模態(tài)機器學(xué)習(xí)中一個活躍的研究領(lǐng)域，并且有許多待解決的問題和挑戰(zhàn)，例如如何處理缺失的模態(tài)或如何將先驗知識納入學(xué)習(xí)過程中。

翻譯

翻譯涉及將數(shù)據(jù)從一種模態(tài)或語言轉(zhuǎn)換為另一種。例如，將語音翻譯為文本，文本翻譯為語音，或圖像翻譯為文本。

需要翻譯的多模態(tài)機器學(xué)習(xí)模型必須考慮到源語言或模態(tài)與目標(biāo)語言或模態(tài)之間的結(jié)構(gòu)、語法和語義的差異。此外，它們還必須能夠處理輸入數(shù)據(jù)的可變性，例如不同的口音或方言，并根據(jù)輸入的上下文進行適應(yīng)。

解決多模態(tài)機器學(xué)習(xí)模型中的翻譯問題有幾種方法。一種常見的方法是使用神經(jīng)機器翻譯（NMT）模型，它們在將文本從一種語言翻譯為另一種語言方面取得了巨大的成功。NMT模型也可以用來將語音翻譯為文本或反之，通過在成對的音頻-文本數(shù)據(jù)上進行訓(xùn)練。另一種方法是使用多模態(tài)模型，它們可以學(xué)習(xí)將數(shù)據(jù)從一種模態(tài)映射到另一種，例如圖像到文本或語音到文本的翻譯。

然而，在模態(tài)或語言之間進行翻譯是一項具有挑戰(zhàn)性的任務(wù)。翻譯模型的性能很大程度上取決于訓(xùn)練數(shù)據(jù)的質(zhì)量和數(shù)量、任務(wù)的復(fù)雜性以及計算資源的可用性。

融合

融合涉及將來自不同模態(tài)的信息組合起來做出決策或預(yù)測。有不同的方式來融合數(shù)據(jù)，包括早期融合、后期融合和混合融合。

早期融合涉及將來自不同模態(tài)的原始數(shù)據(jù)在輸入層級進行組合。這種方法需要對齊和預(yù)處理數(shù)據(jù)，這可能由于數(shù)據(jù)格式、分辨率和大小的差異而具有挑戰(zhàn)性。

后期融合則涉及分別處理每個模態(tài)，然后在后期階段組合輸出。這種方法可以更好地應(yīng)對數(shù)據(jù)格式和模態(tài)之間的差異，但也可能導(dǎo)致重要信息的丟失。

混合融合是早期和后期融合方法的結(jié)合，其中一些模態(tài)在輸入層級進行融合，而其他模態(tài)在后期階段進行融合。

選擇適當(dāng)?shù)娜诤戏椒▽τ诙嗄B(tài)機器學(xué)習(xí)模型的成功至關(guān)重要。融合方法必須根據(jù)具體問題和數(shù)據(jù)的特征進行定制。此外，融合方法必須設(shè)計成保留每個模態(tài)最相關(guān)信息并避免引入噪聲或無關(guān)信息。

結(jié)論

多模態(tài)深度學(xué)習(xí)是一個令人興奮且快速發(fā)展的領(lǐng)域，它為推進計算機視覺和其他人工智能領(lǐng)域提供了巨大的潛力。

通過整合多種模態(tài)，包括視覺、文本和聽覺信息，多模態(tài)學(xué)習(xí)使機器能夠以人類曾經(jīng)只能實現(xiàn)的方式感知和解釋周圍的世界。

在這篇文章中，我們重點介紹了多模態(tài)學(xué)習(xí)在計算機視覺中的三個關(guān)鍵應(yīng)用：視覺問答、文本到圖像生成和視覺推理的自然語言。

雖然多模態(tài)學(xué)習(xí)存在一些挑戰(zhàn)，包括需要大量的訓(xùn)練數(shù)據(jù)和從多種模態(tài)融合信息的困難，但深度學(xué)習(xí)模型的最新進展已經(jīng)在一系列任務(wù)中取得了顯著的性能提升。