多模態(tài)融合基礎(chǔ)問題及算法

數(shù)據(jù)維度越來越高，數(shù)據(jù)種類越來越多

多傳感器機(jī)器人

多視圖機(jī)器學(xué)習(xí)是多源信息融合的關(guān)鍵技術(shù)基礎(chǔ)，其研究水平直接關(guān)系到人工智能在眾多重要領(lǐng)域的應(yīng)用效果

多模態(tài)融合的主要目標(biāo)：利用多源信息有效發(fā)現(xiàn)潛在模式

多視圖往往可以為數(shù)據(jù)分析任務(wù)提供更為充分的信息

進(jìn)行模式識(shí)別，分類，聚類本質(zhì)上，得到真正的數(shù)據(jù)，我們得到的數(shù)據(jù)分布方法是不同視圖的

多模態(tài)數(shù)據(jù)融合策略，

首先一致性，

多模態(tài)數(shù)據(jù)高階張量模型

張量方法，方法很好

互補(bǔ)性

主動(dòng)增強(qiáng)

兼容性

為什么要兼容性

實(shí)際應(yīng)用中模態(tài)缺失，不對(duì)齊

多模態(tài)數(shù)據(jù)缺失情況比較復(fù)雜

用最簡(jiǎn)潔的形式表示最全面的信息

條件獨(dú)立性是一種簡(jiǎn)化

概率模型轉(zhuǎn)化為能量模型

通過兩個(gè)方面增強(qiáng)模型泛化性能：信息完備性、表示結(jié)構(gòu)性（簡(jiǎn)單歸納偏置）

缺失模態(tài)過濾

模態(tài)補(bǔ)全，面向缺失模態(tài)的生成對(duì)抗模型

根據(jù)約束分布近似：對(duì)多視圖編碼進(jìn)行合理化約束，達(dá)到完備且合理

最近鄰補(bǔ)全

可視化表示

聚類程度越高越好

使用隱表示模型，解決數(shù)據(jù)復(fù)雜缺失

使用結(jié)構(gòu)化表示模型，解決CT影像多特征融合分類

多模態(tài)融合理論分析較少

多模態(tài)融合的可解釋性較弱