近日，第48屆IEEE聲學、語音與信號處理國際會議(IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP 2023) 公布了論文入選名單，聯(lián)想研究院人工智能實驗室論文——《基于多尺度神經(jīng)網(wǎng)絡的可解釋格蘭杰因果發(fā)現(xiàn)》（Interpretable Multi-scale Neural Network for Granger Causality Discovery）和《基于因果不變性變換的長尾識別方法》（Long-tailed Recognition with Causal Invariant Transformation）被大會接收。

ICASSP是全世界最大的、也是最全面的信號處理及其應用方面的頂級學術會議，具有權威、廣泛的學界及工業(yè)界影響力，備受AI領域研究學者關注。此次入選，展示了聯(lián)想在因果推斷領域的技術實力。

▍Paper 01

《基于多尺度神經(jīng)網(wǎng)絡的可解釋格蘭杰因果發(fā)現(xiàn)》

Interpretable Multi-scale Neural Network for Granger Causality Discovery

多元時間序列廣泛存在于自然、醫(yī)學、工業(yè)等多個領域的系統(tǒng)中，變量之間的關聯(lián)關系十分復雜。例如在大型控制系統(tǒng)中，設備節(jié)點數(shù)量多、類型多樣，具有多層級性，因此各個設備的狀態(tài)序列之間關聯(lián)關系極其復雜。隨著數(shù)據(jù)的規(guī)模和維度的不斷增長，冗余和無關變量的存在將會掩蓋重要變量的作用，從而影響到對整個系統(tǒng)的分析以及合理決策的制定。因此，基于大量觀察數(shù)據(jù)，挖掘變量之間的因果關系，即因果發(fā)現(xiàn)，對于整個系統(tǒng)的控制和決策具有十分重要的意義。傳統(tǒng)的相關性分析只能獲取觀測數(shù)據(jù)中的后驗性信息，表明兩個變量傾向于一起變動，而不能確定是由于隨機偶然的結果，還是受到其他潛在變量的影響。而因果關系則是一種本質的、穩(wěn)定的關系，只有完全挖掘出變量之間的因果關系，才能更好地對某種結果現(xiàn)象進行歸因分析，或者基于預期目標制定出相應的策略。

在不考慮瞬時因果效應，并將全部相關變量都考慮在內(nèi)的前提下，格蘭杰因果(Granger Causality, GC)是一種用于序列數(shù)據(jù)因果發(fā)現(xiàn)的常用框架。最近的研究方法主要借助神經(jīng)網(wǎng)絡進行因果發(fā)現(xiàn)，其網(wǎng)絡架構可以分成兩大類，一類是基于某條目標序列對其原因變量進行分析，另一類是基于每個時延下、所有序列間的因果關系進行挖掘。相較而言，后者可以更好地提取多條序列之間的因果結構，但是當前的方法仍然需要將輸入數(shù)據(jù)按照時延進行顯式分割，這樣會導致數(shù)據(jù)的使用不充分。

因此，在本篇論文中，我們提出了一種用于格蘭杰因果發(fā)現(xiàn)的多尺度神經(jīng)網(wǎng)絡框架，可以有效地解決現(xiàn)有方法中存在的問題，實現(xiàn)更高效的數(shù)據(jù)使用。為了提升因果關系的可解釋性，我們還提出了一種基于因果一致性的閾值算法，實現(xiàn)二值因果結構的輸出；提出一種效應符號檢測方法，為每條因果關系對的因果效應進行正向或者負向的判別；還提出了一種自適應的時延發(fā)現(xiàn)算法，識別出每條因果關系對的效應滯后時間點。通過多個基準數(shù)據(jù)集(Lorenz 96, Lotka-Volterra, VAR)的實驗驗證，我們的方法表現(xiàn)優(yōu)于當前SOTA方法。

在這篇論文中，我們提出的多尺度神經(jīng)網(wǎng)絡框架如圖1所示，每個分支分別使用不同窗口尺度下的歷史數(shù)據(jù)作為輸入，這種分支間的增量變化避免了不同時延下的顯式數(shù)據(jù)分割，從而可以充分利用數(shù)據(jù)，提高數(shù)據(jù)的使用效率。每個分支可以從不同的時域感受野中提取多樣的因果信息，并利用可學習的權值將它們有效地融合，從而提升模型輸出的加權鄰接矩陣(weighted adjacency matrix)的準確性，為后續(xù)的因果推理模塊提供可靠的輸入。

為了更直接地反映變量之間是否存在因果關系，我們提出了一種基于因果一致性的閾值算法，將模型輸出的加權鄰接矩陣轉換為二值的因果結構矩陣。通過對原始數(shù)據(jù)結果和時間反轉格蘭杰因果(Time-reversed Granger Causality, TRGC)在不同閾值下的因果一致性進行評估，從而確定出具有最高一致性的閾值。與現(xiàn)有方法相比，我們不僅使用了均衡準確率(balanced accuracy)對取閾值后的二值因果結構進行比較，還使用了Levenshtein距離對因果強度值之間的一致性進行對比，從而更全面地進行評估。實驗結果表明，基于此方法的二值因果結構估計，其準確率比基準方法有明顯提升。

對于識別出的因果關系對，我們基于多個時延下的平均因果效應強度，可以準確地判斷出正向或負向的因果效應。此外，對因果時延的識別能夠幫助我們更好地理解因果作用，從而制定更加精準的決策方案。為了解決這一問題，我們提出了一種自適應的時延發(fā)現(xiàn)算法，基于每條因果對多個時延下的因果效應強度值，識別出其中對當前時刻具有因果效應的時延點。與現(xiàn)有方法相比，我們無需預先設定時延點總數(shù)，完全由數(shù)據(jù)驅動，更加符合實際場景，也具有更高的識別準確性。

▍Paper 02

《基于因果不變性變換的長尾識別方法》

Long-tailed Recognition with Causal Invariant Transformation

標準識別模型的假設是所有感興趣的類在訓練數(shù)據(jù)集中都有同等的表示，這種假設通常表現(xiàn)為訓練數(shù)據(jù)集是從各個類別中均勻采樣的。然而，在現(xiàn)實世界中，數(shù)據(jù)集通常表現(xiàn)為長尾分布，即頭部類別的樣本數(shù)量遠遠大于尾部類別的樣本數(shù)量，如圖2所示，這種分布在許多領域，尤其是計算機視覺領域中普遍存在。在這種情況下，標準識別模型可能會出現(xiàn)問題，因為頭部類別的樣本數(shù)量更多，因此模型在訓練過程中更多地關注頭部類別，而忽略了尾部類別，從而導致標準模型在尾部類別上的識別率表現(xiàn)不佳。

為解決長尾識別問題，研究者們已經(jīng)提出了許多方法，大致可以分為重采樣法、重加權法、遷移學習法、集成法和分組法等。重采樣技術是對訓練數(shù)據(jù)進行重新采樣，以實現(xiàn)更均衡的數(shù)據(jù)分布，例如對稀有類進行過度采樣，對常見類進行欠采樣。重加權方法為每個類別或每個樣本的不同訓練樣本賦予不同損失，目的是修改它們的梯度，使類別不平衡的數(shù)據(jù)適當?shù)赜兄谀Ｐ陀柧?。遷移學習策略將從頭部類中學習到的特征表示遷移到尾部類中，以補償尾部類訓練樣本的局限性，并鼓勵它們具有與頭部類相似的數(shù)據(jù)分布。集成方法則使用多個專家分支，每個分支學習專攻不同的類。盡管這些方法已經(jīng)產(chǎn)生了令人鼓舞的結果，但他們只是試圖模擬數(shù)據(jù)和標簽之間的統(tǒng)計關系，以彌補與數(shù)據(jù)相關的不平衡問題，而沒有從圖像生成的因果機制角度出發(fā)來解決長尾數(shù)據(jù)識別問題。

在本論文中我們構建了一個圖像識別的結構因果模型來挖掘數(shù)據(jù)與標簽之間內(nèi)在的因果機制。我們假設每個輸入圖像都是由高級因果(語義)特征和低級非因果(非語義)特征混合構造，只有因果特征對類別標簽產(chǎn)生因果影響，如圖3所示。針對長尾數(shù)據(jù)，我們提出了一種基于因果不變性變換的長尾識別算法(Causal Invariant Transformation algorithm for Long-tailed recognition, CITL)，該算法包括基于傅里葉變換的因果干預模塊和對比一致性學習模塊，通過因果干預模塊我們豐富尾部類的數(shù)據(jù)以避免模型對其過擬合，而對比一致性損失強制學習的表示僅保留因果特征。

CITL的目標是從原始圖像中提取出因果特征，然后重建不變的因果機制，這可以通過因果干預來完成：對于每個原始輸入，都存在一組具有相同和各種不同的反事實樣本，它們都對應相同的（因為他們都有著相同的）。傅里葉變換中傅里葉頻譜的相位分量保留了高級語義信息，而振幅分量包含了低級統(tǒng)計信息，受此啟發(fā)因果干預模塊我們基于傅里葉變換在保持相位信息不變的情況下擾動振幅信息以達到對進行干預的目的，如圖3所示。

在上述基于傅里葉變換的因果干預模塊中對于的干預是不影響和的因果關系的，這隱含地要求從原始輸入和反事實中學習到的表示是不變的，只有這樣分類器才能得到一致的預測標簽。為了顯式約束這種不變性，我們明確地定義了和的對比一致性損失。具體地說，我們使用最后一層特征來定義干預過程中的因果不變量，并用余弦相似度來衡量兩者之間的差異性，最后通過最小化分類器的分類損失和對比一致性損失來保證學習到的特征在消除非因果特征的同時僅保留因果特征。

大量實驗表明，在CIFAR10-LT, CIFAR100-LT和ImageNet-LT 3個常用數(shù)據(jù)集上，新方法的識別準確率都超過了當前的SOTA方法。

▍結語

近年來，人工智能產(chǎn)業(yè)落地加速，但數(shù)據(jù)質量和算法模型可解釋性仍是實際應用的障礙。特別是在金融、工業(yè)、醫(yī)療等領域，場景復雜、數(shù)據(jù)質量參差不齊，導致模型穩(wěn)定性不足和用戶難以信任其輸出結果。

因果推斷與人工智能結合，不僅能提高算法模型的場景適應性，還可幫助用戶理解模型的決策過程，提高其有效性。這將有助于縮小研究與應用之間的差距，促進先進的人工智能技術在商業(yè)領域的應用。

（關注我們的微信公眾號：ML OR 智能決策。分享更多干貨，歡迎交流~）