Title: Multilingual Evidence Retrieval and Fact Veri?cation to Combat Global

• 本文研究了多語種證據(jù)檢索和事實驗證作為打擊全球虛假信息的一種方法，旨在構(gòu)建多語種系統(tǒng)，以檢索證據(jù)豐富的語言來驗證證據(jù)貧乏的常被虛假信息攻擊的語言。通過構(gòu)建EnmBERT事實驗證系統(tǒng)，證明了遷移學(xué)習(xí)的能力，并提供了一個包含400個英語-羅馬尼亞語混合數(shù)據(jù)集，用于跨語言遷移學(xué)習(xí)評估。

背景信息:

• 論文背景: 近年來，COVID-19疫情導(dǎo)致了虛假新聞和陰謀論的泛濫，基于證據(jù)的事實驗證已被研究作為對抗虛假新聞和虛假信息的武器。然而，某些語言更具有證據(jù)豐富性，而另一些語言則更容易成為虛假信息的目標(biāo)。

• 過去方案: 過去的研究主要關(guān)注社交媒體平臺上與選舉相關(guān)的虛假信息活動，以及利用預(yù)訓(xùn)練的語言模型進行多語種自然語言處理任務(wù)的最新進展。此外，基于事實的聲明驗證被構(gòu)建為自然語言推理任務(wù)，通過從維基百科文檔中檢索證據(jù)并預(yù)測驗證狀態(tài)來驗證聲明。

• 論文的Motivation: 本研究的動機在于構(gòu)建多語種系統(tǒng)，利用證據(jù)豐富的語言來驗證證據(jù)貧乏的語言中的聲明，以打擊全球虛假信息。通過遷移學(xué)習(xí)和跨語言數(shù)據(jù)集的評估，證明了EnmBERT事實驗證系統(tǒng)的有效性。

方法:

• a. 理論背景:

• 本文討論了多語言證據(jù)檢索和事實驗證在對抗全球虛假信息中的重要性。目標(biāo)是構(gòu)建多語言系統(tǒng)，能夠在證據(jù)豐富的語言中檢索證據(jù)，并將其用于驗證受到虛假信息攻擊但證據(jù)有限的語言中的主張。文章介紹了EnmBERT事實驗證系統(tǒng)作為遷移學(xué)習(xí)能力的示例，并提供了一個包含400個混合英語-羅馬尼亞語示例的數(shù)據(jù)集，用于跨語言遷移學(xué)習(xí)評估。

• b. 技術(shù)路線:

• 本文提出了一個用于多語言證據(jù)檢索和事實驗證的流水線系統(tǒng)。該系統(tǒng)由多語言證據(jù)檢索組件和多語言事實驗證組件組成。使用一種特定的實體鏈接系統(tǒng)，基于命名實體識別，在不同語言中檢索相關(guān)的維基百科文檔。然后使用檢索到的文檔進行句子選擇，并使用經(jīng)過微調(diào)的模型進行事實驗證。系統(tǒng)輸出按照預(yù)測成功概率對證據(jù)句子-主張對進行排名。

• 這篇論文的模型的工作流程大致如下：

  首先，作者提出了一個基于mBERT的多語言事實驗證系統(tǒng)，稱為EnmBERT，它可以在沒有人工翻譯的情況下，利用英語作為橋梁語言，從其他語言檢索證據(jù)來驗證事實。

  其次，作者設(shè)計了一個由兩個組件組成的系統(tǒng)：一個多語言證據(jù)檢索組件和一個多語言事實驗證組件。

  多語言證據(jù)檢索組件的任務(wù)是根據(jù)輸入的說法，從不同語言的維基百科中檢索出最相關(guān)的證據(jù)句子1。為了實現(xiàn)這一目標(biāo)，作者使用了一個基于實體鏈接的文檔檢索方法和一個基于mBERT的句子選擇模型。

  多語言事實驗證組件的任務(wù)是根據(jù)檢索到的證據(jù)句子和說法之間的關(guān)系，給出一個三分類的標(biāo)簽（支持、反駁或無關(guān)）。為了實現(xiàn)這一目標(biāo)，作者使用了一個基于mBERT的自然語言推理模型，并且根據(jù)一些邏輯規(guī)則來聚合多個證據(jù)句子的預(yù)測結(jié)果12。

  最后，作者在英語-羅馬尼亞語的事實驗證任務(wù)上評估了EnmBERT的性能和遷移學(xué)習(xí)能力，并且提供了一個包含400個混合英語-羅馬尼亞語樣本的數(shù)據(jù)集，用于跨語言遷移學(xué)習(xí)評估。

  
  

結(jié)果:

• a. 詳細(xì)的實驗設(shè)置:

• 通過在原始FEVER數(shù)據(jù)集上使用官方FEVER分?jǐn)?shù)，將多語言事實驗證系統(tǒng)的性能與僅英語系統(tǒng)進行比較。文章還評估了訓(xùn)練的驗證模型在英語-羅馬尼亞語翻譯數(shù)據(jù)集上的遷移學(xué)習(xí)能力。

• b. 詳細(xì)的實驗結(jié)果:

• EnmBERT系統(tǒng)在公平的FEVER開發(fā)集上實現(xiàn)了64.62%的驗證準(zhǔn)確率（LA-3），與僅英語的基于BERT的系統(tǒng)的準(zhǔn)確率相差不超過5%。它還實現(xiàn)了88.60%的證據(jù)召回率，比其他僅英語系統(tǒng)更好，但與僅英語的KGAT系統(tǒng)相差不超過5%。EnRomBERT系統(tǒng)也表現(xiàn)良好，在公平的開發(fā)集上達到了與僅英語FEVER-2最新準(zhǔn)確率相差不超過5%的水平。在每類分析中，EnRomBERT在“SUPPORTS”和“REFUTES”主張的公平和強制開發(fā)集上表現(xiàn)優(yōu)于EnmBERT。然而，未來的研究可能需要評估包括所有主張（包括NEI）在內(nèi)的訓(xùn)練，以提高NEI類的性能。EnmBERT和EnRomBERT的遷移學(xué)習(xí)性能在混合主張-證據(jù)對上進行了評估，EnmBERT在不同語言對上優(yōu)于EnRomBERT。