Basic Information:

Title: XFEVER: Exploring Fact Verification across Languages (XFEVER: 跨語言事實(shí)驗(yàn)證的探索)

url：https://arxiv.org/abs/2310.16278v1

論文簡要 :

本文介紹了用于在不同語言之間進(jìn)行事實(shí)驗(yàn)證模型基準(zhǔn)測試的跨語言事實(shí)提取和驗(yàn)證（XFEVER）數(shù)據(jù)集。通過將Thorne等人（2018）發(fā)布的Fact Extraction and VERification（FEVER）數(shù)據(jù)集的聲明和證據(jù)文本翻譯成六種語言，我們構(gòu)建了該數(shù)據(jù)集。使用XFEVER數(shù)據(jù)集，我們定義了兩種跨語言事實(shí)驗(yàn)證場景：零樣本學(xué)習(xí)和翻譯訓(xùn)練學(xué)習(xí)，并在本文中提出了每個(gè)場景的基線模型。實(shí)驗(yàn)結(jié)果表明，多語言語言模型可以有效地構(gòu)建不同語言的事實(shí)驗(yàn)證模型，但性能在不同語言之間存在差異，并且在英語案例中略遜一籌。我們還發(fā)現(xiàn)，通過考慮英語和目標(biāo)語言之間的預(yù)測相似性，可以有效地減輕模型的誤校準(zhǔn)問題。

背景信息:

論文背景: 自動(dòng)化事實(shí)驗(yàn)證是事實(shí)核查任務(wù)的一部分，旨在驗(yàn)證給定聲明是否與文本來源數(shù)據(jù)庫相符。本文旨在探索如何在不同語言之間構(gòu)建事實(shí)驗(yàn)證模型，以應(yīng)對不同語言的事實(shí)核查需求。

過去方案: 過去的方法主要集中在英語語境下，如FEVER數(shù)據(jù)集。然而，構(gòu)建大規(guī)模的非英語數(shù)據(jù)集非常耗時(shí)和昂貴，因此需要一種更高效的方法來構(gòu)建其他語言的事實(shí)驗(yàn)證模型。

論文的Motivation: 本文的動(dòng)機(jī)是基于一個(gè)假設(shè)：事實(shí)不受語言的影響。作者認(rèn)為，如果我們有一個(gè)完美的翻譯器，可以將英文文本準(zhǔn)確地翻譯成其他語言，那么在不同語言之間，特定的聲明-證據(jù)對之間的關(guān)系應(yīng)該是相同的。基于這個(gè)假設(shè)，作者構(gòu)建了XFEVER數(shù)據(jù)集，并定義了兩種跨語言事實(shí)驗(yàn)證場景，旨在探索如何在其他語言上構(gòu)建事實(shí)驗(yàn)證模型。通過實(shí)驗(yàn)結(jié)果，作者證明了多語言語言模型在不同語言上構(gòu)建事實(shí)驗(yàn)證模型的有效性，并提出了一種減輕模型誤校準(zhǔn)問題的方法。

方法:

a. 理論背景:

本文介紹了XFEVER數(shù)據(jù)集，該數(shù)據(jù)集旨在為不同語言的事實(shí)驗(yàn)證模型提供基準(zhǔn)。該數(shù)據(jù)集是通過將FEVER數(shù)據(jù)集的主張和證據(jù)文本翻譯成六種語言來構(gòu)建的。使用XFEVER數(shù)據(jù)集定義了兩種跨語言事實(shí)驗(yàn)證場景，即零-shot學(xué)習(xí)和翻譯-訓(xùn)練學(xué)習(xí)，并提出了每種場景的基準(zhǔn)模型。

b. 技術(shù)路線:

作者使用了多語言預(yù)訓(xùn)練語言模型（PLM），如mBERT和XLM-R，作為基線模型的主要組件。本文介紹了兩種跨語言事實(shí)驗(yàn)證的場景：zero-shot學(xué)習(xí)和翻譯-訓(xùn)練學(xué)習(xí)。在zero-shot學(xué)習(xí)場景中，僅使用英語訓(xùn)練和開發(fā)集來訓(xùn)練和評估所有語言的測試集上的模型。在翻譯-訓(xùn)練學(xué)習(xí)場景中，假設(shè)有機(jī)器翻譯的數(shù)據(jù)，并使用所有語言的訓(xùn)練和開發(fā)集同時(shí)構(gòu)建模型。作者描述了兩種場景的框架，并討論了用于強(qiáng)制實(shí)施跨語言一致性的正則化函數(shù)。

結(jié)果:

a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:

作者進(jìn)行了初步實(shí)驗(yàn)，并發(fā)現(xiàn)默認(rèn)的λ = 1在J散度和XLM-R-large上效果良好。他們將λ降低到0.25以減輕這個(gè)問題。表8和表9分別顯示了XLM-R-large在測試集上的準(zhǔn)確率和ECE分?jǐn)?shù)。

b. 詳細(xì)的實(shí)驗(yàn)結(jié)果:

實(shí)驗(yàn)結(jié)果表明，多語言語言模型可以有效地用于構(gòu)建不同語言的事實(shí)驗(yàn)證模型。然而，性能因語言而異，并且在英語案例下略遜一籌。作者還發(fā)現(xiàn)，通過考慮英語和目標(biāo)語言之間的預(yù)測相似性，可以有效地減輕模型的誤判問題。