論文簡要 :

• 本研究介紹了AVERITEC，這是一個包含來自網(wǎng)絡(luò)證據(jù)的真實世界主張驗證數(shù)據(jù)集，通過多輪注釋過程，避免了常見的問題，并取得了顯著的注釋者一致性，為驗證主張?zhí)峁┝嘶€和評估方案。

背景信息:

• 論文背景: 事實檢查是限制錯誤信息影響的關(guān)鍵任務(wù)，但手動事實檢查的資源有限。自動事實檢查被提出作為輔助工具，以簡化事實檢查人員、調(diào)解員和公民記者的工作流程。

• 過去方案: 現(xiàn)有的數(shù)據(jù)集存在一些限制，如依賴人工構(gòu)造的主張、缺乏證據(jù)和中間推理的注釋，或包含主張發(fā)布后的證據(jù)。這些問題限制了自動事實檢查的發(fā)展。

• 論文的Motivation: 本研究的動機(jī)是解決現(xiàn)有數(shù)據(jù)集的限制，并提供一個包含真實世界主張和來自網(wǎng)絡(luò)的真實證據(jù)的數(shù)據(jù)集，同時提供中間步驟的注釋和合理的驗證結(jié)果解釋。通過避免上下文依賴、證據(jù)不足和時間泄漏等問題，提高了數(shù)據(jù)集的質(zhì)量和可用性。

方法:

• a. 理論背景:

• 本文介紹了AVERITEC，這是一個用于自動事實核查的新數(shù)據(jù)集。該數(shù)據(jù)集包含4568個真實世界的主張，來自50個不同的組織。每個主張都有問題-答案對和來自網(wǎng)絡(luò)的證據(jù)的注釋，以及解釋證據(jù)如何導(dǎo)致裁決的文本證明。AVERITEC的目標(biāo)是解決現(xiàn)有數(shù)據(jù)集的局限性，如人工主張、缺乏證據(jù)注釋以及包括主張之后發(fā)布的證據(jù)。本文還強(qiáng)調(diào)了事實核查在打擊錯誤信息中的重要性，以及自動事實核查工具在協(xié)助手動事實核查工作方面的需求。

• b. 技術(shù)路線:

• 該數(shù)據(jù)集包含4568個真實世界的主張。每個主張都有問題-答案對，表示證據(jù)，一個真實性標(biāo)簽，描述證據(jù)如何支持標(biāo)簽的文本證明，以及幾個相關(guān)的元數(shù)據(jù)。證據(jù)通過問題和答案來表示，允許多個答案以顯示不同意見。問題可以參考以前的問題進(jìn)行多跳推理。答案必須由鏈接到網(wǎng)絡(luò)文檔的源URL支持。真實性標(biāo)簽使用三元方案（支持、反駁、沒有足夠的證據(jù)）和一個用于沖突證據(jù)/挑揀的額外類別。提供文本證明來解釋如何從證據(jù)中得出標(biāo)簽，包括通過常識或歸納推理支持的邏輯跳躍。數(shù)據(jù)集還包括演講者、發(fā)布者、日期和相關(guān)主張的位置等元數(shù)據(jù)。

結(jié)果:

• a. 詳細(xì)的實驗設(shè)置:

• 在證據(jù)充分性檢查階段，將主張的裁決結(jié)果與兩個注釋者進(jìn)行比較。新的注釋者不會看到事實核查文章，必須僅根據(jù)主張來做出裁決。如果兩個注釋者之間存在分歧，將生成更多的問題來收集額外的證據(jù)。這種策略有助于通過識別缺乏足夠證據(jù)的主張來確保高質(zhì)量的注釋。證據(jù)充分性檢查注釋者還提供將問題-答案對組合成所選裁決的文本證明，特別是在主張可能由于挑揀等因素而具有誤導(dǎo)性的情況下。

• b. 詳細(xì)的實驗結(jié)果:

• 數(shù)據(jù)集被分為訓(xùn)練、驗證和測試數(shù)據(jù)?？偣灿?068個主張，其中500個主張用于驗證，1000個主張用于測試。其余的主張用于訓(xùn)練。平均每個問題有1.07個答案。大多數(shù)答案是抽取式的（53%），其次是抽象式的（26%）和布爾式的（17%）答案。由于缺乏可用證據(jù)，有一小部分問題（4%）被標(biāo)記為無法回答。數(shù)據(jù)集包括來自50個事實核查網(wǎng)站的主張，從較舊的網(wǎng)站（如Africa Check和PolitiFact）到較新的網(wǎng)站的代表性發(fā)生了變化。