Title: From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification (從相關(guān)性到實(shí)用性：基于反饋的證據(jù)檢索用于事實(shí)驗(yàn)證)

https://arxiv.org/abs/2310.11675v2

論文簡(jiǎn)要 :

本研究提出了一種基于反饋的證據(jù)檢索方法，用于事實(shí)驗(yàn)證，通過(guò)優(yōu)化證據(jù)檢索過(guò)程，從而提高驗(yàn)證性能。

背景信息:

論文背景: 隨著虛假信息的增加，對(duì)事實(shí)核查的需求也增加了，因此需要自動(dòng)評(píng)估文本主張的真實(shí)性?，F(xiàn)有的事實(shí)驗(yàn)證方法通常采用檢索增強(qiáng)的驗(yàn)證框架，其中使用證據(jù)檢索器從背景語(yǔ)料庫(kù)中查詢相關(guān)句子作為驗(yàn)證的證據(jù)。

過(guò)去方案: 過(guò)去的方法通常使用現(xiàn)成的檢索模型進(jìn)行證據(jù)檢索，這些模型的設(shè)計(jì)基于概率排序原則。然而，這些模型檢索到的句子通常是人類使用的，可能與驗(yàn)證器對(duì)什么算作證據(jù)的判斷不一致。

論文的Motivation: 本研究認(rèn)為，在設(shè)計(jì)用于事實(shí)驗(yàn)證的證據(jù)檢索模型時(shí)，應(yīng)將相關(guān)性的概念重新構(gòu)想為驗(yàn)證器從檢索模型提供的證據(jù)中獲得的實(shí)用性。因此，提出了一種基于反饋的證據(jù)檢索器（FER），通過(guò)從驗(yàn)證器獲取反饋信號(hào)來(lái)優(yōu)化檢索過(guò)程。實(shí)驗(yàn)證明FER相對(duì)于現(xiàn)有基線方法具有優(yōu)越性能。

方法:

a. 理論背景:

本文介紹了基于反饋的證據(jù)檢索器（FER）用于事實(shí)驗(yàn)證（FV）。FER通過(guò)結(jié)合來(lái)自聲明驗(yàn)證器的反饋，優(yōu)化了證據(jù)檢索過(guò)程，重點(diǎn)關(guān)注從檢索到的證據(jù)中獲得的效用，而不僅僅是相關(guān)性。實(shí)驗(yàn)研究表明，F(xiàn)ER優(yōu)于現(xiàn)有的基準(zhǔn)模型。

b. 技術(shù)路線:

FER方法包括粗糙檢索和細(xì)粒度檢索兩個(gè)步驟。粗糙檢索使用基于概率排序原則（PRP）的檢索模型從相關(guān)文檔中檢索一組候選句子。細(xì)粒度檢索根據(jù)來(lái)自聲明驗(yàn)證器的反饋從候選集中選擇證據(jù)句子。FER的架構(gòu)被說(shuō)明。

結(jié)果:

a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:

實(shí)驗(yàn)設(shè)置包括使用的數(shù)據(jù)集、聲明數(shù)量和維基百科文檔數(shù)量以及注釋類別。用于證據(jù)檢索和聲明驗(yàn)證的官方評(píng)估指標(biāo)包括精確度（P）、召回率（R）、F1、FEVER分?jǐn)?shù)和標(biāo)簽準(zhǔn)確度（LA）。候選集大小K設(shè)置為25，并在開(kāi)發(fā)集上調(diào)整超參數(shù)。

b. 詳細(xì)的實(shí)驗(yàn)結(jié)果:

實(shí)驗(yàn)結(jié)果報(bào)告了在FEVER數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，顯示FER相對(duì)于最先進(jìn)的基準(zhǔn)模型提高了23.7%的F1性能。與其他基準(zhǔn)模型的比較表明FER取得了顯著的改進(jìn)。