論文簡要 :

• 本研究提出了一種全自動(dòng)的流程，通過從網(wǎng)絡(luò)中檢索原始證據(jù)來驗(yàn)證現(xiàn)實(shí)世界中的主張，實(shí)驗(yàn)結(jié)果表明我們的流程可以提高主張的真實(shí)性判斷。

背景信息:

• 論文背景: 自動(dòng)事實(shí)核查中的證據(jù)檢索是一個(gè)核心問題，但現(xiàn)有研究在檢索方面存在簡化假設(shè)，與真實(shí)世界的使用情況有所偏離。本研究旨在解決這個(gè)問題，通過從網(wǎng)絡(luò)中檢索原始證據(jù)來驗(yàn)證現(xiàn)實(shí)世界中的主張。

• 過去方案: 過去的研究要么沒有訪問證據(jù)，要么只能訪問由人類事實(shí)核查員策劃的證據(jù)，要么只能訪問主張發(fā)表后很長時(shí)間才可用的證據(jù)。還有一些研究依賴于包含“黃金”證據(jù)的文檔集，或進(jìn)行無限制的檢索，但這些方法都沒有實(shí)現(xiàn)從網(wǎng)絡(luò)中檢索證據(jù)的系統(tǒng)。

• 論文的Motivation: 為了應(yīng)對不斷增加的虛假信息，自然語言處理領(lǐng)域一直在研究自動(dòng)事實(shí)核查工具。然而，現(xiàn)有研究存在一些限制，阻礙了其在實(shí)際事實(shí)核查組織中的廣泛應(yīng)用。本研究旨在解決這些限制，通過從網(wǎng)絡(luò)中檢索原始證據(jù)來驗(yàn)證現(xiàn)實(shí)世界中的主張，以提高自動(dòng)事實(shí)核查的效果。

方法:

• a. 理論背景:

• 本文提出了一個(gè)完全自動(dòng)化的流程，用于通過從網(wǎng)絡(luò)中檢索原始證據(jù)來事實(shí)核查現(xiàn)實(shí)世界的主張。該流程包括五個(gè)組成部分：主張分解、原始文檔檢索、細(xì)粒度證據(jù)檢索、主張聚焦摘要和真實(shí)性判斷。作者對復(fù)雜的政治主張進(jìn)行了實(shí)驗(yàn)，并發(fā)現(xiàn)他們的流程產(chǎn)生的聚合證據(jù)改善了真實(shí)性判斷。他們還進(jìn)行了人工評估，發(fā)現(xiàn)他們系統(tǒng)生成的證據(jù)摘要可靠且與回答主張的關(guān)鍵問題相關(guān)。本文強(qiáng)調(diào)了現(xiàn)有事實(shí)核查研究的局限性，并強(qiáng)調(diào)了在現(xiàn)實(shí)環(huán)境中從網(wǎng)絡(luò)中檢索證據(jù)的重要性。作者提出了一個(gè)利用大型語言模型和子問題來檢索相關(guān)文檔并生成主張聚焦摘要的流程。通過自動(dòng)評估和人類研究評估了流程的性能。結(jié)果表明，使用網(wǎng)絡(luò)證據(jù)相比沒有證據(jù)的事實(shí)核查可以提高性能，并且主張聚焦摘要對機(jī)器和人類在事實(shí)核查中都有幫助。文章得出結(jié)論，從野外找到足夠的原始證據(jù)是構(gòu)建自動(dòng)事實(shí)核查系統(tǒng)的核心挑戰(zhàn)。

• 這篇論文的模型是一個(gè)自動(dòng)事實(shí)核查的系統(tǒng)，它可以從網(wǎng)上檢索和總結(jié)與一個(gè)復(fù)雜的政治聲明相關(guān)的證據(jù)，然后根據(jù)這些證據(jù)判斷該聲明的真實(shí)性。這個(gè)系統(tǒng)的工作流程如下：

  首先，給定一個(gè)復(fù)雜的政治聲明，例如“當(dāng)舊金山禁止塑料袋時(shí)，你看到了去急診室的人數(shù)激增?！?/p>

  然后，使用一個(gè)大規(guī)模的語言模型（OpenAI的text-davinci-003）將這個(gè)聲明分解成一系列的是非問句，例如“舊金山過去是否禁止了塑料袋？”或者“塑料袋禁令是否直接導(dǎo)致了急診室人數(shù)的增加？”

  接著，對于每個(gè)生成的問句，使用一個(gè)商業(yè)搜索引擎API（Bing Search API）從網(wǎng)上收集相關(guān)的文檔。為了模擬真實(shí)的場景，我們只檢索聲明發(fā)表之前可用的文檔，并且過濾掉來自事實(shí)核查網(wǎng)站的文檔。

  然后，對于每個(gè)檢索到的文檔，我們進(jìn)行第二階段的細(xì)粒度檢索，以挑選出最相關(guān)的文本片段。具體來說，我們將文檔分割成包含k1個(gè)單詞的文本片段，并使用BM-25算法選擇得分最高的前K1個(gè)文本片段。然后，我們對每個(gè)文本片段進(jìn)行±k2個(gè)單詞的上下文擴(kuò)展。如果兩個(gè)文本片段有重疊，我們將它們合并成一個(gè)更大的片段。這個(gè)過程產(chǎn)生了一組按照最高得分文本片段排序的文檔，并且我們選擇前K2個(gè)文檔。

  接下來，我們使用最先進(jìn)的語言模型（text-davinci-003）對每個(gè)檢索到的文檔單獨(dú)生成一個(gè)與聲明相關(guān)的摘要。這樣的單文檔摘要已經(jīng)被證明在新聞文章上表現(xiàn)良好（Goyal et al., 2022; Zhang et al., 2023）。我們使用兩種類型的提示來生成摘要：一種是零樣本提示，即指示模型不要對給定文檔的立場做出任何判斷；另一種是少樣本提示，即選擇四篇文檔并仔細(xì)編寫期望的摘要。對于與聲明無關(guān)的文檔，我們將其期望輸出寫為“該文檔與核查聲明無關(guān)”。

  最后，我們訓(xùn)練一個(gè)DeBERTa-large（He et al., 2020）模型來根據(jù)前一階段生成的摘要進(jìn)行六分類真實(shí)性判斷（真、基本真、半真、勉強(qiáng)真、假、著火假）。我們將聲明和摘要拼接起來作為分類器的輸入，而輸出是六個(gè)標(biāo)簽之一。我們使用CLS標(biāo)記上的分類頭并用交叉熵?fù)p失進(jìn)行訓(xùn)練。

  
  

結(jié)果:

• a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:

• 實(shí)驗(yàn)設(shè)置使用了CLAIMDECOMP數(shù)據(jù)集的數(shù)據(jù)，該數(shù)據(jù)集包含來自PolitiFact的1,200個(gè)復(fù)雜主張。數(shù)據(jù)集被分為訓(xùn)練集、開發(fā)集和測試集。每個(gè)主張都被標(biāo)記為六個(gè)真實(shí)性標(biāo)簽之一，并由專家事實(shí)核查員撰寫了一個(gè)證明段落。設(shè)置了第二階段檢索和真實(shí)性分類器的超參數(shù)，并使用準(zhǔn)確率、平均絕對誤差、宏F1和軟準(zhǔn)確率作為評估指標(biāo)。