• Title: Read it Twice: Towards Faithfully Interpretable Fact Verification by Revisiting Evidence (再讀一遍: 基于證據(jù)再訪的忠實可解釋事實驗證)

方法:

• a. 理論背景:

• 本文介紹了一種名為ReRead的新方法，用于事實驗證，該方法檢索支持或反駁主張的證據(jù)?，F(xiàn)有方法依賴啟發(fā)式方法，無法提供既忠實又可信的證據(jù)，從而影響了事實驗證任務的準確性。ReRead通過訓練一個證據(jù)檢索器來獲取基于忠實性和可信度標準的可解釋證據(jù)，并通過一個主張驗證器重新審查證據(jù)以提高準確性來解決這個問題。該模型在真實數(shù)據(jù)集上相對于SOTA基線實現(xiàn)了4.31%的F1性能提升。主要的訓練目標是忠實性、可信度和準確性，模型的架構包括使用標記數(shù)據(jù)對主張驗證器進行微調(diào)，使用黃金證據(jù)提升可信度，并重新審查檢索到的證據(jù)。

• b. 技術路線:

• 本文提出了一個事實驗證系統(tǒng)，旨在提高檢索到的證據(jù)的忠實性和可信度。該系統(tǒng)包括一個句子編碼器，用于獲取主張和源文檔中每個句子的語義嵌入，一個主張驗證器，根據(jù)文檔將主張分類為三個類別，以及一個證據(jù)檢索器，用于選擇關鍵證據(jù)句子。為了確保忠實性，作者使用了完整性和充分性的標準，為了鼓勵可信度，他們引入了一個Top ??算法，選擇具有最高概率得分的句子。該系統(tǒng)使用一個聯(lián)合損失函數(shù)進行訓練，該函數(shù)包括三個損失函數(shù)：完整性、充分性和可信度。該系統(tǒng)有潛力提高事實驗證的準確性和可解釋性。

• 模型的工作流程如下：

  首先，模型會使用證據(jù)檢索器從網(wǎng)上搜索包含埃菲爾鐵塔和其高度信息的相關文檔。證據(jù)檢索器會根據(jù)文檔的可信度、完整性和充分性對文檔進行排序，并返回前k個文檔作為證據(jù)候選。

  其次，模型會使用聲明驗證器讀取證據(jù)候選，并與聲明進行比較和推理。聲明驗證器會根據(jù)證據(jù)的支持度、反駁度和中立度對聲明進行分類，并給出一個置信度分數(shù)。

  最后，模型會生成一個簡潔和清晰的驗證結(jié)果，包括聲明的真假標簽、置信度分數(shù)和最有力的證據(jù)。

  例如，對于“埃菲爾鐵塔是巴黎最高的建筑物”這個陳述，模型可能會生成以下結(jié)果：

  標簽：錯誤

  置信度：0.95

  證據(jù)：埃菲爾鐵塔的高度為324米，而巴黎最高的建筑物是蒙帕納斯大樓，其高度為210米。因此，埃菲爾鐵塔不是巴黎最高的建筑物。

  
  

結(jié)果:

• a. 詳細的實驗設置:

• 本文開發(fā)了一個名為ReRead的事實驗證工具，旨在通過重新審查文本提供忠實的證據(jù)解釋。作者希望將這種方法應用于結(jié)構化知識提取和問答。ReRead的有效性在真實數(shù)據(jù)集上得到了證明。該工作得到了中國國家重點研發(fā)計劃和中國國家自然科學基金的多個組織的支持。作者在GitHub上提供了他們的代碼。文章包括一個參考文獻列表，涵蓋了自動事實檢查的各個方面，如基準數(shù)據(jù)集、關系提取和機器學習優(yōu)化技術。

• 基于證據(jù)的事實驗證的挑戰(zhàn)：事實驗證是一個復雜的任務，需要從大量的文本中檢索相關的證據(jù)，然后根據(jù)證據(jù)對聲明進行推理和判斷。這個過程涉及到多個子任務，如信息檢索、自然語言理解、邏輯推理等，每個子任務都有自己的難點和挑戰(zhàn) 。

• 基于證據(jù)的事實驗證的研究現(xiàn)狀：目前，基于證據(jù)的事實驗證的研究主要分為兩類：端到端的方法和分步驟的方法。端到端的方法是指直接從原始文本中預測聲明的真假，不需要顯示地提供證據(jù) 。分步驟的方法是指將事實驗證分解為兩個或多個子任務，如證據(jù)檢索、聲明驗證等，然后分別對每個子任務進行建模和優(yōu)化 。

• 基于證據(jù)的事實驗證的評估指標：評估基于證據(jù)的事實驗證的性能，通常需要考慮兩方面的指標：驗證器的準確性和檢索器的質(zhì)量。驗證器的準確性是指驗證器對聲明真假的判斷是否正確，常用的指標有準確率、召回率、F1值等。檢索器的質(zhì)量是指檢索器提供的證據(jù)是否與人類標注的金標準證據(jù)一致，常用的指標有BLEU、ROUGE、METEOR等。

• 基于證據(jù)的事實驗證的數(shù)據(jù)集：目前，已經(jīng)有一些公開可用的基于證據(jù)的事實驗證數(shù)據(jù)集，如FEVER、LIAR、FakeNewsNet、RumorEval、CHEF等。這些數(shù)據(jù)集涵蓋了不同的領域、語言和媒體類型，為事實驗證提供了豐富而多樣化的資源。然而，這些數(shù)據(jù)集也存在一些局限性，如規(guī)模較小、噪聲較多、缺乏多樣性等。

• 基于證據(jù)的事實驗證的未來方向：未來，基于證據(jù)的事實驗證還有很多值得探索和改進的方面，如以下幾點：

• 多源融合：利用來自不同來源和類型的信息，如文本、圖像、視頻、音頻等，提高事實驗證的可信度和魯棒性。

• 多語言適應：開發(fā)跨語言和多語言的事實驗證模型，適應不同語言環(huán)境和用戶需求。

• 可解釋性增強：提高事實驗證模型的可解釋性和可理解性，使其能夠生成清晰和合理的推理過程和解釋說明。

• 社會影響評估：考慮事實驗證對社會和個人產(chǎn)生的影響和后果，如傳播速度、情感態(tài)度、信任程度等 。