Converge to the Truth ：Factual Error Correction via Iterative Co
論文簡要 :
本文提出了一種名為VENCE的方法，通過迭代約束編輯來自動糾正可能存在的事實錯誤，該方法利用事實驗證模型的預測真實性分數設計目標函數，并使用遠程監(jiān)督語言模型進行編輯位置的采樣，實驗證明VENCE在公共數據集上相對于之前最好的遠程監(jiān)督方法提高了11.8%的SARI指標。
背景信息:
論文背景: 在數字時代，通過社交媒體廣泛傳播的文本事實錯誤和誤導性信息成為了一個嚴重的問題，因此自動糾正事實錯誤引起了越來越多的研究關注。
過去方案: 現(xiàn)有的方法要么需要大量的事實錯誤和修正對的配對數據進行監(jiān)督訓練，要么不能很好地處理跨越多個標記的錯誤。遠程監(jiān)督模型通常遵循一次掩碼-糾正的范式，但存在語義漂移和監(jiān)督數據不足的問題。
論文的Motivation: 為了解決現(xiàn)有方法的問題，本文提出了VENCE方法，將事實驗證和迭代文本編輯相結合，通過迭代編輯的方式糾正錯誤，并利用事實驗證模型提供的約束和指導。VENCE方法在每次編輯迭代中利用事實驗證模型的梯度指導編輯位置的選擇，并利用事實驗證模型的真實性分數決定糾正建議的接受與否。通過將事實驗證與迭代編輯框架相結合，VENCE方法在沒有直接監(jiān)督的情況下實現(xiàn)了事實錯誤修正，并在實驗證明其相對于之前的方法在遠程監(jiān)督的事實錯誤修正任務上取得了最新的最佳性能。
方法:
a. 理論背景:
本文介紹了在社交媒體中傳播的錯誤信息的事實錯誤修正（FEC）問題。強調了糾正事實錯誤的重要性，以防止誤解和誤導性決策。FEC的目標是通過證據來更好地支持聲明，從而糾正非事實性的文本段落。本文提出了一種名為VENCE的FEC方法，它將修正問題形式化為基于目標密度函數的迭代采樣編輯操作。VENCE利用事實驗證模型來指導修正過程，并提高修正的準確性。本文還提到了現(xiàn)有遠程監(jiān)督模型的局限性以及FEC需要更多的訓練數據的需求。
迭代約束編輯是一種基于編輯操作的事實錯誤修正方法，它將事實錯誤修正問題轉化為在目標密度函數下采樣編輯動作的問題。目標函數利用離線訓練的事實驗證模型預測的真實性分數。VENCE根據輸入令牌對真實性分數的梯度反向計算出最可能的編輯位置，并使用一個遠程監(jiān)督的語言模型（T5）來采樣編輯動作。
例如，假設我們有一個句子“我在紐約的時候去過洛杉磯”，但是實際上這個句子是錯誤的，因為作者從未去過洛杉磯。我們可以使用迭代約束編輯來修正這個錯誤。我們可以將“洛杉磯”標記為錯誤，并計算其令牌概率的總和。然后，我們可以使用梯度反向計算出最可能的編輯位置，并使用一個遠程監(jiān)督的語言模型來采樣編輯動作。
遠程監(jiān)督是一種學習方式，它是一種將已有的知識庫（比如 freebase）對應到豐富的非結構化數據中（比如新聞文本），從而生成大量的訓練數據，從而訓練出一個效果不錯的關系抽取器。
b. 技術路線:
本文提出了一種處理多令牌實體的方法，用于實體修正。作者建議一次性屏蔽每個命名實體中的所有令牌，以保留實體的語義含義。實體被屏蔽的概率被計算為其令牌概率的總和。修正多令牌實體的負擔轉移到了編輯提議步驟中。
在編輯提議步驟中，作者從插入、刪除和替換的均勻分布中隨機采樣一個操作。他們基于該操作從生成提議模型中提出一個令牌/實體。然而，由于多令牌屏蔽，采樣過程中會出現(xiàn)挑戰(zhàn)。為了確保馬爾可夫鏈的可逆性，作者使用生成提議模型將實體空間和令牌空間分開。
c. 生成提議模型: 令牌 vs. 實體:
作者使用序列到序列的生成語言模型（T5）來提出多令牌修正。他們定義了兩個生成任務：令牌生成和實體生成。模型以屏蔽的句子及其證據作為輸入，并輸出一個替代屏蔽的令牌或實體。根據修正后的令牌/實體的轉換分布進行計算。
結果:
a. 詳細的實驗設置:
作者使用FECDATA數據集進行評估，該數據集是基于證據的事實提取和修正任務。他們使用SARI指標來衡量系統(tǒng)修正與基準的準確性。他們還使用ROUGE分數來評估與參考文獻的信息回憶。他們將自己的方法與有監(jiān)督和遠程監(jiān)督的基線進行比較。
b. 詳細的實驗結果:
1所提出的方法VENCE在大幅度上優(yōu)于先前的遠程監(jiān)督基線，包括先前的最先進方法T5MC。VENCE的SARI最終得分為53+，ROUGE-2得分為57+。然而，有監(jiān)督的方法仍然優(yōu)于遠程監(jiān)督的方法，表明還有改進的空間。分析還顯示，VENCE中使用的驗證模型有助于更好的修正性能。此外，VENCE中的迭代編輯過程對SARI-Add的改進更為顯著，表明VENCE中添加的單詞比基線更有意義
