• Title: Implicit Temporal Reasoning for Evidence-Based Fact-Checking (證據(jù)驅(qū)動事實(shí)核查

論文簡要 :

• 本研究通過隱式時間推理來改進(jìn)基于證據(jù)的事實(shí)核查模型，通過構(gòu)建共享時間軸并提供時間信息給RNN和Transformer分類器，實(shí)現(xiàn)了對主張和證據(jù)之間的時間關(guān)系的推理，從而提高了模型的性能。

背景信息:

• 論文背景: 自動事實(shí)核查一直是政治、媒體和研究議程的重要內(nèi)容，然而時間在機(jī)器輔助事實(shí)核查中的作用尚未得到充分研究。時間可以影響先前主張的真實(shí)性以及支持或反駁證據(jù)的相關(guān)性。本研究旨在通過將主張和相關(guān)證據(jù)與時間相關(guān)聯(lián)，實(shí)現(xiàn)時間推理，并將其應(yīng)用于計算事實(shí)核查模型中。

• 過去方案: 過去的研究主要關(guān)注上下文知識的利用，而對時間推理的影響卻被忽視了。已有的方法中，很少有研究明確地將時間關(guān)系納入事實(shí)核查的過程中。

• 論文的Motivation: 本研究的動機(jī)在于通過隱式時間推理來改進(jìn)基于證據(jù)的事實(shí)核查模型，以提高模型的預(yù)測性能，并影響證據(jù)的相關(guān)性和支持/反駁性的估計。通過構(gòu)建共享時間軸并提供時間信息，使事實(shí)核查模型能夠在多個層次上推理主張和證據(jù)之間的時間關(guān)系。

方法:

• a. 理論背景:

• 本研究強(qiáng)調(diào)了時間推理在自動事實(shí)核查中的重要性。作者提出了一種方法，通過將索證和證據(jù)基于共享時間軸進(jìn)行關(guān)聯(lián)，建立索證和證據(jù)之間的時間方面和關(guān)系。他們證明了將時間信息納入事實(shí)核查模型可以提高其性能。

• b. 技術(shù)路線:

• 該研究提出了兩個層次的基于時間的推理和關(guān)聯(lián)：文檔層次和內(nèi)容層次。在文檔層次上，索證的發(fā)布日期作為將證據(jù)與索證關(guān)聯(lián)的參考點(diǎn)。索證和證據(jù)之間的時間關(guān)系基于它們的發(fā)布日期之間的天數(shù)差來確定。在內(nèi)容層次上，文本中的時間表達(dá)式用于將文檔放置在時間軸上的多個位置。

• 這篇論文的主要目的是利用時間推理來提高基于證據(jù)的事實(shí)檢查的效果。時間推理是指根據(jù)事實(shí)陳述和證據(jù)文檔的發(fā)布日期和文本中的時間表達(dá)式，來判斷它們之間的時間關(guān)系。例如，如果一個事實(shí)陳述是在2017年11月30日發(fā)布的，而一個證據(jù)文檔是在2017年9月12日發(fā)布的，那么我們可以推斷出證據(jù)文檔是在事實(shí)陳述之前發(fā)布的，因此可能不太相關(guān)或可信。

  論文模型的工作流程如下：

  首先，模型接收一個事實(shí)陳述和一組證據(jù)文檔作為輸入。每個輸入都有一個發(fā)布日期和一個文本。

  然后，模型使用預(yù)訓(xùn)練的方法來提取和標(biāo)準(zhǔn)化文本中的時間表達(dá)式，例如“明天”、“2015年9月”等。這些時間表達(dá)式都被轉(zhuǎn)換成與事實(shí)陳述發(fā)布日期相對應(yīng)的天數(shù)差值，例如“0”表示同一天，“-740”表示740天之前。

  接下來，模型將發(fā)布日期和時間表達(dá)式分配到不同的時間區(qū)間（稱為時間桶），以便在一個共享的時間線上定位事實(shí)陳述和證據(jù)文檔。每個時間桶都有一個唯一的索引，表示它與事實(shí)陳述發(fā)布日期的距離。例如，“[1,4]”表示1到4天之后，“[-∞,-1596]”表示1596天之前或更早。

  然后，模型將事實(shí)陳述和證據(jù)文檔的文本和時間信息編碼成向量表示，使用神經(jīng)網(wǎng)絡(luò)模型來計算它們之間的匹配程度。模型可以在兩個層次上進(jìn)行時間推理：文檔層次（只使用發(fā)布日期）和內(nèi)容層次（使用文本中的時間表達(dá)式）。模型還可以將兩個層次的信息結(jié)合起來進(jìn)行綜合推理。

  最后，模型根據(jù)匹配程度為每個證據(jù)文檔分配一個相關(guān)性得分和一個支持/反駁標(biāo)簽得分。然后，模型將所有證據(jù)文檔的得分綜合起來，得到一個最終的事實(shí)檢查標(biāo)簽，表示事實(shí)陳述的真實(shí)性。

結(jié)果:

• a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:

• 該模型使用了Augenstein等人（2019）提出的聯(lián)合真實(shí)性預(yù)測和證據(jù)排序模型作為事實(shí)核查模型。該模型將索證和證據(jù)作為輸入，并將它們編碼為潛在表示。與索證相關(guān)的元數(shù)據(jù)也被編碼。這些表示然后通過匹配方法組合成聯(lián)合索證表示。證據(jù)評分器為每個證據(jù)分配一個分?jǐn)?shù)，標(biāo)簽評分器為每個真實(shí)性標(biāo)簽分配一個分?jǐn)?shù)。最終的真實(shí)性預(yù)測是通過對分?jǐn)?shù)應(yīng)用softmax函數(shù)得到的。

• b. 詳細(xì)的實(shí)驗(yàn)結(jié)果:

• 將時間表示嵌入到模型中，通過在不同階段將時間表示轉(zhuǎn)化為時間嵌入，并與索證和證據(jù)的詞嵌入集成。模型使用時間桶來表示與索證發(fā)布日期相關(guān)的時間間隔。時間桶的選擇基于聚類假設(shè)，即一個聚類中的文檔包含相似的信息。模型使用時間嵌入矩陣進(jìn)行訓(xùn)練，并在訓(xùn)練過程中更新。

• 在文檔層次和內(nèi)容層次的推理中，使用詳細(xì)的實(shí)驗(yàn)設(shè)置來構(gòu)建時間桶。對于文檔層次的推理，計算證據(jù)的發(fā)布日期，并將其分為分位數(shù)以創(chuàng)建時間桶。對于內(nèi)容層次的推理，提取和歸一化索證和證據(jù)中的時間表達(dá)式，并計算它們與索證發(fā)布日期之間的距離。這些距離用于將時間表達(dá)式分配到相應(yīng)的時間桶中。

• 在實(shí)驗(yàn)設(shè)置中，使用訓(xùn)練集的索證和證據(jù)進(jìn)行模型訓(xùn)練，并在驗(yàn)證集上評估性能。通過實(shí)驗(yàn)確定時間桶的數(shù)量，其中20個分位數(shù)返回最佳性能。時間嵌入的嵌入維度根據(jù)模型中的集成階段確定。

• 該模型使用基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的文本編碼器實(shí)現(xiàn)。證據(jù)評分器和標(biāo)簽評分器作為模型中的獨(dú)立組件實(shí)現(xiàn)。模型使用訓(xùn)練集的索證和證據(jù)進(jìn)行訓(xùn)練，并在驗(yàn)證集上評估性能。

• 模型的性能基于其預(yù)測索證真實(shí)性和證據(jù)排序的能力進(jìn)行評估。模型使用時間嵌入矩陣進(jìn)行訓(xùn)練，并在訓(xùn)練過程中進(jìn)行更新。

• 在MultiFC2數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集包含34,924個英文索證和最多10個證據(jù)文檔。這些索證來自各種事實(shí)核查網(wǎng)站。數(shù)據(jù)集還提供了關(guān)于發(fā)言人、類別、標(biāo)簽和鏈接實(shí)體的元數(shù)據(jù)。用于編碼索證和證據(jù)文檔的文本編碼器是一個具有跳躍連接的雙向LSTM和一個預(yù)訓(xùn)練的Sentence-DistilRoBERTa模型。元數(shù)據(jù)被表示為一個獨(dú)熱向量，并由CNN進(jìn)行編碼。標(biāo)簽評分器和證據(jù)評分器由全連接層組成。實(shí)驗(yàn)在訓(xùn)練集、驗(yàn)證集和測試集上進(jìn)行，模型進(jìn)行了預(yù)訓(xùn)練和微調(diào)。

• 在測試集上，模型的性能結(jié)果顯示，時間信息的集成水平、關(guān)聯(lián)/推理水平和模型架構(gòu)都對性能有影響。對于文檔層次和內(nèi)容層次的推理，全局集成優(yōu)于局部集成。在文檔和內(nèi)容層次上同時關(guān)聯(lián)索證和證據(jù)的組合設(shè)置獲得了最高的性能。與RoBERTa模型相比，時間推理對BiLSTM模型的影響更為顯著。

• 對于不同的權(quán)重值組合文本特征和時間信息的實(shí)驗(yàn)表明，在推理文檔層次的時間關(guān)系時，應(yīng)更加重視文本，而在內(nèi)容層次的推理時，應(yīng)更加重視時間。對證據(jù)相關(guān)性和標(biāo)簽分?jǐn)?shù)的分析顯示，時間推理強(qiáng)烈影響模型對證據(jù)相關(guān)性和支持/反駁性質(zhì)的估計。時間信息對最終預(yù)測的重要性通過歸因值得到了證明，歸因值顯示引入時間信息會降低索證和證據(jù)文本的歸因強(qiáng)度。

• 文本和時間特征對最終預(yù)測的歸因值顯示，模型將預(yù)測歸因于索證和證據(jù)，但更加強(qiáng)調(diào)證據(jù)。然而，當(dāng)引入時間信息時，索證和證據(jù)文本的歸因強(qiáng)度降低，表明時間對模型的預(yù)測有影響。時間信息的排序與內(nèi)容的排序不同，較近的發(fā)布日期獲得較高的歸因強(qiáng)度。同一時間桶內(nèi)的證據(jù)傾向于偏好相同的預(yù)測標(biāo)簽。