Motivation 為了推動基于知識圖譜的事實驗證領(lǐng)域的發(fā)展，提供一個新的、高質(zhì)量的、多樣化的數(shù)據(jù)集，以及一個強大的基線模型。作者認為，這樣可以促進事實驗證模型的研究和應(yīng)用，以及知識圖譜的構(gòu)建和完善。

• FACTKG數(shù)據(jù)集：一個新的基于知識圖譜的事實驗證數(shù)據(jù)集，包含108k個自然語言的斷言，可以根據(jù)DBpedia來判斷其真假。斷言分為五種推理類型：單跳、合取、存在、多跳和否定。

• 數(shù)據(jù)構(gòu)建方法：利用WebNLG數(shù)據(jù)集中的文本-圖對作為基礎(chǔ)，通過實體替換、關(guān)系替換、模板填充等方式生成不同類型的斷言。同時，還使用了語言模型和預(yù)設(shè)條件方法來轉(zhuǎn)換斷言的口語風格。

• 質(zhì)量控制：通過雙向自然語言推理和對抗性過濾等方法來保證生成斷言的標簽準確性和語言質(zhì)量。

• 實驗設(shè)置：使用了基于圖證據(jù)的事實驗證模型GEAR作為基線，并與僅使用斷言作為輸入的文本分類器進行了對比。結(jié)果表明，圖證據(jù)對于提高事實驗證的性能有積極的影響，尤其是在存在和否定類型的斷言上。

• 數(shù)據(jù)分析：對FACTKG數(shù)據(jù)集進行了詳細的統(tǒng)計和分析，展示了不同類型的斷言在數(shù)量、長度、難度等方面的分布和特點。同時，還對斷言中涉及的實體和關(guān)系進行了分析，發(fā)現(xiàn)數(shù)據(jù)集具有較高的多樣性和覆蓋率。

• 模型結(jié)果：對比了GEAR模型和文本分類器在FACTKG數(shù)據(jù)集上的表現(xiàn)，發(fā)現(xiàn)GEAR模型在所有類型的斷言上都優(yōu)于文本分類器，尤其是在合取、存在和否定類型上。此外，還分析了不同類型的斷言對模型性能的影響，發(fā)現(xiàn)存在和否定類型是最具挑戰(zhàn)性的。

• 錯誤分析：對GEAR模型在FACTKG數(shù)據(jù)集上的錯誤進行了分類和分析，發(fā)現(xiàn)主要有三類錯誤：i) 無法理解復(fù)雜的語言結(jié)構(gòu)，如否定、條件等；ii) 無法處理多義性或歧義性的實體或關(guān)系；iii) 無法利用圖證據(jù)進行有效的推理。

• 人工評估：邀請了9名研究生對FACTKG數(shù)據(jù)集中的一部分斷言進行了人工驗證，結(jié)果表明人類驗證者的準確率為95.6%，高于GEAR模型的準確率。這說明FACTKG數(shù)據(jù)集是合理且可信的，同時也為事實驗證模型提供了提升空間。

這個部分是論文中介紹數(shù)據(jù)集構(gòu)建的一部分，主要是用來生成REFUTED類型的斷言。論文中提出了兩種替換方法：實體替換和關(guān)系替換。實體替換是指在一個SUPPORTED類型的斷言中，用另一個相同類型但不相關(guān)的實體來替換原來的實體，從而生成一個REFUTED類型的斷言。關(guān)系替換是指在一個SUPPORTED類型的斷言中，用另一個可以接受相同類型實體的關(guān)系來替換原來的關(guān)系，從而生成一個REFUTED類型的斷言。論文中還給出了這兩種替換方法的具體流程和例子。

• 實體替換：對于一個SUPPORTED類型的斷言“巴黎是法國的首都”，可以用另一個相同類型但不相關(guān)的實體來替換原來的實體，從而生成一個REFUTED類型的斷言“北京是法國的首都”。這個過程中，需要先找到一個相同類型但不相關(guān)的實體，然后將其替換原來的實體，并根據(jù)DBpedia判斷新生成的斷言是否為真。

• 關(guān)系替換：對于一個SUPPORTED類型的斷言“巴黎是法國的首都”，可以用另一個可以接受相同類型實體的關(guān)系來替換原來的關(guān)系，從而生成一個REFUTED類型的斷言“巴黎是法國的港口城市”。這個過程中，需要先找到一個可以接受相同類型實體的關(guān)系，然后將其替換原來的關(guān)系，并根據(jù)DBpedia判斷新生成的斷言是否為真。

這篇論文使用了GEAR模型作為基線，它是一個基于圖證據(jù)的事實驗證模型，由兩個部分組成：子圖檢索和斷言驗證。子圖檢索部分使用兩個獨立的BERT模型來預(yù)測給定實體和斷言相關(guān)的關(guān)系和跳數(shù)，然后根據(jù)預(yù)測結(jié)果在知識圖譜中檢索子圖作為證據(jù)。斷言驗證部分使用一個Transformer編碼器來編碼斷言和證據(jù)，然后使用一個注意力機制來計算斷言和證據(jù)之間的相關(guān)性，最后使用一個全連接層來輸出斷言的真假標簽。

首先，子圖檢索部分會根據(jù)給定的實體和斷言，預(yù)測它們之間的關(guān)系和跳數(shù)（第一個BERT模型用于預(yù)測給定實體和斷言之間的關(guān)系，第二個BERT模型用于預(yù)測它們之間的跳數(shù)）。例如，如果給定的實體是“巴黎”、斷言是“巴黎是法國的首都”，那么子圖檢索部分會預(yù)測“巴黎”和“法國”之間的關(guān)系是“首都”，跳數(shù)是“1”。然后，子圖檢索部分會在知識圖譜中檢索包含這個關(guān)系和跳數(shù)的子圖作為證據(jù)。例如，在這個例子中，子圖檢索部分會在知識圖譜中找到包含“巴黎”、“法國”和“首都”的子圖作為證據(jù)。最后，斷言驗證部分會使用Transformer編碼器來編碼斷言和證據(jù)，計算它們之間的相關(guān)性，并輸出斷言的真假標簽。