• Title: FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking (FactLLaMA: 利用外部知識(shí)優(yōu)化指令跟隨語言模型以進(jìn)行自動(dòng)事實(shí)檢查)

  
  

論文簡(jiǎn)要 :

• 本研究通過結(jié)合外部證據(jù)檢索和指令跟隨語言模型，提出了一種優(yōu)化自動(dòng)事實(shí)檢查的方法，以增強(qiáng)其性能。通過利用搜索引擎檢索相關(guān)證據(jù)，并將其用于指導(dǎo)預(yù)訓(xùn)練語言模型，該方法能夠更準(zhǔn)確地預(yù)測(cè)輸入聲明的真實(shí)性，并在事實(shí)檢查任務(wù)中取得了最先進(jìn)的性能。

背景信息:

• 論文背景: 隨著社交媒體和在線交流的不斷增長(zhǎng)，我們面臨著通過這些渠道獲取大量信息的挑戰(zhàn)，迫切需要區(qū)分事實(shí)和虛構(gòu)。自動(dòng)事實(shí)檢查是一種應(yīng)對(duì)這一問題的方法，可以自動(dòng)驗(yàn)證事實(shí)的準(zhǔn)確性，快速傳播準(zhǔn)確信息。然而，現(xiàn)有的語言模型往往依賴于預(yù)先存在的知識(shí)，這可能導(dǎo)致事實(shí)檢查的不準(zhǔn)確性。因此，有必要考慮外部知識(shí)源以提供最新和可靠的信息。

• 過去方案: 過去的研究主要集中在機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和變壓器模型等方法上，用于自動(dòng)事實(shí)檢查。然而，這些方法往往受限于其內(nèi)部知識(shí)，無法及時(shí)更新或提供足夠的上下文信息，從而影響了其準(zhǔn)確性和可靠性。

• 論文的Motivation: 為了解決現(xiàn)有方法的局限性，本研究提出了一種結(jié)合外部證據(jù)的方法，以增強(qiáng)指令跟隨語言模型的事實(shí)檢查能力。通過利用搜索引擎檢索相關(guān)證據(jù)，并將其用于指導(dǎo)預(yù)訓(xùn)練語言模型，我們的方法能夠填補(bǔ)模型知識(shí)與最新上下文之間的差距，從而提高事實(shí)檢查的準(zhǔn)確性和可靠性。

方法:

• a. 理論背景:

• 本文介紹了自動(dòng)事實(shí)檢驗(yàn)在打擊虛假信息傳播中的必要性。隨著社交媒體和在線溝通平臺(tái)作為虛假信息來源的興起，本文提出了使用大型語言模型（LLMs）和指令跟隨變體來解決這個(gè)問題。然而，本文承認(rèn)這些模型可能并不總是具有最新或足夠的知識(shí)，從而導(dǎo)致事實(shí)檢驗(yàn)的不準(zhǔn)確性。為了克服這個(gè)限制，本文建議將指令跟隨語言模型與從搜索引擎中檢索的外部證據(jù)相結(jié)合，以提高事實(shí)檢驗(yàn)的性能。目標(biāo)是彌合模型知識(shí)與最新和足夠的上下文之間的差距，從而改善事實(shí)檢驗(yàn)結(jié)果。本文還提到，所提出的方法在事實(shí)檢驗(yàn)任務(wù)中實(shí)現(xiàn)了最先進(jìn)的性能，并對(duì)打擊虛假信息和促進(jìn)準(zhǔn)確信息在在線平臺(tái)上傳播具有重要意義。

• b. 技術(shù)路線:

• 方法包括兩個(gè)關(guān)鍵組成部分：生成指令-證據(jù)-輸入樣本和使用這些樣本對(duì)生成預(yù)訓(xùn)練語言模型（LLaMA）進(jìn)行指令調(diào)整。指令-證據(jù)-輸入樣本通過將指令、證據(jù)和輸入聲明組合成一個(gè)序列來創(chuàng)建。指令提供了關(guān)于如何將證據(jù)納入事實(shí)檢驗(yàn)的指導(dǎo)，而證據(jù)則是使用Google API從搜索引擎中檢索的。輸入聲明表示需要進(jìn)行事實(shí)檢驗(yàn)的聲明。然后使用低秩適應(yīng)（LORA）算法對(duì)LLaMA模型進(jìn)行指令調(diào)整，該算法將模型參數(shù)壓縮到較低維度空間中，同時(shí)保留原始信息。這樣可以使用更少的目標(biāo)樣本對(duì)模型進(jìn)行更高效和有效的微調(diào)。

結(jié)果:

• a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:

• 通過RAWFC和LIAR數(shù)據(jù)集的評(píng)估結(jié)果表明，先進(jìn)的模型在事實(shí)檢驗(yàn)任務(wù)中優(yōu)于傳統(tǒng)的機(jī)器學(xué)習(xí)方法。指令調(diào)整方法，特別是與外部知識(shí)相結(jié)合，始終實(shí)現(xiàn)最高的F1分?jǐn)?shù)。在指令調(diào)整過程中引入外部證據(jù)可以提高性能，其中LLaMA、指令調(diào)整和外部知識(shí)的F1分?jǐn)?shù)為0.3044。

• b. 詳細(xì)的實(shí)驗(yàn)結(jié)果:

• 這些發(fā)現(xiàn)強(qiáng)調(diào)了利用先進(jìn)技術(shù)并及時(shí)更新最新信息以有效打擊虛假信息的重要性。