Title: Towards LLM-based Fact Verification on News Claims with a Hierarchical Step-by-Step Prompting Method (基于LLM的分層逐步提示方法的新聞事實(shí)驗(yàn)證)

論文簡要 :

本研究提出了一種基于LLM的分層逐步提示方法，用于新聞事實(shí)驗(yàn)證，通過將聲明分解為多個子聲明，并逐步進(jìn)行多次問答步驟來驗(yàn)證每個子聲明，從而提高了驗(yàn)證的性能和解釋能力。

背景信息:

論文背景: 在信息錯誤領(lǐng)域，大型預(yù)訓(xùn)練語言模型（LLMs）在各種自然語言處理任務(wù)中展現(xiàn)出了令人印象深刻的能力，但在錯誤信息領(lǐng)域仍然不夠深入探索。

過去方案: 過去的研究主要集中在使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行錯誤信息檢測和事實(shí)驗(yàn)證，但對于LLMs的應(yīng)用仍然較少。

論文的Motivation: 本研究旨在探索LLMs在新聞事實(shí)驗(yàn)證中的能力，并提出了一種分層逐步提示方法（HiSS），通過將聲明分解為子聲明并逐步驗(yàn)證，以提高驗(yàn)證性能和解釋能力。

方法:

a. 理論背景:

本文探討了使用大型預(yù)訓(xùn)練語言模型（LLMs）與上下文學(xué)習(xí)（ICL）進(jìn)行新聞主張驗(yàn)證的方法。作者發(fā)現(xiàn)，僅使用4個示范示例，幾種提示方法可以達(dá)到與先前監(jiān)督模型相當(dāng)?shù)男阅?。他們引入了一種分層逐步（HiSS）提示方法，通過將復(fù)雜主張分解為子主張并逐步驗(yàn)證每個子主張，進(jìn)一步提高了性能。在兩個公開的錯誤信息數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，HiSS提示優(yōu)于最先進(jìn)的完全監(jiān)督方法和強(qiáng)有力的少樣本ICL啟用基線。

b. 技術(shù)路線:

本文評估了三種經(jīng)典的ICL方法用于新聞主張驗(yàn)證：標(biāo)準(zhǔn)提示、基于CoT的提示和香草CoT提示。標(biāo)準(zhǔn)提示方法涉及將新聞主張輸入LLM并獲得其事實(shí)判斷?；贑oT的提示在事實(shí)判斷之外還生成中間的口頭推理步驟。作者發(fā)現(xiàn)，標(biāo)準(zhǔn)提示與強(qiáng)有力的監(jiān)督基線相比表現(xiàn)相當(dāng)好，但香草CoT提示比標(biāo)準(zhǔn)提示更差。他們確定了香草CoT的兩個主要問題：主張中必要思想的省略和事實(shí)幻覺。為了解決這些問題，作者提出了分層逐步（HiSS）提示方法，該方法涉及將復(fù)雜主張分解為較小的子主張，并使用搜索引擎查找相關(guān)證據(jù)逐步驗(yàn)證每個子主張。

• HiSS提示方法分為三個過程：

• 斷言分解：將一個復(fù)雜的斷言分解為若干個子斷言，每個子斷言包含一個需要檢查的顯式點(diǎn)。

• 子斷言逐步驗(yàn)證：對每個子斷言，生成一系列探索性問題，每個問題對應(yīng)一個隱含的檢查點(diǎn)。根據(jù)LLM自身的置信度，決定是否使用搜索引擎獲取相關(guān)的外部知識來回答問題。

• 最終預(yù)測：在驗(yàn)證完所有子斷言后，根據(jù)給定的標(biāo)簽集合，輸出斷言的真實(shí)性判斷。

結(jié)果:

a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:

本文在兩個公開的錯誤信息數(shù)據(jù)集RAWFC和LIAR上進(jìn)行了實(shí)驗(yàn)。HiSS提示的LLMs在宏平均F1得分上比傳統(tǒng)的完全監(jiān)督模型平均提高了4.95%。HiSS提示的LLMs還在少樣本新聞主張驗(yàn)證方面取得了最新的最先進(jìn)水平。作者強(qiáng)調(diào)，HiSS提示的LLMs提供的解釋更加細(xì)致和易于理解，基于自動和人工評估。