論文簡(jiǎn)要 :

• 本文提出了一種使用程序引導(dǎo)的推理進(jìn)行事實(shí)核查的模型，該模型將復(fù)雜聲明分解為簡(jiǎn)單的子任務(wù)，并使用專(zhuān)門(mén)的函數(shù)庫(kù)來(lái)解決這些子任務(wù)，從而提供了解釋性和數(shù)據(jù)效率，并在兩個(gè)具有挑戰(zhàn)性的事實(shí)核查數(shù)據(jù)集上取得了優(yōu)于七個(gè)基線模型的結(jié)果。

背景信息:

• 論文背景: 隨著虛假信息的泛濫，自動(dòng)化事實(shí)核查成為自然語(yǔ)言處理領(lǐng)域的重要應(yīng)用?，F(xiàn)有的事實(shí)核查方法往往只需要從單一文檔中獲取信息來(lái)支持或反駁聲明，而對(duì)于復(fù)雜聲明，需要進(jìn)行多步推理和收集多個(gè)證據(jù)，這使得事實(shí)核查變得更加困難。

• 過(guò)去方案: 過(guò)去的研究提出了一些模型來(lái)處理復(fù)雜聲明的事實(shí)核查，如基于圖的模型，但這些模型在解釋性和數(shù)據(jù)效率方面存在問(wèn)題。

• 論文的Motivation: 本文的動(dòng)機(jī)是提出一種既具有解釋性又具有數(shù)據(jù)效率的事實(shí)核查模型，通過(guò)生成推理程序來(lái)解釋推理過(guò)程，并利用大型語(yǔ)言模型的能力進(jìn)行少樣本學(xué)習(xí)。

方法:

• a. 理論背景:

• 本文提出了一種名為Program-Guided Fact-Checking (PROGRAMFC)的事實(shí)核查模型，將復(fù)雜的主張分解為更簡(jiǎn)單的子任務(wù)。它使用大型語(yǔ)言模型生成推理程序，并通過(guò)將每個(gè)子任務(wù)委托給相應(yīng)的子任務(wù)處理程序來(lái)執(zhí)行它們。該模型既具有解釋性又具有數(shù)據(jù)效率，清晰地解釋其推理過(guò)程，并且需要最少的訓(xùn)練數(shù)據(jù)。在兩個(gè)具有挑戰(zhàn)性的事實(shí)核查數(shù)據(jù)集上，它優(yōu)于七個(gè)事實(shí)核查基線模型。

• b. 技術(shù)路線:

• 本文提出了一種名為PROGRAMFC的事實(shí)核查框架，將復(fù)雜的主張分解為更簡(jiǎn)單的子任務(wù)，并清晰解釋其推理過(guò)程。它利用大型語(yǔ)言模型進(jìn)行上下文學(xué)習(xí)，并且需要最少的訓(xùn)練數(shù)據(jù)。

• 假設(shè)您想要驗(yàn)證這個(gè)陳述：“美國(guó)是世界上面積最大的國(guó)家。”可以輸入這個(gè)陳述，然后會(huì)生成一個(gè)推理程序，即一系列的子任務(wù)函數(shù)調(diào)用，來(lái)指導(dǎo)驗(yàn)證過(guò)程。例如，可能會(huì)生成這樣的一個(gè)程序：

  answer_1 = Question(“美國(guó)的面積是多少？”) answer_2 = Question(“世界上哪個(gè)國(guó)家的面積最大？”) fact_1 = Verify(“{answer_1}大于{answer_2}?！? label = Predict(fact_1)

  這個(gè)程序包含了四個(gè)子任務(wù)函數(shù)：Question, Verify, Predict和Label。Question函數(shù)用于回答一個(gè)問(wèn)題，Verify函數(shù)用于驗(yàn)證一個(gè)簡(jiǎn)單的陳述，Predict函數(shù)用于根據(jù)邏輯表達(dá)式預(yù)測(cè)陳述的真假，Label函數(shù)用于輸出最終的真假標(biāo)簽。每個(gè)函數(shù)都有一個(gè)輸入?yún)?shù)和一個(gè)輸出變量，例如Question(“美國(guó)的面積是多少？”)的輸入?yún)?shù)是"美國(guó)的面積是多少？"，輸出變量是answer_1。

  在生成了推理程序之后，會(huì)執(zhí)行這個(gè)程序，通過(guò)調(diào)用相應(yīng)的子任務(wù)函數(shù)來(lái)完成每一步。例如，在執(zhí)行第一步時(shí)，會(huì)調(diào)用Question函數(shù)，并將"美國(guó)的面積是多少？"作為輸入?yún)?shù)傳遞給它。然后，會(huì)使用內(nèi)部知識(shí)或外部知識(shí)源（如維基百科）來(lái)查找答案，并將答案存儲(chǔ)在變量answer_1中。在執(zhí)行第二步時(shí)，會(huì)以同樣的方式調(diào)用Question函數(shù)，并將"世界上哪個(gè)國(guó)家的面積最大？“作為輸入?yún)?shù)傳遞給它。然后，會(huì)將答案存儲(chǔ)在變量answer_2中。在執(zhí)行第三步時(shí)，會(huì)調(diào)用Verify函數(shù)，并將”{answer_1}大于{answer_2}。"作為輸入?yún)?shù)傳遞給它。這里，會(huì)將變量answer_1和answer_2替換為它們實(shí)際的值，例如“983萬(wàn)平方公里大于1700萬(wàn)平方公里?！比缓螅瑫?huì)根據(jù)內(nèi)部知識(shí)或外部知識(shí)源來(lái)判斷這個(gè)陳述是否正確，并將結(jié)果存儲(chǔ)在變量fact_1中。在執(zhí)行最后一步時(shí)，會(huì)調(diào)用Predict函數(shù)，并將fact_1作為輸入?yún)?shù)傳遞給它。然后，會(huì)根據(jù)fact_1的值來(lái)預(yù)測(cè)陳述的真假，并將結(jié)果存儲(chǔ)在變量label中。

  在完成了推理程序的執(zhí)行之后，會(huì)輸出最終的真假標(biāo)簽和推理過(guò)程的解釋。例如，對(duì)于上面的例子，輸出可能是：

  這個(gè)陳述是錯(cuò)誤的。 推理過(guò)程如下：

  首先回答了問(wèn)題“美國(guó)的面積是多少？”，并得到了答案“983萬(wàn)平方公里”。

  然后，回答了問(wèn)題“世界上哪個(gè)國(guó)家的面積最大？”，并得到了答案“俄羅斯”。

  接著，驗(yàn)證了陳述“983萬(wàn)平方公里大于1700萬(wàn)平方公里。”，并得到了結(jié)果“錯(cuò)誤”。

  最后，根據(jù)結(jié)果“錯(cuò)誤”來(lái)預(yù)測(cè)陳述的真假，并得到了標(biāo)簽“錯(cuò)誤”

  
  

結(jié)果:

• a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:

• 作者在兩個(gè)數(shù)據(jù)集HOVER和FEVEROUS上評(píng)估了他們的模型，這些數(shù)據(jù)集包含需要多步推理的復(fù)雜主張。

• HOVER數(shù)據(jù)集包含需要在多個(gè)維基百科文章上進(jìn)行整合和推理的主張，并根據(jù)驗(yàn)證主張所需的跳數(shù)將其分為子集。

• FEVEROUS數(shù)據(jù)集側(cè)重于對(duì)非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)進(jìn)行事實(shí)核查的復(fù)雜主張，證據(jù)以來(lái)自維基百科的句子形式呈現(xiàn)。

• 作者使用這兩個(gè)數(shù)據(jù)集的驗(yàn)證集進(jìn)行評(píng)估。

• b. 詳細(xì)的實(shí)驗(yàn)結(jié)果:

• PROGRAMFC在8個(gè)評(píng)估中有7個(gè)取得了最佳性能，證明了其有效性。

• PROGRAMFC在更深層次的主張上表現(xiàn)更好，隨著所需推理深度的增加，性能也更高。

• 使用推理程序進(jìn)行分解比一步預(yù)測(cè)更有效，提高了復(fù)雜主張的準(zhǔn)確性。

• 聚合推理程序改善了性能，表明多個(gè)推理鏈可以導(dǎo)致更準(zhǔn)確的結(jié)果。