• Title: Prompt-and-Align: Prompt-Based Social Alignment for Few-Shot Fake News Detection (Prompt-and-Align: 基于提示的社交對(duì)齊用于少樣本假新聞檢測(cè))

論文簡(jiǎn)要 :

• 本研究提出了一種基于提示的社交對(duì)齊方法，用于少樣本假新聞檢測(cè)，通過(guò)結(jié)合預(yù)訓(xùn)練語(yǔ)言模型和社交上下文拓?fù)洌@著提高了假新聞檢測(cè)的性能。

背景信息:

• 論文背景: 隨著假新聞在網(wǎng)絡(luò)上的泛濫，準(zhǔn)確檢測(cè)假新聞對(duì)于人類(lèi)認(rèn)知和社會(huì)發(fā)展至關(guān)重要。然而，由于新聞的及時(shí)性，如何在有限的事實(shí)核查基礎(chǔ)上有效預(yù)測(cè)新聞文章的真實(shí)性仍然是一個(gè)關(guān)鍵問(wèn)題。

• 過(guò)去方案: 過(guò)去的方法通常遵循“從頭訓(xùn)練”的范式，但這種方法受限于大規(guī)模標(biāo)注數(shù)據(jù)的可用性。雖然預(yù)訓(xùn)練語(yǔ)言模型（PLMs）已經(jīng)被應(yīng)用于“預(yù)訓(xùn)練和微調(diào)”的方式，但預(yù)訓(xùn)練和下游任務(wù)之間的不一致性也需要昂貴的任務(wù)特定監(jiān)督。此外，現(xiàn)有方法通常需要大規(guī)模標(biāo)記的新聞文章和輔助信息，這些信息往往難以獲取，導(dǎo)致在標(biāo)簽稀缺的情況下存在泛化問(wèn)題。

• 論文的Motivation: 針對(duì)上述問(wèn)題，本研究提出了一種名為“Prompt-and-Align”（P&A）的新方法，通過(guò)在任務(wù)相關(guān)的文本提示中包裝新聞文章，利用預(yù)訓(xùn)練語(yǔ)言模型直接引出任務(wù)特定的知識(shí)。同時(shí)，通過(guò)觀(guān)察社交用戶(hù)的真實(shí)性一致性，構(gòu)建了新聞接近性圖來(lái)捕捉共享讀者中真實(shí)性一致的信號(hào)，并以置信度為基礎(chǔ)對(duì)提示預(yù)測(cè)進(jìn)行對(duì)齊。通過(guò)這種方法，本研究在三個(gè)真實(shí)世界基準(zhǔn)測(cè)試中取得了顯著的性能提升。

方法:

• a. 理論背景:

• 本文提出了一種新的基于提示的范式，稱(chēng)為Prompt-and-Align（P&A），用于少樣本假新聞檢測(cè)。P&A將預(yù)訓(xùn)練語(yǔ)言模型（PLMs）與社交上下文拓?fù)浣Y(jié)構(gòu)相結(jié)合，根據(jù)有限的事實(shí)檢查來(lái)預(yù)測(cè)新聞文章的真實(shí)性。該方法將新聞文章包裝在與任務(wù)相關(guān)的文本提示中，PLM處理該提示以引出任務(wù)特定的知識(shí)。此外，構(gòu)建了一個(gè)新聞接近度圖，以捕獲共享讀者中與真實(shí)性一致的信號(hào)，并且在圖的邊緣上對(duì)提示的預(yù)測(cè)進(jìn)行對(duì)齊。實(shí)驗(yàn)結(jié)果表明，P&A在少樣本假新聞檢測(cè)方面取得了最先進(jìn)的性能。

• b. 技術(shù)路線(xiàn):

• P&A范式由兩個(gè)主要組成部分組成。第一個(gè)組成部分是“Prompt”組件，它從預(yù)訓(xùn)練語(yǔ)言模型（PLM）中引出任務(wù)特定的知識(shí)，以預(yù)測(cè)新聞文章的真實(shí)性。這是通過(guò)將假新聞檢測(cè)問(wèn)題重新定義為掩碼標(biāo)記預(yù)測(cè)問(wèn)題，并使用提示來(lái)查詢(xún)PLM以獲取最可能適合掩碼位置的標(biāo)記。第二個(gè)組成部分是“Align”組件，它利用信息豐富的新聞讀者模式，通過(guò)自信度感知的社交圖對(duì)提示的預(yù)測(cè)進(jìn)行增強(qiáng)。通過(guò)考慮用戶(hù)在傳播新聞文章時(shí)的真實(shí)性一致性來(lái)執(zhí)行對(duì)齊。整體方法旨在解決少樣本假新聞檢測(cè)中的泛化挑戰(zhàn)，并通過(guò)整合社交圖信息來(lái)緩解標(biāo)簽稀缺問(wèn)題。

• 假設(shè)我們想要判斷一篇新聞文章是否是真實(shí)的，但是我們只有少量的已經(jīng)被事實(shí)核查的新聞樣本。我們可以使用以下的步驟：

• 首先，我們使用一個(gè)預(yù)訓(xùn)練的語(yǔ)言模型（PLM），比如BERT，來(lái)學(xué)習(xí)新聞文章的語(yǔ)義信息。我們不需要為這個(gè)任務(wù)設(shè)計(jì)特定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，而是通過(guò)一個(gè)自然語(yǔ)言提示（prompt）來(lái)引導(dǎo)PLM進(jìn)行任務(wù)相關(guān)的推理。例如，我們可以把新聞文章前面加上一個(gè)掩碼（[MASK]）符號(hào)，然后讓PLM預(yù)測(cè)這個(gè)掩碼應(yīng)該填入“news”還是“rumor”。

• 然后，我們利用社交媒體用戶(hù)的轉(zhuǎn)發(fā)行為來(lái)構(gòu)建一個(gè)新聞相似性圖（news proximity graph），其中每個(gè)節(jié)點(diǎn)代表一篇新聞，每條邊代表兩篇新聞?dòng)泄餐淖x者群。我們觀(guān)察到，社交媒體用戶(hù)傾向于轉(zhuǎn)發(fā)同一真實(shí)性類(lèi)型（真或假）的新聞，因此這個(gè)圖可以反映出新聞之間的真實(shí)性一致性信號(hào)。

• 最后，我們根據(jù)PLM的預(yù)測(cè)結(jié)果和新聞相似性圖來(lái)對(duì)每篇新聞進(jìn)行真實(shí)性對(duì)齊（veracity alignment），即讓相似的新聞?dòng)邢嗨频恼鎸?shí)性標(biāo)簽。我們首先選擇一些高置信度的預(yù)測(cè)結(jié)果作為偽標(biāo)簽（pseudo label），然后在圖上進(jìn)行信息傳播，使得未標(biāo)注的新聞能夠從已標(biāo)注或高置信度的新聞中獲得真實(shí)性指導(dǎo)。

結(jié)果:

• a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:

• 作者通過(guò)實(shí)證實(shí)驗(yàn)評(píng)估了他們的P&A范式，以回答五個(gè)研究問(wèn)題。這些問(wèn)題包括評(píng)估P&A在少樣本假新聞檢測(cè)中的有效性，了解新聞內(nèi)容和社交圖結(jié)構(gòu)對(duì)P&A性能的貢獻(xiàn)，分析P&A對(duì)不同對(duì)齊步驟、偽標(biāo)簽百分位數(shù)和用戶(hù)參與閾值的敏感性，評(píng)估提示設(shè)計(jì)對(duì)不同文本提示下P&A有效性的影響，并通過(guò)中間結(jié)果進(jìn)行案例研究來(lái)解釋P&A的預(yù)測(cè)。

• b. 詳細(xì)的實(shí)驗(yàn)結(jié)果:

• 作者在三個(gè)真實(shí)世界基準(zhǔn)數(shù)據(jù)集上進(jìn)行了評(píng)估：FakeNewsNet，包括PolitiFact和GossipCop數(shù)據(jù)集，以及FANG數(shù)據(jù)集。這些數(shù)據(jù)集包含從事實(shí)檢查網(wǎng)站收集的新聞文章和從Twitter檢索到的相關(guān)社交用戶(hù)參與。數(shù)據(jù)集被分為訓(xùn)練集和測(cè)試集，訓(xùn)練集大小不同（16、32、64、128），假新聞和真實(shí)新聞的比例為1:1。

• 作者將P&A與十種代表性的基線(xiàn)方法進(jìn)行了比較，包括“從頭開(kāi)始訓(xùn)練”的方法和基于PLM的方法。他們使用PyTorch和預(yù)訓(xùn)練的BERT-base權(quán)重實(shí)現(xiàn)了P&A及其變體。設(shè)置了最大序列長(zhǎng)度、批量大小和學(xué)習(xí)率，并對(duì)模型進(jìn)行了特定數(shù)量的微調(diào)。作者還提供了實(shí)驗(yàn)中使用的對(duì)齊步驟、偽標(biāo)簽閾值和用戶(hù)參與閾值的詳細(xì)信息。

• 實(shí)驗(yàn)結(jié)果顯示，P&A在假新聞檢測(cè)準(zhǔn)確性方面優(yōu)于基線(xiàn)方法。P&A在不同訓(xùn)練集大小下始終取得顯著的性能提升。結(jié)果還證明了提示方法在利用PLM的任務(wù)特定知識(shí)方面的有效性。