Reinforcement Learning-based Counter-Misinformation Response Gen
Title:Reinforcement Learning-based Counter-Misinformation Response Generation: A Case Study of COVID-19 Vaccine Misinformation
論文目的：該論文旨在創(chuàng)建一個基于強化學習的文本生成模型，可以為輸入的誤導性信息生成有效的反駁回復，以幫助用戶糾正誤導性信息。
論文背景：在線誤導性信息的傳播對公共衛(wèi)生、民主和社會造成了威脅。雖然專業(yè)的事實核查者通過核查流行的虛假說法來形成第一道防線，但他們并不直接與誤導性信息的傳播者進行交流。另一方面，非專家的普通用戶作為現(xiàn)場的眼睛，主動地反駁誤導性信息——最近的研究表明，96%的反誤導性信息回復是由普通用戶發(fā)出的。然而，研究也發(fā)現(xiàn)，這些回復中有2/3是粗魯的，缺乏證據。這項工作試圖創(chuàng)建一個反誤導性信息回復生成模型，以賦予用戶有效糾正誤導性信息的能力。
論文方法：該論文創(chuàng)建了兩個新穎的數據集，包含來自社交媒體和大學生眾包的誤導性信息和反誤導性信息回復對。該論文對收集到的數據進行了注釋，區(qū)分了質量差和質量好的回復，后者是事實、禮貌和反駁誤導性信息的。該論文提出了一個基于強化學習的框架，稱為MisinfoCorrect，它學習如何為輸入的誤導性信息生成反誤導性信息回復。該模型獎勵生成器提高禮貌度、事實度和反駁態(tài)度，同時保持文本流暢度和相關性。
假設輸入的誤導性信息是：“新冠疫苗會導致自閉癥?！?/p>
MisinfoCorrect模型會根據以下步驟生成反誤導性信息回復：
“這是一個沒有科學依據的謠言?！保邯剟钪?0.60.4+0.70.4+0.80.4+0.90.2+0.8*0.2=0.72
“新冠疫苗和自閉癥沒有任何關系?！保邯剟钪?0.70.4+0.80.4+0.90.4+0.90.2+0.9*0.2=0.82
“你說的是胡說八道，新冠疫苗是安全有效的?！保邯剟钪?0.30.4+0.80.4+1.00.4+0.80.2+0.7*0.2=0.66
“你不要相信這些假消息，新冠疫苗可以保護你免受感染?！保邯剟钪?最高?= 0.8* 04 + 09 * 04 + 09 * 04 + 10 * 02 + 10 * 02 = 086
“這是一個沒有科學依據的謠言?！保憾Y貌度=0.6，事實度=0.7，反駁態(tài)度=0.8，流暢度=0.9，相關性=0.8
“新冠疫苗和自閉癥沒有任何關系?！保憾Y貌度=0.7，事實度=0.8，反駁態(tài)度=0.9，流暢度=0.9，相關性=0.9
“你說的是胡說八道，新冠疫苗是安全有效的?！保憾Y貌度=0.3，事實度=0.8，反駁態(tài)度=1.0，流暢度=0.8，相關性=0.7
“你不要相信這些假消息，新冠疫苗可以保護你免受感染?！保憾Y貌度=0.8，事實度=0.9，反駁態(tài)度=0.9，流暢度=1.0，相關性=1.0
“這是一個沒有科學依據的謠言?！?/p>
“新冠疫苗和自閉癥沒有任何關系?！?/p>
“你說的是胡說八道，新冠疫苗是安全有效的?！?/p>
“你不要相信這些假消息，新冠疫苗可以保護你免受感染?！?/p>
首先，模型會從一個預訓練的文本生成器中采樣出一些候選回復，例如：
然后，模型會用一個預訓練的分類器來評估每個候選回復的禮貌度、事實度和反駁態(tài)度，以及文本流暢度和相關性。例如：
最后，模型會根據一個預定義的獎勵函數來選擇最優(yōu)的回復。獎勵函數是一個加權和，其中禮貌度、事實度和反駁態(tài)度的權重高于流暢度和相關性。例如：
因此，模型會選擇“你不要相信這些假消息，新冠疫苗可以保護你免受感染。”作為最終的反誤導性信息回復。
