FIN-FACT: A Benchmark Dataset for Multimodal Financial Fact Chec
Title: FIN-FACT: A Benchmark Dataset for Multimodal Financial Fact Checking and Explanation Generation (金融事實(shí)核查和解釋生成的多模態(tài)基準(zhǔn)數(shù)據(jù)集)
論文簡(jiǎn)要 :
本研究提出了FIN-FACT，一個(gè)用于金融領(lǐng)域多模態(tài)事實(shí)核查和解釋生成的基準(zhǔn)數(shù)據(jù)集，旨在解決金融領(lǐng)域事實(shí)核查的挑戰(zhàn)，提供專業(yè)的事實(shí)核查和解釋，增強(qiáng)事實(shí)性分析，促進(jìn)金融信息的透明度和可信度。
背景信息:
論文背景: 在信息傳播迅速擴(kuò)散和虛假新聞泛濫的時(shí)代，事實(shí)核查成為確保信息準(zhǔn)確性和可靠性的關(guān)鍵工具。金融領(lǐng)域的事實(shí)核查面臨著特殊的困難，需要定制化的數(shù)據(jù)來(lái)滿足其獨(dú)特的要求和細(xì)微差別。
過(guò)去方案: 過(guò)去的研究主要集中在預(yù)測(cè)來(lái)自不同來(lái)源的聲明的準(zhǔn)確性，但缺乏針對(duì)金融領(lǐng)域的特定需求的數(shù)據(jù)集?，F(xiàn)有的金融虛假信息數(shù)據(jù)集缺乏清晰的標(biāo)注和解釋，存在結(jié)果可靠性的問(wèn)題。
論文的Motivation: 鑒于金融領(lǐng)域事實(shí)核查的挑戰(zhàn)和現(xiàn)有數(shù)據(jù)集的不足，本研究旨在構(gòu)建一個(gè)全面的金融文本數(shù)據(jù)集，準(zhǔn)確地代表金融信息和背景，并提供專業(yè)的事實(shí)核查和解釋，以促進(jìn)金融領(lǐng)域的事實(shí)核查研究和應(yīng)用。
方法:
a. 理論背景:
本文介紹了FIN-FACT，這是一個(gè)用于金融領(lǐng)域多模態(tài)事實(shí)核查的基準(zhǔn)數(shù)據(jù)集。它包含專業(yè)事實(shí)核查員的注釋和證明，提供專業(yè)知識(shí)和可信度。該數(shù)據(jù)集旨在打擊金融領(lǐng)域的錯(cuò)誤信息，促進(jìn)透明度，并建立對(duì)財(cái)務(wù)報(bào)告和新聞傳播的信任。
b. 技術(shù)路線:
利用PolitiFact和FactCheck這兩個(gè)專業(yè)的在線平臺(tái)，收集財(cái)經(jīng)領(lǐng)域的文本和圖片，以及對(duì)應(yīng)的真實(shí)性標(biāo)簽、證據(jù)、來(lái)源和解釋。
構(gòu)建FIN-FACT數(shù)據(jù)集，包含3,562個(gè)財(cái)經(jīng)領(lǐng)域的斷言，每個(gè)斷言都有專業(yè)的事實(shí)核查者的注釋和解釋。
使用自然語(yǔ)言推理（NLI）模型，如ELECTRA、BART、RoBERTa和GPT-2，對(duì)FIN-FACT數(shù)據(jù)集進(jìn)行事實(shí)核查和真實(shí)性預(yù)測(cè)。
使用BART模型，根據(jù)事實(shí)核查者的解釋，生成對(duì)斷言真實(shí)性的解釋，使用GLUE和ROUGE指標(biāo)進(jìn)行評(píng)估。
結(jié)果:
a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:
本文的實(shí)驗(yàn)重點(diǎn)是評(píng)估自然語(yǔ)言推理（NLI）模型在事實(shí)核查任務(wù)中的準(zhǔn)確性。評(píng)估的模型包括ELECTRA、BART、RoBERTa和GPT-2。這些模型在FIN-FACT數(shù)據(jù)集上的準(zhǔn)確性結(jié)果如下：ELECTRA - 29%，BART-Large - 33%，RoBERTa-Large - 32%，GPT-2 - 43%。這些結(jié)果突出了模型在金融事實(shí)核查領(lǐng)域中的性能差異。
b. 詳細(xì)的實(shí)驗(yàn)結(jié)果:
FIN-FACT數(shù)據(jù)集包含3,562個(gè)金融領(lǐng)域的聲明，涵蓋收入、金融、經(jīng)濟(jì)、預(yù)算、稅收和債務(wù)等領(lǐng)域。數(shù)據(jù)集包括1,807個(gè)“真實(shí)”聲明，1,315個(gè)“虛假”聲明和440個(gè)“NEI”實(shí)例，其中沒(méi)有足夠的信息來(lái)確定聲明的真實(shí)性。這個(gè)全面的數(shù)據(jù)集為金融領(lǐng)域事實(shí)核查模型的開(kāi)發(fā)和評(píng)估提供了堅(jiān)實(shí)的基礎(chǔ)。
