論文簡要 :

• 本文提出了一種名為PASTA的新穎框架，通過使用合成的句子-表格填空問題進(jìn)行預(yù)訓(xùn)練，實(shí)現(xiàn)了基于表格的事實(shí)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，PASTA在兩個表格事實(shí)驗(yàn)證基準(zhǔn)數(shù)據(jù)集上取得了新的最優(yōu)性能。

背景信息:

• 論文背景: 近年來，事實(shí)驗(yàn)證引起了廣泛的研究關(guān)注，因?yàn)樵诰€上的錯誤信息和虛假信息可能會影響人們的觀點(diǎn)和行為。尤其是基于表格的事實(shí)驗(yàn)證近年來成為一個重要且不斷發(fā)展的研究領(lǐng)域。

• 過去方案: 以往的工作主要依賴于預(yù)訓(xùn)練的語言模型，但由于這些模型忽視了表格操作，因此進(jìn)展受限。另一些方法嘗試通過生成邏輯形式來明確捕捉表格操作，但由于語義解析中的弱監(jiān)督信號，這些方法面臨“虛假程序”的問題。

• 論文的Motivation: 鑒于以往方法的局限性，本文提出了PASTA框架，通過設(shè)計一種新穎的句子-表格填空預(yù)訓(xùn)練策略，使語言模型能夠更好地理解表格操作。通過自動合成句子-表格填空問題，PASTA在大規(guī)模語料庫上進(jìn)行預(yù)訓(xùn)練，并在兩個表格事實(shí)驗(yàn)證基準(zhǔn)數(shù)據(jù)集上取得了新的最優(yōu)結(jié)果。

方法:

• a. 理論背景:

• 事實(shí)驗(yàn)證在新聞報道和政策制定等領(lǐng)域非常重要，以打擊錯誤信息和虛假信息?；诒砀竦氖聦?shí)驗(yàn)證因可靠信息在表格中的可用性而受到關(guān)注。然而，由于缺乏用于預(yù)訓(xùn)練語言模型（LMs）了解表格操作的數(shù)據(jù)集，該領(lǐng)域的進(jìn)展受到限制。本文作者介紹了一種名為PASTA的基于表格的事實(shí)驗(yàn)證框架，該框架使用合成的句子-表格填空問題對LMs進(jìn)行預(yù)訓(xùn)練。PASTA在兩個基準(zhǔn)數(shù)據(jù)集TabFact和SEM-TAB-FACTS上取得了最先進(jìn)的性能。

• b. 技術(shù)路線:

• PASTA模型利用了一個表格操作感知的預(yù)訓(xùn)練任務(wù)，引導(dǎo)模型理解句子中表格操作的表達(dá)。預(yù)訓(xùn)練任務(wù)涉及在句子中屏蔽操作感知的標(biāo)記，并訓(xùn)練模型通過對表格進(jìn)行推理來預(yù)測這些標(biāo)記。每個句子中屏蔽六種不同類型的操作感知標(biāo)記，對應(yīng)于各種操作類型，如過濾、聚合、最高級、比較、序數(shù)和唯一。預(yù)訓(xùn)練任務(wù)的目標(biāo)是通過預(yù)測屏蔽標(biāo)記來重構(gòu)原始句子。

結(jié)果:

• a. 詳細(xì)的實(shí)驗(yàn)設(shè)置:

• PASTA模型基于Transformer架構(gòu)實(shí)現(xiàn)。它使用DebertAV3-Large檢查點(diǎn)進(jìn)行預(yù)訓(xùn)練，并使用Adam優(yōu)化器進(jìn)行優(yōu)化。預(yù)訓(xùn)練過程運(yùn)行400K步，批量大小為16，學(xué)習(xí)率為1 × 10^-6。完整的預(yù)訓(xùn)練過程在2個RTX A6000 GPU上大約需要3天時間。對于微調(diào)，模型運(yùn)行300K步，批量大小為8，學(xué)習(xí)率為5 × 10^-6。

• b. 詳細(xì)的實(shí)驗(yàn)結(jié)果:

• PASTA在TabFact數(shù)據(jù)集上取得了最先進(jìn)的結(jié)果，在所有劃分上都優(yōu)于先前的方法。在復(fù)雜集上，它的準(zhǔn)確率達(dá)到了85.6%，比先前的最先進(jìn)方法高出4.7個百分點(diǎn)。PASTA還在測試集上比DeBERTAV3模型高出3.1個百分點(diǎn)，展示了其優(yōu)越的句子-表格推理能力。