EMNLP 2023也放榜啦！速來圍觀！

開始前防止有同學(xué)不了解這個會議，先簡單介紹介紹：EMNLP 是NLP 四大頂會之一，ACL大家應(yīng)該都很熟吧，EMNLP就是由 ACL 下屬的SIGDAT小組主辦的NLP領(lǐng)域頂級國際會議，一年舉辦一次。相較于ACL，EMNLP更偏向于NLP在各個領(lǐng)域解決方案的學(xué)術(shù)探討。

學(xué)姐也做過ACL獲獎?wù)撐牡姆窒恚?a target="_blank" >點這里傳送

今年的EMNLP 2023大會將于12月6日-10日在新加坡召開，學(xué)姐先整理了10篇錄用論文來和大家分享，幫助NLP領(lǐng)域的同學(xué)了解今年的技術(shù)進展以及最新的SOTA方案，發(fā)論文更有方向，需要論文原文及代碼的同學(xué)看這里??

掃碼添加小享，回復(fù)“EMNLP”?

免費獲取全部論文+代碼合集

如果有同學(xué)的論文中稿了也歡迎在評論區(qū)曬一曬哦！

1.Unlocking Context Constraints of LLMs: Enhancing Context Efficiency of LLMs with Self-Information-Based Content Filtering

標(biāo)題：解鎖LLM的上下文約束：利用基于自信息的內(nèi)容過濾提高LLM上下文效率

內(nèi)容：由于大型語言模型(LLM)在各種任務(wù)上都取得了顯著的性能，因此受到了廣泛的關(guān)注。但是，它們固定的上下文長度在處理長文本或進行長時間對話時碰到了挑戰(zhàn)。本文提出了一種稱為Selective Context的方法，該方法利用自信息量來過濾掉信息量較少的內(nèi)容，從而提高固定上下文長度的效率。作者在文本摘要和問答等任務(wù)上驗證了該方法的有效性，實驗數(shù)據(jù)源包括學(xué)術(shù)論文、新聞文章和對話記錄。

2.New Intent Discovery with Pre-training and Contrastive Learning

標(biāo)題：基于預(yù)訓(xùn)練和對比學(xué)習(xí)的新意圖發(fā)現(xiàn)

內(nèi)容：在本文中，作者為新意圖發(fā)現(xiàn)提供了兩個重要研究問題的新解決方案：(1)如何學(xué)習(xí)語義表達表示，(2)如何更好地聚類表達。具體來說，作者首先提出了一個多任務(wù)預(yù)訓(xùn)練策略，以利用豐富的無標(biāo)注數(shù)據(jù)以及外部標(biāo)注數(shù)據(jù)進行表示學(xué)習(xí)。然后，作者設(shè)計了一個新的對比損失，以利用無標(biāo)注數(shù)據(jù)中的自監(jiān)督信號進行聚類。在三個意圖識別基準(zhǔn)測試中進行的大量實驗證明，該方法無論是在無監(jiān)督還是半監(jiān)督場景中，都明顯優(yōu)于當(dāng)前最先進的方法。

3.Dialogue for Prompting: a Policy-Gradient-Based Discrete Prompt Optimization for Few-shot Learning

標(biāo)題：Dialogue for Prompting：基于策略梯度的少樣本學(xué)習(xí)離散提示優(yōu)化

內(nèi)容：論文提出了一種基于策略梯度的離散提示詞優(yōu)化方法DP2O。作者首先基于GPT-4設(shè)計了多輪對話setAlignment策略來生成可讀性提示集。然后，提出了一個高效的提示詞篩選指標(biāo)來識別高質(zhì)量提示詞，其復(fù)雜度為線性。最后，構(gòu)建了一個基于策略梯度的強化學(xué)習(xí)框架，用于最佳匹配提示詞和輸入。

4.CoCo: Coherence-Enhanced Machine-Generated Text Detection Under Data Limitation With Contrastive Learning

標(biāo)題：CoCo：對比學(xué)習(xí)緩解數(shù)據(jù)稀缺下的機器生成文本檢測與連貫性提升

內(nèi)容：在本文中，作者提出了一個名為 CoCo 的基于連貫性的對比學(xué)習(xí)模型，以在低資源場景下檢測可能的 MGT。受到語言特征的區(qū)分性和持久性的啟發(fā)，作者將文本表示為一個連貫性圖，以捕獲其實體一致性，該連貫性圖進一步由預(yù)訓(xùn)練模型和圖神經(jīng)網(wǎng)絡(luò)編碼。為了應(yīng)對數(shù)據(jù)缺乏的挑戰(zhàn)，作者采用對比學(xué)習(xí)框架，并提出改進的對比損失，以在訓(xùn)練階段充分利用難樣本。

5.Can Language Models Understand Physical Concepts?

標(biāo)題：語言模型能理解物理概念嗎？

內(nèi)容：作者設(shè)計了一個覆蓋視覺概念和具身概念的基準(zhǔn)測試。結(jié)果顯示，隨著模型規(guī)模的增大，語言模型對某些視覺概念的理解確實提高了，但對很多基本概念仍然缺乏理解。相比之下，融合視覺信息的語言模型在具身概念上表現(xiàn)更好。這說明視覺表示中的豐富語義信息可以幫助語言模型獲得具身知識。另外，作者還提出了一種從視覺語言模型向語言模型傳遞具身知識的知識蒸餾方法。

掃碼添加小享，回復(fù)“EMNLP”?

免費獲取全部論文+代碼合集

6.ImageNetVC: Zero-Shot Visual Commonsense Evaluation on 1000 ImageNet Categories

標(biāo)題：ImageNetVC：在1000個ImageNet類別上進行零樣本視覺常識評估

內(nèi)容：論文提出了ImageNetVC，這是一個針對1000個ImageNet類別設(shè)計的細粒度人工標(biāo)注數(shù)據(jù)集，專門用于跨類別的零樣本視覺常識評估。利用ImageNetVC，作者深入研究了非模態(tài)PLMs和VaLMs的基本視覺常識，揭示了VaLMs的縮放定律和backbone模型的影響。此外，作者還研究了影響大規(guī)模模型視覺常識的因素，為開發(fā)融合視覺常識的語言模型提供了見解。

7.Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

標(biāo)題：從信息流角度理解詞內(nèi)學(xué)習(xí)

內(nèi)容：在本文中，作者通過信息流的視角來研究ICL的工作機制。作者發(fā)現(xiàn)，在示范例子中，標(biāo)簽詞起著“錨點”的作用：(1)語義信息在淺層計算層處理過程中聚合到標(biāo)簽詞的表達中，(2)標(biāo)簽詞中聚合的信息為LLM的最終預(yù)測提供參考?；谶@些見解，作者提出了一個錨點重新加權(quán)方法來改進ICL性能，一個示范壓縮技術(shù)來加快推理，以及一個用于診斷GPT2-XL中的ICL錯誤的分析框架。

8.Can We Edit Factual Knowledge by In-Context Learning?

標(biāo)題：我們能通過詞內(nèi)學(xué)習(xí)編輯事實知識嗎？

內(nèi)容：這篇論文探究了通過詞內(nèi)學(xué)習(xí)編輯語言模型中的事實知識。作者進行了全面的實證研究，結(jié)果顯示詞內(nèi)知識編輯可以在不更新參數(shù)的情況下實現(xiàn)知識編輯，并取得與基于梯度的方法相當(dāng)?shù)某晒β?。與基于梯度的方法相比，詞內(nèi)知識編輯具有副作用更少的優(yōu)勢，包括對不相關(guān)事實過度編輯更少，以及對先前知識遺忘更少。該方法也表現(xiàn)出很好的可擴展性。

9.Beyond Labels: Empowering Human with Natural Language Explanations through a Novel Active-Learning Architecture

標(biāo)題：超越標(biāo)簽：通過新穎的主動學(xué)習(xí)架構(gòu)用自然語言解釋賦能人類

內(nèi)容：這篇論文提出一個新的主動學(xué)習(xí)架構(gòu)，不僅提供分類標(biāo)簽，還同時生成自然語言解釋來協(xié)助人類用戶。該架構(gòu)包含解釋生成模塊和數(shù)據(jù)選擇模塊。結(jié)果顯示，與僅提供標(biāo)簽相比，該架構(gòu)生成的自然語言解釋可顯著提高人類的分類準(zhǔn)確率，特別是在少樣本場景下。

10.Large Language Model Is Not a Good Few-shotInformation Extractor but a Good Reranker for HardSamples

標(biāo)題：大語言模型不是一個好的少樣本信息提取器，但是一個困難樣本的好重排器

內(nèi)容：這篇論文研究了大語言模型在少樣本信息提取任務(wù)上的表現(xiàn)。大語言模型本身并不是很好的少樣本信息提取器，但它們擅長對難樣本進行重排。因此，作者提出了一種混合方法，使用小型預(yù)訓(xùn)練語言模型進行過濾，然后用大語言模型重排難樣本。實驗表明，這種方法可以在信息提取任務(wù)上取得顯著改進，而且成本可控。

掃碼添加小享，回復(fù)“EMNLP”?

免費獲取全部論文+代碼合集