很久沒有更新經(jīng)典論文合集啦！學姐最近忙著給大家整理100+篇經(jīng)典論文超全的文檔（關注【學姐帶你玩AI】公眾號回復“500”即可獲?。?。

還有經(jīng)典論文的視頻講解+代碼和數(shù)據(jù)集（https://deepshare.feishu.cn/docs/doccnewbeOX1q1t4Pk5npjv0p5d）

今天給大家整理的自然語言處理經(jīng)典論文——文本匹配范圍內(nèi)的~~一起來學習！

DSSM

第一篇深度學習領域文本匹配文章

期刊日期

CIKM 2013

論文名稱

Learning Deep Structured Semantic Models for Web Search using Clickthrough Data

描述

DSSM的優(yōu)勢體現(xiàn)在三方面：

（1）直接訓練搜索目標，而不是像自動編碼器那些學習無監(jiān)督的目標

（2）使用深度模型，能更好的提取語義特征

（3）使用word hashing，從而解決了term vector的高維問題，不像有的模型不得不通過選取最頻繁的部分term使得term vector截斷

論文鏈接

關注公眾號后回復“DSSM”即可獲取論文+代碼+數(shù)據(jù)集

SiameseNet

利用孿生網(wǎng)絡計算文本相似度

期刊日期

ACL 2016

論文名稱

Learning Text Similarity with Siamese Recurrent Networks

描述

本文提出了一種學習變長字符序列相似性度量的深層結構。該模型將字符級雙向LSTM堆棧與孿生結構相結合。它學會了只使用關于字符串對之間相似性的信息，將可變長度的字符串投影到固定維度的嵌入空間中。此模型應用于基于人工標注的分類任務。一個小的數(shù)據(jù)集被增量地擴展，并用新的數(shù)據(jù)源進行擴充。該模型學習了一種反映一對輸入的語義差異的表示（例如“Java developer”和“HR manager”），但對非語義的字符串差異（例如“Java developer”與“Java programmer”）是不變的。

論文鏈接

關注公眾號回復“500”即可獲取

CompAgg

多角度提取文本特征，利用CNN進行特征融合

期刊日期

ICLR 2017

論文名稱

A Compare-Aggregate Model For Matching Text Sequences

描述

NLP包括機器理解、答案選擇、文本蘊含中的序列之間比較等任務。研究如何在序列之間，匹配重要單元是解決這些問題的關鍵。

在本文中，我們提出了一個通用的“比較聚合”框架，該框架執(zhí)行單詞級別的匹配，使用卷積神經(jīng)網(wǎng)絡進行聚合。本文主要研究可用于匹配兩個向量的不同比較函數(shù)。我們使用四個不同的數(shù)據(jù)集來評估模型。

我們發(fā)現(xiàn)一些簡單的基于逐元素運算的比較函數(shù)要比標準神經(jīng)網(wǎng)絡和神經(jīng)張量網(wǎng)絡表現(xiàn)更好。

論文鏈接

https://arxiv.org/pdf/1611.01747.pdf

ESIM

最流行、最常用的文本匹配模型

期刊日期

ACL 2017

論文名稱

Enhanced LSTM for Natural Language Inference

描述

這篇論文認為序列推理模型并沒有被好好研究，很多取得好效果的方法都是設計了很復雜的模型，所以他們提出 ESIM (Enhancing Sequential Inference Model) ，并融合了基于句法樹的 tree-LSTM，能在 SNLI 上達到最佳效果（accuracy = 88.6%）。

論文鏈接

http://arxiv.org/abs/1609.06038

代碼：

https://github.com/lukecq1231/nli

BiMPM

多視角匹配，充分挖掘文本特征，匹配精度高

期刊日期

IJCAI 2017

論文名稱

Bilateral multi-perspective matching for natural language sentences

描述

自然語言句子匹配是完成各種任務的基礎技術。以前的方法要么從一個方向匹配句子，要么只應用單個粒度(單詞或句子)匹配。在這項工作中，我們提出了一個雙邊多視角匹配(BiMPM)模型。給定兩個句子P和Q，我們的模型首先用BiLSTM編碼器對它們進行編碼。接下來，我們將兩個編碼后的句子在兩個方向P對Q, Q對P進行匹配。在每個匹配的方向上，一個句子的每一個時間步都從多個角度匹配另一個句子的所有時間步。然后，利用另一個BiLSTM層將匹配結果聚合成固定長度的匹配向量。最后，基于匹配向量，通過全連通層進行決策。?我們從三個方面來評估我們的模型：意思識別、自然語言推理和答案句選擇。在標準基準數(shù)據(jù)集上的實驗結果表明，我們的模型在所有任務上都達到了最新的性能。

論文鏈接

https://arxiv.org/pdf/1702.03814.pdf?

代碼：

https://github.com/zhiguowang/BiMPM

RE2

基于更豐富特征對齊結構的簡單高效文本匹配

期刊日期

acl 2019

論文名稱

Simple and Effective Text Matching with Richer Alignment Features

描述

用于通用目的文本匹配的神經(jīng)網(wǎng)絡方法，一個用于用于序列間對齊方法的文本匹配模型，只需要保持三個關鍵特征：原始點乘特征、先前的對齊特征和上下文特征，同時簡化所有剩余的組件。我模型在參數(shù)較少的所有數(shù)據(jù)集上的性能與最新水平不相上下，推理速度比同類模型快至少6倍。

論文鏈接

關注公眾號【學姐帶你玩AI】回復“500”即可獲取?

MatchPyramid

以圖像識別的方式進行文本匹配

期刊日期

AAAI 2016

論文名稱

Text Matching as Image Recognition

描述

論文的核心思想：把兩條文本的匹配問題轉化成一個相似性矩陣，再用圖像的思想去理解矩陣，也就是用卷積去過矩陣，最終提取出特征做分類模型。這也是我認為論文很有價值的一點：借用圖像的思想去解決nlp的問題。

論文鏈接

https://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/download/11895/12024

Poly-encoders

基于BERT預訓練模型的快速準確多句評分模型

期刊日期

ICLR 2020

論文名稱

Poly-encoders:Transformer Architectures and Pre-training Strategies for Fast and Accurate Multi-sentence Scoring

描述

對于句子對比較任務來說，有兩種常用的途徑：Cross-encoder和Bi-encoder。

Cross-encoder基于給定的輸入句子和標簽句子(組成一個句子對，將它們拼接在一起作為輸入)進行交叉自注意，通常能獲得較高的準確率，但速度較慢。

而Bi-encoder單獨地對句子對中的句子進行自注意，分別得到句子編碼。由于這種獨立性，Bi-encoder可以對候選句子進行緩存，從而在推理時只需要計算輸入句子的編碼表示即可，大大加快推理速度。但是表現(xiàn)沒有Cross-encoder好。

本文作者提出了一種新的Transformer結構，Poly-encoder，學習全局級而不是單詞級的自注意特征。

Poly-encoder比Cross-encoder快，同時比Bi-encoder更準確。

同時作者證明選擇與下游任務更相關的數(shù)據(jù)集進行預訓練能獲得較大的效果提升。

論文鏈接

關注公眾號【學姐帶你玩AI】回復“500”即可獲取

MGCN

基于圖形分解和卷積匹配的長文檔匹配

期刊日期

ACL 2019

論文名稱

Matching Article Pairs with Graphical Decomposition and Convolutions

描述

GCN在長文章匹配中的應用：概念交互圖將文章表示為概念圖，通過圖卷積網(wǎng)絡對匹配信號進行聚合，為方便對兩篇長文章的匹配評估，建立兩個數(shù)據(jù)集，包含各種主題。

論文鏈接

https://www.aclweb.org/anthology/P19-1632.pdf??

SemBERT

使用BERT融合上下文語義信息實現(xiàn)文本匹配的模型

期刊日期

AAAI 2020

論文名稱

Semantics-aware BERT for Language Understanding

描述

現(xiàn)存的語言表示模型如ELMo、GPT、BERT僅發(fā)掘了context-sensitive features即對上下文敏感的特征，如character embedding或word embedding。它們很少考慮結構化的語義信息，而這種語義信息可以為語言表示提供豐富的語義內(nèi)容。

因此本文結合了來自預訓練語義角色標注（pre-trained semantic role labeling，SRL）的顯式上下文語義（contextual semantic），提出了一種改良的語言表示模型——SemBERT。它在保持了BERT原有的易用性的同時，能夠直接為BERT融合上下文語義信息。SemBERT在10項閱讀理解和語言推斷任務上取得了SOTA成績。

論文鏈接

https://arxiv.org/pdf/1909.02209v2.pdf?

本文部分內(nèi)容來源于網(wǎng)絡，如有侵權請聯(lián)系刪除