盧菁人工智能NLP系統(tǒng)班2023\/--》ccys1473
NLP發(fā)展史
2001 - Neural language models（神經(jīng)語言模型）
Bengio等人在2001年提出的前饋神經(jīng)網(wǎng)絡(luò)
2008 - Multi-task learning（多任務(wù)學(xué)習(xí)：多個(gè)任務(wù)上訓(xùn)練的模型之間共享參數(shù)的一種通用方法）
多任務(wù)學(xué)習(xí)的概念最初由Rich Caruana 在1993年提出，并被應(yīng)用于道路跟蹤和肺炎預(yù)測（Caruana,1998）
2008年，Collobert 和 Weston 將多任務(wù)學(xué)習(xí)首次應(yīng)用于 NLP 的神經(jīng)網(wǎng)絡(luò)。在他們的模型中，查詢表（或單詞嵌入矩陣）在兩個(gè)接受不同任務(wù)訓(xùn)練的模型之間共享
2013 - Word embeddings（詞嵌入：使用密集向量表示詞或詞嵌入）
Mikolov等人在2013年提出的創(chuàng)新技術(shù)是通過去除隱藏層，逼近目標(biāo)，進(jìn)而使這些單詞嵌入的訓(xùn)練更加高效，雖然這些嵌入在概念上與使用前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的嵌入在概念上沒有區(qū)別，但是在一個(gè)非常大的語料庫上訓(xùn)練之后，它們就能夠捕獲諸如性別、動(dòng)詞時(shí)態(tài)和國家-首都關(guān)系等單詞之間的特定關(guān)系
2013 - Neural networks for NLP（NLP神經(jīng)網(wǎng)絡(luò)）
2013 年和 2014 年是 NLP 問題開始引入神經(jīng)網(wǎng)絡(luò)模型的時(shí)期。使用最廣泛的三種主要的神經(jīng)網(wǎng)絡(luò)是：循環(huán)神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)
