介紹

歡迎來到自然語言處理 （NLP） 的變革世界。在這里，人類語言的優(yōu)雅與機(jī)器智能的精確性相遇。NLP 看不見的力量為我們所依賴的許多數(shù)字交互提供了動力。各種應(yīng)用程序使用此自然語言處理指南，例如聊天機(jī)器人回答您的問題，搜索引擎根據(jù)語義定制結(jié)果，以及語音助手為您設(shè)置提醒。

在這本綜合指南中，我們將深入探討 NLP 的多個領(lǐng)域，同時重點(diǎn)介紹其正在徹底改變業(yè)務(wù)和改善用戶體驗的尖端應(yīng)用程序。

了解上下文嵌入：單詞不僅僅是離散的單位；它們的含義因上下文而異。我們將看看嵌入的演變，從像 Word2Vec 這樣的靜態(tài)嵌入到需要上下文的交互式嵌入。

Transformer 和文本摘要的藝術(shù)：摘要是一項艱巨的工作，不僅僅是文本截斷。了解 Transformer 體系結(jié)構(gòu)以及 T5 等模型如何改變成功摘要的標(biāo)準(zhǔn)。

在深度學(xué)習(xí)時代，由于層次和復(fù)雜，分析情緒具有挑戰(zhàn)性。了解深度學(xué)習(xí)模型（尤其是基于 Transformer 架構(gòu)的模型）如何善于解釋這些具有挑戰(zhàn)性的層，以提供更詳細(xì)的情感分析。

深入了解 NLP

自然語言處理 （NLP） 是人工智能的一個分支，專注于教機(jī)器理解、解釋和響應(yīng)人類語言。這項技術(shù)將人與計算機(jī)連接起來，允許更自然的交互。在廣泛的應(yīng)用程序中使用 NLP，從簡單的任務(wù)（如拼寫檢查和關(guān)鍵字搜索）到更復(fù)雜的操作（如機(jī)器翻譯、情緒分析和聊天機(jī)器人功能）。正是這項技術(shù)允許語音激活的虛擬助手、實時翻譯服務(wù)，甚至內(nèi)容推薦算法發(fā)揮作用。作為一個多學(xué)科領(lǐng)域，自然語言處理 （NLP） 結(jié)合了語言學(xué)、計算機(jī)科學(xué)和機(jī)器學(xué)習(xí)的見解，以創(chuàng)建可以理解文本數(shù)據(jù)的算法，使其成為當(dāng)今人工智能應(yīng)用的基石。

NLP 技術(shù)的演變

多年來，NLP 已經(jīng)有了顯著的發(fā)展，從基于規(guī)則的系統(tǒng)發(fā)展到統(tǒng)計模型，最近又發(fā)展到深度學(xué)習(xí)。捕捉語言細(xì)節(jié)的過程可以從傳統(tǒng)的詞袋（BoW）模型到 Word2Vec，再到上下文嵌入的變化中看到。隨著計算能力和數(shù)據(jù)可用性的提高，NLP 開始使用復(fù)雜的神經(jīng)網(wǎng)絡(luò)來理解語言的微妙之處?，F(xiàn)代遷移學(xué)習(xí)的進(jìn)步使模型能夠改進(jìn)特定任務(wù)，確保實際應(yīng)用的效率和準(zhǔn)確性。

Transformer 的崛起

Transformer 是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，成為許多尖端 NLP 模型的基礎(chǔ)。與嚴(yán)重依賴循環(huán)層或卷積層的前輩相比，Transformer 使用一種稱為“注意力”的機(jī)制來繪制輸入和輸出之間的全局依賴關(guān)系。 Transformer 的架構(gòu)由編碼器和解碼器組成，每個編碼器都有多個相同的層。編碼器獲取輸入序列并將其壓縮為解碼器用于生成輸出的“上下文”或“內(nèi)存”。 Transformer 的特點(diǎn)是其“自我注意”機(jī)制，該機(jī)制在產(chǎn)生輸出時對輸入的各個部分進(jìn)行稱重，使模型能夠?qū)Ｗ⒂谥匾氖虑椤?/p>

它們用于 NLP 任務(wù)，因為它們擅長各種數(shù)據(jù)轉(zhuǎn)換任務(wù)，包括但不限于機(jī)器翻譯、文本摘要和情緒分析。

具有 BERT 的高級命名實體識別

命名實體識別 （NER） 是 NLP 的重要組成部分，涉及將文本中的命名實體識別和分類為預(yù)定義的類別。傳統(tǒng)的 NER 系統(tǒng)嚴(yán)重依賴基于規(guī)則和基于功能的方法。然而，隨著深度學(xué)習(xí)的出現(xiàn)，特別是像 BERT（來自 Transformer 的雙向編碼器表示）這樣的 Transformer 架構(gòu)，NER 的性能得到了大幅提高。

谷歌的 BERT 是在大量文本上預(yù)先訓(xùn)練的，可以為單詞生成上下文嵌入。這意味著 BERT 可以理解單詞出現(xiàn)的上下文，這對于像 NER 這樣上下文至關(guān)重要的任務(wù)非常有用。

使用 BERT 實現(xiàn)高級 NER

● 我們將受益于 BERT 通過使用其嵌入作為 NER 中的能力來理解上下文的能力。

● SpaCy 的 NER 系統(tǒng)基本上是一種序列標(biāo)記機(jī)制。我們將使用 BERT 嵌入和 spaCy 架構(gòu)來訓(xùn)練它，而不是通過常見的詞向量。

上下文嵌入及其重要性

在像 Word2Vec 或 GloVe 這樣的傳統(tǒng)嵌入中，無論其上下文如何，單詞始終具有相同的向量描述。單詞的多重含義沒有得到準(zhǔn)確的表示。上下文嵌入已成為規(guī)避此限制的流行方法。

與 Word2Vec 相比，上下文嵌入根據(jù)上下文捕獲單詞的含義，從而實現(xiàn)靈活的單詞表示。例如，“岸邊”一詞在句子“我坐在河岸邊”和“我去了岸邊”中看起來不同。不斷變化的插圖產(chǎn)生了更準(zhǔn)確的理論，特別是對于需要微妙理解的任務(wù)。模型理解以前機(jī)器難以理解的常用短語、同義詞和其他語言結(jié)構(gòu)的能力正在提高。

使用 BERT 和 T5 的 Transformer 和文本摘要

Transformer 架構(gòu)從根本上改變了 NLP 的格局，使 BERT、GPT-2 和 T5 等模型的開發(fā)成為可能。這些模型使用注意機(jī)制來評估序列中不同單詞的相對權(quán)重，從而對文本產(chǎn)生高度上下文和細(xì)微差別的理解。

T5（文本到文本傳輸 Transformer ）通過將每個 NLP 問題視為文本到文本問題來概括這一想法，而 BERT 是一種有效的總結(jié)模型。例如，翻譯需要將英語文本轉(zhuǎn)換為法語文本，而摘要涉及減少長文本。因此，T5 易于適應(yīng)。由于其統(tǒng)一的系統(tǒng)，訓(xùn)練 T5 具有各種任務(wù)，可能使用來自單個任務(wù)的信息來訓(xùn)練另一個任務(wù)。

使用 T5 實施

在成功完成代碼后，很明顯，生成的摘要簡潔而成功地傳達(dá)了原始評論的要點(diǎn)。這顯示了 T5 模型理解和評估數(shù)據(jù)的能力。由于其有效性和文本摘要能力，該模型是 NLP 領(lǐng)域最受歡迎的模型之一。

具有深度學(xué)習(xí)見解的高級情緒分析

除了將情緒簡單地分類為積極、消極或中性類別之外，我們可以更深入地提取更具體的情緒，甚至確定這些情緒的強(qiáng)度。將 BERT 的強(qiáng)大功能與其他深度學(xué)習(xí)層相結(jié)合，可以創(chuàng)建一個情感分析模型，提供更深入的見解。

現(xiàn)在，我們將研究數(shù)據(jù)集中的情緒如何變化，以確定數(shù)據(jù)集評論功能中的模式和趨勢。

使用 BERT 實施高級情緒分析

數(shù)據(jù)準(zhǔn)備

在開始建模過程之前，準(zhǔn)備數(shù)據(jù)至關(guān)重要。這涉及加載數(shù)據(jù)集、處理缺失值以及將未處理的數(shù)據(jù)轉(zhuǎn)換為情緒分析友好的格式。在本例中，我們會將航空公司評論數(shù)據(jù)集中的 Overall_Rating 列轉(zhuǎn)換為情緒類別。在訓(xùn)練情緒分析模型時，我們將使用這些類別作為目標(biāo)標(biāo)簽。

標(biāo)記化

文本通過標(biāo)記化過程轉(zhuǎn)換為標(biāo)記。然后，模型使用這些令牌作為輸入。我們將使用 DistilBERT 標(biāo)記器，增強(qiáng)準(zhǔn)確性和性能。我們的評論將轉(zhuǎn)換為 DistilBERT 模型可以借助此標(biāo)記器理解的格式。

數(shù)據(jù)集和數(shù)據(jù)加載器?

我們必須實現(xiàn) PyTorch 的數(shù)據(jù)集和 DataLoader 類來有效地訓(xùn)練和評估我們的模型。DataLoader 將允許我們對數(shù)據(jù)進(jìn)行批處理，從而加快訓(xùn)練過程，而 Dataset 類將幫助組織我們的數(shù)據(jù)和標(biāo)簽。

模型初始化和訓(xùn)練

現(xiàn)在，我們可以使用準(zhǔn)備好的數(shù)據(jù)初始化 DistilBERT 模型以進(jìn)行序列分類。在我們的數(shù)據(jù)集的基礎(chǔ)上，我們將訓(xùn)練這個模型并修改其權(quán)重，以預(yù)測航空公司評論的基調(diào)。

評估

我們必須在訓(xùn)練后評估模型對未經(jīng)測試的數(shù)據(jù)的性能。這將有助于我們確定我們的模型在實際情況中的工作情況。

● 輸出：精度：87.23%

部署

一旦我們對模型的性能感到滿意，我們就可以保存模型。這使得跨各種平臺或應(yīng)用程序使用該模型成為可能。

推理

讓我們使用樣本評論的情緒來訓(xùn)練經(jīng)過訓(xùn)練的模型來預(yù)測它。這說明了如何使用模型執(zhí)行實時情緒分析。

● 輸出：預(yù)測情緒：非常積極

NLP 中的遷移學(xué)習(xí)

由于遷移學(xué)習(xí)，自然語言處理（NLP）經(jīng)歷了一場革命，它使模型能夠使用來自一項任務(wù)的先驗知識并將其應(yīng)用于新的相關(guān)任務(wù)。研究人員和開發(fā)人員現(xiàn)在可以針對特定任務(wù)（例如情感分析或命名實體識別）微調(diào)預(yù)先訓(xùn)練的模型，而不是從頭開始訓(xùn)練模型，這通常需要大量的數(shù)據(jù)和計算資源。這些預(yù)先訓(xùn)練的模型經(jīng)常在像整個維基百科這樣的龐大語料庫上進(jìn)行訓(xùn)練，捕捉復(fù)雜的語言模式和關(guān)系。遷移學(xué)習(xí)使 NLP 應(yīng)用程序能夠更快地運(yùn)行，所需數(shù)據(jù)更少，并且經(jīng)常具有最先進(jìn)的性能，從而為更廣泛的用戶和任務(wù)提供對高級語言模型的訪問。

結(jié)論

傳統(tǒng)語言方法和當(dāng)代深度學(xué)習(xí)技術(shù)的融合，在快速發(fā)展的 NLP 領(lǐng)域迎來了前所未有的進(jìn)步時期。我們不斷突破機(jī)器可以用人類語言理解和處理的極限。從利用嵌入來掌握上下文的微妙之處，到利用 BERT 和 T5 等 Transformer 架構(gòu)的強(qiáng)大功能。特別是遷移學(xué)習(xí)使使用高性能模型變得更加容易，降低了進(jìn)入門檻并鼓勵創(chuàng)新。正如主題所提出的那樣，很明顯，人類語言能力和機(jī)器計算能力之間的持續(xù)互動有望使機(jī)器不僅能夠理解，而且還能夠與人類語言的微妙之處聯(lián)系起來。

關(guān)鍵要點(diǎn)

● 上下文嵌入允許NLP 模型理解與周圍環(huán)境相關(guān)的單詞。

● Transformer 架構(gòu)顯著提高了 NLP 任務(wù)的功能。

● 遷移學(xué)習(xí)可提高模型性能，而無需進(jìn)行大量訓(xùn)練。

● 深度學(xué)習(xí)技術(shù)，特別是基于 Transformer 的模型，提供了對文本數(shù)據(jù)的細(xì)致入微的見解。

常見問題

問題 1.什么是 NLP 中的上下文嵌入？

答：上下文嵌入根據(jù)它們使用的句子的上下文動態(tài)表示單詞。

問題 2.為什么 Transformer 架構(gòu)在 NLP 中很重要？

答： Transformer 架構(gòu)使用注意力機(jī)制來有效地管理序列數(shù)據(jù)，從而在各種 NLP 任務(wù)上實現(xiàn)尖端性 能。

問題 3.遷移學(xué)習(xí)在 NLP 中的作用是什么？

答：通過遷移學(xué)習(xí)減少了訓(xùn)練時間和數(shù)據(jù)需求，這使得 NLP 模型能夠使用來自一項任務(wù)的知識并將其應(yīng)用于新任務(wù)。

問題 4.高級情緒分析與傳統(tǒng)方法有何不同？

答：高級情緒分析更進(jìn)一步，使用深度學(xué)習(xí)見解來提取更精確的情緒及其強(qiáng)度。

原文地址：https://www.analyticsvidhya.com/blog/2023/09/advanced-natural-language-processing-nlp/

非常感謝大家的閱讀，小Mo在這里祝你在末來的 Python 學(xué)習(xí)職業(yè)生涯中一切順利！

后續(xù)小Mo會不定期更新書籍、視頻等學(xué)習(xí)資源，以上這些書籍資料也可通過關(guān)注微信公眾號免費(fèi)獲取哦！

歡迎關(guān)注我們的微信公眾號：MomodelAl

同時，歡迎使用「Mo AI編程」微信小程序

以及登錄官網(wǎng)，了解更多信息：Mo 人工智能教育實訓(xùn)平臺

Mo，發(fā)現(xiàn)意外，創(chuàng)造可能

注：部分資源來源于互聯(lián)網(wǎng)，若有侵權(quán)，請直接聯(lián)系作者刪除。