介紹

基于大規(guī)模預(yù)訓(xùn)練 LLM 的語言模型徹底改變了自然語言處理領(lǐng)域。因此，使機器能夠以驚人的準確性理解和生成類似人類的文本。要真正欣賞 LLM 的功能，必須深入研究其內(nèi)部工作原理并了解其架構(gòu)的復(fù)雜性。通過揭開 LLM 語言模型架構(gòu)背后的奧秘，我們可以獲得有關(guān)這些模型如何處理和生成語言的寶貴見解，為語言理解，文本生成和信息提取進步鋪平道路。

在這篇博客中，我們將深入探討 LLM 的內(nèi)部運作，并揭示使他們能夠理解和生成語言的魔力，這種方式永遠改變了人機交互的可能性。

LLM 的基礎(chǔ)： Transformer 和自我注意機制

走進 LLM 的基礎(chǔ)，其中 Transformer 和自我注意機制構(gòu)成了構(gòu)建塊，使這些模型能夠以非凡的能力理解和生成語言。

變形金剛（Transformer）

Vaswani 等人在 2017 年發(fā)表的“注意力就是你所需要的一切”論文中最初引入了變形金剛，徹底改變了自然語言處理領(lǐng)域。這些強大的架構(gòu)消除了對遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的需求，而是依靠自我注意機制來捕獲輸入序列中單詞之間的關(guān)系。

Transformer 允許 LLM 并行處理文本，從而實現(xiàn)更高效和有效的語言理解。通過同時處理輸入序列中的所有單詞，變壓器可以捕獲對傳統(tǒng)模型可能具有挑戰(zhàn)性的長期依賴關(guān)系和上下文關(guān)系。這種并行處理使 LLM 能夠從文本中提取復(fù)雜的模式和依賴關(guān)系，從而更豐富地理解語言語義。

自我關(guān)注

深入研究，我們會遇到自我關(guān)注的概念，這是基于變壓器的架構(gòu)的核心。自我注意允許 LLM 在處理每個單詞時專注于輸入序列的不同部分。

在自我注意期間，LLM 根據(jù)它們與當前正在處理的單詞的相關(guān)性為不同的單詞分配注意力權(quán)重。這種動態(tài)注意力機制使 LLM 能夠關(guān)注關(guān)鍵的上下文信息，并忽略不相關(guān)或嘈雜的輸入部分。

通過有選擇地關(guān)注相關(guān)單詞，LLM 可以有效地捕獲依賴關(guān)系并提取有意義的信息，從而增強其語言理解能力。

自注意機制使得 Transformer 能夠考慮到輸入序列中每個單詞的重要性。因此，無論距離遠近，都可以有效捕捉單詞之間的依賴關(guān)系。這種能力對于理解微妙的含義、保持連貫性和生成與上下文相關(guān)的回應(yīng)非常有價值。

層、編碼器和解碼器

在 LLM 的架構(gòu)中，復(fù)雜的掛毯由多層編碼器和解碼器編織而成，每個編碼器和解碼器在語言理解和生成過程中都起著至關(guān)重要的作用。這些層形成了一個層次結(jié)構(gòu)，使 LLMsto 能夠逐步捕捉語言的細微差別和復(fù)雜性。

編碼器

這幅掛毯的核心是編碼器層。編碼器分析和處理輸入文本，提取有意義的表示，捕捉語言的本質(zhì)。這些表示形式對有關(guān)輸入的語義、語法和上下文的關(guān)鍵信息進行編碼。通過分析多層的輸入文本，編碼器捕獲本地和全局依賴關(guān)系，使 LLM 能夠理解語言的復(fù)雜性。

譯碼器

當編碼信息流經(jīng)各層時，它會到達解碼器組件。解碼器根據(jù)編碼表示生成連貫且上下文相關(guān)的響應(yīng)。解碼器利用編碼的數(shù)據(jù)來預(yù)測下一個單詞或創(chuàng)建形成有意義響應(yīng)的術(shù)語序列。LLM 通過每個解碼器層改進和改進其響應(yīng)生成，合并從輸入文本中提取的上下文和信息。

LLM 的層次結(jié)構(gòu)使他們能夠逐層掌握語言的細微差別。在每一層，編碼器和解碼器都會細化文本的理解和生成，逐步捕獲更復(fù)雜的關(guān)系和上下文。較低層捕獲較低級別的特征，例如單詞級語義，而較高層捕獲更抽象和上下文的信息。這種分層方法使 LLM 能夠生成連貫的、上下文適當?shù)?、語義豐富的響應(yīng)。

LLM 的分層架構(gòu)不僅允許從輸入文本中提取含義和上下文，而且還能夠生成超越單純單詞關(guān)聯(lián)的響應(yīng)。多層編碼器和解碼器之間的相互作用使 LLM 能夠捕獲語言的細粒度細節(jié)，包括句法結(jié)構(gòu)、語義關(guān)系、甚至語氣和風(fēng)格的細微差別。

以注意力為核心，實現(xiàn)上下文理解

語言模型從注意力機制中受益匪淺，改變了我們處理語言理解的方式。讓我們探討注意力機制在語言模型中的變革作用及其對上下文意識的貢獻。

語言模型從注意力機制中受益匪淺，改變了我們處理語言理解的方式。讓我們探討注意力機制在語言模型中的變革作用及其對上下文意識的貢獻。

注意力的力量

語言模型中的注意力機制允許對語言進行動態(tài)和上下文感知的理解。傳統(tǒng)的語言模型，如 n-gram 模型，將單詞視為孤立的單元，而不考慮它們在句子或文檔中的關(guān)系。

相比之下，注意力機制使 LLM 能夠為不同的單詞分配不同的權(quán)重，從而在給定的上下文中捕獲它們的相關(guān)性。通過關(guān)注基本術(shù)語而忽略不相關(guān)的術(shù)語，注意力機制幫助語言模型更準確地理解文本的潛在含義。

加權(quán)相關(guān)性

注意力機制的關(guān)鍵優(yōu)勢之一是它們能夠為句子中的不同單詞分配不同的權(quán)重。處理注釋時，語言模型通過考慮上下文中其他單詞的語義和句法關(guān)系來計算其與上下文中其他單詞的相關(guān)性。

例如，在句子“貓坐在墊子上”中，使用注意力機制的語言模型會為“貓”和“墊子”分配更高的權(quán)重，因為它們與坐著的動作更相關(guān)。這種加權(quán)相關(guān)性允許語言模型優(yōu)先考慮最突出的信息，同時忽略不相關(guān)的細節(jié)，從而更全面地理解上下文。

對長期依賴關(guān)系進行建模

語言通常涉及跨越多個單詞甚至句子的依賴關(guān)系。注意力機制擅長捕獲這些長期依賴關(guān)系，使 LLM 能夠無縫連接語言結(jié)構(gòu)。通過關(guān)注輸入序列的不同部分，語言模型可以學(xué)習(xí)在句子中相距甚遠的單詞之間建立有意義的關(guān)系。

這種能力在機器翻譯等任務(wù)中非常寶貴，在這些任務(wù)中，保持連貫性和理解長距離的上下文至關(guān)重要。

預(yù)訓(xùn)練和微調(diào)：釋放數(shù)據(jù)的力量

語言模型擁有獨特的訓(xùn)練過程，使他們能夠熟練地理解和生成語言。這個過程包括兩個關(guān)鍵階段：預(yù)訓(xùn)練和微調(diào)。我們將探索這些階段背后的秘密，并揭示 LLM 如何釋放數(shù)據(jù)的力量成為語言大師。

使用預(yù)先訓(xùn)練的變壓器

微調(diào)

一旦 LLM 通過預(yù)培訓(xùn)獲得了對語言的一般理解，他們就會進入微調(diào)階段，在那里他們根據(jù)特定的任務(wù)或領(lǐng)域量身定制。微調(diào)涉及將 LLM 公開給特定于所需作業(yè)的標記數(shù)據(jù)，例如情緒分析或問答。這種標記的數(shù)據(jù)使 LLM 能夠根據(jù)任務(wù)的特定細微差別和要求調(diào)整其預(yù)先訓(xùn)練的知識。

在微調(diào)過程中，LLM 完善了他們的語言理解和生成能力，專門研究特定領(lǐng)域的語言模式和上下文細微差別。通過對標記數(shù)據(jù)進行訓(xùn)練，LLM 可以更深入地了解特定任務(wù)的復(fù)雜性，使他們能夠提供更準確和上下文相關(guān)的響應(yīng)。

微調(diào)變壓器

這個兩階段培訓(xùn)過程的美妙之處在于它能夠利用數(shù)據(jù)的力量。對大量未標記文本數(shù)據(jù)的預(yù)訓(xùn)練使 LLM 對語言有一般的理解，而對標記數(shù)據(jù)的微調(diào)可以完善他們對特定任務(wù)的知識。這種組合使 LLM 能夠擁有廣泛的知識基礎(chǔ)，同時在特定領(lǐng)域表現(xiàn)出色，提供卓越的語言理解和生成能力。

LLM 以外的現(xiàn)代建筑進步

超越傳統(tǒng) LLM 的語言模型架構(gòu)的最新進展展示了 GPT-3，T5 和 BERT 等模型的卓越功能。我們將探討這些模型如何突破語言理解和生成的界限，在各個領(lǐng)域開辟新的可能性。

1、GPT-3

GPT-3，生成式預(yù)訓(xùn)練 Transformer ，已成為一種開創(chuàng)性的語言模型架構(gòu)，徹底改變了自然語言的理解和生成。GPT-3 的架構(gòu)建立在變壓器模型之上，包含許多參數(shù)以實現(xiàn)卓越的性能。

GPT-3 的架構(gòu)

GPT-3 包括一堆變壓器編碼器層。每一層由多頭自注意力機制和前饋神經(jīng)網(wǎng)絡(luò)組成。注意力機制允許模型捕獲單詞之間的依賴關(guān)系和關(guān)系，同時前饋網(wǎng)絡(luò)處理和轉(zhuǎn)換編碼表示。GPT-3 的關(guān)鍵創(chuàng)新在于其巨大的規(guī)模，擁有驚人的 175 億個參數(shù)，使其能夠捕獲大量的語言知識。

代碼實現(xiàn)

您可以使用 OpenAI API 與 openAI 的 GPT-3 模型進行交互。下面說明了如何使用 GPT-3 生成文本。

2、T5

文本到文本傳輸 Transformer （T5） 代表了語言模型體系結(jié)構(gòu)的突破性進步。它通過將它們構(gòu)建為文本到文本的轉(zhuǎn)換來對各種自然語言處理任務(wù)采取統(tǒng)一的方法。此方法使單個模型能夠處理多個任務(wù)，包括文本分類、摘要和問答。

通過將特定于任務(wù)的架構(gòu)統(tǒng)一到單個模型中，T5 實現(xiàn)了令人印象深刻的性能和效率，簡化了模型開發(fā)和部署過程。

T5的架構(gòu)

T5 基于變壓器架構(gòu)構(gòu)建，由編碼器-解碼器結(jié)構(gòu)組成。與針對特定任務(wù)微調(diào)的傳統(tǒng)模型不同，T5 使用多任務(wù)目標進行訓(xùn)練，其中一組不同的函數(shù)被轉(zhuǎn)換為文本到文本的轉(zhuǎn)換。在訓(xùn)練期間，該模型學(xué)習(xí)將文本輸入映射到文本輸出，使其具有高度適應(yīng)性，能夠執(zhí)行廣泛的 NLP 任務(wù)，包括文本分類、摘要、翻譯等。

代碼實現(xiàn)

Transformer 庫提供了一個簡單的接口來與不同的 Transformer 模型（包括 T5）進行交互，可以在 Python 中使用 T5 模型。下面說明了如何使用 T5 執(zhí)行文本到文本任務(wù)。

3、BERT

BERT，來自變壓器的雙向編碼器表示，在語言理解方面引入了革命性的轉(zhuǎn)變。通過利用雙向訓(xùn)練，BERT 從左右上下文中捕獲上下文，從而更深入地理解語言語義。

BERT 顯著提高了命名實體識別、情感分析和自然語言推理等任務(wù)的性能。它通過細粒度的上下文理解來理解語言的細微差別的能力使其成為現(xiàn)代自然語言處理的基石。

BERT的架構(gòu)

BERT 由一堆變壓器編碼器層組成。它利用雙向訓(xùn)練，使模型能夠從左側(cè)和右側(cè)上下文中捕獲上下文。這種雙向方法提供了對語言語義的更深入理解。它還允許 BERT 在命名實體識別、情緒分析、問答等任務(wù)中表現(xiàn)出色。BERT 還包含獨特的標記，包括用于分類的 [CLS] 和用于分隔句子或文檔邊界的 [SEP]。

代碼實現(xiàn)

變壓器庫提供了一個簡單的界面來與各種變壓器模型進行交互。它還包括 BERT，可以在Python 中使用。以下是如何使用 BERT 進行語言理解的圖示。

結(jié)論

LLM 的內(nèi)部工作原理揭示了一個復(fù)雜的架構(gòu)。因此，使這些模型能夠以無與倫比的準確性和多功能性理解和生成語言。

每個組件在語言理解和生成中都至關(guān)重要，從 Transformer 和自我注意機制到分層編碼器和解碼器。隨著我們揭開LLM架構(gòu)背后的秘密，我們對它們改變各個行業(yè)的能力和潛力有了更深入的了解。

每個組件在語言理解和生成中都至關(guān)重要，從 Transformer 和自我注意機制到分層編碼器和解碼器。隨著我們揭開LLM架構(gòu)背后的秘密，我們對它們改變各個行業(yè)的能力和潛力有了更深入的了解。

關(guān)鍵要點：

● LLM 由變壓器和自我注意機制提供支持，徹底改變了自然語言處理。因此，使機器能夠以驚人的準確性理解和生成類似人類的文本。

● LLM 的分層架構(gòu)包括編碼器和解碼器。這允許從輸入文本中提取含義和上下文，從而生成連貫且與上下文相關(guān)的響應(yīng)。

● 預(yù)訓(xùn)練和微調(diào)是 LLM 培訓(xùn)過程中的關(guān)鍵階段。 預(yù)訓(xùn)練使模型能夠從未標記的文本數(shù)據(jù)中獲得一般語言理解，同時使用標記數(shù)據(jù)微調(diào)模型以適應(yīng)特定任務(wù)，完善其知識和專業(yè)化。

常見問題

問題 1.什么是 LLM，它們與傳統(tǒng)語言模型有何不同？

答：LLM 或基于大規(guī)模預(yù)訓(xùn)練的語言模型是在大量文本數(shù)據(jù)上訓(xùn)練的高級模型。由于其復(fù)雜的架構(gòu)和訓(xùn)練過程，它們與傳統(tǒng)語言模型的不同之處在于它們能夠非常準確地理解和生成文本。

問題 2.變壓器在 LLM 中的作用是什么？

答：Transformer 構(gòu)成了 LLM 架構(gòu)的核心，能夠并行處理和捕獲語言中的復(fù)雜關(guān)系。他們通過增強模型理解和生成文本的能力，徹底改變了自然語言處理領(lǐng)域。

問題 3.自我注意機制如何促進 LLM？

答：自我注意機制允許 LLM 為不同的單詞分配不同的權(quán)重，捕捉它們在上下文中的相關(guān)性。它們使模型能夠?qū)Ｗ⒂谙嚓P(guān)信息并理解單詞之間的上下文關(guān)系。

問題 4.LLM 如何從預(yù)培訓(xùn)和微調(diào)中受益？

答：預(yù)訓(xùn)練使 LLM 暴露于大量未標記的文本數(shù)據(jù)，使他們能夠獲得一般語言理解。微調(diào)使用標記數(shù)據(jù)針對特定任務(wù)定制模型，完善其知識和專業(yè)化。這個兩階段的培訓(xùn)過程提高了他們在各個領(lǐng)域的表現(xiàn)。

問題 5.LLM 的內(nèi)部工作如何影響現(xiàn)實世界的應(yīng)用程序？

答：LLM 的內(nèi)部運作已經(jīng)徹底改變了各個行業(yè)，包括自然語言理解，情感分析，語言翻譯等。它們?yōu)槿藱C交互、自動化內(nèi)容生成和改進的信息檢索系統(tǒng)開辟了新的可能性。從理解LLM 架構(gòu)中獲得的見解繼續(xù)推動自然語言處理的進步。

原文鏈接：https://www.analyticsvidhya.com/blog/2023/07/inner-workings-of-llms/

非常感謝大家的閱讀，小Mo在這里祝你在末來的 Python 學(xué)習(xí)職業(yè)生涯中一切順利！

后續(xù)小Mo會不定期更新書籍、視頻等學(xué)習(xí)資源，以上這些書籍資料也可通過關(guān)注微信公眾號免費獲取哦！

歡迎關(guān)注我們的微信公眾號：MomodelAl

同時，歡迎使用「Mo AI編程」微信小程序

以及登錄官網(wǎng)，了解更多信息：Mo 人工智能教育實訓(xùn)平臺

Mo，發(fā)現(xiàn)意外，創(chuàng)造可能

注：部分資源來源于互聯(lián)網(wǎng)，若有侵權(quán)，請直接聯(lián)系作者刪除。