ChatGPT?之詳解高級篇(六)

我將通過12期的內(nèi)容全方位講解ChatGPT學(xué)習(xí)。本次為第6期。

閑話不多說，現(xiàn)在開始嘍！

這期就介紹到這，接下來還是詳細(xì)科普一下什么是ChatGPT？

大家或多或少都聽過 ChatGPT 是一個(gè) LLMs，那 LLMs 是什么？

LLMs 全稱是 Large Language Models，中文是大語言模型。

那么什么是語言模型？

語言模型簡單說來，就是對人類的語言建立數(shù)學(xué)模型，注意，這里的關(guān)鍵是數(shù)學(xué)模型，語言模型是一個(gè)由數(shù)學(xué)公式構(gòu)建的模型，并不是什么邏輯框架。這個(gè)認(rèn)知非常重要。

最早提出語言模型的概念的是賈里尼克博士。

他是世界著名的語音識(shí)別和自然語言處理的專家，他在 IBM 實(shí)驗(yàn)室工作期間，提出了基于統(tǒng)計(jì)的語音識(shí)別的框架，這個(gè)框架結(jié)構(gòu)對語音和語言處理有著深遠(yuǎn)的影響，它從根本上使得語音識(shí)別有實(shí)用的可能。

在賈里尼克以前，科學(xué)家們把語音識(shí)別問題當(dāng)作人工智能問題和模式匹配問題，而賈里尼克把它當(dāng)成通信問題。

為何是通訊問題？為何轉(zhuǎn)換成通訊問題后，就能實(shí)現(xiàn)語音識(shí)別？

根據(jù)香農(nóng)確定的現(xiàn)代通訊原理，所謂的通訊，也被稱為信道的編碼和解碼，信息源先產(chǎn)生原始信息，然后接收方還原一個(gè)和原始信息最接近的信息。

比如，你打電話的時(shí)候，問對方一句「你吃了晚飯了嗎」，在傳輸前，通訊系統(tǒng)會(huì)對這句話進(jìn)行編碼，編成類似「100111101100000…」，但是傳輸過程中，一定會(huì)有信號損失，接收方收到的編碼可能是「1001111011000…」，此時(shí)我們就沒法解碼回原來的句子了。

那如何解決這個(gè)問題？

我們可以把與接收到的編碼「1001111011000…」類似的句子都羅列出來，可能的情況是：

? 吃了晚飯了嗎?

? 你吃了飯了嗎?

? 你吃了晚飯了嗎?

? 你吃了晚飯了?

然后通訊系統(tǒng)會(huì)計(jì)算出哪一種的可能性最大，最后把它選出來。

只要噪音不大，并且傳輸信息有冗余，那我們就能復(fù)原出原來的信息。

賈里尼克博士認(rèn)為讓計(jì)算機(jī)理解人類的語言，不是像教人那樣教它語法，而是最好能夠讓計(jì)算機(jī)計(jì)算出哪一種可能的語句概率最大。

這種計(jì)算自然語言每個(gè)句子的概率的數(shù)學(xué)模型，就是語言模型。