ChatGPT 內(nèi)部：AI 聊天機器人的工作原理
它完成了這些任務(wù)是值得注意的，因為考試、論文和電子郵件都需要正確的答案。但正確并不是 ChatGPT 的真正意義——它更像是其目標的副產(chǎn)品：生成聽起來自然的文本。
那么人工智能聊天機器人是如何工作的，為什么它們會得到一些正確的答案而一些答案真的非常錯誤？這是盒子里面的樣子。
ChatGPT 等大型語言模型背后的技術(shù)類似于您在手機上撰寫消息時看到的預(yù)測文本功能。您的手機將根據(jù)其模型和從您過去的行為中觀察到的內(nèi)容，評估已輸入的內(nèi)容并計算最有可能遵循的內(nèi)容的概率。
熟悉這個過程的人都知道一串文本可以分支成多少個不同的方向。?
與手機的預(yù)測文本功能不同，ChatGPT 據(jù)說是生成的（GPT 中的 G）。它不是在做一次性的預(yù)測；相反，它旨在創(chuàng)建跨多個句子和段落有意義的文本字符串。輸出應(yīng)該是有意義的，讀起來就像是人寫的一樣，它應(yīng)該與提示相匹配。?
那么是什么幫助它選擇一個好的下一個詞，然后是另一個詞，等等？
內(nèi)部參考
機器內(nèi)部沒有事實數(shù)據(jù)庫或字典來幫助它“理解”單詞。相反，系統(tǒng)以數(shù)學(xué)方式將單詞視為值的集合。您可以將這些值視為代表該詞可能具有的某種品質(zhì)。例如，這個詞是贊美還是批評？甜的還是酸的？低還是高？?
理論上，您可以隨心所欲地設(shè)置這些值，并發(fā)現(xiàn)您已經(jīng)接近一個詞。這是一個虛構(gòu)的例子來證明這個想法：下面的生成器旨在根據(jù)三種品質(zhì)返回不同的水果。嘗試更改任何質(zhì)量以查看輸出如何變化。
這種技術(shù)稱為詞嵌入，它并不新鮮。它起源于 1950 年代的語言學(xué)領(lǐng)域。雖然上面的示例僅使用了三個“特性”，但在大型語言模型中，每個單詞的“特性”數(shù)量將達到數(shù)百個，從而可以非常精確地識別單詞。
學(xué)會理解
當模型是新的時，與每個詞相關(guān)的質(zhì)量是隨機設(shè)置的，這不是很有用，因為它的預(yù)測能力取決于對它們的非常精細的調(diào)整。要到達那里，它需要接受大量內(nèi)容的培訓(xùn)。那是大型語言模型的很大一部分。
像 ChatGPT 這樣的系統(tǒng)可能會收到數(shù)百萬個網(wǎng)頁和數(shù)字文檔。（想一想整個百科、大型新聞網(wǎng)站、博客和數(shù)字化書籍。）機器一次一段地循環(huán)訓(xùn)練數(shù)據(jù)，在序列中屏蔽一個詞，并計算“猜測”最接近代表的值什么應(yīng)該放在空白處。當顯示正確答案時，機器可以使用它猜測的內(nèi)容與實際單詞之間的差異來改進。
這是一個漫長的過程。ChatGPT 背后的公司 OpenAI 尚未公布有關(guān)將多少訓(xùn)練數(shù)據(jù)輸入 ChatGPT 或用于訓(xùn)練它的計算機能力的詳細信息，但來自英偉達、斯坦福大學(xué)和微軟的研究人員估計，使用 1,024 個圖形處理單元，它將已經(jīng)用了 34 天來訓(xùn)練ChatGPT 的前身 GPT 3。一位分析師估計，訓(xùn)練和運行大型語言模型的計算資源成本可能高達數(shù)百萬。?
ChatGPT 還有一層額外的訓(xùn)練，稱為從人類反饋中強化學(xué)習。之前的訓(xùn)練是讓模型填充缺失的文本，而這個階段是讓它輸出連貫、準確和對話的字符串。
在這個階段，人們會對機器的反應(yīng)進行評分，標記出不正確、無用甚至完全荒謬的輸出。使用反饋，機器學(xué)習預(yù)測人類是否會發(fā)現(xiàn)它的反應(yīng)有用。OpenAI 表示，這種訓(xùn)練使其模型的輸出更安全、更相關(guān)，并且不太可能“產(chǎn)生幻覺”。研究人員表示，這是使 ChatGPT 的響應(yīng)更符合人類期望的原因。
在這個過程結(jié)束時，模型內(nèi)部沒有原始訓(xùn)練數(shù)據(jù)的記錄。它不包含可以參考的事實或引語——只是在行動中彼此相關(guān)或不相關(guān)的詞語。
將培訓(xùn)投入使用
事實證明，這組數(shù)據(jù)威力驚人。當您在 ChatGPT 中鍵入查詢時，它會使用在訓(xùn)練期間學(xué)到的知識將所有內(nèi)容轉(zhuǎn)換為數(shù)字。然后它從上面進行相同的一系列計算以預(yù)測其響應(yīng)中的下一個單詞。這一次，沒有隱藏的詞可以揭示；它只是預(yù)測。?
由于它能夠參考對話的早期部分，它可以讓它一頁接一頁地保持真實，聽起來像人的文本有時是正確的，但并非總是如此。
限制
在這一點上，關(guān)于 AI 是什么或?qū)⒛軌蜃鍪裁创嬖诤芏喾制?，但有一點已經(jīng)達成共識——并且在 ChatGPT、Google Bard 和 Microsoft Bing 的界面上突出顯示：不應(yīng)依賴這些工具在需要準確性時打開。?
大型語言模型能夠識別文本模式，而不是事實。許多模型，包括 ChatGPT，都有知識截止日期，這意味著它們無法連接到互聯(lián)網(wǎng)來學(xué)習新信息。這與可以查詢在線資源的微軟 Bing 聊天機器人形成鮮明對比。?
大型語言模型的好壞也取決于用于訓(xùn)練它的材料。因為模型可以識別單詞之間的模式，所以輸入危險或種族主義的 AI 文本意味著 AI 將學(xué)習危險或種族主義的文本模式。
OpenAI 說它已經(jīng)創(chuàng)建了一些護欄來防止它提供這種服務(wù)，而 ChatGPT 說它“接受過拒絕不適當請求的訓(xùn)練”，正如我們在拒絕寫一封憤怒的電子郵件要求加薪時發(fā)現(xiàn)的那樣。但該公司也承認，ChatGPT 有時仍會“響應(yīng)有害指令或表現(xiàn)出有偏見的行為”。
現(xiàn)在有很多有用的方法可以利用這項技術(shù)，例如起草求職信、總結(jié)會議或計劃膳食。最大的問題是技術(shù)的改進是否可以克服它的一些缺陷，使其能夠創(chuàng)建真正可靠的文本。
方法
JoElla Carman 的圖形。在《傲慢與偏見》圖中，Google Bard、OpenAI GPT-1 和 ChatGPT 被提示“請用一句話概括簡·奧斯汀的傲慢與偏見”。BigScience Bloom 被要求完成“在小說《傲慢與偏見》中，簡·奧斯汀”這句話。所有回復(fù)收集于 2023 年 5 月 11 日。在電子郵件圖形中，OpenAI ChatGPT 收到提示：“寫一封積極的電子郵件要求加薪”、“寫一封中立的電子郵件要求加薪”、“寫一封激動的電子郵件要求加薪”加薪”，“寫一封憤怒的電子郵件要求加薪。
