我們通常稱呼GPT為生成式人工智能。我們知道它是一個神經(jīng)網(wǎng)絡(luò)組成的文化模擬器。對于某些人來說，它是一個寫作的助手，是一個內(nèi)容生成器。其最明顯的特征就是運(yùn)算過程的不可控制性和結(jié)果的不可預(yù)測性。如果僅僅是把它當(dāng)成聊天機(jī)器人，那就太大材小用了。實(shí)際上，它的作用是生成一個概率分布分析框架，用于學(xué)習(xí)一些詞匯。如果我們的任務(wù)是預(yù)測下一個單詞，那么向神經(jīng)網(wǎng)絡(luò)輸入我們自己的話語，英語里面單詞繁多，那么下一個最有可能出現(xiàn)的詞語是什么，這個問題的核心就是GPT訓(xùn)練要回答的問題。

GPT是如何做到這一點(diǎn)的呢？在5萬個單詞中，它大致知道哪些單詞可能跟在其他單詞后面。基于互聯(lián)網(wǎng)的龐大數(shù)據(jù)使得這些成為可能。在超過5萬個單詞中，GPT會給出每個單詞出現(xiàn)的可能性。比較不常用的詞語組合可能不會是答案，但仍然是一個可能性。GPT里面的每個單詞出現(xiàn)與否是基于可能性判斷的，而不是斷定是否會出現(xiàn)。這是一個反映事件發(fā)生概率的數(shù)學(xué)。

與傳統(tǒng)的文本預(yù)測相比很神奇的是，可以生成新的文本。這樣的能力來源于無數(shù)數(shù)據(jù)輸入模型。模型不會簡單重新輸出喂進(jìn)去的語料庫，而是將文字資料以自己的統(tǒng)計(jì)數(shù)據(jù)再加一點(diǎn)隨機(jī)性重新排列出來形成新話語。

當(dāng)我們擴(kuò)大模型規(guī)模并給它更多計(jì)算次數(shù)時，再加上圖形加速卡的運(yùn)用，訓(xùn)練過程就能大大縮短。

語料庫中文本數(shù)量、訓(xùn)練計(jì)算次數(shù)（也就是時間）、不算糟糕的神經(jīng)網(wǎng)絡(luò)算法都是構(gòu)建良好GPT所必需的條件。其中文本數(shù)量和計(jì)算時間對GPT模型質(zhì)量影響最大，并且呈指數(shù)型影響質(zhì)量。因此目前大型語言模型都在充分搜集語言資料以提高模型質(zhì)量。需要注意的是，這條規(guī)律只是目前模型訓(xùn)練經(jīng)驗(yàn)，并沒有人能給出具體原因。這也是大型語言模型生成內(nèi)容不可控制體現(xiàn)之一。

在GPT3時代，模型可能對于用戶提出問題沒有完全理解就進(jìn)行回答，造成文不對題等問題。為了解決這個問題，openai工程師讓GPT獲得更多互聯(lián)網(wǎng)上各種問答語料數(shù)據(jù)以進(jìn)行訓(xùn)練。

對于將GPT用于聊天的用戶來說，GPT目前僅限于預(yù)測單詞，而GPT4則更加強(qiáng)大，不僅可以在互聯(lián)網(wǎng)上搜索信息，還可以接入用戶操作界面，讓人工智能代替人類完成一些任務(wù)。一旦模型從語言預(yù)測中解放出來，開發(fā)出了解決真實(shí)問題的能力，像autoGPT這樣與生活相連的應(yīng)用也就誕生了。

現(xiàn)在來說說如何搭建一個GPT模型。當(dāng)我們回顧計(jì)算機(jī)科學(xué)的歷史時，會發(fā)現(xiàn)從1970年起計(jì)算機(jī)被發(fā)明時，人們一直在探究計(jì)算機(jī)如何對數(shù)字列表進(jìn)行排序。這是非常實(shí)用的領(lǐng)域，這種對生活的幫助讓人們對計(jì)算機(jī)產(chǎn)生了持續(xù)的興趣。但是到了現(xiàn)在，GPT的出現(xiàn)對于人們來說是非常神奇的東西，但它的實(shí)用性卻受到質(zhì)疑。面對這個問題，我們需要跳出和GPT交談的思維限制，直接思考如何在AI基礎(chǔ)上構(gòu)建新事物，讓GPT成為實(shí)用、類似機(jī)器人的東西，最終目標(biāo)是讓計(jì)算機(jī)代替人類完成一些功能，比如信息搜集整理、圖像和文本生成、有決策權(quán)限的控制系統(tǒng)。

把機(jī)器人想象成自己的朋友是有幫助的。構(gòu)建模型的方法之一就是簡單封裝：把自己想要讓模型知道的事情輸入。這聽上去很簡單，但要訓(xùn)練出可以指導(dǎo)實(shí)際模型需要多次迭代。在和成熟的GPT談話時不僅僅是和一個程序函數(shù)在對話，而是和整個被訓(xùn)練的模型庫對話。這個時候可以認(rèn)為GPT的反應(yīng)類似于人類了?？梢越oGPT設(shè)定特定提示詞，讓GPT回答更符合自己預(yù)期。

GPT總體工作框架是：用戶查詢、抽取想讓GPT響應(yīng)的文本、切碎語料成意義不清晰的詞語和短語（而不是保留上下文語義）。而GPT回復(fù)需要在龐大文本庫里拿出一些碎片文本片段，并將它們轉(zhuǎn)換為嵌入向量——這是語言表達(dá)最小單位。對于人類來說，處理信息過程也與此類似：人類分析問題也總是把龐大信息中最關(guān)鍵信息按照信息類型分類，然后篩選出最有可能是自己想要答案。所有被切割出來的嵌入向量都可以看作空間中點(diǎn)：它們都有自己在主觀意愿中坐標(biāo)。比如篩選餐館時，x坐標(biāo)可以看作距離、y坐標(biāo)可以看作口味、z坐標(biāo)可以看作舒適度。每個餐館（即嵌入向量）都有根據(jù)自己主觀意愿而被劃分的坐標(biāo)傾向。如果x比較近，就會獲得一個比較高的數(shù)字向量，在最終判斷時獲得更多前往的可能性。

GPT模型里面的語料都有自己的向量，是成千上萬的向量。根據(jù)不同的模型，向量的數(shù)量也有所不同。它將文本模塊化，切碎成一個個最小單元，把每個單元變成近似意義的向量，再把所有向量放進(jìn)矢量數(shù)據(jù)庫。當(dāng)用戶提出問題時，GPT就會搜索這個數(shù)據(jù)庫。模型會查找數(shù)據(jù)庫中有多少和問題有關(guān)的文本。在搜索的過程中，有很多算法技巧可以提高信息檢索的準(zhǔn)確度以及減少搜索過程中的遺漏。最終，把查找到的文本根據(jù)模型計(jì)算返回用戶交互界面。

陪伴型機(jī)器人也只是會對提示符產(chǎn)生反應(yīng)的矩陣。根據(jù)用戶的提問給出數(shù)據(jù)庫中的結(jié)果。所以客服行業(yè)的經(jīng)驗(yàn)與其讓人來總結(jié)，還不如讓神經(jīng)網(wǎng)絡(luò)進(jìn)行概率統(tǒng)計(jì)。

機(jī)器回復(fù)的文本都是根據(jù)向量統(tǒng)計(jì)出來的概率。這個概率不需要特別精準(zhǔn)，只需要和概率最大的答案類似就行。在這個過程中最神奇的是算法，也就是GPT的框架。GPT的一切回答盡管會被認(rèn)為是有創(chuàng)意，但其實(shí)都是重新排列有數(shù)字向量的文本語素。因?yàn)檫@個過程不可控制，因此計(jì)算結(jié)果有可能和事實(shí)不符，會有使用語料材料編造事實(shí)的可能。

所以這是一個潛在的巨大問題，因?yàn)槟憧梢栽诿總€上下文中重復(fù)創(chuàng)建多個提示詞。你不需要設(shè)計(jì)這個龐大的系統(tǒng)，在設(shè)計(jì)過程中可以逃避的問題有很多，比如問答的細(xì)節(jié)、某一個語素的向量。但是作為設(shè)計(jì)算法的工程師，只需要知道在提示框中出現(xiàn)的結(jié)果是否能夠讓用戶滿意。

想象模型當(dāng)中有很多位專家。模型不是總是能夠給出正確答案的，因?yàn)槿藷o法控制模型的方差，在計(jì)算向量數(shù)字的時候會產(chǎn)生偏差。但是模型會傾向于回答問題，傾向的程度是雙方都在努力的。用戶在盡可能精準(zhǔn)描述自己的問題，模型在盡可能精準(zhǔn)匹配可能性最大的回答。

還有一個能力是創(chuàng)造力。人類的創(chuàng)造基本是這樣的：想到一個好主意，過度生成可能性，篩選掉過度生成的內(nèi)容，重復(fù)修改稿件。就像一個作家，寫了很多文章，但是刪掉了很多，又有新的點(diǎn)子，又刪除了一些不符合主題的內(nèi)容。這個任務(wù)對于人工智能來說非常擅長。這也是人工智能主要的價(jià)值之一，是因?yàn)槿祟愒试S人工智能犯錯。人工智能會預(yù)先生成很多種可能的作品，人類在這個過程中應(yīng)該充當(dāng)一個編輯的角色，消減掉不滿意的那一部分，留下滿意的風(fēng)格。

在人類給出提示詞之后，計(jì)算機(jī)需要一段時間運(yùn)作。從代碼分析，計(jì)算機(jī)所做的事情是搜索（收集和提示詞相似的故事，這就是領(lǐng)域內(nèi)知識的妙用），然后用GPT來查看自己真正想要的內(nèi)容，并編輯輸出的結(jié)果。人類不僅可以手動編輯GPT輸出的內(nèi)容，還可以用自然語言給GPT一些建議，讓GPT自動根據(jù)人類的建議，有傾向性地篩選結(jié)果。在計(jì)算機(jī)花費(fèi)很長時間用于搜索之時，支撐程序運(yùn)行的代碼也許僅僅200多行，僅僅是在數(shù)據(jù)庫里面做搜索的事情，然后給出和提示詞相似的內(nèi)容，然后將輸出的內(nèi)容結(jié)構(gòu)化為人類能夠理解的自然語言。

算法的腳本本身就是人類認(rèn)知的近似值。如果對生命的理解變得寬容一些，AI完全可以稱為人工生命。AI可以將和提示詞年代、領(lǐng)域非常遙遠(yuǎn)的內(nèi)容聯(lián)系起來，捆綁在答案當(dāng)中，因?yàn)閿?shù)據(jù)庫的領(lǐng)域知識非常龐大。

到目前為止，討論的都是一次性的溝通場景，即一問一答。

但是GPT本身會隨著個性的變化而變化嗎？真正有用的是易于控制的、結(jié)果穩(wěn)定的。

如果把GPT放進(jìn)for循環(huán)中，讓GPT自言自語，然后自己給自己指導(dǎo)行動，就會出現(xiàn)一種突發(fā)行為，就像人類的突發(fā)奇想一樣。從最簡單的主意開始，把這些簡單元素放在一起的時候就會產(chǎn)生復(fù)雜的結(jié)構(gòu)，就產(chǎn)生了人類的生命。

所以autoGPT是類似人類的步驟：第一步，設(shè)定一個人類的目標(biāo)；第二步，給自己寫一個步驟清單；然后重復(fù)這些清單。在這個過程中，編程語言的代碼似乎顯得沒有那么重要了，因?yàn)槿祟愘x予了深度學(xué)習(xí)自我學(xué)習(xí)能力。

這樣的代碼通常很短小，包含一些代理和工具。代理指的是GPT加在比它大得多的物體上的語料庫上，像一個蟲子啃食千里良田一樣。無論這個龐大物體上有什么，GPT都能用其他事物調(diào)解矛盾的經(jīng)驗(yàn)。

工具就是代理可以選擇的工作方式，也就是相當(dāng)于蟲子啃食良田的方向和策略。GPT的工具通常用來生成待辦事項(xiàng)列表，也就是分析語料庫的順序。另外一種工具是讓GPT能夠在互聯(lián)網(wǎng)上搜索的，是用來提供GPT爬取數(shù)據(jù)的方向的。

主函數(shù)就將代理套上工具，執(zhí)行一遍又一遍。

至于這個循環(huán)從何處開始，那就是代理和自己對話產(chǎn)生的。這還沒有達(dá)到內(nèi)容生產(chǎn)的地步。