萬字科普ChatGPT-4為何會顛覆人類社會-漸構(gòu) Modevol?2023年3月15日

• 工作原理：ChatGPT是如何回答問題的？
• 實質(zhì)功能：「單字接龍」。具體來說就是：給它「任意長的上文」，它會用「自己的模型」去生成「下一個字」。
• 如何生成長文：把它自己生成的「下一個字」和「之前的上文」組合成「新的上文」，再讓它以此生成「下一個字」。不斷重復(fù)，就可以生成「任意長的下文」了。該過程也叫“自回歸生成”。
• 怎么回答問題：仍然是續(xù)寫。其實僅靠單字接龍就能回答問題。因為提問和回答也都是文字，可以將二者組合成一個「問答范例（學(xué)習(xí)材料）」讓ChatGPT做單字接龍。
• 與搜索引擎的區(qū)別：「生成模型」與「搜索引擎」非常不同，搜索引擎無法給出「沒被數(shù)據(jù)庫記憶的信息」，但生成語言模型可以，還能創(chuàng)造不存在的文本，這正是它的長板；缺點是可能混淆記憶，無法直接查看和更新所學(xué)，且高度依賴學(xué)習(xí)材料。
• 搜索引擎不會混淆記憶，但它有可能會，然后捏造出一些事實。（短板）
• 不像數(shù)據(jù)庫，模型是一個黑箱，我們無法對模型直接進(jìn)行增刪改查，所以難免會帶來安全風(fēng)險，并且更新效率低。（短板）
• 以上為GTP的基礎(chǔ)原理，ChatGPT在此基礎(chǔ)上的增加了三個訓(xùn)練階段。
• 預(yù)訓(xùn)練：讓模型看到盡可能多、盡可能豐富的「語言范例（學(xué)習(xí)材料）」，使其有更多機會建構(gòu)出能舉一反三的語言規(guī)律，來應(yīng)對無數(shù)「從未見過的語言」。
• 多少學(xué)習(xí)材料才夠呢？GPT-1時是5GB，1.17億參數(shù)；GPT-2時是40GB，15億參數(shù)；GPT-3時是是45TB，1700億參數(shù)，這時才涌現(xiàn)出了驚人的能力。
• 這個時候GPT已經(jīng)擁有了海量的知識，回答形式和內(nèi)容不受約束，我們很難只會它。教它「什么該說，什么不該說」。
• 模板規(guī)范：給與GPT回答問題的規(guī)范（Prompt），比如給他提供這種「“提問-回答-原因”的對話模板」。
• 當(dāng)然不僅僅是可以教GPT回答問題與聊天，還可以包括「識別態(tài)度」「歸納思想」「拆分結(jié)構(gòu)」「仿寫風(fēng)格」「潤色」「洗稿」和「比對」等等。
• 因此只要這個問題可以寫成文字，給出一定案例后，之后都可以讓GPT來完成。這項能力十分神奇，因為看起來 ChatGPT 仿佛掌握了「如何通過例子來學(xué)習(xí)」的能力，大家把這種現(xiàn)象稱為“語境內(nèi)學(xué)習(xí)（In-context Learning）”，目前對這種能力的產(chǎn)生原因還沒有定論。
• 但“模板規(guī)范”的訓(xùn)練階段也存在不足，那就是：可能導(dǎo)致 ChatGPT 的回答過于模板化，限制其創(chuàng)造力。
• 創(chuàng)意引導(dǎo)：讓ChatGPT根據(jù)「人類對它生成答案的好壞評分」來調(diào)節(jié)模型，以引導(dǎo)它生成人類認(rèn)可的創(chuàng)意回答。
• 為什么會有驚人的能力？為什么不只是聊天機器人：當(dāng)單字接龍模型的規(guī)模達(dá)到一定程度后，就會涌現(xiàn)出「“理解”指令」「“理解”例子」「思維鏈」的能力，讓ChatGPT似乎擁有了人類才能擁有的學(xué)習(xí)、理解與思考的能力
• 未來的影響：他將給社會帶來什么樣的沖擊？
• ChatGPT 的革命意義是向人們展示了「大語言模型的可行性」，相當(dāng)于《流浪地球2》中的試點火實驗。它所展現(xiàn)的一些能力已經(jīng)吸引全球大力開發(fā)和改進(jìn)大語言模型。大語言模型將因此變得更好用、更快速、更便宜，相關(guān)產(chǎn)品也會如雨后春筍般普及。
• 首先要討論的就是「大語言模型能為人類做什么」，才有依據(jù)判斷「它對社會的影響」。
• 精通語法：校對拼寫、檢查語法、轉(zhuǎn)換句式、翻譯外語，對語言組織規(guī)則的遵守已經(jīng)超越了絕大多數(shù)人。
• 引出世界知識：真正的價值在于，在精通語言的基礎(chǔ)上，還能存儲人類從古至今積累的「世界知識」。合理地使用大語言模型，就可以讓一個普通人，快捷準(zhǔn)確地觸及各行各業(yè)的平均知識。
• 幫助處理繁重的語言處理工作：比如醫(yī)療領(lǐng)域，企業(yè)中用NLP技術(shù)可以節(jié)約大量的成本。
• 「人類的理解」和「語言模型的“理解”」并不相同。語言模型的“理解”是指：能夠「明確」接收到了「哪些語言符號」，并能處理「不同語言符號之間的關(guān)系」，但卻不能將「語言符號」和「指代對象」進(jìn)行關(guān)聯(lián)，沒有與現(xiàn)實對應(yīng)。
• 人機合作：語言模型不理解符號的指代，其實不影響我們使用它，畢竟我們是把它當(dāng)成工具，又不是把它作為獨立改造世界的個體。因此只需要得到語言模型的回答，然后由人類來解讀和實踐即可。
• 社會影響：由于大語言模型所能改善的是：群體協(xié)作過程中「創(chuàng)造、繼承、應(yīng)用知識」時的「語言處理效率」。所以隨著技術(shù)的發(fā)展，大語言模型對社會的影響范圍將和當(dāng)初「電腦的影響范圍」一樣，即「全社會」。
• 其中對教育模式的影響將更加強烈，但在飛速發(fā)展的今天，市場變化越來越快，工具更新?lián)Q代頻繁，這種「傳授既有知識」的培養(yǎng)模式越來越難適應(yīng)時代，因為一個非?，F(xiàn)實的問題正擺在前面：5 年后，如果學(xué)校傳授的既有知識，任何人靠大語言模型就能實現(xiàn)，那該怎么辦？
• 另外也將帶來網(wǎng)絡(luò)安全和社會安全的新挑戰(zhàn)
• 如何應(yīng)對：我們?nèi)绾尉S持未來的競爭力
• 要克服抵觸心，善于利用新工具，做好終身學(xué)習(xí)的準(zhǔn)備，因為還會不斷用新東西出來；增強學(xué)習(xí)與創(chuàng)造能力，因為過去那種「學(xué)個知識，干一輩子」的時代已經(jīng)逐漸遠(yuǎn)去。經(jīng)歷了多次科技革命的我們也正處在一個「加速時期」，新工具的出現(xiàn)速度會越來越快，取代現(xiàn)象也會越來越頻繁。只有學(xué)習(xí)能力才是應(yīng)對未來的根本。

------------------------------------

該筆記已整合入個人知識體系，詳見 [ChatGPTYJango](http://wangc.site/cbrain/share?nodeid=71e4c6f1745dab98)