聊聊我眼中的ChatGPT

?

今天，之所以想圍繞ChatGPT寫(xiě)點(diǎn)東西，是因?yàn)樾聦W(xué)期開(kāi)課在即，仍然有人工智能這門(mén)課，另外三門(mén)是生物信息、強(qiáng)化學(xué)習(xí)和網(wǎng)絡(luò)編程（智能網(wǎng)聯(lián)），四門(mén)課都跟人工智能有關(guān)。開(kāi)學(xué)第一課，必須得加上ChatGPT這個(gè)新內(nèi)容，準(zhǔn)確點(diǎn)兒說(shuō)是新話題，做為課堂的熱點(diǎn)導(dǎo)入。即便你不主動(dòng)聊，學(xué)生也會(huì)問(wèn)你的。甚至可以預(yù)測(cè)一下學(xué)生會(huì)問(wèn)什么問(wèn)題：

（1）老師你玩過(guò)ChatGPT嗎？

（2）老師怎么注冊(cè)ChatGPT？

（3）ChatGPT到了什么水平？

（4）搞定ChatGPT需要做哪些技術(shù)儲(chǔ)備？

（5）中國(guó)版的ChatGPT何時(shí)問(wèn)世？

……

前面三個(gè)問(wèn)題是學(xué)生幾乎百分百會(huì)問(wèn)到的，后兩個(gè)問(wèn)題是學(xué)生可能會(huì)問(wèn)到的。甚至你想不到的更多問(wèn)題。

第（1）、（2）兩個(gè)問(wèn)題我一起回答吧。我目前沒(méi)玩過(guò)ChatGPT，ChatGPT需要電話注冊(cè)，暫不支持中國(guó)的電話用戶。網(wǎng)上有一些注冊(cè)教程，大致是花點(diǎn)錢(qián)買(mǎi)虛擬賬號(hào)，步驟有些麻煩，體驗(yàn)不好，沒(méi)有做下去。

第（3）個(gè)問(wèn)題涉及到科技進(jìn)展與本質(zhì)，可以重點(diǎn)聊聊。第（4）個(gè)問(wèn)題涉及到學(xué)生當(dāng)下學(xué)習(xí)規(guī)劃，也可以給點(diǎn)兒建議。第（5）問(wèn)題，屬于未來(lái)預(yù)測(cè)與期待了。

在此聲明，寫(xiě)這篇心得時(shí)，雖然沒(méi)有與ChatGPT面對(duì)面交流過(guò)，所有的經(jīng)驗(yàn)僅限于閱讀了一些別人的測(cè)試結(jié)果和科技點(diǎn)評(píng)，即便如此，也不耽誤我自信地對(duì)ChatGPT指手畫(huà)腳一番，暫且算作是盲目自信吧，畢竟在人工智能領(lǐng)域，我也是一個(gè)小小學(xué)生。

ChatGPT是由OpenAI研發(fā)的聊天機(jī)器人，2022年11月30日發(fā)布。ChatGPT出道即巔峰，媒體圈為之瘋狂，科技圈為之瘋狂，ChatGPT概念股票瘋漲，全球IT江湖為之瘋狂，甚至影響到了國(guó)家和區(qū)域的科技政策導(dǎo)向……

那么當(dāng)下的ChatGPT到底是個(gè)什么水平？真的更接近了人類的“聰明模式”嗎？真正更接近了人類的“智慧模式”嗎？真正是語(yǔ)言領(lǐng)域和知識(shí)領(lǐng)域的“顛覆性技術(shù)革命”嗎？

先說(shuō)結(jié)論。我認(rèn)為，ChatGPT的本質(zhì)仍是一個(gè)人工智能領(lǐng)域的語(yǔ)言模型，追根溯源的話，源自CPT3、GPT3.5、GPT4這些語(yǔ)言模型的進(jìn)展，再進(jìn)一步，GPT又源自Transformer，所以ChatGPT的“智力”基因，根源在Transformer上。ChatGPT的“聰明本質(zhì)”或者說(shuō)是“聰明模式”，沒(méi)有突破或者說(shuō)顛覆Transformer的語(yǔ)言基因。Transformer就是ChatGPT的智慧天花板。當(dāng)然Transformer也有前輩，這里之所以溯源到Transformer，因?yàn)門(mén)ransformer代表了過(guò)去和未來(lái)一段時(shí)間語(yǔ)言技術(shù)革命的標(biāo)志性成果。

Google用Transformer搭建了谷歌的在線翻譯機(jī)器人，為什么沒(méi)有像ChatGPT那樣石破天驚呢。兩個(gè)原因，一是在線翻譯做為一個(gè)傳統(tǒng)科技領(lǐng)域，受眾面小，二是在線翻譯沒(méi)有因?yàn)橐隩ransformer在翻譯水平上帶來(lái)革命性的變化。

一個(gè)不爭(zhēng)的事實(shí)，長(zhǎng)期以來(lái)，我們?cè)跈C(jī)器視覺(jué)領(lǐng)域取得了很大的工業(yè)突破和產(chǎn)業(yè)價(jià)值，但在語(yǔ)言智能領(lǐng)域則相對(duì)滯后，機(jī)器翻譯這類勉強(qiáng)可用的成果顯然滿足不了人類追求。ChatGPT做為聊天應(yīng)用，太大眾化了，太接地氣了，進(jìn)一步打開(kāi)了人們的想象空間和期待。事實(shí)上，科技圈有個(gè)共識(shí)，人工智能什么時(shí)候能過(guò)了“語(yǔ)言交流”這一關(guān)，才算是一個(gè)劃時(shí)代的突破。

那么ChatGPT突破了“語(yǔ)言交流”這一關(guān)嗎？從各種測(cè)試反饋來(lái)看，至少在應(yīng)用層面和用戶體驗(yàn)上，確實(shí)突破了“語(yǔ)言交流”的淺層表象這一關(guān)，至于ChatGPT是如何做到的？是如何解決用戶的問(wèn)題的？ChatGPT會(huì)成長(zhǎng)（更聰明）嗎？其成長(zhǎng)的“養(yǎng)料”是什么？成長(zhǎng)代價(jià)是什么？這些需要我們做出深度思考和判斷。

其實(shí)，要搞懂上述問(wèn)題，做為學(xué)生來(lái)講，我們首先要思考，機(jī)器是如何學(xué)習(xí)說(shuō)話的，機(jī)器是如何學(xué)會(huì)說(shuō)話的。機(jī)器說(shuō)話的邏輯顯然與人類不同，人類是生物信息，機(jī)器是二進(jìn)制數(shù)字電路。

要搞懂機(jī)器說(shuō)話的模型，只有理論顯然不行，事實(shí)上，我們可以自己動(dòng)手，從零開(kāi)始去做一個(gè)Mini版的聊天機(jī)器人程序。

當(dāng)學(xué)生們看到自己用Transformer+中文數(shù)據(jù)集訓(xùn)練的聊天程序時(shí)，再來(lái)看ChatGPT，或許會(huì)有 “蕩胸生曾云，決眥入歸鳥(niǎo)”的豁然開(kāi)朗吧。（參見(jiàn)文后的授課視頻）

當(dāng)我們做了上述探索與實(shí)踐之后，或許你會(huì)發(fā)現(xiàn)，就當(dāng)下而言，所有的人工智能，都是一種工具化的表達(dá)，與人類智能還是天壤之別的。語(yǔ)言模型的本質(zhì)上仍然是基于現(xiàn)實(shí)世界的文字，建立單詞之間的關(guān)系，輸入一句話，預(yù)測(cè)下一個(gè)可能出現(xiàn)的詞語(yǔ)，或者可能出現(xiàn)的一段話。這在我們自己動(dòng)手做的機(jī)器人聊天程序上體現(xiàn)得尤為深刻。

對(duì)于ChatGPT而言，其能力更強(qiáng)了，可以幫助程序員排錯(cuò)，可以多輪對(duì)話，將話題導(dǎo)向深入，這里暫且不論其能力的可靠性和正確性，現(xiàn)在重點(diǎn)探討其智能本質(zhì)。

不妨將ChatGPT與搜索引擎的能力做個(gè)對(duì)比，確實(shí)，ChatGPT目前的表現(xiàn)，可以給出目前搜索引擎無(wú)法完成的回答，因?yàn)樗阉饕媸菍?duì)“知識(shí)庫(kù)”檢索，而ChatGPT是已經(jīng)把“知識(shí)庫(kù)”做成了自己的結(jié)構(gòu)基因（就是那海量的訓(xùn)練好的模型參數(shù)），ChatGPT可以自豪地說(shuō)，我不是“知識(shí)庫(kù)”的搬運(yùn)工，我是經(jīng)過(guò)自己“思考”后的回答，這樣一看，貌似ChatGPT更勝一籌。但是，搜索引擎有龐大的爬蟲(chóng)團(tuán)隊(duì)夜以繼日的工作，搜索引擎的知識(shí)庫(kù)是與時(shí)俱進(jìn)的。但是ChatGPT如果也想每時(shí)每刻都在進(jìn)步和成長(zhǎng)，這意味著首先ChatGPT賴以訓(xùn)練的原始“知識(shí)庫(kù)”需要實(shí)時(shí)更新，同時(shí)模型需要實(shí)時(shí)迭代訓(xùn)練（這個(gè)代價(jià)不是一般的大），毋庸置疑，ChatGPT的成長(zhǎng)代價(jià)極其高昂。

即便如此，成長(zhǎng)到一定水平的ChatGPT，仍然可以轉(zhuǎn)化為落地應(yīng)用。特別是針對(duì)某些行業(yè)的智能助理或者智能客服而言，可以形成更好的商業(yè)體驗(yàn)與人力替代。

ChatGPT能夠編程，能夠?qū)懻撐?，能夠?qū)懶侣劊覀円脖仨毭靼?，這些成果與人類的創(chuàng)造性相比，不會(huì)“高明”到哪里去，但是卻有借鑒意義，就像AlphaFold一樣，給出的蛋白質(zhì)結(jié)構(gòu)，即便極其準(zhǔn)確，也需要實(shí)驗(yàn)驗(yàn)證。事實(shí)上，沒(méi)有人能夠說(shuō)清楚，ChatGPT的推理邏輯是什么？人類給出了機(jī)器學(xué)習(xí)說(shuō)話的算法邏輯和實(shí)現(xiàn)但是卻解釋不清楚模型內(nèi)部的訓(xùn)練過(guò)程。因?yàn)檎麄€(gè)深度學(xué)習(xí)，還是黑盒，語(yǔ)言模型的生成邏輯，還有諸多不可解釋性待解。

最近媒體上看到斯坦福的教授（Michal Kosinski）說(shuō)ChatGPT相當(dāng)于9歲兒童的“心智水平”。我不知道他的評(píng)價(jià)依據(jù)和邏輯，其實(shí)，我更愿意認(rèn)為ChatGPT沒(méi)有“心智”，因?yàn)樗枰粩嗟耐饬ψ⑷耄ㄖR(shí)庫(kù)更新和重新訓(xùn)練），至于“知識(shí)水平”，顯然不是9歲兒童可以做到的。

媒體報(bào)道，比爾蓋茨斷言ChatGPT與互聯(lián)網(wǎng)的發(fā)明一樣重要，未來(lái)將改變世界。當(dāng)下從產(chǎn)業(yè)的角度看，我認(rèn)為，ChatGPT可能會(huì)比肩搜索引擎對(duì)產(chǎn)業(yè)的影響。至于ChatGPT需要多久，才會(huì)嵌入到各種應(yīng)用平臺(tái)上，邊緣計(jì)算設(shè)備上，拭目以待吧，畢竟ChatGPT出身豪門(mén)，我們可以用幾個(gè)小時(shí)做出前面的Transformer聊天機(jī)器人，但是締造ChatGPT這種級(jí)別的應(yīng)用，當(dāng)下，非一流大型科技公司玩不轉(zhuǎn)，即便BAT現(xiàn)在想仿制ChatGPT，恐怕是不能一蹴而就。到時(shí)候這里還有個(gè)比較問(wèn)題，誰(shuí)是更強(qiáng)者，是否要像AlphaGo那樣分個(gè)高下，人機(jī)對(duì)戰(zhàn)或者機(jī)器之間對(duì)戰(zhàn)。

燒錢(qián)搭建高端算力平臺(tái)，還得有大型知識(shí)庫(kù)儲(chǔ)備，最關(guān)鍵的是ChatGPT的模型算法和訓(xùn)練方法。雖然ChatGPT的基因源于GPT和Transformer，但是，其全新的架構(gòu)和實(shí)踐邏輯，仍然不是可以簡(jiǎn)單模仿的。所以中國(guó)版的ChatGPT何時(shí)問(wèn)世，不好預(yù)測(cè)，百度的文心一言（中國(guó)版ChatGPT），據(jù)說(shuō)3月份可以公測(cè)，值得期待。

搞定ChatGPT需要做哪些技術(shù)儲(chǔ)備？對(duì)于學(xué)生而言，我認(rèn)為先把這門(mén)課的基礎(chǔ)學(xué)好，然后能夠獨(dú)立實(shí)踐做出上述的Mini版聊天機(jī)器人。即便我不告訴你需要做哪些技術(shù)儲(chǔ)備，你也已經(jīng)會(huì)自行探索，有的放矢了。

?不知道ChatGPT還會(huì)在媒體圈、科技圈高熱度持續(xù)飛行、發(fā)酵多久，我想，即便到了2024年，2025年，即便在這兩年的時(shí)間里，ChatGPT本身的能力沒(méi)有突破，那么再說(shuō)起來(lái)ChatGPT，仍然具有代表性，因?yàn)橹辽偎屓祟惪吹搅苏Z(yǔ)言模型從不好用到可以用的希望，或許這兩年或者不久的將來(lái)，ChatGPT真的能像搜索引擎一樣，落地生根，不可替代。

我給朋友們提供一個(gè)測(cè)試思路，舉個(gè)例子吧。假設(shè)ChatGPT是2019年11月誕生的，2020-2022這三年，滿世界都是關(guān)于新冠的話題，但是ChatGPT誕生時(shí)，奧密克戎這個(gè)詞根本沒(méi)有出現(xiàn)過(guò)。現(xiàn)在，到了2023年，此時(shí)，你可以問(wèn)他一些關(guān)于奧密克戎的問(wèn)題（假設(shè)ChatGPT仍然是2019年的水平，此后三年知識(shí)庫(kù)沒(méi)有更新過(guò)，即沒(méi)有用包含奧密克戎的知識(shí)訓(xùn)練過(guò)），問(wèn)題：奧密克戎如何防治？有哪些特點(diǎn)？我相信他無(wú)法回答，甚至左顧而言他，或者會(huì)答復(fù)你人類目前未有解決方案（這已經(jīng)是最聰明的回答）。所以，ChatGPT也需要與時(shí)俱進(jìn)。沿著這個(gè)思路，可以窺見(jiàn)ChatGPT的創(chuàng)造力、智慧力到底幾何。當(dāng)然，現(xiàn)在問(wèn)誕生于2022年11月的ChaGPT，奧密克戎問(wèn)題難不住他的。

總之，ChatGPT的聰明與人類的聰明有質(zhì)的不同，ChatGPT的學(xué)習(xí)成長(zhǎng)路徑與人類的成長(zhǎng)學(xué)習(xí)路徑也幾乎不具可比性。ChatGPT的聰明彈性很小，人類的聰明彈性很大。盡管如此，ChatGPT仍是科技時(shí)代的一縷曙光，ChatGPT本身更多的是在實(shí)踐層面具有突破性和標(biāo)志性，他讓那些長(zhǎng)期在語(yǔ)言理解領(lǐng)域跋涉探索的科技達(dá)人們平添更多信心，激發(fā)了千行百業(yè)的從業(yè)者們更具活力的創(chuàng)造熱情，讓不懂人工智能的煙火百姓們，對(duì)科技之未來(lái)平添更多的憧憬、膜拜和熱愛(ài)。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? 2023年2月18日，隨筆

?

視頻1：Transformer與人機(jī)聊天，2021年7月，桂林

機(jī)器是如何學(xué)習(xí)說(shuō)話的？

https://v.qq.com/x/page/e32675uj1rq.html

Android機(jī)器人聊天

https://v.qq.com/x/page/n3267yd005e.html?

視頻2：Transformer與人機(jī)聊天，2021年9月，Google教育部協(xié)同育人線上項(xiàng)目。

https://www.bilibili.com/video/BV13T411U7qS/?spm_id_from=333.337.search-card.all.click

?

2022年8月重新錄制整理到新書(shū)中。

對(duì)ChatGPT和AIGC等內(nèi)容感興趣的讀者，可以關(guān)注我們即將上線的新書(shū)。

新書(shū)推介：TensorFlow+Android經(jīng)典模型從理論到實(shí)戰(zhàn)（微課視頻版）

預(yù)計(jì)2023年3月出版。