開新坑了，這個(gè)本來也是一個(gè)動態(tài)來著，為了防止丟失就整合一下。當(dāng)然，這篇除了動態(tài)中出現(xiàn)過的，還有一些新的。

（其實(shí)主要是因?yàn)楸娝苤脑?，最近娛樂手段就變少，現(xiàn)在基本就是看看漫畫，所以有點(diǎn)閑時(shí)間就多看看論文了。希望已經(jīng)陽性的朋友能夠盡快好轉(zhuǎn)，還沒有的大家多注意防護(hù)吧）

1.12-12動態(tài)——?dú)v史問題

近期在與ChatGPT磨合了一段時(shí)間，網(wǎng)上開始流傳ChatGPT非常不善于歷史問題。

其實(shí)ChatGPT對于深一點(diǎn)的領(lǐng)域知識確實(shí)普遍差一點(diǎn)，但在歷史領(lǐng)域似乎問題非常突出。 例如如果你問《三國演義》中馬超使用什么武器的話，答案中多半和青龍偃月刀有關(guān)。

不過這其實(shí)不是什么太難理解的問題，還是按我之前說過的，不要單純用人的思維來理解AI，稍微理解下原理還是很好理解的。 之前有個(gè)公眾號做過一個(gè)實(shí)驗(yàn)，就是對于一個(gè)畫畫AI（好像是DELL-E來著？），讓它畫“獅子和老虎”卻經(jīng)常出現(xiàn)很不穩(wěn)定和很奇怪的圖。這個(gè)很好解釋，因?yàn)?strong>視覺大模型預(yù)訓(xùn)練一般是用對比學(xué)習(xí)的方法，就是讓不同的圖片距離盡可能遠(yuǎn)，讓相似的圖片的距離盡可能近。會出現(xiàn)以上情況只是因?yàn)椤蔼{子”和“老虎”比較相似，所以就會畫出來很多奇怪的混合物。 雖然作為語言大模型的GPT和視覺大模型還是有很多差別的，但GPT的預(yù)訓(xùn)練任務(wù)是預(yù)測下一個(gè)詞，《三國演義》和青龍偃月刀經(jīng)常一起出現(xiàn)，所以會回答出青龍偃月刀還挺正常的。

2.12-19動態(tài)-文檔

原動態(tài)：

好家伙，今晚看一個(gè)大佬翻譯來的ChatGPT文檔 已經(jīng)認(rèn)為國內(nèi)再不把大模型搞起來就危險(xiǎn)，甚至用上了“危急存亡之秋”的字眼

確實(shí)，這件事對于我們業(yè)內(nèi)人的影響可以說是非常大，最近組里也是充滿了緊張感，據(jù)說比BERT和GPT-3出來的時(shí)候還壓抑（畢竟那時(shí)候我還不在組里）

當(dāng)然我也知道國內(nèi)想搞大模型的難處，而且我現(xiàn)在也是有心無力啊，我自己又燒不起這個(gè)錢，也不認(rèn)識能夠燒的起這個(gè)錢的廠家

當(dāng)然，過度悲觀也不可取，自己的研究還是要一點(diǎn)點(diǎn)腳踏實(shí)地做的

補(bǔ)充：

這個(gè)文檔是講解ChatGPT的技術(shù)來源的一篇長篇文檔，于18號被翻譯成中文，給個(gè)鏈接：

https://yaofu.notion.site/GPT-3-5-360081d91ec245f29029d37b54573756

這里面真的寫了很多有用的知識，對這方面感興趣的可以去看一下。

3.推理能力與正則兜底？

網(wǎng)上有些關(guān)于ChatGPT的推理能力的總結(jié)并給出了一個(gè)推理模型（還是中國的模型），但是需要注意的是，ChatGPT與推理模型有本質(zhì)的區(qū)別，即ChatGPT并沒有專門的代碼來處理推理能力。

其實(shí)，對于之前很多問答系統(tǒng)，都有一定的“兜底”能力的，就是可以事先準(zhǔn)備很多常見問題或直接放那里一堆常見語料，然后在回答的時(shí)候可以先用神經(jīng)網(wǎng)絡(luò)的方法出結(jié)果，然后衡量一下回答，如果質(zhì)量不夠好的話，可以直接使用“正則”等方法去從語料中直接查找相似答案，作為一種“兜底”手段。

而OpenAI說ChatGPT確實(shí)是沒有加任何正則的（消息來源是我導(dǎo)師，應(yīng)該是靠譜的），當(dāng)然，對于敏感問題是否有加一些特殊處理這個(gè)不太好說，但可以肯定的是，ChatGPT基本上是完全純凈的單純靠語言大模型搭建的問答系統(tǒng)，基本沒有任何“兜底”機(jī)制，其處理敏感問題都有可能只是RLHF中訓(xùn)練來的。

也就是說，相對于推理系統(tǒng)，ChatGPT是沒有專門寫推理模塊的，他能夠?qū)崿F(xiàn)一定的推理、多輪推理等能力全靠語言大模型，單純的量變引起質(zhì)變。

4.雜談

對于ChatGPT，已經(jīng)有很多經(jīng)典說法了：例如經(jīng)典的“有多少人工，就有多少智能”。大模型固然有其問題，也不一定是AI的唯一出路。單看人類，我們學(xué)習(xí)語言是用不到GPT那種極其龐大的語料的，這說明小樣本的路線的可能性一定是存在的，只是計(jì)算機(jī)能否做這件事還有物理限制等困難在那。

但當(dāng)下我也是堅(jiān)定地認(rèn)為擁抱大模型仍然是必須要做的，大模型由量變引起質(zhì)變的過程中有太多可以探究的點(diǎn)了，而GPT-3和ChatGPT又是不開源的，加上其他很多領(lǐng)域也都還沒有一些這樣的大模型（GPT-4：多模態(tài)這不就來了嗎），還是希望看到這篇專欄的大家能有所感悟吧，也不求大家一定接受我的觀點(diǎn)（加上其實(shí)我對ChatGPT也還在逐漸認(rèn)識的過程中，很多問題也沒想明白），ChatGPT真的不只是一個(gè)玩具而已。