這周已經(jīng)讀了16篇論文了，在肝第17篇，突然有了一些想法，說(shuō)一下：

1. 細(xì)看了Meta的LLaMA論文，可以說(shuō)Meta這次的開(kāi)源真的徹底，臉訓(xùn)練數(shù)據(jù)的組成、訓(xùn)練多少輪、網(wǎng)絡(luò)細(xì)節(jié)等都講的很明白了。什么時(shí)候RM的開(kāi)源也像這樣。當(dāng)然，這很可能是在反諷OpenAI是CloseAI

2. 我最近想到了一個(gè)問(wèn)題，即很多外行人把AI看做是“一個(gè)東西”，甚至把AI看成了一種線性發(fā)展的東西（且不談我非常討厭的把人類(lèi)認(rèn)為的AI會(huì)有的危險(xiǎn)想法當(dāng)成AI會(huì)有的危險(xiǎn)想法），然而AI內(nèi)部是有很多分支的，有非常復(fù)雜的組成的。就像這次的ChatGPT，有很多人說(shuō)這東西不就是小冰plus、ChatGPT在某某方面還比不過(guò)某某模型。

   但是，ChatGPT之所以驚艷，是因?yàn)樗牡讓蛹軜?gòu)和之前的對(duì)話系統(tǒng)是有根本的不同的，用雕刻刀做雕刻和用橡皮泥做雕刻是不一樣的，用雕刻刀做雕刻看上去是很平常的行為而用橡皮泥做雕刻當(dāng)然會(huì)讓人感到驚艷。只是看到“做雕刻”的結(jié)果沒(méi)看到做雕刻的工具是不對(duì)的。更關(guān)鍵的是，這個(gè)橡皮泥還不只能做雕刻，燒飯打獵樣樣能干。