之前放假玩太high了，最近才看到這個(gè)直播回放，斗膽來(lái)做個(gè)省流。（只篩選了一部分言論，然后自己加了一點(diǎn)自己的想法，所以可能也不叫省流（

省流：

個(gè)人背景：實(shí)驗(yàn)室做nlp的，然后自己跳到ai hpc的碩士二年級(jí)學(xué)生。

個(gè)人首先是比較認(rèn)可第三位開(kāi)始講話(huà)的p大dalao的觀點(diǎn)，即數(shù)據(jù)是更重要的，模型反而并沒(méi)有數(shù)據(jù)那么重要。一個(gè)例子就是已經(jīng)有非常多的論文證明了，精心篩選的數(shù)據(jù)用來(lái)訓(xùn)練模型比不篩選的數(shù)據(jù)訓(xùn)練同一個(gè)模型，效果能好非常多（具體例子就不舉了，基本已經(jīng)是業(yè)內(nèi)常識(shí)了）。但我也覺(jué)得這個(gè)模型代差是有兩到三年左右的。主要有以下幾點(diǎn)：

1. 國(guó)內(nèi)之前大模型的嘗試是有的，但不多（如p大dalao所說(shuō)，國(guó)內(nèi)投入其實(shí)不多）。而模型變大帶來(lái)的不僅是成本問(wèn)題，還有模型訓(xùn)練穩(wěn)定性和工程實(shí)踐上的問(wèn)題。這些問(wèn)題需要人力和時(shí)間才能堆出來(lái)。

2. 模型訓(xùn)練本身就是一件耗時(shí)的事情。gpt1還是gpt2我忘了，但他們自己在論文中就講了他們訓(xùn)練參數(shù)整錯(cuò)了，但模型已經(jīng)訓(xùn)了一半了，他們也沒(méi)錢(qián)重新調(diào)整到正確的參數(shù)去訓(xùn)練。從這點(diǎn)我們就能看出，模型完整訓(xùn)練就已經(jīng)很難了。而一次完整流程跑通到調(diào)試錯(cuò)誤到重新跑一次流程，整個(gè)過(guò)程耗時(shí)非常久。huggingface之前有放出來(lái)一個(gè)bloom模型，用375張a100訓(xùn)了兩個(gè)月，然后效果比較差，被人批評(píng)這么點(diǎn)算力還不夠模型訓(xùn)到收斂（Chinchilla optimal）。

3. gpu確實(shí)是一個(gè)問(wèn)題，特別是美國(guó)開(kāi)始限制高端gpu的出售，算力這塊可能比較吃緊。但各大廠現(xiàn)在有的庫(kù)存卡用來(lái)訓(xùn)gpt已經(jīng)完全足夠了。

光模塊我也認(rèn)為p大dalao說(shuō)的很好，我也感覺(jué)挺好（

電費(fèi)確實(shí)很貴，我們導(dǎo)師也想自己做gpu集群，直言自己電費(fèi)都給不起，更遑論設(shè)備費(fèi)了。因?yàn)槟悴粌H要給服務(wù)器供電，你還要給空調(diào)錢(qián)（

gpt貴主要是他的運(yùn)算量大，比傳統(tǒng)應(yīng)用多了非常多。你檢索一個(gè)東西可能就查一下就好了，但gpt本身是需要非常多的矩陣乘計(jì)算，這個(gè)計(jì)算差距就不是一個(gè)數(shù)量級(jí)的。因此帶來(lái)了非常強(qiáng)的硬件和軟件挑戰(zhàn)。同時(shí)如何協(xié)調(diào)cpu與gpu，甚至多個(gè)不同的服務(wù)器也是一個(gè)非常大的挑戰(zhàn)。如何設(shè)計(jì)更適合ai計(jì)算的芯片也是一個(gè)非常大的問(wèn)題。目前也沒(méi)有一個(gè)明確的結(jié)論。

國(guó)產(chǎn)集成電路dalao認(rèn)為，目前國(guó)產(chǎn)也不差，也不是完全空白的問(wèn)題，只是一個(gè)成本問(wèn)題。但從我目前粗淺的角度看來(lái)，軟件適配也是一個(gè)問(wèn)題。堆人力是可以發(fā)揮出硬件的實(shí)力的，但目前模型結(jié)構(gòu)快速變化，各種新的硬件層出不窮，各種需求也在不斷變化，針對(duì)這種多變的硬件和軟件做人工適配的成本也非常高。（因?yàn)橐笕思炊浖捕布@種人的工資是一個(gè)問(wèn)題）

個(gè)人嘗試回答一下不同數(shù)據(jù)訓(xùn)出來(lái)的ai模型的各種偏見(jiàn)問(wèn)題。首先可以把a(bǔ)i模型看作是一個(gè)非常大的知識(shí)記憶庫(kù)，不管你用什么數(shù)據(jù)去訓(xùn)練，他可以把那些東西都記住。然后就可以用一些知識(shí)提取技術(shù)把這些技術(shù)給鉤出來(lái)。在chatgpt中就是rlhf（reinforce learning from human feedback），即用強(qiáng)化學(xué)習(xí)技術(shù)使得模型可以根據(jù)人工反饋來(lái)表現(xiàn)出人們所期許模型表現(xiàn)出來(lái)的“性格”。這也是目前被許多人認(rèn)可的一個(gè)假說(shuō)，即所有知識(shí)都能被模型所學(xué)習(xí)到，我們?nèi)绻泻线m的手段，我們都能夠把這些知識(shí)提取出來(lái)。當(dāng)然目前最先進(jìn)的提取方法就是chatgpt了（這是我口嗨的，歡迎打臉）

一個(gè)字一個(gè)字的蹦確實(shí)就是模型生成的方法，這種被稱(chēng)為自回歸生成方法。這種方法的好處就是在生成的時(shí)候可以回顧之前生成的結(jié)果，從而生成更高質(zhì)量的語(yǔ)句。目前也有非自回歸的方法，主要就是有加速方面的考慮。仔細(xì)想想就能知道，直接一下全弄出來(lái)肯定比你想半天更快，在機(jī)器翻譯領(lǐng)域的強(qiáng)者就是之前字節(jié)的火山翻譯搞出來(lái)的一個(gè)非自回歸模型。速度更快，質(zhì)量也不弱于自回歸方法。但整體而言，非自回歸也不是業(yè)界主流用法，主要效果不好，加速程度也非常有限。

chatgpt應(yīng)用不只是搜索，個(gè)人秘書(shū)以及知識(shí)獲取也是一個(gè)很牛的東西。（stackoverflow月活暴跌也能佐證這一點(diǎn)）

你用模型會(huì)對(duì)模型有影響嗎？可能會(huì)，也可能不會(huì)。你用的模型參數(shù)都已經(jīng)固定了，你再怎么交互他都還是那個(gè)模型。但你輸入的數(shù)據(jù)可能會(huì)被openai收集并對(duì)chatgpt做增量式訓(xùn)練，從而對(duì)模型產(chǎn)生影響。

chatgpt有很多錯(cuò)誤，你得自己對(duì)這個(gè)東西清楚才能更好用，更多是一個(gè)輔助的工具。

模型理解人很驚訝嗎？nlp從業(yè)者可能覺(jué)得會(huì)比較正常，因?yàn)樵谝?jiàn)過(guò)大量數(shù)據(jù)之后，可能你的語(yǔ)句在他的知識(shí)庫(kù)中已經(jīng)存在了，他就做這種模式匹配并挑選出回答也是比較正常的。

最后一個(gè)老哥說(shuō)的非常好，現(xiàn)在ai就是會(huì)犯錯(cuò)，這個(gè)是不可避免的問(wèn)題。和自動(dòng)駕駛不同，chatgpt說(shuō)錯(cuò)了也沒(méi)啥，但自動(dòng)駕駛出錯(cuò)了就可能會(huì)有非常嚴(yán)重的問(wèn)題。包括前段時(shí)間有人攻擊katago成功了，在圍棋這種已經(jīng)研究好幾年的，規(guī)則明確的，訓(xùn)練數(shù)據(jù)量大的ai模型看來(lái)，依然可以攻擊成功就說(shuō)明，指望ai靠譜基本是不太現(xiàn)實(shí)的事情。

最后，希望莫大點(diǎn)個(gè)贊唄。（哈哈