視頻總結(jié)

總述：本視頻通過自底向上分析GPT的原理，從GPT模型基礎(chǔ)、算法概論，到涌現(xiàn)現(xiàn)象、“智能與壓縮”的提出，最后在哲學(xué)高度上思考人與AI的區(qū)別與聯(lián)系。

?

本文僅根據(jù)視頻內(nèi)容和自己的理解對(duì)于視頻進(jìn)行概括。我不是專業(yè)人士，如有錯(cuò)誤或疏漏，歡迎大家理性討論分享，謝謝！

本視頻常常是先提出問題，再講解很多基礎(chǔ)知識(shí)，最后回歸問題進(jìn)行解決。我盡量將這種遞歸的邏輯以不同層次文字展現(xiàn)出來。

0.?問題背景?00:30 ：ChatGPT不同于專攻各個(gè)領(lǐng)域的特定模型，它具有通用性、綜合性，可以對(duì)“翻譯、編碼、數(shù)學(xué)、音樂、醫(yī)學(xué)、法律甚至是人類動(dòng)機(jī)和情感等”產(chǎn)生“理解”。GhatGPT目前的表現(xiàn)，已經(jīng)可以認(rèn)定為產(chǎn)生了一定的“智能”——擁有計(jì)劃、推理、解決問題、抽象思考、理解復(fù)雜想法、快速學(xué)習(xí)等能力。?

1.?基礎(chǔ)知識(shí)（只是稍提了一下注意力機(jī)制，并未展開）

(1)??01:42 模型基本單元——神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上模擬人腦神經(jīng)的運(yùn)作，實(shí)現(xiàn)分類的功能。神經(jīng)網(wǎng)絡(luò)越復(fù)雜，理論上就可以擁有對(duì)復(fù)雜度越高的數(shù)據(jù)進(jìn)行分類的能力。（1.Up主這里略去了深度學(xué)習(xí)算法的具體內(nèi)容。概括地講，我們無法手動(dòng)調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)參數(shù)，使得神經(jīng)網(wǎng)絡(luò)具有較好分類效果的。深度學(xué)習(xí)算法，例如反向傳播算法，可以在迭代中，通過算法自動(dòng)調(diào)節(jié)網(wǎng)絡(luò)中的參數(shù)，提升分類準(zhǔn)確率，使得神經(jīng)網(wǎng)絡(luò)逐漸具備分類功能2.這里以神經(jīng)網(wǎng)絡(luò)的分類功能作為重點(diǎn)，略去其他內(nèi)容）

(2)??05:54 GAN（Generative Adversarial Network）——生成式對(duì)抗性網(wǎng)絡(luò)：兩個(gè)模型進(jìn)行對(duì)抗訓(xùn)練，例如A模型生成圖片，B模型進(jìn)行圖片分類（分為“AI生成”和“真實(shí)”），兩個(gè)模型在對(duì)方反饋中進(jìn)行訓(xùn)練，從而達(dá)成類似“協(xié)同進(jìn)化”的效果。

(3)??07:02 UP主認(rèn)為所有AI模型所做的都是收集、分析、分類和解釋數(shù)據(jù)，并指出很多業(yè)界學(xué)者認(rèn)為深度學(xué)習(xí)的本質(zhì)是統(tǒng)計(jì)學(xué)。

2.??07:30 ChatGPT如何學(xué)會(huì)說話？——GPT模型原理概述（從GPT2開始講解，以及網(wǎng)頁是模型程序的封裝）

(1)?07:46 注意力機(jī)制（Attention Mechanism）和Transfomer模型：在GPT模型中有“注意力編碼層”，注意力機(jī)制模擬人腦獲取信息的方式。GPT通過注意力機(jī)制“理解”字詞之間的關(guān)系，從而進(jìn)行文本續(xù)寫。

(2)?08:04 對(duì)于一串字符（例如：How are you，后面括號(hào)里面會(huì)一直拿這個(gè)舉例）

①??08:50 先扔到某種編碼器（Tokenizer）里面轉(zhuǎn)化成一串?dāng)?shù)字序列（[2437, 389, 345]）。

②??09:00 再進(jìn)行“one-hot編碼”（3*50257）。

③??11:21 進(jìn)行嵌入轉(zhuǎn)化，轉(zhuǎn)化為向量（3個(gè)，1024長）。

④??11:30 與位置信息疊加， 形成新的向量（3個(gè)，1024長）。

⑤??11:41 進(jìn)入注意力編碼層進(jìn)行計(jì)算，形成新的向量（3個(gè)，長1024）。之后以此類推，進(jìn)入多個(gè)注意力編碼層層層計(jì)算。

⑥??14:40 最后出來的向量進(jìn)行解碼，得到概率最高的“下一個(gè)”單詞進(jìn)行輸出。

⑦??15:06 將這個(gè)單詞拼接在原有句子后面，再扔到模型里面算，知道出現(xiàn)結(jié)束符為止。

(3)??11:59 注意力編碼層：多頭注意力層（提取意義） 和 全連接層 （相應(yīng)意義，輸出儲(chǔ)存好的知識(shí)）

①??12:21 對(duì)于每一個(gè)“注意力頭”，有三個(gè)參數(shù)KQV，KQ用來計(jì)算兩個(gè)詞之間的意義，V和將KQ計(jì)算結(jié)果相乘再相加（具體過程見視頻），形成64長向量（3個(gè)）。

②??13:07 16個(gè)注意力頭的結(jié)果拼起來，得到1024長向量（3個(gè)）。

③??13:26 輸出的向量乘權(quán)重矩陣，輸入全連接層的神經(jīng)網(wǎng)絡(luò)，得到1024長的向量輸出。（3個(gè)）

3.??17:40 復(fù)雜系統(tǒng)和涌現(xiàn)現(xiàn)象（為什么GPT1到GPT4只是改變了模型大小，就發(fā)生了質(zhì)的變化？More is different.）

(1)??19:40 GPT雖然基于數(shù)據(jù)統(tǒng)計(jì)和分析，但是可以輸出不在訓(xùn)練樣本中的內(nèi)容。

(2)??21:02 GPT-4解釋GPT-2中神經(jīng)元的作用：觀察GPT2的計(jì)算過程，建立仿真模型進(jìn)行對(duì)比。在語義上，越往淺層越具體，越往深層越抽象（依據(jù)是因?yàn)樵缴顚拥纳窠?jīng)元，猜測準(zhǔn)確度整體越低）。

(3)??24:34 研究指出，在研究語言模型時(shí)，屏蔽某一個(gè)“識(shí)別法語”的神經(jīng)元，對(duì)于小模型會(huì)極大降低正確性，對(duì)于大模型影響不大。推測大模型中神經(jīng)元更多，可以適應(yīng)更多不同復(fù)雜情況。

(4)??25:21 研究表明，模型尺寸對(duì)模型能力的影響，會(huì)在跨過一個(gè)尺寸臨界之后突然快速上升。

(5)??25:42 涌現(xiàn)現(xiàn)象：在論文《More Is Different》中，作者認(rèn)為，將萬物還原為簡單基本定律的能力，并不蘊(yùn)含從這些定律出發(fā)重建整個(gè)宇宙的能力。（例如我們可以知道每個(gè)水分子之間的相互作用，但是如果我們不放大尺度，就永遠(yuǎn)無法認(rèn)識(shí)到“濕”這一特征）。我們應(yīng)該站在更高尺度上研究GPT，而非拘泥于某一個(gè)神經(jīng)元。

4.??27:04 從哲學(xué)高度重新認(rèn)識(shí)問題

(1)??27:07 中文房間思想實(shí)驗(yàn)：讓一個(gè)不會(huì)中文會(huì)英語的人在密閉房子里，有一本英文寫的中英文問答手冊，外面問問題，里面根據(jù)手冊內(nèi)容回答，外面的人看上去里面的人會(huì)中文、理解中文，實(shí)際上里面的人不會(huì)。以此，想來證明任何程序沒有心智。

(2)??28:11對(duì)中文房間實(shí)驗(yàn)，有許多討論，有反駁和反駁反駁等等，緊緊停留在思想層面。然而GPT表現(xiàn)出來，輸出不在“手冊”上的“新東西”的行為。仿佛一個(gè)神奇MP3，你唱第一句，它能接出任何歌曲——我們只能認(rèn)為它“學(xué)會(huì)”了唱歌。

(3)??29:40 認(rèn)知和衡量“智能”的新觀點(diǎn)——“壓縮”（來源于OpenAI團(tuán)隊(duì)核心成員的講解）：神奇的MP3在壓縮歌曲信息，GPT也在壓縮文字信息。UP主用香農(nóng)的信息論中相關(guān)內(nèi)容（信息的本質(zhì)是一種概率密度），計(jì)算了出對(duì)于毫無意義的文字排列組合的信息量，GPT生成中的信息量明顯減少 。（這可以看成對(duì)于規(guī)律的感知把握，使得信息量減少？）目前大語言模型“無損壓縮”率可以實(shí)現(xiàn)14倍。（甚至我們把星球坐標(biāo)信息壓縮，模型或許會(huì)理解萬有引力）。我們可以用壓縮率來衡量智能程度。

(4)??34:27 GPT與人類最大的不同是什么？UP主認(rèn)為是GPT不會(huì)說謊。GPT只是把想的說出來。

(5)??35:56 （UP主開始對(duì)比人腦和GPT推理的相似性）。我們通過“請逐步分析”的提示語，可以觸發(fā)思維鏈（Chain of thought）。而心理學(xué)家 Daniel Kahneman把人的思維方式劃分成兩種，一種是快速、直覺的，一種是邏輯的、知識(shí)的。

(6)??36:54 從進(jìn)化角度來看，我們大腦的功能演化從低等到高等，從基礎(chǔ)的生理需求到語言文思、邏輯思維等復(fù)雜能力。我們的大腦可以看做一個(gè)模型，在一次次錯(cuò)誤中不斷調(diào)整適應(yīng)，建構(gòu)起對(duì)于世界的預(yù)測能力。

5.?40:00 總結(jié)視頻內(nèi)容 和 40:37 結(jié)尾人文主題升華：當(dāng)我們在創(chuàng)造力上、智力上被逐漸超越，我們重新思考自我，人類心智的本質(zhì)是否淺薄？UP主不這樣認(rèn)為。UP主認(rèn)為，人之所以為人，有一方面原因是，人類會(huì)出錯(cuò)。

?

UP主并未直接說明結(jié)論。我認(rèn)為，結(jié)論大致是：GPT已經(jīng)產(chǎn)生智能，并未產(chǎn)生心智。