時(shí)間：20230315

up主YJango老師提前說(shuō)明：

視頻是關(guān)于GPT的底層原理和未來(lái)影響。

將拋開(kāi)技術(shù)細(xì)節(jié)，少用專業(yè)名詞，在整體功能上講解 ChatGPT 的

「工作原理」「制造過(guò)程」「涌現(xiàn)的能力」「未來(lái)的影響」以及「如何應(yīng)對(duì)」：

1、ChatGPT是如何回答問(wèn)題的

2、它是怎么被制造的，為什么它不是搜索引擎

3、它有哪些驚人能力，為什么它不只是聊天機(jī)器人

4、它將給社會(huì)帶來(lái)什么樣的沖擊

5、我們?cè)撊绾尉S持未來(lái)的競(jìng)爭(zhēng)力

視頻內(nèi)容：

底層原理

2.1實(shí)質(zhì)功能：【單字接龍】

（給定任意長(zhǎng)的上文，它會(huì)根據(jù)自己的模型去生成下一個(gè)字）

?如何回答長(zhǎng)內(nèi)容的？

——

即：自回歸生成

影響因素兩個(gè)：上文+模型

2.2 訓(xùn)練方式

訓(xùn)練模型，方式是給一份學(xué)習(xí)材料來(lái)做單字接龍，然后不斷調(diào)整

如果同時(shí)訓(xùn)練了兩份都是“白日”開(kāi)頭做上文的不同材料——

那么遇到“白日”，生成？

生成的下一個(gè)字就是按照概率分布抽樣得到的結(jié)果

Above，都是說(shuō)了由上文按照概率分布生成了下文，即做到【補(bǔ)全或續(xù)寫】，那它是怎么回答問(wèn)題的？

↓（將二者組合成一個(gè)問(wèn)答范例）

不需要將所有的組合都灌給chatGPT，訓(xùn)練的目的并不是記憶，而是學(xué)習(xí)

在訓(xùn)練之前，數(shù)據(jù)庫(kù)已經(jīng)將所有信息都記憶好了

非要訓(xùn)練單字接龍——

驅(qū)使它建構(gòu)三個(gè)提問(wèn)的通用規(guī)律

經(jīng)過(guò)這種訓(xùn)練，即使它遇到?jīng)]有記憶過(guò)的提問(wèn)時(shí)，也能舉一反三，生成它通用模型的內(nèi)容

混淆搜索引擎

訓(xùn)練過(guò)程中，學(xué)習(xí)材料并【沒(méi)有被保存】在模型中。學(xué)習(xí)材料的作用是【調(diào)整模型】

ChatGPT相較搜索引擎的短板：

①搜索引擎不會(huì)混淆記憶，它會(huì)

②它的內(nèi)容無(wú)法被直接增刪改查

無(wú)法直接操作→存在隱患，

要不斷調(diào)整模型訓(xùn)練才能校正它的所記所學(xué)→更新時(shí)的效率降低

③高度依賴數(shù)據(jù)（即學(xué)習(xí)材料）

否則回答會(huì)以偏概全或存在胡編混淆

三步訓(xùn)練

讓機(jī)器理解人類語(yǔ)言的難點(diǎn)在于——

解決方法↓

階段1：開(kāi)卷有益

P: pre-training,預(yù)訓(xùn)練

2018年6月，GPT-1

2019年2月，GPT-2

2020年5月，GPT-3

GPT-1在一些任務(wù)的表現(xiàn)上，不如后來(lái)的BERT：GPT的學(xué)習(xí)方式是單字接龍，BERT是完形填空

但回答形式和內(nèi)容不受約束！

由此，進(jìn)入階段 2

答：

理解例子產(chǎn)生回答↓ 【語(yǔ)境內(nèi)學(xué)習(xí)】

分治效應(yīng)

由此，進(jìn)入↓

階段3 創(chuàng)意引導(dǎo)

其中的三個(gè)階段的專業(yè)稱呼是↓

總結(jié)：

也回答了↓

未來(lái)的影響

它相當(dāng)于試點(diǎn)火試驗(yàn)

我們接下來(lái)討論的焦點(diǎn)：

它不僅精通語(yǔ)言，真正有價(jià)值的是，在此基礎(chǔ)上，還能存儲(chǔ)人類從古至今的世界知識(shí)

人類個(gè)體的知識(shí)會(huì)隨著個(gè)體死亡而斷掉，語(yǔ)言的發(fā)明讓知識(shí)可以傳承

總結(jié)一下

5 如何應(yīng)對(duì)