”你能想象你可能會(huì)被算法替代嗎？“

最近看到網(wǎng)絡(luò)上鋪天蓋地的的ChatGPT，自己在22年的12月份，使用過(guò)一些日子。先來(lái)聊聊GPT的1.2.3把

ChatGPT是OPENAI團(tuán)隊(duì)發(fā)布聊天機(jī)器人軟件，可以像人類一樣交流，甚至可以可以寫文案、郵件、編碼等等?；趖ransformer 模型（類似神經(jīng)網(wǎng)絡(luò)一樣，想了解的可自行查閱鏈接：https://cloud.tencent.com/developer/news/709702?shareByChannel=link）通過(guò)引入人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）提升AI在對(duì)話時(shí)候的準(zhǔn)確性和可控性。和現(xiàn)在市面常見的小度，小艾等智能AI對(duì)話，ChatGPT有更強(qiáng)大的語(yǔ)言理解能力和語(yǔ)言表達(dá)能力。在對(duì)話過(guò)程中，給與GPT一定條件的”喂養(yǎng)“，GPT可以表現(xiàn)出來(lái)強(qiáng)大的邏輯推理能力，文字更加的自然和流暢，仿佛電腦對(duì)面的，是個(gè)有血有肉有情感的人類。

強(qiáng)化學(xué)習(xí)（RLHF）通俗來(lái)講，開發(fā)人員會(huì)給GPT模型提出各種可能的問(wèn)題，并對(duì)反饋的錯(cuò)誤答案進(jìn)行懲罰，對(duì)正確的答案進(jìn)行獎(jiǎng)勵(lì)，從而實(shí)現(xiàn)控制ChatGPT的回答。

給大家看看自己使用的實(shí)例和真實(shí)反饋

進(jìn)入正題
?ChatGPT有三個(gè)階段，就像是小孩子成長(zhǎng)過(guò)程一樣。

?第一階段：GPT-1（啟蒙階段）

?2018 年，生成式預(yù)訓(xùn)練模型GPT-1誕生，在 Transformer 架構(gòu)基礎(chǔ)上，引入微調(diào)訓(xùn)練。由兩部分組成：

?第一部分是，基于大文本語(yǔ)料庫(kù)的高容量進(jìn)行無(wú)監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練。現(xiàn)階段理解為AI系統(tǒng)從大量沒(méi)有標(biāo)注的數(shù)據(jù)中獲取大量的知識(shí)，然后生成一個(gè)語(yǔ)言模型。

?第二部分是，上述的語(yǔ)言模型在做下游任務(wù)時(shí)，當(dāng)輸入的問(wèn)題具有結(jié)構(gòu)化特征，首先將不同類的問(wèn)題轉(zhuǎn)換為不同的輸入形式，再針對(duì)不同任務(wù)采用不同數(shù)據(jù)集進(jìn)行微調(diào)訓(xùn)練。

?第二階段：GPT-2（快速成長(zhǎng)階段）

?2019 年，GPT-2以增加模型通用性為目標(biāo)，移除 GPT-1的微調(diào)，通過(guò)更加龐大的數(shù)據(jù)和參數(shù)訓(xùn)練出更加通用的模型，無(wú)需經(jīng)過(guò)特定的數(shù)據(jù)集訓(xùn)練也能解決各類問(wèn)題，即zero-shot learning（零次學(xué)習(xí)），從而提高模型的泛化能力。

?每一個(gè)有監(jiān)督的任務(wù)，都是模型數(shù)據(jù)里的一個(gè)小數(shù)據(jù)，我們可以通過(guò)增加模型的容量數(shù)據(jù)，去覆蓋每一個(gè)有監(jiān)督的任務(wù)。

?第三階段：GPT-3（自我突破階段）

2020 年，自我突破有三個(gè)部分

第一部分是，GPT-3移除zero，引入few-sho，將訓(xùn)練參數(shù)增加到1750 億。few-sho就是將有監(jiān)督的任務(wù)的條件減少，僅通過(guò)交互的文本來(lái)指定任務(wù)，結(jié)合總參數(shù)的質(zhì)的飛躍，GPT-3獲得比GPT-2更高的準(zhǔn)確度。

第二部分是，基于GPT-3發(fā)布Codex代碼生成工具，是通用代碼生成模型，能夠?qū)⒆匀徽Z(yǔ)言轉(zhuǎn)換為代碼，支持十幾種編程語(yǔ)言，同時(shí)并將訓(xùn)練參數(shù)增加120億，GPT-3獲得比第一部分更高的準(zhǔn)確率。

?第三部分是，InstructGPT的誕生，基于GPT-3和Codex，引入了人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）,通過(guò)獎(jiǎng)勵(lì)機(jī)制，僅用13億參數(shù)訓(xùn)練出來(lái)更符合人類需求的結(jié)果。

?最后階段：ChatGPT誕生（進(jìn)入商業(yè)化階段）

?歷經(jīng)長(zhǎng)達(dá)兩年多的的訓(xùn)練，InstructGPT搖身一遍，OPENAI發(fā)布了其對(duì)話式版本”ChatGPT“，剛剛推出一星期不到，使用人數(shù)突破百萬(wàn)，隨著使用人數(shù)的逐漸增加，OPENAI開始使用按月支付使用費(fèi)用，不到半年時(shí)間，ChatGPT被推上了網(wǎng)絡(luò)的浪尖上。

上述便是ChatGPT從一個(gè)嬰兒到成年的故事~

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（以上個(gè)人理解如果有誤，相關(guān)專業(yè)人士可以私信指出）

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?-------------------茶水間的”第二刊“

?預(yù)告下期：ChatGPT的商業(yè)模型

---------------------------------------------------------------------------------------------------------

?個(gè)人使用小建議：

? ? ? ? ? ? ? ? ? ?ChatGPT的語(yǔ)言模型及參數(shù)非常完善，在自己使用的期間，我依然會(huì)習(xí)慣性的給與GPT一定的條件，在指出任務(wù)。這時(shí)候AI的回答便更為精準(zhǔn)。