摘要：火到現(xiàn)在的ChatGPT到底是什么？它背后有哪些技術(shù)？對于我們的工作和生活會有啥影響？快來一起了解吧~

本文分享自華為云社區(qū)《零基礎(chǔ)解讀ChatGPT：對人類未來工作是威脅還是幫助？》，作者：關(guān)耳山石。

前言

年前到現(xiàn)在，一直被ChatGPT的新聞轟炸，現(xiàn)在還越來越熱鬧了，關(guān)于ChatGPT技術(shù)，關(guān)于人與ChatGPT未來發(fā)展的討論，網(wǎng)絡(luò)上眾說紛紜。我就讓同事從海外注冊賬號，直接問了ChatGPT這個問題，最后用Stable Diffusion生成了ChatGPT眼中未來的圖像，如下圖：

關(guān)于這幅景象，它是這么描述的：

于是，作為一位嚴(yán)謹(jǐn)?shù)摹懊窨啤焙头e極的開發(fā)者，立即開始跟隨潮流，了解新技術(shù) ！希望能與大家一起交流看法，歡迎大家留言討論~

一、ChatGPT是什么？

1、ChatGPT背后的公司們·OpenAI&微軟

要聊ChatGPT，必須得先聊OpenAI。這本來是一家搞全棧AI創(chuàng)新的非盈利組織，重點(diǎn)研究物理機(jī)器人，背后甚至還有鋼鐵俠、彼得·蒂爾、YC總裁Sam（任CEO）等一眾硅谷大佬身影，而GPT系列模型只是眾多研究方向之一。

因?yàn)榉怯M織無法進(jìn)行融資，就搞了個商業(yè)的殼子，吸引了微軟投資，最后達(dá)成的結(jié)果是：OpenAI要優(yōu)先使用微軟的技術(shù)（主要是Azure），微軟得到了OpenAI技術(shù)的使用權(quán)，這也是ChatGPT與微軟之間的聯(lián)系。

2、ChatGPT背后技術(shù)·GPT-3.5

GPT這模型已經(jīng)發(fā)展四代了，目前開放了GPT-3的API（收費(fèi)的），ChatGPT用的是GPT-3.5，還有一代GPT-4沒見過（據(jù)說Bing融合的就是這個）。

這個東西到底是干啥的，如果感興趣，建議去看李宏毅老師的視頻，省流版就是： 文字接龍機(jī)器人，一個學(xué)了2/3的互聯(lián)網(wǎng)知識，整個Wikipedia，多個書籍庫，以及一套“自動補(bǔ)齊”能力的文字接龍機(jī)器人。

但是平時咱們用的輸入法基本也會一些文字接龍，但是接起來的感覺前言不搭后語的，為啥ChatGPT就行了呢？網(wǎng)上還找不著GPT-3.5相關(guān)的材料，只能研究研究GPT-3的創(chuàng)新點(diǎn)去推斷了：

• 模型相當(dāng)大

1750億參數(shù)，這個參數(shù)大概意思是表示每個字/詞出現(xiàn)的可能性。到底有多大，看下圖就有個直觀的感受。

當(dāng)然，訓(xùn)練數(shù)據(jù)量也極其的大，大約是4990億個Token（簡單理解為字/詞），號稱學(xué)了2/3個互聯(lián)網(wǎng)、整個Wikipedia和幾個書籍庫。按照這個信息量，一定是高度冗余的，也是絕對充分了。

• “加錢”效果相當(dāng)好

這玩意還有個很神奇的地方，就是有錢能使它推磨，“加價”的效果立竿見影：從趨勢來看，模型越大，效果越好。想必將來還會有更大的模型出來，畢竟有多大錢，GPT能創(chuàng)造多少奇跡嘛！（DeepMind還做了個推導(dǎo)，算出來一個模型參數(shù)與數(shù)據(jù)量的最優(yōu)線性關(guān)系）

• 通用性相當(dāng)好

這也算個特別牛的事情，不用進(jìn)行額外的“調(diào)教”，已經(jīng)學(xué)會了干很多事，簡直是AI工程師的福音。

舉個例子，我們有個相似需求推薦的場景，是基于BERT的基礎(chǔ)模型，加上一堆（上千條）人工標(biāo)注的訓(xùn)練數(shù)據(jù)集，再調(diào)優(yōu)一把，才能使用在我們的場景里。有了這個大力仔，就不需要這一套了，直接拿來即用。而且還有個比較有意思的，哪怕要教模型做點(diǎn)事，也不需要工程師了，直接在輸入里寫上寥寥幾個例子（In Context Learning），模型就學(xué)會了。

• “意識”涌現(xiàn)相當(dāng)驚人

學(xué)名叫Chain-of-Thought，思維鏈，這是最讓人驚訝和細(xì)思極恐的了。

就是當(dāng)模型足夠大，層數(shù)足夠多的時候，居然還就從量變到質(zhì)變了，產(chǎn)生了一些類人的邏輯思維能力。這玩意我沒看到更深刻的解釋，但是從表象上看，確實(shí)會做一些邏輯題了。比如算算數(shù)、做一些邏輯推理。

PS：我從網(wǎng)上看到一個數(shù)據(jù)，列在這里做個備注 - OpenAI的GPT 3的規(guī)模為175B，Google的LaMDA規(guī)模為137B，PaLM的規(guī)模為540B，DeepMind的Gogher規(guī)模為280B等，不一而足。國內(nèi)也有中文巨型模型，比如清華&智譜GLM規(guī)模130B，華為“盤古”規(guī)模200B，百度“文心”規(guī)模260B，浪潮“源1.0”規(guī)模245B。（規(guī)模 = 模型的參數(shù)規(guī)模，單位是Billion）

3、從GPT-3.5到ChatGPT的意義

如果說GPT-3是理論或底層能力的創(chuàng)新，那么ChatGPT的創(chuàng)新就是工程和商業(yè)層面的，甚至是一個里程碑式的。

• 這是一個“現(xiàn)象級”的產(chǎn)品

首先，我認(rèn)為，將一個大眾無法理解的技術(shù)，變成“現(xiàn)象級”產(chǎn)品，是ChatGPT的最牛創(chuàng)新，使得“AI使能”落入尋常百姓家，與每個人產(chǎn)生了化學(xué)反應(yīng)，所以這絕對是劃時代的。

Google 2022年I/O大會的時候，我也做了一波洞察，看到LaMDA、PaLM的展示，能夠體驗(yàn)的人極少，感知到其魅力的也是極少的。而ChatGPT做了個簡陋的Playground就迅速搶占了大眾的心智，看到有數(shù)據(jù)說，從0~100萬用戶只用了5天，過億只用了2個月，基本沒有額外的獲客成本。甚至還讓競爭對手意識到，再不搞起早起五更都趕不上晚集了。以至于前幾天Google不僅召回了兩位創(chuàng)始人，快速規(guī)劃對話式搜索的上線，還大筆投資了OpenAI的“港灣”組織 – Anthropic）。

從工程上，我理解ChatGPT是GPT-3.5的一個優(yōu)化應(yīng)用。簡單說，就是先人肉標(biāo)注一些GPT-3.5返回數(shù)據(jù)，以教GPT-3.5說話，然后用強(qiáng)化學(xué)習(xí)的算法來持續(xù)評價，最終實(shí)現(xiàn)了這么個神奇的模型。（號稱用到了40+的人力來持續(xù)教AI做事，據(jù)說還有肯尼亞的低價勞工。）

ChatGPT不開源，GPT-3.5模型也不開源。兩者都不支持在中國使用（包括HK），所以網(wǎng)絡(luò)上開始有二道販子開始倒賣，或直接接到微信上付費(fèi)使用。兩者目前都有商業(yè)化的手段，GPT模型是直接賣API，ChatGPT出了Plus版，20美刀一個月，優(yōu)先使用。（GPT-1模型和GPT-2的部分小規(guī)模模型是開源的，OpenAI的理由是，大規(guī)模模型能力太強(qiáng)大，怕被壞人利用）

二、ChatGPT會對我們產(chǎn)生什么影響？

首先，我們得先認(rèn)識到，ChatGPT只是眾多LLM中比較會秀的一個。GPT系列屬于大規(guī)模語言模型（LLM）前沿中的一支，DeepMind（搞AlphaGo下圍棋的那公司）、Google、FB，都有自己的優(yōu)秀實(shí)踐。從技術(shù)能力上，我覺得還遠(yuǎn)沒有到比哪個更好的程度，倒是ChatGPT這一波秀出圈以后，大家找金主爸爸要錢會更容易了，這是個大家都開心的事兒。

關(guān)于替代人類工作的討論，用微軟CEO納德拉的話說：“信息的整合、轉(zhuǎn)譯和流通，變得廉價”。因此對于所有與信息整合、轉(zhuǎn)譯和流通相關(guān)的工作，還是會有影響。

侵入“創(chuàng)造性”工作

GPT模型已經(jīng)離譜到，直接把圖案轉(zhuǎn)成向量喂給它，就能幫我們補(bǔ)齊圖片（image-gpt）的地步，或許我們曾以為的文案、繪圖，甚至是編碼這些曾經(jīng)被認(rèn)為無法被AI替代的工作都將被入侵。

取代“搜索和問答”

人類在已有知識的搜索和輸出上，可能永遠(yuǎn)無法超過AI。Google已經(jīng)開始加快LaMDA的速度，然后是微軟繼續(xù)加注OpenAI并開始在Bing中融入，再然后StackOverflow（技術(shù)類知識問答界的明珠）用戶量降了3200萬，所以我覺得，大模型是靠譜的，替代也是遲早的事兒。

讓AI應(yīng)用更簡單

ChatGPT的Zero-shot效果顯著（LLM有三種學(xué)習(xí)方式，F(xiàn)ew-shot、One-shot、Zero-shot，講人話就是舉多反一、舉一反一、無中生有），這個能力在語言模型中，影響極其深遠(yuǎn)。簡單來說，就是我們?nèi)绻朐陧?xiàng)目中引入AI能力，GPT很好的通用性、極少的“調(diào)教”量會使得工程上更簡單。

ChatGPT背后基礎(chǔ)模型能力成熟且強(qiáng)，更多此類大模型被打造出來后，使得千千萬萬的AI加持變成可能，實(shí)現(xiàn)“AI使能”落入尋常百姓家。

而且，OpenAI賣通用AI的API的生意還是可以賺錢的（見下圖，1k token大約等于750個字，看著不算貴，默認(rèn)還有18刀的體驗(yàn)費(fèi)用），這里不得不開個玩笑：AI工程師們，你們把AI的道拓寬了，把自己的道都走窄了?。?/p>

三、ChatGPT并非萬能

從根子上理解，GPT算法在做的其實(shí)是“補(bǔ)齊”工作：即通過學(xué)習(xí)人類說話的方式，基于上下文，推測后面你打算說啥。具體要回答啥，則完全靠概率計算，靠“違和感”。

如此一來，當(dāng)下的GPT算法勢必就有幾個特點(diǎn)：

需要海量的數(shù)據(jù)、算力和錢

搞個這種算法，總共燒了多少錢呢？22年是5個億刀，前七年40億刀，最近微軟新加注100億刀。（我看網(wǎng)上說，ChatGPT訓(xùn)練下來大約1200多萬美金，這樣看來，微軟的投資，還是打好算盤的，錢要花在自己身上才算值）。而且，搜索引擎和信息入口企業(yè)已占先機(jī)，想要再進(jìn)入，都需要更多的數(shù)據(jù)、錢和算力。當(dāng)然，還需要很多標(biāo)注人力來調(diào)教模型，讓其有人的習(xí)慣和三觀。

真實(shí)版“人云亦云”：

類比鸚鵡學(xué)舌，有響應(yīng)不代表有思考，響應(yīng)夠用也不代表足夠 優(yōu)美。雖然它對通識類的知識理解，效果非常好（何謂通識？就是搜索引擎能搜出一堆來的知識，互聯(lián)網(wǎng)本身信息已經(jīng)高度冗余了，只是作為個體的人類不太清楚罷了），但其實(shí)AI也并不知道自己說的對不對，它只是知道，大家一般都這么說，然后做一些看起來不錯的回答。（思維鏈除外，這個東西細(xì)思極恐，只是欺負(fù)它目前還沒有那么成熟）

時效性問題

即目前ChatGPT學(xué)的是2021年前的知識，所以不知道2022年世界杯誰贏了，不過對于這個問題是可解的。OpenAI的WebGPT算法，已經(jīng)與Bing結(jié)合，把最新的信息投喂給模型，如此一來，它也就知道最新消息了。（我不清楚具體是如何實(shí)現(xiàn)，猜測應(yīng)該不是去實(shí)時訓(xùn)練基礎(chǔ)模型，而是在上層疊加了什么）

四、我們?nèi)绾卫肅hatGPT

這個問題我想再擴(kuò)大一點(diǎn)，擴(kuò)大到AIGC這個話題上，AIGC已經(jīng)被Science列為2022年TOP10科學(xué)突破，2022年是當(dāng)之無愧的AIGC元年，結(jié)合我們的日常工作，我認(rèn)為以下方面是可以快速嘗試和引入的：

• 信息摘要和初級創(chuàng)作：主要用于日常辦公效率提升的場景

從信息摘要的角度，這就是信息爆炸時代的良藥，簡要描述為用魔法打敗魔法：直接讓AI從繁雜的信息中摘取需要的重點(diǎn)內(nèi)容，節(jié)約人力；從初級創(chuàng)作性工作替代上來看， AIGC可以快速幫我們做完早期的工作，更多精力投入“微雕”。

從OpenAI的Codex來看（支撐Github Copilot），對于常用算法、業(yè)務(wù)邏輯代碼、重構(gòu)（包括跨語言的重構(gòu)，比如從java改成go）、代碼注釋（福音?。。┑鹊拇a生成能力已經(jīng)逐漸成型， 我試著面向GPT編程，效果相當(dāng)好：語法工整、注釋清晰、變量準(zhǔn)確（除了邏輯錯了一丟丟 – 返回是月末周日，而不是周六）

• 通識類問題解答：主要用于通識類知識搜索和問答場景，在公開域搜索信息，以減少人力搜索和辨別的過程。

• IT系統(tǒng)擬人化：主要用于人機(jī)交互場景，這個用途好像很少有人提，可能太偏門了。我覺得其實(shí)AIGC特別合適幫我們IT系統(tǒng)的輸出更“絲滑”、更“擬人”、更“準(zhǔn)確”，優(yōu)化機(jī)器輸出更加的“人性化”，符合普遍大眾的習(xí)慣。

五、寫在最后

“吾生也有涯，而知也無涯。以有涯隨無涯，殆已！”，我覺得古人的智慧足以回答關(guān)于人類與ChatGPT未來發(fā)展的問題，在我看來，對于ChatGPT，甚至是更寬廣的技術(shù)發(fā)展來說，科技是為了解放人類的雙手，讓我們用更充足的精力去進(jìn)行思考、探索和創(chuàng)造，AI應(yīng)該成為我們的輔助能力，而不是競爭者。

點(diǎn)擊右上角關(guān)注，第一時間了解華為云新鮮技術(shù)~