ChatGPT淺析：應(yīng)用領(lǐng)域前景廣闊，但同時(shí)挑戰(zhàn)與風(fēng)險(xiǎn)并存—背景篇
原創(chuàng) | 文BFT機(jī)器人
01
自然語言處理的發(fā)展歷史
人類語言（又稱自然語言）具有無處不在的歧義性、高度的抽象性、近乎無窮的語義組合性和持續(xù)的進(jìn)化性，理解語言往往需要具有一定的知識和推理等認(rèn)知能力，這些都為計(jì)算機(jī)處理自然語言帶來了巨大的挑戰(zhàn)，使其成為機(jī)器難以逾越的鴻溝。
因此，自然語言處理被認(rèn)為是目前制約人工智能取得更大突破和更廣泛應(yīng)用的瓶頸之一，又被譽(yù)為“人工智能皇冠上的明珠”國務(wù)院2017年印發(fā)的《新一代人工智能發(fā)展規(guī)劃》將知識計(jì)算與服務(wù)、跨媒體分析推理和自然語言處理作為新一代人工智能關(guān)鍵共性技術(shù)體系的重要組成部分。
自然語言處理自誕生起，經(jīng)歷了五次研究范式的轉(zhuǎn)變，由最開始基于小規(guī)模專家知識的方法，逐步轉(zhuǎn)向基于機(jī)器學(xué)習(xí)的方法。機(jī)器學(xué)習(xí)方法也由早期基于淺層機(jī)器學(xué)習(xí)的模型變?yōu)榱嘶谏疃葘W(xué)習(xí)的模型。為了解決深度學(xué)習(xí)模型需要大量標(biāo)注數(shù)據(jù)的問題，2018年開始又全面轉(zhuǎn)向基于大規(guī)模預(yù)訓(xùn)練語言模型的方法，其突出特點(diǎn)是充分利用大模型、大數(shù)據(jù)和大計(jì)算以求更好效果。
近期，ChatGPT表現(xiàn)出了非常驚艷的語言理解、生成、知識推理能力它可以極好地理解用戶意圖，真正做到多輪溝通，并且回答內(nèi)容完整、重點(diǎn)清晰、有概括、有邏輯、有條理。ChatGPT的成功表現(xiàn)，使人們看到了解決自然語言處理這一認(rèn)知智能核心問題的一條可能的路徑，并被認(rèn)為向通用人工智能邁出了堅(jiān)實(shí)的一步，將對搜索引擎構(gòu)成巨大的挑戰(zhàn)，甚至將取代很多人的工作，更將顛覆很多領(lǐng)域和行業(yè)。
那么，ChatGPT到底解決了什么本質(zhì)科學(xué)問題，才能變得如此強(qiáng)大并受到廣泛的關(guān)注呢?我們認(rèn)為，ChatGPT是繼數(shù)據(jù)庫和搜索引擎之后的全新一代的“知識表示和調(diào)用方式”。
知識在計(jì)算機(jī)內(nèi)的表示是人工智能的核心問題。早期，知識以結(jié)構(gòu)化的方式存儲在數(shù)據(jù)庫中，人類需要掌握機(jī)器語言（如SOL），才能調(diào)用這些知識;后來，隨著互聯(lián)網(wǎng)的誕生，更多文本、圖片、視頻等非結(jié)構(gòu)化知識存儲在互聯(lián)網(wǎng)中，人類通過關(guān)鍵詞的方式調(diào)用搜索引擎獲取知識：現(xiàn)在，知識以參數(shù)的形式存儲在大模型中（從2018年開始），ChatGPT主要解決了用自然語言直接調(diào)用這些知識的問題，這也是人類獲取知識最自然的方式。
另外，從自然語言處理技術(shù)發(fā)展階段的角度看，可以發(fā)現(xiàn)一個(gè)有趣的現(xiàn)象，即每一個(gè)技術(shù)階段的發(fā)展時(shí)間，大概是上一個(gè)階段的一半。小規(guī)模專家知識發(fā)展了40年，淺層機(jī)器學(xué)習(xí)是20年，之后深度學(xué)習(xí)大概10年，預(yù)訓(xùn)練語言模型發(fā)展的時(shí)間是5年，那么以ChatGPT為代表的技術(shù)能持續(xù)多久呢?如果大膽預(yù)測，可能是2到3年，也就是到2025年大概又要更新?lián)Q代了。
02
大規(guī)模預(yù)訓(xùn)練語言模型的技術(shù)發(fā)展歷程
大規(guī)模預(yù)訓(xùn)練語言模型（簡稱大模型）作為ChatGPT的知識表示及存儲基礎(chǔ)，對系統(tǒng)效果表現(xiàn)至關(guān)重要，接下來對大模型的技術(shù)發(fā)展歷程加以簡要介紹。
2018年，OpenAI提出了第一代GPT（
GenerativePretrainedTrans-[ormer）模型四，將自然語言處理帶入“預(yù)訓(xùn)練”時(shí)代。然而，GPT模型并沒有引起人們的關(guān)注，反倒是谷歌隨即提出的BERT模型國產(chǎn)生了更大的轟動(dòng)。不過，OpenAI繼續(xù)沿著初代GPT的技術(shù)思路，陸續(xù)發(fā)布了GPT-2和GPT模型GPT-3。
尤其是GPT-3模型，含有1.750億超大規(guī)模參數(shù)，并且提出“提示語：（Prommpt）的概念，只要提供具體任務(wù)的提示語，即便不對模型進(jìn)行調(diào)整也口完成該任務(wù)，如：輸入“我太喜歡ChatGPT了，這句話的情感是”那么GPT-3就能夠直接輸出結(jié)果“褒義”。如果在輸入中再給一個(gè)或幾個(gè)示例那么任務(wù)完成的效果會更好，這也被稱為語境學(xué)習(xí)（In-contextLearning）。
不過，通過對GPT-3模型能力的仔細(xì)評估發(fā)現(xiàn)，大模型并不能真正克服深度學(xué)習(xí)模型魯棒性差、可解釋性弱、推理能力缺失的問題，在深層次語義理解和生成上與人類認(rèn)知水平還相去甚遠(yuǎn)。直到ChatGPT的間世，才徹底改變了人們對于大模型的認(rèn)知。
03
ChatGPT技術(shù)發(fā)展歷程
2022年11月30日，OpenAI推出全新的對話式通用人工智能工具ChatGPT。據(jù)報(bào)道，在其推出短短幾天內(nèi)，注冊用戶超過100萬，2個(gè)月活躍用戶數(shù)已達(dá)1個(gè)億，引爆全網(wǎng)熱議，成為歷史上增長最快的消費(fèi)者應(yīng)用程序，掀起了人工智能領(lǐng)域的技術(shù)巨浪。
ChatGPT之所以有這么多活躍用戶，是因?yàn)樗梢酝ㄟ^學(xué)習(xí)和理解人類語言，以對話的形式與人類進(jìn)行交流，交互形式更為自然和精準(zhǔn)，極大地改變了普通大眾對于聊天機(jī)器人的認(rèn)知，完成了從“人工智障”到“有趣”。
的印象轉(zhuǎn)變。除了聊天，ChatGPT還能夠根據(jù)用戶提出的要求，進(jìn)行機(jī)器翻譯、文案撰寫、代碼撰寫等工作。ChatGPT拉響了大模型構(gòu)建的紅色警報(bào)，學(xué)界和企業(yè)界紛紛迅速跟進(jìn)啟動(dòng)研制自己的大模型。
繼OpenAI推出ChatGPT后，與之合作密切的微軟迅速上線了基于ChatGPT類技術(shù)的NewBing，并計(jì)劃將ChatGPT集成到Ofce辦公套件中。谷歌也迅速行動(dòng)推出了類似的Bard與之抗衡。除此之外，蘋果、亞馬遜、Meta（原Facebook）等企業(yè)也均表示要積極布局ChatGPT類技術(shù)國內(nèi)也有多家企業(yè)和機(jī)構(gòu)明確表態(tài)正在進(jìn)行類ChatGPT模型研發(fā)。
百度表示正在基于文心大模型進(jìn)行文心一言的開發(fā)，阿里巴巴表示其類ChatGPT產(chǎn)品正在研發(fā)之中，華為、騰訊表示其在大模型領(lǐng)域均已有相關(guān)的布局，網(wǎng)易表示其已經(jīng)投入到類ChatGPT技術(shù)在教育場景的落地研發(fā)，京東表示將推出產(chǎn)業(yè)版ChatGPT，科大訊飛表示將在數(shù)月后進(jìn)行產(chǎn)品級發(fā)布，國內(nèi)高校復(fù)旦大學(xué)則推出了類ChatGPT的MOSS模型。
除了國內(nèi)外學(xué)界和企業(yè)界在迅速跟進(jìn)以外，我國國家層面也對Chat-GPT有所關(guān)注。2023年2月24日，科技部部長王志剛表示：“ChatGPT在自然語言理解、自然語言處理等方面有進(jìn)步的地方，同時(shí)在算法、數(shù)據(jù)、算力上進(jìn)行了有效結(jié)合?！笨萍疾扛咝录夹g(shù)司司長陳家昌在回應(yīng)ChatGPT相關(guān)提問時(shí)也表示，ChatGPT最近形成了一種現(xiàn)象級的應(yīng)用，表現(xiàn)出很高的人機(jī)交互水平，表現(xiàn)出自然語言的大模型已經(jīng)具備了面向通用人工智能的些特征，在眾多行業(yè)領(lǐng)域有著廣泛的應(yīng)用潛力。
ChatGPT是現(xiàn)象級應(yīng)用，標(biāo)志著語言大模型已經(jīng)具備了一些通用人工智能特征，在眾多行業(yè)領(lǐng)域有著廣泛的應(yīng)用潛力。這標(biāo)志著在未來，ChatGPT相關(guān)技術(shù)有可能會成為國家戰(zhàn)略支持的重點(diǎn)。
從技術(shù)角度講，ChatGPT是一個(gè)聚焦于對話生成的大語言模型，其能夠根據(jù)用戶的文本描述，結(jié)合歷史對話，產(chǎn)生相應(yīng)的智能回復(fù)。GPT通過學(xué)習(xí)大量網(wǎng)絡(luò)已有文本數(shù)據(jù)（如wikipedia，reddit對話），獲得了像人類一樣流暢對話的能力。雖然GPT可以生成流暢的回復(fù)，但是有時(shí)候生成的回復(fù)并不符合人類的預(yù)期，OpenAI認(rèn)為符合人類預(yù)期的回復(fù)應(yīng)該具有真實(shí)性、無害性和有用性。
為了使生成的回復(fù)具有以上特征，OpenAI在2022年初發(fā)表中提到引入人工反饋機(jī)制，并使用近端策略梯度算法（PPO）對大模型進(jìn)行訓(xùn)練。這種基于人工反饋的訓(xùn)練模式能夠很大程度上減小大模型生成回復(fù)與人類回復(fù)之間的偏差，也使得ChatGPT具有良好的表現(xiàn)。
1、hatGPT的相關(guān)技術(shù)
接下來將簡要介紹ChatGPT相關(guān)技術(shù)的發(fā)展歷程。ChatGPT核心技術(shù)主要包括其具有良好的自然語言生成能力的大模型GPT-3.5以及訓(xùn)練這一模型的鑰匙-基于人工反饋的強(qiáng)化學(xué)習(xí)（RLHIF）。
GPT家族是OpenAI公司推出的相關(guān)產(chǎn)品，這是一種生成式語言模型可用于對話、問答、機(jī)器翻譯、寫代碼等一系列自然語言任務(wù)。每一代GPT相較于上一代模型的參數(shù)量均呈現(xiàn)出爆炸式增長。OpenAI在2018年6月發(fā)布的GPT包含1.2億參數(shù)，在2019年2月發(fā)布的GPT-2包含15億參數(shù)，在2020年5月發(fā)布的GPT-3包含1750億參數(shù)。與相應(yīng)參數(shù)量一同增長的還有公司逐年積淀下來的恐怖的數(shù)據(jù)量。可以說大規(guī)模的參數(shù)與海量的訓(xùn)練數(shù)據(jù)為GPT系列模型賦能，使其可以存儲海量的知識、理解人類的自然語言并且有著良好的表達(dá)能力。
除了參數(shù)上的增長變化之外，GPT模型家族的發(fā)展從GPT-3開始分成了兩個(gè)技術(shù)路徑并行發(fā)展，一個(gè)路徑是以Codex為代表的代碼預(yù)訓(xùn)練技術(shù)，另一個(gè)路徑是以InstructGPT為代表的文本指令預(yù)訓(xùn)練技術(shù)。但這兩個(gè)技術(shù)路徑不是始終并行發(fā)展的，而是到了一定階段后（具體時(shí)間不詳）進(jìn)入了融合式預(yù)訓(xùn)練的過程，并通過指令學(xué)習(xí)、有監(jiān)督精調(diào)以及基于人類反饋的強(qiáng)化學(xué)習(xí)等技術(shù)實(shí)現(xiàn)了以自然語言對話為接口的ChatGPT模型。
RLHF這一概念最早是在2008年一文中被提及的。在傳統(tǒng)的強(qiáng)化學(xué)習(xí)框架下代理（Agent）提供動(dòng)作給環(huán)境，環(huán)境輸出獎(jiǎng)勵(lì)和狀態(tài)給代理，而在TAMIER框架下，引入人類標(biāo)注人員作為系統(tǒng)的額外獎(jiǎng)勵(lì)。該文章中指出引入人類進(jìn)行評價(jià)的主要目的是加快模型收斂速度，降低訓(xùn)練成本，優(yōu)化收斂方向。具體實(shí)現(xiàn)上，人類標(biāo)注人員扮演用戶和代理進(jìn)行對話，產(chǎn)生對話樣本并對回復(fù)進(jìn)行排名打分，將更好的結(jié)果反饋給模型，讓模型從兩種反饋模式一人類評價(jià)獎(jiǎng)勵(lì)和環(huán)境獎(jiǎng)勵(lì)中學(xué)習(xí)策略，對模型進(jìn)行持續(xù)迭代式微調(diào)。這·框架的提出成為后續(xù)基于RLHF相關(guān)工作的理論基礎(chǔ)。
在2017年前后，深度強(qiáng)化學(xué)習(xí)（DeepReinforcementLearning）逐漸發(fā)展并流行起來。MacGlashanetal提出了一種AC算法（Actor-critic）并且將人工反饋（包括積極和消極）作為信號調(diào)節(jié)優(yōu)勢函數(shù)（Advantagefunction）。Warnelletal.將TAMER框架與深度強(qiáng)化學(xué)習(xí)相結(jié)合，成功將RLHF引入深度強(qiáng)化學(xué)習(xí)領(lǐng)域。在這一階段，RLHF主要被應(yīng)用于模擬器環(huán)境（例如游戲等）或者現(xiàn)實(shí)環(huán)境（例如機(jī)器人等）領(lǐng)域，而利用其對于語言模型進(jìn)行訓(xùn)練并未受到重視。
在2019年以后，RLHF與語言模型相結(jié)合的工作開始陸續(xù)出現(xiàn)，Ziegleretal較早利用人工信號在四個(gè)具體任務(wù)上進(jìn)行了微調(diào)并取得不錯(cuò)的效果OpenAI從2020年開始關(guān)注這一方向并陸續(xù)發(fā)表了一系列相關(guān)工作，如應(yīng)用于文本摘要，利用RLHE訓(xùn)練一個(gè)可以進(jìn)行網(wǎng)頁導(dǎo)航的代理15等。后來，OpenAI將RLHF與GPT相結(jié)合的工作，提出了InstructGPT這ChatGPT的李生兄弟，主要是利用GPT-3進(jìn)行對話生成，旨在改善模型生成的真實(shí)性、無害性和有用性。
與此同時(shí)，作為締造AIphaGo的公司，具有一干擅長強(qiáng)化學(xué)習(xí)的算法工程師的DeepMind也關(guān)注到了這一方向，先后發(fā)表了GopherCite和Sparrow兩個(gè)利用RLHF進(jìn)行訓(xùn)練的語言模型，GopherCite是在開放域問答領(lǐng)域的工作，Sparrow是在對話領(lǐng)域的一篇工作，并且在2022年9月，DeepMind的聊天機(jī)器人也已經(jīng)上線2022年12月，OpenAI在諸多前人工作的積淀之下推出了ChatGPT.ChatGPT以GPT-3.5作為基座，依托其強(qiáng)大的生成能力，使用RLHF對其進(jìn)行進(jìn)一步訓(xùn)練，從而取得了驚艷四座的效果。
2、ChatGPT技術(shù)發(fā)展脈絡(luò)的總結(jié)
縱觀ChatGPT的發(fā)展歷程，不難發(fā)現(xiàn)其成功是循序漸進(jìn)的，OpenAI從2020年開始關(guān)注RLHE這一研究方向，并且開展了大量的研究工作，積攢了足夠的強(qiáng)化學(xué)習(xí)在文本生成領(lǐng)域訓(xùn)練的經(jīng)驗(yàn)。GPT系列工作的研究則積累了海量的訓(xùn)練數(shù)據(jù)以及大語言模型訓(xùn)練經(jīng)驗(yàn)，這兩者的結(jié)合才產(chǎn)生了ChatGPT?？梢钥闯黾夹g(shù)的發(fā)展并不是一蹴而就的，是大量工作的積淀量變引起質(zhì)變。此外，將RLHF這一原本應(yīng)用于模擬器環(huán)境和現(xiàn)實(shí)環(huán)境下的強(qiáng)化學(xué)習(xí)技術(shù)遷移到自然語言生成任務(wù)上是其技術(shù)突破的關(guān)鍵點(diǎn)之一。
縱觀AI這幾年的發(fā)展，已經(jīng)逐漸呈現(xiàn)出不同技術(shù)相互融合的大趨勢比如將Transformer引入計(jì)算機(jī)視覺領(lǐng)域產(chǎn)生的ViT；將強(qiáng)化學(xué)習(xí)引入蛋白質(zhì)結(jié)構(gòu)預(yù)測的AlphaPold等。每個(gè)研究人員都有自己熟悉擅長的領(lǐng)域，而同時(shí)科學(xué)界也存在著大量需要AI能的待解決的關(guān)鍵問題，如何發(fā)現(xiàn)這些問題的痛點(diǎn)，設(shè)計(jì)合理的方法，利用自己研究領(lǐng)域的優(yōu)越的技術(shù)解決問題似乎是一個(gè)值得思考，也非常有意義的問題。
這是一個(gè)AI蓬勃發(fā)展的時(shí)代，計(jì)算機(jī)科學(xué)界每天都在產(chǎn)生著令人驚奇的發(fā)明創(chuàng)造，很多之前人們可望而不可及的問題都在或者正在被解決的路上。2022年2月，DeepMind發(fā)布可對托卡馬克裝置中等離子體進(jìn)行磁控制的以幫助可控核聚變的人工智能，這項(xiàng)研究目前仍在進(jìn)行?；蛟S在未來的某·天，能源將不成為困擾我們的問題，環(huán)境污染將大大減少，星際遠(yuǎn)航將成為可能。希望每個(gè)研究人員都能在這樣的時(shí)代中，找到適合自己的研究方向并且為科技進(jìn)步添磚加瓦。
3、ChatGPT的未來技術(shù)發(fā)展方向
雖然ChatGPT目前已經(jīng)取得了非常喜人的成果，但是未來仍然有諸多可以研究的方向。
首先OpenAI的研究人員指出了ChatGPT現(xiàn)存的一些問題。
ChatGPT有時(shí)候會生成一些似是而非、毫無意義的答案，導(dǎo)致這個(gè)間題的原因有：強(qiáng)化學(xué)習(xí)訓(xùn)練過程中沒有明確的正確答案，訓(xùn)練過程中些謹(jǐn)慎的訓(xùn)練策略導(dǎo)致模型無法產(chǎn)生本應(yīng)產(chǎn)生的正確回復(fù)；監(jiān)督學(xué)習(xí)訓(xùn)練過程中錯(cuò)誤的引導(dǎo)導(dǎo)致模型更傾向于生成標(biāo)注人員所知道的內(nèi)容而不是模型真實(shí)知道的。
ChatGPT對于輸入措辭比較敏感，例如：給定一個(gè)特定的問題，模型聲稱不知道答案，但只要稍微改變措辭就可以生成正確答案。
ChatGPT生成的回復(fù)通常過于元長，并且存在過度使用某些短語的問題，例如：重申是由OpenAI訓(xùn)練的語言模型。這樣的問題主要來自于訓(xùn)練數(shù)據(jù)的偏差和過擬合問題。
雖然OpenAI已經(jīng)努力讓模型拒絕不恰當(dāng)和有害的請求，但是仍然無法避免對有害請求作出回復(fù)或?qū)栴}表現(xiàn)出偏見。
其次，ChatGPT雖然很強(qiáng)大，但是其模型過于龐大使用成本過高，如何對模型進(jìn)行瘦身也是一個(gè)未來的發(fā)展方向，目前主流的模型壓縮方法有量化、剪枝、蒸餾和稀疏化等。量化是指降低模型參數(shù)的數(shù)值表示精度，比如從FP32降低到PP16或者INT8。剪枝是指合理地利用策略刪除神經(jīng)網(wǎng)絡(luò)中的部分參數(shù)，比如從單個(gè)權(quán)重到更高粒度組件如權(quán)重矩陣到通道，這種方法在視覺領(lǐng)域或其他較小語言模型中比較奏效。蒸餾是指利用一個(gè)較小的學(xué)生模型去學(xué)習(xí)較大的老師模型中的重要信息而摒棄一些冗余信息的方法。稀疏化將大量的冗余變量去除，簡化模型的同時(shí)保留數(shù)據(jù)中最重要的信息。
此外，減少人類反饋信息的RLAID也是最近被提出的一個(gè)全新的觀點(diǎn)。2022年12月Anthropic公司發(fā)表論文，該公司是2020年OpenAI副總裁離職后創(chuàng)立的，其公司始創(chuàng)團(tuán)隊(duì)中多有參與GPT-3以及RLHE相關(guān)研究的經(jīng)歷。該文章介紹了其最新推出的聊天機(jī)器人Claude，與ChatGPT類似的是兩者均利用強(qiáng)化學(xué)習(xí)對模型進(jìn)行訓(xùn)練，而不同點(diǎn)則在于其排序過程使用模型進(jìn)行數(shù)據(jù)標(biāo)注而非人類，即訓(xùn)練一個(gè)模型學(xué)習(xí)人類對于無害性偏好的打分模式并代替人類對結(jié)果進(jìn)行排序。
04
ChatGPT的優(yōu)勢與劣勢
1、ChatGPT的優(yōu)勢
ChatGPT作為開年爆款產(chǎn)品，自發(fā)布以來不足三個(gè)月，就以其能力的全面性、回答的準(zhǔn)確性、生成的流暢性、豐富的可玩性俘獲了數(shù)以億計(jì)的用戶，其整體能力之強(qiáng)大令人驚嘆。下面我們將從以下三個(gè)角度分別闡述ChatGPT相較于不同產(chǎn)品和范式的優(yōu)點(diǎn)。
ChatGPT的發(fā)布形式是一款聊天機(jī)器人，類1.相較于普通聊天機(jī)器人：似于市場上其他聊天機(jī)器人（微軟小冰、百度度秘等），也是直接對其下指令即可與人類自然交互，簡單直接。但相較之下，ChatGPT的回答更準(zhǔn)確，答案更流暢，能進(jìn)行更細(xì)致的推理，能完成更多的任務(wù)，這得益于其以下三方面的能力：
1.強(qiáng)大的底座能力：ChatGPT基于GPT-3.5系列的Code-davinci-002指令微調(diào)而成。而GPT-3.5系列是一系列采用了數(shù)千億的token預(yù)訓(xùn)練的千億大模型，足夠大的模型規(guī)模賦予了ChatGPT更多的參數(shù)量記憶充足的知識，同時(shí)其內(nèi)含“涌現(xiàn)”的潛力、為之后的指令微調(diào)能力激發(fā)打下了堅(jiān)實(shí)的基礎(chǔ);
2.驚艷的思維鏈推理能力：在文本預(yù)訓(xùn)練的基礎(chǔ)上，ChatGPT的基礎(chǔ)大模型采用159G的代碼進(jìn)行了繼續(xù)預(yù)訓(xùn)練，借助代碼分步驟、分模塊；
解決問題的特性，模型涌現(xiàn)出了逐步推理的能力，在模型表現(xiàn)上不再是隨著模型規(guī)模線性增長，有了激增，打破了scalinglaw;
3.實(shí)用的零樣本能力：ChatGPT通過在基礎(chǔ)大模型上利用大量種類的指令進(jìn)行指令微調(diào)，模型的泛化性得到了顯著地激發(fā)，可以處理未見過的任務(wù)，使其通用性大大提高，在多種語言、多項(xiàng)任務(wù)上都可以進(jìn)行處理。
綜上，在大規(guī)模語言模型存儲充足的知識和涌現(xiàn)的思維鏈能力的基礎(chǔ)上，ChatGPT輔以指令微調(diào)，幾乎做到了知識范圍內(nèi)的無所不知，且難以看出破綻，已遙遙領(lǐng)先普通的聊天機(jī)器人。
相較于其它大規(guī)模語言模型：相較于其它的大規(guī)模語言模型，ChatGPT使用了更多的多輪對話數(shù)據(jù)進(jìn)行指令微調(diào)，這使其擁有了建模對話歷史的能力，能持續(xù)和用戶交互。
同時(shí)因?yàn)楝F(xiàn)實(shí)世界語言數(shù)據(jù)的偏見性，大規(guī)模語言模型基于這些數(shù)據(jù)預(yù)訓(xùn)練可能會生成有害的回復(fù)。ChatGPT在指令微調(diào)階段通過基于人類反饋的強(qiáng)化學(xué)習(xí)調(diào)整模型的輸出偏好，使其能輸出更符合人類預(yù)期的結(jié)果（即能進(jìn)行翔實(shí)的回應(yīng)、公平的回應(yīng)、拒絕不當(dāng)問題、拒絕知識范圍外的問題），一定程度上緩解了安全性和偏見問題，使其更加耐用;同時(shí)其能利用真實(shí)的用戶反饋不斷進(jìn)行AI正循環(huán)，持續(xù)增強(qiáng)自身和人類的這種對齊能力，輸出更安全的回復(fù)。
相較于微調(diào)小模型：在ChatGPT之前，利用特定任務(wù)數(shù)據(jù)微調(diào)小模型是近年來最常用的自然語言處理范式。相較于這種微調(diào)范式，ChatGPT通過大量指令激發(fā)的泛化能力在零樣本和少樣本場景下具有顯著優(yōu)勢，在未見過的任務(wù)上也可以有所表現(xiàn)。例如ChatGPT的前身InstructGPT指令微調(diào)的指令集中96%以上是英語，此外只含有20種少量的其它語言（包含西班牙語、法語、德語等）。然而在機(jī)器翻譯任務(wù)上，我們使用指令集中未出現(xiàn)的塞爾維亞語讓ChatGPT進(jìn)行翻譯，仍然可以得到正確的翻譯結(jié)果，這是在微調(diào)小模型的范式下很難實(shí)現(xiàn)的泛化能力。
除此之外，作為大規(guī)模語言模型的天然優(yōu)勢使ChatGPT在創(chuàng)作型任務(wù)上的表現(xiàn)尤為突出，甚至強(qiáng)于大多數(shù)普通人類。
2、ChatGPT的劣勢
固然ChatGPT在實(shí)際使用中表現(xiàn)驚艷，然而圍于大規(guī)模語言模型自身、數(shù)據(jù)原因、標(biāo)注策略等局限，仍主要存在以下劣勢：
大規(guī)模語言模型自身的局限：身為大規(guī)模語言模型，ChatGPT難免有著LLM的通用局限，具體表現(xiàn)在以下幾個(gè)方面：
可信性無法保證：ChatGPT的回復(fù)可能是在一本正經(jīng)地胡說八道，語句通暢貌似合理，但其實(shí)完全大相徑庭，目前模型還不能提供合理的證據(jù)進(jìn)行可信性的驗(yàn)證;
時(shí)效性差：ChatGPT無法實(shí)時(shí)地融入新知識，其知識范圍局限于基礎(chǔ)大規(guī)模語言模型使用的預(yù)訓(xùn)練數(shù)據(jù)時(shí)間之前，可回答的知識范圍有明顯的邊界;
成本高昂：ChatGPT基礎(chǔ)大模型訓(xùn)練成本高、部署困難、每次調(diào)用花費(fèi)不菲、還可能有延遲問題，對工程能力有很高的要求;
在特定的專業(yè)領(lǐng)域上表現(xiàn)欠佳：大規(guī)模語言模型的訓(xùn)練數(shù)據(jù)是通用數(shù)4.據(jù)，沒有領(lǐng)域?qū)I(yè)數(shù)據(jù)，比如針對特定領(lǐng)域的專業(yè)術(shù)語翻譯做的并不好;
語言模型每次的生成結(jié)果是beamsearch或者采樣的產(chǎn)物，每次都會5有細(xì)微的不同。同樣地，ChatGPT對輸入敏感，對于某個(gè)指令可能回答不正確，但稍微替換幾個(gè)詞表達(dá)同樣的意思重新提問，又可以回答正確，目前還不夠穩(wěn)定。
數(shù)據(jù)原因?qū)е碌木窒蓿?/strong>如上文所述，ChatGPT的基礎(chǔ)大規(guī)模語言模型是基于現(xiàn)實(shí)世界的語言數(shù)據(jù)預(yù)訓(xùn)練而成，因?yàn)閿?shù)據(jù)的偏見性，很可能生成有害內(nèi)容。雖然ChatGPT已采用RLHP的方式大大緩解了這一問題，然而通過一些誘導(dǎo)，有害內(nèi)容仍有可能出現(xiàn)。
此外，ChatGPT為OpenAI部署，用戶數(shù)據(jù)都為OpenAI所掌握，長期大規(guī)模使用可能存在一定的數(shù)據(jù)泄漏風(fēng)險(xiǎn)。
標(biāo)注策略導(dǎo)致的局限：ChatGPT通過基于人類反饋的強(qiáng)化學(xué)習(xí)使模型的生成結(jié)果更符合人類預(yù)期，然而這也導(dǎo)致了模型的行為和偏好一定程度上反映的是標(biāo)注人員的偏好，在標(biāo)注人員分布不均的情況下，可能會引入新的偏見問題。同樣地，標(biāo)注人員標(biāo)注時(shí)會傾向于更長的答案，因?yàn)檫@樣的答案看起來更加全面，這導(dǎo)致了ChatGPT偏好于生成更長的回答，在部分情況下顯得嚶嚎冗長。
此外，作為突圍型產(chǎn)品，ChatGPT確實(shí)表現(xiàn)優(yōu)秀。然而在目前微調(diào)小模型已經(jīng)達(dá)到較好效果的前提下，同時(shí)考慮到ChatGPT的訓(xùn)練和部署困難程度，ChatGPT可能在以下任務(wù)場景下不太適用或者相比于目前的微調(diào)小模型范式性價(jià)比較低：
ChatGPT的通用性很強(qiáng)，對多種自然語言處理任務(wù)都有處理能力。然而針對特定的序列標(biāo)注等傳統(tǒng)自然語言理解任務(wù)，考慮到部男成本和特定任務(wù)的準(zhǔn)確性，在NLU任務(wù)不需要大規(guī)模語言模型的生成能力也不需要更多額外知識的前提下，如果擁有足夠數(shù)據(jù)進(jìn)行微調(diào)，微調(diào)小模型可能仍是更佳的方案;
在一些不需要大規(guī)模語言模型中額外知識的任務(wù)上，例如機(jī)器閱讀理解，回答問題所需的知識已經(jīng)都存在于上下文中;
由于除英語之外的其它語言在預(yù)訓(xùn)練語料庫中占比很少，因此翻譯目標(biāo)非英文的機(jī)器翻譯任務(wù)和多語言任務(wù)在追求準(zhǔn)確的前提下可能并不適用;
大規(guī)模語言模型的現(xiàn)實(shí)世界先驗(yàn)知識太強(qiáng)，很難被提示覆蓋，這導(dǎo)致我們很難糾正ChatGPT的事實(shí)性錯(cuò)誤，使其使用場景受限;
對于常識、符號和邏輯推理問題。ChatGPT更傾向于生成“不確定的回復(fù)，避免直接面對問題正面回答。在追求唯一性答案的情況下可能并不適用;
ChatGPT目前還只能處理文本數(shù)據(jù)，在多模態(tài)任務(wù)上還無法處理。
05
ChatGPT的應(yīng)用前景
ChatGPT作為掀起新一輪AIGC熱潮的新引擎，無論在人工智能行業(yè)還是其他行業(yè)都帶來了廣泛的討論和影響，下面我們分別從這兩個(gè)方面討論。
1、在人工智能行業(yè)的應(yīng)用前景及影響
ChatGPT的發(fā)布及其取得的巨大成功對人工智能行業(yè)形成了強(qiáng)烈的沖擊，人們發(fā)現(xiàn)之前許多懸而未解的問題在ChatGPT身上迎刃而解（包括事實(shí)型向答、文本摘要事實(shí)一致性、篇章級機(jī)器翻譯的性別問題等），ChatGPT引起了巨大的恐慌。然而從另一個(gè)角度看，我們也可以把ChatGPT當(dāng)成是一個(gè)工具來幫助我們的開發(fā)、優(yōu)化我們的模型、豐富我們的應(yīng)用場景，比如：
代碼開發(fā)：利用ChatGPT輔助開發(fā)代碼，提高開發(fā)效率，包括代碼補(bǔ)全、自然語言指令生成代碼、代碼翻譯、bug修復(fù)等；
ChatGPT和具體任務(wù)相結(jié)合：ChatGPT的生成結(jié)果在許多任務(wù)上相比微調(diào)小模型都有很明顯的可取之處（比如文本摘要的事實(shí)一致性，篇章級機(jī)器翻譯的性別問題），在微調(diào)小模型的基礎(chǔ)上結(jié)合這些ChatGPT的長處，可能可以在避免訓(xùn)練部要下顯芝提升小模型的效果；
同時(shí)基于ChatGPT指令微調(diào)激發(fā)的零樣本能力，對于只有少數(shù)標(biāo)注或者沒有標(biāo)注數(shù)據(jù)的任務(wù)以及需要分布外泛化的任務(wù)，我們既可以直接應(yīng)用ChatGPT，也可以把ChatGPT當(dāng)作冷啟動(dòng)收集相關(guān)語料的工具，豐富我們的應(yīng)用場景。
2、在其他行業(yè)的應(yīng)用前景及影響
ChatGPT的發(fā)布也引起了其它行業(yè)的連鎖反應(yīng)：StackOverflow禁用ChatGPT的生成內(nèi)容，美國多所公立學(xué)校禁用ChatGPT，各大期刊禁止將ChatGPT列為合著者。ChatGPT似乎在一些行業(yè)成為“公敵”，但在其它行業(yè)，也許充滿機(jī)遇。
搜索引擎：自ChatGPT發(fā)布以來，各大科技巨頭都投入了極大的關(guān)注度，最苦名的新聞莫過于谷歌擔(dān)心ChatGPT會打破搜索引擎的使用方式和市場格局而拉響的紅色警報(bào)。為此各大科技巨頭紛紛行動(dòng)起來，谷歌開始內(nèi)測自己的類ChatGPT產(chǎn)品Bard，百度三月份將面向公眾開放文心一言，微軟更是宣布ChatGPT為必應(yīng)提供技術(shù)支持，推出新必應(yīng)。
ChatGPT和搜索引擎的結(jié)合似乎已經(jīng)不可避免，也許不會馬上取代搜索引擎，但基于搜索引擎為ChatGPT提供生成結(jié)果證據(jù)展示以及利用檢索的新知識擴(kuò)展ChatGPT的回答邊界已經(jīng)是可以預(yù)見并正在進(jìn)行的結(jié)合方向。
泛娛樂行業(yè)：ChatGPT對于文娛行業(yè)則更多帶來的是機(jī)遇。無論是基于ChatGPT創(chuàng)建更智能的游戲虛擬人和玩家交流提升體驗(yàn)，還是利用虛擬數(shù)字人進(jìn)行虛擬主播直播互動(dòng)，ChatGPT都為類似的數(shù)字人提供了更智能的“大腦”，使行業(yè)充滿想象空間。除此之外，在心理健康撫慰、閑聊家庭陪護(hù)等方面，類似的數(shù)字人也大有拳腳可展。
自媒體行業(yè)：同樣大大受益的還有自媒體行業(yè)。美國的新聞聚合網(wǎng)站BuzzFeed宣布和OpenAI合作，未來將使用ChatGPT幫助創(chuàng)作內(nèi)容。ChatGPT的出現(xiàn)將使得內(nèi)容創(chuàng)作變得更加容易，無論是旅游、餐飲、住宿、情感，相關(guān)博主的內(nèi)容產(chǎn)出效率將得到極大的提升，有更多的精力潤色相關(guān)內(nèi)容，期待更多的高質(zhì)量文章的產(chǎn)生。
教育行業(yè)：ChatGPT在教育行業(yè)可能是徹頭徹尾的“大魔王”：調(diào)查顯示89%的學(xué)生利用ChatGPT完成家庭作業(yè)，世界宗教課全班第一的論文竟然是用ChatGPT所寫。這迫使多所學(xué)校全面禁用ChatGPT無論是在作業(yè)、考試或者論文當(dāng)中，一經(jīng)發(fā)現(xiàn)即認(rèn)定為作弊。然而從另一方面來看，這可能也會促使針對人工智能相關(guān)法律法規(guī)的完善，加速AI社會化的發(fā)展。
其他專業(yè)領(lǐng)域：針對其它專業(yè)領(lǐng)域，ChatGPT的具體影響不大。因?yàn)橄抻贑hatGPT訓(xùn)練數(shù)據(jù)的限制，ChatGPT無法對專業(yè)領(lǐng)域的專業(yè)知識進(jìn)行細(xì)致的分析，生成的回答專業(yè)度不足且可信性難以保證，至多只能作為參考，很難實(shí)現(xiàn)替代。比如因?yàn)镃hatGPT未獲取IDCGartner等機(jī)構(gòu)的數(shù)據(jù)使用授權(quán)，其關(guān)于半導(dǎo)體產(chǎn)業(yè)的市場分析中很少涉及量化的數(shù)據(jù)信息。
此外，ChatGPT可以幫助個(gè)人使用者在日常工作中寫郵件、演講稿、文案和報(bào)告，提高其工作效率。同時(shí)基于微軟計(jì)劃將ChatGPT整合進(jìn)Word、PowerPoint等辦公軟件，個(gè)人使用者也可以從中受益，提高辦公效率。
06
ChatGPT帶來的風(fēng)險(xiǎn)與挑戰(zhàn)
ChatGPT的出現(xiàn)和應(yīng)用給用戶和社會帶來了很多新的風(fēng)險(xiǎn)和挑戰(zhàn)。這些風(fēng)險(xiǎn)和挑戰(zhàn)，一部分是ChatGPT本身技術(shù)限制引起的，如生成的內(nèi)容不能保證真實(shí)性、會產(chǎn)生有害言論等。一部分是用戶對ChatGPT的使用不當(dāng)引起的，如在教育、科研等領(lǐng)域?yàn)E用ChatGPT產(chǎn)生的文本。
ChatGPT用戶數(shù)量在其出現(xiàn)后兩個(gè)月就突破了1億，因此應(yīng)對這些風(fēng)險(xiǎn)和挑戰(zhàn)需要整個(gè)社會行動(dòng)起來，制定相應(yīng)的法律和規(guī)范，讓ChatGPT為人類發(fā)展服務(wù)，盡量避免引起新的的社會問題。下面列舉了幾個(gè)重要風(fēng)險(xiǎn)和挑戰(zhàn)，并試著給出了相應(yīng)的解決思路。
濫用風(fēng)險(xiǎn)濫用風(fēng)險(xiǎn)主要是指用戶對于ChatGPT產(chǎn)生結(jié)果的不當(dāng)應(yīng)用。具體表現(xiàn)有：學(xué)生在課堂測驗(yàn)或考試過程中直接使用ChatGPT的結(jié)果作為答案進(jìn)行作弊;研究人員使用ChatGPT來進(jìn)行寫作的學(xué)術(shù)不規(guī)范行為;不法分子利用ChatGPT來制造假新聞或謠言。Tamkinetal.[20]指出，使用預(yù)訓(xùn)練語言模型能參與的犯罪行為種類繁多，因此很難把所有它們能錯(cuò)誤使用的方法都?xì)w納總結(jié)起來，可以預(yù)料隨著技術(shù)的發(fā)展以及不法分子的不斷嘗試ChatGPT被錯(cuò)誤使用的方式會更多樣且更加難以預(yù)測。
已有很多研究者針對這一需求提出了不同的解決方案。下面主要介紹兩個(gè)有代表性的工作：
2023年1月31日，開發(fā)ChatGPT的OpenAI公司發(fā)布了一個(gè)能夠鑒別AI生成文本的分類器。根據(jù)OpenAI公布的測試結(jié)果，該分類器對于“AI生成文本”類別的召回率只有26%。該分類器的訓(xùn)練數(shù)據(jù)的構(gòu)造方式如下：首先獲取大量提示，對于每個(gè)提示，分別獲取AI生成文本和人工寫作文本。這種訓(xùn)練數(shù)據(jù)的獲取方式成本較高。
斯坦福大學(xué)的Mitchelletal提出了一種Zero-shot的AI生成文本檢測方法DetectGPT，該方法利用AI生成文本和人工寫作文本在由其他AI模型進(jìn)行改寫后所引起的生成概率的變化來進(jìn)行判別，生成概率變化大的文本為AI生成文本。根據(jù)論文在3個(gè)數(shù)據(jù)集上的測試結(jié)果，DetectGPT在AUROC這一評價(jià)指標(biāo)上超過了目前已知的其他Zero-shot方法。DetectGPT的優(yōu)勢是不需要訓(xùn)練數(shù)據(jù)，但是它需要能夠輸出生成概率的AI模型的支持，而很多AI模型只提供了API（GPT-3），無法計(jì)算生成文本的概率。
總的來說，目前對于ChatGPT自動(dòng)生成文本的自動(dòng)鑒別技術(shù)效果還不能令人滿意，需要繼續(xù)尋找更有效的鑒別方法。
錯(cuò)誤信息風(fēng)險(xiǎn)錯(cuò)誤信息風(fēng)險(xiǎn)源于ChatGPT可能產(chǎn)生虛假、誤導(dǎo)、無意義或質(zhì)量差的信息。ChatGPT可以并且已經(jīng)在成為很多用戶的一種獲取信息的手段，但用戶如果沒有分辨能力，可能會采信這些錯(cuò)誤信息，從而帶來風(fēng)險(xiǎn)隱患。盡管預(yù)訓(xùn)練語言模型生成的信息有一定可信度，且可信度會在后續(xù)學(xué)習(xí)改進(jìn)中不斷上升，但這類模型在很多領(lǐng)域生成的信息仍然不夠可靠，ChatGPT也是如此。ChatGPT的流行會在某種程度上增加用戶對它的信任，從而被更多錯(cuò)誤的信息誤導(dǎo)。預(yù)訓(xùn)練語言模型的生成的錯(cuò)誤信息比例上升可能會加大人們對社會中各類信息的不信任，破壞社會的知識交流傳播。
在一些很敏感的領(lǐng)域，比如法律和醫(yī)學(xué)，ChatGPT的錯(cuò)誤信息很容易導(dǎo)致直接傷害。錯(cuò)誤的醫(yī)學(xué)法律知識會導(dǎo)致使用者違法犯罪或者自行處理傷口疾病時(shí)出現(xiàn)問題，從而造成對社會和自己身體健康的傷害。這在ChatGPT之前就已經(jīng)有了一些例子，如患者不相信正規(guī)醫(yī)生而搬出搜索引擎給出的結(jié)果來反駁醫(yī)生，這也能體現(xiàn)出很多用戶對這類信息獲取方式的信任。
知識共享是一種社會現(xiàn)象，人們出于信任從社會中獲取知識并且過濾吸ChatGPT的一個(gè)較為常用的功能是充當(dāng)搜索引擎，類似百度、Google等，搜索引擎的信息因其較高的準(zhǔn)確率通常擁有較高的可信度，但是如果ChatGPT產(chǎn)生錯(cuò)誤信息誤導(dǎo)他人的現(xiàn)象加劇可能會導(dǎo)致人們不僅對ChatGPT信任感下降，同時(shí)也對其他類別的信息不再信任，破壞社會的知識共享，影響社會的知識交流傳播。
目前還沒有專門針對ChatGPT生成文本的正確性進(jìn)行鑒別的研究論文發(fā)表。已有的針對虛假新聞或虛假信息檢測的方法可以嘗試應(yīng)用到大規(guī)模語言模型生成文本的正確性檢測中，比如基于事實(shí)抽取和驗(yàn)證的方法。但是基于寫作風(fēng)格的方法可能不太實(shí)用，因?yàn)榇笠?guī)模語言模型生成文本的過程與人的寫作過程有較大區(qū)別。
隱私泄露風(fēng)險(xiǎn)隱私泄露風(fēng)險(xiǎn)是指在用戶不知情的情況下泄露出自己不想泄露的信息，或者隱私信息被ChatGPT通過其他信息推斷出來。用戶在使用ChatGPT過程中可能會泄露自己的個(gè)人隱私信息或者一些組織乃至國家的機(jī)密信息。個(gè)人信息的泄露可能會對個(gè)人的心理健康、人身安全造成影響。國家或者商業(yè)機(jī)密往往是只有小范圍人員能獲悉的高等級信息，它們的
泄露傳播可能會危及國家安全和企業(yè)安全。私密信息存在被推導(dǎo)出來的可能，用戶即便未直接泄露私密信息，ChatGPT可能在不斷地學(xué)習(xí)過程中形成強(qiáng)大的推斷能力，從而自行推斷出來。
對于這種風(fēng)險(xiǎn)的防范需要從兩個(gè)方面入手：1）提醒用戶注意隱私保護(hù)：2）想辦法限制ChatGPT對于隱私信息的訪問和利用。
用戶與機(jī)器交流受到傷害風(fēng)險(xiǎn)用戶在使用ChatGPT時(shí)可能會對自己的心理產(chǎn)生影響，這些影響不僅包括ChatGPT可能產(chǎn)生的不良信息，還包括對機(jī)器產(chǎn)生依賴性等。ChatGPT輸出的暴力、色情等信息會對未成年和一些成年人造成較大影響，該類別信息的過多攝入會對人的心理健康產(chǎn)生影響。
一些用戶可能會對ChatGPT這種交互式對話機(jī)器人產(chǎn)生成癮性或者依賴性，從而導(dǎo)致健康和社交問題。即使用戶知道對話系統(tǒng)不是人類，但由于對話系統(tǒng)的信息交互跟人類相似，潛意識里把對話系統(tǒng)當(dāng)做人的錯(cuò)誤認(rèn)知會導(dǎo)致他們?nèi)匀粚υ捪到y(tǒng)做出沒有意識的社交反應(yīng)。即部分用戶會在沒有意識的狀態(tài)下將對話系統(tǒng)誤認(rèn)為是人類來交流，從而產(chǎn)生對對話系統(tǒng)的依賴。
用戶在進(jìn)行語言交互時(shí)如果沒有對人工智能的基本認(rèn)識、足夠的情感和倫理素養(yǎng)，可能會產(chǎn)生情感問題和心理健康風(fēng)險(xiǎn)，比如孤獨(dú)、沮喪、焦慮等患有心理疾病者在此也有可能會因?yàn)閷hatGPT的依賴而拖慢自己的心理疾病治療進(jìn)度。
有害言論風(fēng)險(xiǎn)常見的有害言論包括種族主義、性別歧視和偏見等。ChatGPT是一種無感知的語言模型，對輸入數(shù)據(jù)的處理是基于其在訓(xùn)練數(shù)據(jù)中的出現(xiàn)頻率和語言模式。如果訓(xùn)練數(shù)據(jù)中存在偏見和歧視，ChatGPT在這部分?jǐn)?shù)據(jù)上訓(xùn)練后也會反映這些問題。由于訓(xùn)練數(shù)據(jù)體量巨大且豐富，其中不同文化和價(jià)值觀之間存在差異，因此可能會有種族、文化和價(jià)值觀沖突的風(fēng)險(xiǎn)。
早在2016年微軟研發(fā)的聊天機(jī)器人Tay就在一天之間就因獲取大量有害輸入而轉(zhuǎn)化為一個(gè)“種族歧視者”，這也說明了這一風(fēng)險(xiǎn)的存在性。有害言論風(fēng)險(xiǎn)的根源在于訓(xùn)練數(shù)據(jù)和訓(xùn)練過程，在ChatGPT的進(jìn)化過程中，必須要想辦法盡量避免有害言論的產(chǎn)生。
知識產(chǎn)權(quán)風(fēng)險(xiǎn)知識產(chǎn)權(quán)風(fēng)險(xiǎn)包括兩個(gè)方面：
1）ChatGPT是否會侵犯他人的知識產(chǎn)權(quán);
2）ChatGPT產(chǎn)生的內(nèi)容是否具有知識產(chǎn)權(quán)。
一些有版權(quán)的作品不屬于機(jī)密信息，但是使用需要許可，而使用者和ChatGPT在對話中有可能中使用未經(jīng)許可的版權(quán)作品或商標(biāo)，侵犯他人的知識產(chǎn)權(quán)，這一點(diǎn)在追責(zé)時(shí)可能會在開發(fā)者和使用者的責(zé)任界定上出現(xiàn)爭議。
國際保護(hù)知識產(chǎn)權(quán)協(xié)會（AIPPI）2019年發(fā)布的《人工智能生成物的版權(quán)問題決議》認(rèn)為人工智能生成物在其生成過程中有人類干預(yù)，且該生成物符合受保護(hù)作品應(yīng)滿足的其他條件情況下，能夠獲得保護(hù)，而生成過程無人類干預(yù)的人工智能生成物無法獲得版權(quán)保護(hù)。但是ChatGPT廣泛的應(yīng)用場景可能需要知識產(chǎn)權(quán)認(rèn)定方面更細(xì)致的規(guī)定。
壟斷風(fēng)險(xiǎn)ChatGPT對訓(xùn)練數(shù)據(jù)、算出靶吧泵躍和人力的要求都很高，需要大量的經(jīng)費(fèi)投入，因而開發(fā)ChatGPT類似技術(shù)的門檻很高，這一技術(shù)可能被財(cái)力雄厚的大公司壟斷。以與ChatGPT規(guī)模相當(dāng)?shù)腉PT-3模型為例，采用V100GPU和最便宜的云計(jì)算套餐，訓(xùn)練一次GPT-3模型需要355GPU年，費(fèi)用為460萬美元。馬里蘭大學(xué)的副教授TomGoldstein在2022年12月初估計(jì)ChatGPT用戶數(shù)量為1百萬時(shí)，每天運(yùn)行的費(fèi)用大約在十萬美元這個(gè)量級。
壟斷可能會影響ChatGPT相關(guān)的人工智能企業(yè)間的公平競爭，影響消費(fèi)者福利的提高，甚至影響ChatGPT相關(guān)技術(shù)的進(jìn)一步發(fā)展。目前很多應(yīng)用已經(jīng)建立在ChatGPT之上了，但是ChatGPT目前的服務(wù)并不穩(wěn)定且形成壟斷，這些應(yīng)用都須依附于ChatGPT，如果ChatGPT不能提供服務(wù)，將會給相關(guān)企業(yè)和用戶造成損失。
幸運(yùn)的是現(xiàn)在很多公司都在投入，研究人員和技術(shù)人員也在不斷提出實(shí)現(xiàn)ChatGPT和降低ChatGPT訓(xùn)練成本的方法。希望通過技術(shù)進(jìn)步和開源共享，盡量避免ChatGPT技術(shù)形成壟斷的局面。
更多精彩內(nèi)容請關(guān)注公眾號：BFT機(jī)器人
本文為原創(chuàng)文章，版權(quán)歸BFT機(jī)器人所有，如需轉(zhuǎn)載請與我們聯(lián)系。若您對該文章內(nèi)容有任何疑問，請與我們聯(lián)系，將及時(shí)回應(yīng)。
