從制造者那里理解到ChatGPT是如何樹立的內(nèi)部故事

SpringBoot2.X+Vue+UniAPP，全棧開發(fā)醫(yī)療小程序

download：https://www.zxit666.com/5589/

2022年11月底，OpenAI在沒有任何宣傳的狀況下發(fā)布了ChatGPT，這家總部位于舊金山的人工智能公司對此并無太多希冀。當(dāng)然，OpenAI內(nèi)部的人也沒有準(zhǔn)備好迎接病毒式的超級搶手。自那時以來，該公司不斷在努力躊躇不前，并努力應(yīng)用這一勝利。

OpenAI的政策工作者Sandhini Agarwal表示，公司內(nèi)部將其視為“研討預(yù)覽”，這是對兩年前技術(shù)的愈加成熟的版本，更重要的是，它試圖經(jīng)過搜集公眾的反應(yīng)來消弭其中的一些缺陷。在OpenAI工作的科學(xué)家Liam Fedus表示：“我們不想把它吹噓成一個嚴(yán)重的根本停頓?！?/p>

為了理解這個聊天機器人背后的內(nèi)情故事——它是如何制造的，自發(fā)布以來OpenAI如何更新它，以及其制造者對其勝利的見地——我與四位協(xié)助構(gòu)建這個成為有史以來最受歡送的互聯(lián)網(wǎng)應(yīng)用之一的人交談。除了Agarwal和Fedus，我還與OpenAI的結(jié)合開創(chuàng)人John Schulman和OpenAI對齊團隊的擔(dān)任人Jan Leike交談，該團隊努力于處理讓AI依照用戶的意愿去做事（而不是別的）的問題。

我得出的結(jié)論是，OpenAI對其研討預(yù)覽的勝利依然感到困惑，但已抓住時機推進這項技術(shù)的開展，察看數(shù)百萬人如何運用它，并努力處理呈現(xiàn)的最嚴(yán)重問題。

自11月以來，OpenAI曾經(jīng)屢次更新了ChatGPT。研討人員正在運用一種名為對立性鍛煉的技術(shù)來阻止ChatGPT讓用戶誘導(dǎo)它表現(xiàn)惡劣（稱為越獄）。這項工作讓多個聊天機器人相互對立：一個聊天機器人充任對手并經(jīng)過生成文本攻擊另一個聊天機器人，迫使其打破通常的約束并產(chǎn)生不需求的回應(yīng)。勝利的攻擊將被添加到ChatGPT的鍛煉數(shù)據(jù)中，希望它學(xué)會疏忽它們。

OpenAI與微軟簽署了一項數(shù)十億美圓的協(xié)議，并宣布與全球管理咨詢公司貝恩結(jié)盟。貝恩方案在其客戶（包括可口可樂公司）的營銷活動中運用OpenAI的生成式AI模型1[3]。在OpenAI之外，關(guān)于ChatGPT的熱議引發(fā)了全球大型言語模型的又一次熱潮，各地的公司和投資者紛繁參加。

短短三個月內(nèi)，這惹起了很大的關(guān)注。ChatGPT從何而來？OpenAI采取了哪些措施確保產(chǎn)品發(fā)布前做好準(zhǔn)備？他們接下來會走向哪里？

Jan Leike：實話說，這讓我們有點手足無措。我們感到詫異，我們不斷在努力躊躇不前。

John Schulman：發(fā)布之后的幾天，我不斷在親密關(guān)注Twitter，那段時間推特上充滿著ChatGPT截圖。我原以為它會很契合人們的直覺，并會取得一定的關(guān)注，但我沒料到它會到達如此普遍的主流提高度。

Sandhini Agarwal：我以為我們都沒有料到人們會如此熱衷于運用它。我們?nèi)绱藢Ｗ⒂谶@些模型，以致于有時遺忘了它們對外界來說是多么驚人。

Liam Fedus：我們的確對它遭到的熱烈歡送感到詫異。之前有很屢次通用聊天機器人的嘗試，我曉得我們面臨的應(yīng)戰(zhàn)不小。但是，我們的私人測試讓我們置信，我們可能真的做出了一款人們喜歡的產(chǎn)品。

Jan Leike：我想更好地理解驅(qū)動這一切的緣由——推進其病毒式傳播的緣由。說實話，我們不理解。我們不曉得。

團隊的困惑局部源于ChatGPT內(nèi)部的大局部技術(shù)并不是新的。ChatGPT是GPT-3.5的一個優(yōu)化版本，而GPT-3.5是OpenAI在發(fā)布聊天機器人之前幾個月發(fā)布的大型言語模型家族。GPT-3.5自身是2020年呈現(xiàn)的GPT-3的更新版本1。OpenAI經(jīng)過將這些模型作為應(yīng)用程序編程接口（API）提供在其網(wǎng)站上，讓其他軟件開發(fā)人員能夠輕松地將模型嵌入到他們本人的代碼中。2022年1月，OpenAI還發(fā)布了一種名為InstructGPT的GPT-3.5的優(yōu)化版本。但是這些先前的技術(shù)版本都沒有向公眾推行。

Liam Fedus表示，ChatGPT模型是從與InstructGPT相同的言語模型中微調(diào)而來的，他們運用了相似的微調(diào)辦法。他們添加了一些對話數(shù)據(jù)并對鍛煉過程停止了調(diào)整，因而不希望將其過度宣傳為嚴(yán)重的根本進步。事實證明，對話數(shù)據(jù)對ChatGPT產(chǎn)生了很大的積極影響。

John Schulman表示，雖然從規(guī)范基準(zhǔn)來評價這些模型的原始技術(shù)才能并沒有本質(zhì)性的差別，但ChatGPT更易于訪問和運用。

Jan Leike解釋說，從某種意義上說，ChatGPT能夠被了解為我們曾經(jīng)有的AI系統(tǒng)的一個版本。它并不比以前的模型具有更強大的功用。在ChatGPT問世前的一年里，相同的根本模型曾經(jīng)在API上可用。另一方面，他們使其更契合人們想要用它做的事情。它以對話的方式與您交流，易于在聊天界面中訪問，努力提供協(xié)助。這是令人驚嘆的進步，人們正在認(rèn)識到這一點。

John Schulman指出，ChatGPT更容易推斷出用戶的企圖，而且用戶能夠經(jīng)過重復(fù)對話來取得他們想要的內(nèi)容。

ChatGPT 的鍛煉方式與 InstructGPT 十分類似，采用了一種稱為基于人類反應(yīng)的強化學(xué)習(xí)（RLHF）的技術(shù)。這是 ChatGPT 的機密武器。根本思緒是采用一個傾向于隨意輸出內(nèi)容的大型言語模型——在這種狀況下是 GPT-3.5——并經(jīng)過教它人類用戶實踐更喜歡的回應(yīng)類型來停止調(diào)優(yōu)。

Jan Leike：我們讓一大群人閱讀 ChatGPT 的提示和回應(yīng)，然后說出哪個回應(yīng)比另一個回應(yīng)更可取。一切這些數(shù)據(jù)隨后兼并到一個鍛煉運轉(zhuǎn)中。很多內(nèi)容與我們在 InstructGPT 中做的事情相同。你希望它能提供協(xié)助，要真實，要無毒。然后還有一些特定于產(chǎn)生對話和成為助手的事情：比方，假如用戶的查詢不分明，它應(yīng)該提出后續(xù)問題。它還應(yīng)該廓清本人是一個 AI 系統(tǒng)。它不應(yīng)該假定本人沒有的身份，不應(yīng)該宣稱具有它所沒有的才能，當(dāng)用戶請求它執(zhí)行不應(yīng)該執(zhí)行的任務(wù)時，它必需寫出回絕信息。在這次培訓(xùn)中呈現(xiàn)的一句話是：“作為一個由 OpenAI 鍛煉的言語模型……”這并非是成心放進去的，但它是人類評價者高度評價的事物之一。

Sandhini Agarwal：是的，我以為這就是發(fā)作的事情。人類評價者必需依據(jù)各種規(guī)范對模型停止排名，比方真實性。但是他們也開端更喜歡他們以為是良好理論的事物，比方不偽裝是你不是的東西。

由于 ChatGPT 是運用與 OpenAI 之前運用的相同技術(shù)構(gòu)建的，因而在準(zhǔn)備將此模型發(fā)布給公眾時，團隊并未采取任何不同的做法。他們以為之前模型的規(guī)范曾經(jīng)足夠了。

Sandhini Agarwal：在準(zhǔn)備發(fā)布時，我們并沒有將此模型視為一個全新的風(fēng)險。GPT-3.5 曾經(jīng)在世界上存在，我們曉得它曾經(jīng)足夠平安。經(jīng)過 ChatGPT 對人類偏好的培訓(xùn)，模型自動學(xué)會了回絕行為，回絕了很多懇求。

Jan Leike：我們的確為 ChatGPT 停止了一些額外的“紅隊”測試，OpenAI 的每個人都坐下來嘗試破解模型。我們還有外部團隊做同樣的事情。我們還有一個早期訪問方案，信任的用戶會提供反應(yīng)。

Sandhini Agarwal：我們的確發(fā)現(xiàn)它產(chǎn)生了一些不需求的輸出，但這些都是 GPT-3.5 也會產(chǎn)生的東西。因而在風(fēng)險方面，作為一個研討預(yù)覽——由于這是它最初的目的——覺得還不錯。

John Schulman：你不能等到你的系統(tǒng)白璧無瑕才發(fā)布。我們曾經(jīng)對早期版本停止了幾個月的測試，測試人員對產(chǎn)品給予了積極的評價。我們最大的擔(dān)憂是關(guān)于事實性的問題，由于模型喜歡捏造事實。但 InstructGPT 和其他大型言語模型曾經(jīng)在那里了，所以我們以為，只需 ChatGPT 在事實性和其他平安問題上優(yōu)于那些模型，它就應(yīng)該能夠運用。在發(fā)布前，我們確認(rèn)了依據(jù)我們有限的評價，這些模型似乎比其他模型在事實性和平安性方面更強一些，所以我們決議繼續(xù)發(fā)布。

自 ChatGPT 發(fā)布以來，OpenAI 不斷在察看人們?nèi)绾芜\用它，這是第一次看到一款大型言語模型在數(shù)千萬可能試圖測試其極限和發(fā)現(xiàn)其缺陷的用戶手中如何表現(xiàn)。團隊試圖關(guān)注 ChatGPT 產(chǎn)生的最具問題性的例子——從關(guān)于神對強奸神父之愛的歌曲到竊取信譽卡號的歹意代碼——并用它們來約束模型的將來版本。

Sandhini Agarwal：我們有很多下一步要做的事情。我的確以為 ChatGPT 的病毒式傳播使我們曉得的很多問題變得十分突出，并變得十分關(guān)鍵——這些都是我們希望盡快處理的問題。比方，我們曉得模型依然存在很大的成見。是的，ChatGPT 很擅長回絕不良懇求，但編寫提示讓模型不回絕我們希望它回絕的內(nèi)容也相當(dāng)容易。

Liam Fedus：看到用戶多樣化和富有創(chuàng)意的應(yīng)用令人振奮，但我們一直專注于需求改良的范疇。我們以為經(jīng)過部署、獲取反應(yīng)和優(yōu)化的迭代過程，我們能夠消費出最契合需求和最有才能的技術(shù)。隨著我們的技術(shù)不時開展，新問題不可防止地會呈現(xiàn)。

Sandhini Agarwal：發(fā)布后的幾周里，我們查看了一些人們發(fā)現(xiàn)的最糟糕的例子，這些都是人們在理想中看到的最糟糕的事情。我們對這些例子停止了評價，討論了如何處理這些問題。

Jan Leike：有時分是由于在 Twitter 上病毒式傳播的內(nèi)容，但我們也有一些人悄然地與我們獲得聯(lián)絡(luò)。

Sandhini Agarwal：我們發(fā)現(xiàn)的很多問題都是越獄行為，這絕對是我們需求處理的問題。但由于用戶必需嘗試這些復(fù)雜的辦法來讓模型說出一些不好的東西，這并不是我們完整無視了的問題，或者對我們來說十分令人詫異的事情。但是，我們?nèi)缃裾诜e極處理這個問題。當(dāng)我們發(fā)現(xiàn)越獄行為時，我們會將它們添加到我們的鍛煉和測試數(shù)據(jù)中。我們看到的一切數(shù)據(jù)都會輸入到將來的模型中。

Jan Leike：每次我們有了更好的模型，我們都希望將其投放進來并停止測試。我們十分悲觀地以為，一些針對性的對立性鍛煉能夠大大改善越獄問題。雖然不分明這些問題能否會完整消逝，但我們以為我們能夠使越獄行為變得愈加艱難。再次強調(diào)，在發(fā)布之前，我們并不是不曉得越獄是可能的。我以為，在部署這些系統(tǒng)后，真正預(yù)測這些系統(tǒng)會呈現(xiàn)的平安問題十分艱難。所以我們十分注重監(jiān)測人們運用系統(tǒng)的目的，察看發(fā)作了什么，然后對此做出反響。這并不是說我們不應(yīng)該在預(yù)見到平安問題時主動停止緩解。但的確，預(yù)見系統(tǒng)進入理想世界時實踐發(fā)作的一切十分艱難。

1月份，微軟發(fā)布了名為 Bing Chat 的搜索聊天機器人，許多人猜想這是 OpenAI 尚未正式宣布的 GPT-4 的一個版本。（OpenAI 表示：“Bing 是由微軟特地為搜索定制的我們的下一代模型之一驅(qū)動的。它分離了 ChatGPT 和 GPT-3.5 的技術(shù)進步?！保┘夹g(shù)巨頭們?yōu)榱司S護數(shù)十億美圓的名譽而運用聊天機器人，這為擔(dān)任構(gòu)建底層模型的人們帶來了新的應(yīng)戰(zhàn)。

Sandhini Agarwal：如今的風(fēng)險肯定比六個月前要高得多，但依然低于一年后可能的程度。很明顯，這些模型的運用環(huán)境對它們的重要性十分大。就像 Google 和 Microsoft，即便是一件事實不清的事情，也由于它們被以為是搜索引擎而成為了一個大問題。用于搜索等場景的大型言語模型所需的行為與僅僅是一個興趣聊天機器人的請求十分不同。我們需求弄分明如何在一切這些不同的用處之間找到均衡，為人們發(fā)明出在一系列場景中有用的東西，其中所需的行為可能真的有很大差異。這增加了更多的壓力。由于我們?nèi)缃駮缘?，我們正在?gòu)建這些模型，以便它們能夠變成產(chǎn)品。ChatGPT 如今是一個產(chǎn)品，由于我們有了 API。我們正在構(gòu)建這種通用技術(shù)，我們需求確保它在一切方面都能運作良好。這是我們目前面臨的關(guān)鍵應(yīng)戰(zhàn)之一。

John Schulman：我低估了人們在探測和關(guān)懷 ChatGPT 政治方面的水平。在搜集鍛煉數(shù)據(jù)時，我們本能夠做出一些更好的決策，從而減輕這個問題。我們?nèi)缃裾谔幚磉@個問題。

Jan Leike：從我的角度來看，ChatGPT 失敗很多——還有很多事情要做。我們并沒有處理這些問題。我們都必需十分分明地認(rèn)識到本人和他人的技術(shù)局限性。我的意義是，言語模型曾經(jīng)存在了一段時間，但如今依然是初期階段。我們曉得它們存在的一切問題。我以為我們只需求十分坦率空中對，管理希冀，并明白這不是一個廢品。

總結(jié)

本文引見了 ChatGPT 是如何由 OpenAI 團隊開發(fā)出來的。ChatGPT 是一個大型的言語模型，它能夠依據(jù)用戶的輸入生成自然言語響應(yīng)。自 ChatGPT 推出以來，OpenAI 不斷在關(guān)注用戶的運用狀況，以理解大量言語模型在成千上萬的用戶手中的表現(xiàn)。

文章中提到，開發(fā)團隊在構(gòu)建 ChatGPT 時遇到了許多應(yīng)戰(zhàn)，例如如何讓模型更好天文解言語、如何在處置大量數(shù)據(jù)時堅持穩(wěn)定性等。他們采取了一些創(chuàng)新的辦法來處理這些問題，例如運用無監(jiān)視的學(xué)習(xí)辦法和對立性鍛煉。

此外，文章還提到了一些關(guān)于言語模型將來開展的見地，包括模型的加強、模型的可解釋性以及模型與人類言語才能之間的關(guān)系。