ChatGPT和OpenAI公司介紹

ChatGPT介紹

官方說(shuō)明

ChatGPT 是在GPT-3.5 系列中的一個(gè)模型上進(jìn)行微調(diào)而成，它以對(duì)話(huà)方式進(jìn)行交互（優(yōu)化對(duì)話(huà)語(yǔ)言模型）。對(duì)話(huà)格式使 ChatGPT 可以回答后續(xù)問(wèn)題、承認(rèn)錯(cuò)誤、挑戰(zhàn)不正確的前提并拒絕不適當(dāng)?shù)恼?qǐng)求。ChatGPT 是InstructGPT的同級(jí)模型，它經(jīng)過(guò)訓(xùn)練可以按照提示中的說(shuō)明進(jìn)行操作并提供詳細(xì)的響應(yīng)。

我們使用與 InstructGPT 相同的方法，使用來(lái)自人類(lèi)反饋的強(qiáng)化學(xué)習(xí) (RLHF) 來(lái)訓(xùn)練該模型，但數(shù)據(jù)收集設(shè)置略有不同。我們使用監(jiān)督微調(diào)訓(xùn)練了一個(gè)初始模型：訓(xùn)練者提供對(duì)話(huà)樣本，他們?cè)趯?duì)話(huà)中扮演雙方，即用戶(hù)和 AI 助手。訓(xùn)練者還可以訪問(wèn)模型編寫(xiě)的建議，以幫助他們撰寫(xiě)回復(fù)。

為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型，需要收集比較數(shù)據(jù)，其中包含兩個(gè)或多個(gè)按質(zhì)量排序的模型響應(yīng)。為此，我們隨機(jī)選擇了一條模型編寫(xiě)的信息，對(duì)替代結(jié)果進(jìn)行抽樣，并讓訓(xùn)練者對(duì)它們進(jìn)行排名。通過(guò)使用上述的獎(jiǎng)勵(lì)模型和用近端策略?xún)?yōu)化來(lái)微調(diào)模型，并進(jìn)行了幾次迭代，最后得到了該模型。

生成式AI的前世今生

機(jī)器學(xué)習(xí) -> CNN、RNN -> Transformer（2017）-> GPT-1（2018） -> GPT-2（2019） -> GPT-3（2020）-> InstructGPT（2022） -> ChatGPT（2022）

• Transformer 的核心是在數(shù)學(xué)上計(jì)算輸入元素之間的關(guān)聯(lián)（Attention），基于自我注意力機(jī)制來(lái)并行計(jì)算，實(shí)現(xiàn)自我監(jiān)督學(xué)習(xí)。通過(guò)這種模式成功的消除了訓(xùn)練數(shù)據(jù)集的標(biāo)注需求！模型包括三個(gè)主要部分：輸入層、中間層和輸出層。通常，輸入層會(huì)對(duì)輸入序列進(jìn)行編碼，中間層通過(guò)注意力機(jī)制來(lái)組合信息，而輸出層則根據(jù)組合后的信息生成預(yù)測(cè)結(jié)果。
• GPT-1：參數(shù)量達(dá)1億，是一種語(yǔ)言模型，由OpenAI訓(xùn)練，用于預(yù)測(cè)下一個(gè)單詞，使其能夠生成自然語(yǔ)言文本。它是基于Transformer模型，擁有大量訓(xùn)練數(shù)據(jù)和計(jì)算能力，能夠生成高質(zhì)量的文本。算得上一個(gè)還算不錯(cuò)的語(yǔ)言理解工具而非對(duì)話(huà)式AI。
• GPT-2：參數(shù)量達(dá)15億，學(xué)習(xí)目標(biāo)則使用無(wú)監(jiān)督預(yù)訓(xùn)練模型做有監(jiān)督任務(wù)。在性能方面，除了理解能力外，GPT-2在生成方面第一次表現(xiàn)出了強(qiáng)大的天賦：閱讀摘要、聊天、續(xù)寫(xiě)、編故事，甚至生成假新聞、釣魚(yú)郵件或在網(wǎng)上進(jìn)行角色扮演通通不在話(huà)下。
• GPT-3：參數(shù)量達(dá)1750億，作為一個(gè)無(wú)監(jiān)督模型（自監(jiān)督模型），幾乎可以完成自然語(yǔ)言處理的絕大部分任務(wù)，例如面向問(wèn)題的搜索、閱讀理解、語(yǔ)義推斷、機(jī)器翻譯、文章生成和自動(dòng)問(wèn)答等等。一個(gè)無(wú)監(jiān)督模型功能多效果好，似乎讓人們看到了通用人工智能的希望。
• InstructGPT：是一個(gè)更真實(shí)、更無(wú)害，更好地遵循用戶(hù)意圖的語(yǔ)言模型，經(jīng)過(guò)微調(diào)的新版本GPT-3，可以將不真實(shí)的、有害的和有偏差的輸出最小化。
• ChatGPT：每走一步，都會(huì)觀察人類(lèi)的反饋，重點(diǎn)是能更好的分析人類(lèi)的意圖。

Transformer 的三個(gè)發(fā)展方向

• BERT（Google）：只使用編碼器
• T5（Google） ：使用編碼器和解碼器
• GPT（OpenAI） ：只使用用解碼器

思考：AI和大模型發(fā)展趨勢(shì)

• 強(qiáng)化人類(lèi)意圖反饋系統(tǒng)
• 大幅提升了意圖判別的一致性
• 能主動(dòng)的承擔(dān)錯(cuò)誤和無(wú)法回答的問(wèn)題
• 敢于質(zhì)疑不正確的前提
• 大模型的流行，訓(xùn)練和迭代的成本必然成為普通人可望而不可及的一種存在。

普通人如何不被 OpenAI 取代？

在某些方面強(qiáng)于普通人的，特別是對(duì)于重復(fù)性智力勞動(dòng)，如重復(fù)性寫(xiě)套話(huà)、寫(xiě)代碼、畫(huà)圖。

那么怎么不被取代？還是需多學(xué)習(xí)、多主動(dòng)思考、多實(shí)踐、看更多書(shū)，做更多有挑戰(zhàn)的事情，在認(rèn)知上避免被取代的關(guān)鍵是不斷學(xué)習(xí)和提高自己的能力，并努力適應(yīng)新的環(huán)境和挑戰(zhàn)。

• 經(jīng)驗(yàn)?zāi)芰?qiáng)于普通人

ChatGPT，這個(gè)能力很適合我這種不太會(huì)說(shuō) 套話(huà)的人，在回答一些偏知乎類(lèi)問(wèn)題、入學(xué)文檔、運(yùn)營(yíng)方法等也不在話(huà)下，此外對(duì)于中文的理解有些突破我的想法。

• 編程能力強(qiáng)于普通人

ChatGPT 除去內(nèi)容能力外，對(duì)于簡(jiǎn)單的「編程」能力其實(shí)也不在話(huà)下，比如說(shuō)如下這個(gè)很常用的提取 URL 用 JS 來(lái)實(shí)現(xiàn)的題目，比如說(shuō)我讓他畫(huà)一個(gè)貓

• 寫(xiě)文章能力強(qiáng)于普通人

OpenAI 除外簡(jiǎn)單的編程實(shí)現(xiàn)，還發(fā)現(xiàn)了一個(gè)寫(xiě)文章的能力，很適合寫(xiě)所謂的「論證文」，不過(guò)還是感覺(jué)還是有些「正規(guī)話(huà)術(shù)」，但是在某些場(chǎng)合其實(shí)還是很吃香的，比如說(shuō)如下這種類(lèi)似于活動(dòng)安排、論證主題、模版申請(qǐng)啥的還是合適的，居然還可以「教你做菜」。

• 理解能力強(qiáng)于普通人

有一些很日常的問(wèn)題他也能夠回答得不錯(cuò)，比如說(shuō) Q&A、解釋代碼的意思、幫你修正錯(cuò)誤的英語(yǔ)語(yǔ)法、甚至通過(guò)看你的語(yǔ)句幫你生成 SQL 語(yǔ)句。

• 查找即創(chuàng)造能力強(qiáng)于普通人

DALLE2 AI 畫(huà)畫(huà)功能讓我慢慢意識(shí)到，其實(shí)這東西是一個(gè)「下一代的智能搜索的雛形」，相當(dāng)于你想要啥，他告訴你，比現(xiàn)在的 google 搜索，更加簡(jiǎn)單、高效，可以很方便的為后面類(lèi)似機(jī)器人的場(chǎng)景做素材語(yǔ)義來(lái)源，期待更加產(chǎn)品化。

關(guān)于創(chuàng)意這部分

1. 我不覺(jué)得AI可以完全替代人類(lèi)的創(chuàng)造力，尤其是有些人的價(jià)值是AI很難替代的，人類(lèi)總是充滿(mǎn)意外
2. 很多商用創(chuàng)意可以用AI做，所謂的創(chuàng)意并不是只有獨(dú)創(chuàng)性最重要，效果也是一個(gè)很重要的指標(biāo)，所以要借鑒
3. 現(xiàn)在的AI定位雖然還更像助手，但是確實(shí)可以代替挺多遇事沒(méi)想法的人了，生活里沒(méi)想法盲從的人挺多的
4. 按照創(chuàng)造力的其中一種的本質(zhì)來(lái)說(shuō)，理論上AI是可以有很不錯(cuò)的創(chuàng)意的。就算現(xiàn)階段的AI，如果覺(jué)得回答不夠有創(chuàng)意，也可能是prompt的問(wèn)題，能找到合適的prompt就能激發(fā)出最好的回答

OpenAI公司介紹

OpenAI是什么

OpenAI主要關(guān)注的重點(diǎn)是創(chuàng)造AGI（通用人工智能）并確保AGI造福人類(lèi)。保持合作的意愿，避免競(jìng)爭(zhēng)。OpenAI會(huì)將其研究的內(nèi)容進(jìn)行開(kāi)源分享，讓更多的人擁有和使用AI，以將最大限度地造福全人類(lèi)的方式，發(fā)展人工智能。

OpenAI在做什么

三個(gè)研究方向分別是:

• 訓(xùn)練生成模型算法，可以理解為深度生成模型
• 從數(shù)據(jù)中推斷算法的算法，即神經(jīng)圖靈機(jī)
• 強(qiáng)化學(xué)習(xí)方法，可以理解為深度增強(qiáng)學(xué)習(xí)。

OpenAI與微軟的合作

• Power Apps：低代碼工具，描述需求生成對(duì)應(yīng)的查詢(xún)
• GitHub Copilot：輔助編程工具，底層為CodeX，用開(kāi)源代碼訓(xùn)練出來(lái)的GPT衍生模型，可以根據(jù)用戶(hù)的指令來(lái)寫(xiě)代碼。
• 未來(lái)計(jì)劃將ChatGPT整合到必應(yīng)(Bing)搜索引擎和微軟設(shè)計(jì)應(yīng)用中。目前ChatGPT的模型數(shù)據(jù)時(shí)效性在2021年前，且準(zhǔn)確性方面有些低級(jí)錯(cuò)誤。

OpenAI公司大事表

• 2015 年 12 月，Elon Musk、Sam Altman 和其他投資者宣布成立 OpenAI?？偛课挥诿绹?guó)加州舊金山，OpenAI 旨在確保通用人工智能造福全人類(lèi)。
• 2016 年 4 月 27 日，OpenAI 發(fā)布了其強(qiáng)化學(xué)習(xí)研究平臺(tái)“OpenAI Gym”的公測(cè)版。
• 2016 年 12 月 5 日，OpenAI 發(fā)布了“Universe”，這是一個(gè)軟件平臺(tái)，用于測(cè)量和訓(xùn)練人工智能在全球游戲、網(wǎng)站和其他應(yīng)用程序中的通用智能。
• 2018 年 2 月 21 日，馬斯克辭去了董事會(huì)席位
• 2019 年，OpenAI 從非營(yíng)利性轉(zhuǎn)變?yōu)椤坝猩舷蕖钡臓I(yíng)利性。 該公司將股權(quán)分配給其員工，并與微軟公司合作，后者宣布向該公司投資 10 億美元。 OpenAI 隨后宣布打算對(duì)其技術(shù)進(jìn)行商業(yè)許可，微軟是其首選合作伙伴。
• 2019年7月22日，微軟投資OpenAI 10億美元，雙方將攜手合作替Azure云端平臺(tái)服務(wù)開(kāi)發(fā)人工智能技術(shù)。
• 2020 年 6 月，OpenAI 發(fā)布了 GPT-3，這是一種基于互聯(lián)網(wǎng)上數(shù)萬(wàn)億個(gè)單詞訓(xùn)練的語(yǔ)言模型。 微軟于2020年9月22日取得GPT-3獨(dú)家授權(quán)。
• 2021 年 1 月，OpenAI 推出了 DALL-E。 一年后，他們的最新系統(tǒng) DALL·E 2 以 4 倍的分辨率生成更逼真、更準(zhǔn)確的圖像。
• 2022年11月30日，OpenAI發(fā)布了一個(gè)名為ChatGPT的自然語(yǔ)言生成式模型，它以對(duì)話(huà)方式進(jìn)行交互。
• 2023年1月5日，OpenAI正在談判以收購(gòu)要約的形式出售現(xiàn)有股份，交易對(duì)該公司的估值達(dá)到290億美元左右，使其在沒(méi)有什么收入的情況下成為賬面上最值錢(qián)的美國(guó)初創(chuàng)公司之一。
• 2023年1月10日，微軟正考慮對(duì)OpenAI進(jìn)行100億美元的投資；OpenAI是爆紅的ChatGPT聊天機(jī)器人的創(chuàng)造者。微軟此前已經(jīng)在2019年向OpenAI投資了10億美元，目前正嘗試在其必應(yīng)(Bing)搜索引擎和微軟設(shè)計(jì)應(yīng)用中執(zhí)行這款人工智能軟件。
• 2023年2月1日，OpenAI公司宣布，新的訂閱服務(wù)名為ChatGPT Plus，月費(fèi)為20美元。訂閱包括在高峰使用時(shí)間訪問(wèn)聊天機(jī)器人。新的訂閱計(jì)劃將在未來(lái)幾周內(nèi)首先在美國(guó)推出，然后擴(kuò)展到其他國(guó)家。

Google的動(dòng)作

ChatGPT推出2個(gè)月用戶(hù)破億，成為了史上用戶(hù)增長(zhǎng)最快的應(yīng)用。

Google怕ChatGPT侵蝕Google搜索引擎的占有率，決定推出Bard。

Bard：基于大模型LaMDA，現(xiàn)在還只提供給合作者測(cè)試，然后全員內(nèi)部試用，然后再放出來(lái)。

下一代搜索引擎雛形：

• 利用一些積累的模型，要把多模態(tài)對(duì)話(huà)做起來(lái)。
• Google一些模型積累：LaMDA、PaLM、Imagen、MusicLM