我們使用與 InstructGPT 相同的方法，使用來自人類反饋的強化學習 (RLHF) 來訓練該模型，但數(shù)據(jù)收集設(shè)置略有不同。我們使用監(jiān)督微調(diào)訓練了一個初始模型：訓練者提供對話樣本，他們在對話中扮演雙方，即用戶和 AI 助手。訓練者還可以訪問模型編寫的建議，以幫助他們撰寫回復。

為了創(chuàng)建強化學習的獎勵模型，需要收集比較數(shù)據(jù)，其中包含兩個或多個按質(zhì)量排序的模型響應(yīng)。為此，我們隨機選擇了一條模型編寫的信息，對替代結(jié)果進行抽樣，并讓訓練者對它們進行排名。通過使用上述的獎勵模型和用近端策略優(yōu)化來微調(diào)模型，并進行了幾次迭代，最后得到了該模型。

機器學習 -> CNN、RNN -> Transformer（2017）-> GPT-1（2018） -> GPT-2（2019） -> GPT-3（2020）-> InstructGPT（2022） -> ChatGPT（2022）

• Transformer 的核心是在數(shù)學上計算輸入元素之間的關(guān)聯(lián)（Attention），基于自我注意力機制來并行計算，實現(xiàn)自我監(jiān)督學習。通過這種模式成功的消除了訓練數(shù)據(jù)集的標注需求！模型包括三個主要部分：輸入層、中間層和輸出層。通常，輸入層會對輸入序列進行編碼，中間層通過注意力機制來組合信息，而輸出層則根據(jù)組合后的信息生成預測結(jié)果。
• GPT-1：參數(shù)量達1億，是一種語言模型，由OpenAI訓練，用于預測下一個單詞，使其能夠生成自然語言文本。它是基于Transformer模型，擁有大量訓練數(shù)據(jù)和計算能力，能夠生成高質(zhì)量的文本。算得上一個還算不錯的語言理解工具而非對話式AI。
• GPT-2：參數(shù)量達15億，學習目標則使用無監(jiān)督預訓練模型做有監(jiān)督任務(wù)。在性能方面，除了理解能力外，GPT-2在生成方面第一次表現(xiàn)出了強大的天賦：閱讀摘要、聊天、續(xù)寫、編故事，甚至生成假新聞、釣魚郵件或在網(wǎng)上進行角色扮演通通不在話下。
• GPT-3：參數(shù)量達1750億，作為一個無監(jiān)督模型（自監(jiān)督模型），幾乎可以完成自然語言處理的絕大部分任務(wù)，例如面向問題的搜索、閱讀理解、語義推斷、機器翻譯、文章生成和自動問答等等。一個無監(jiān)督模型功能多效果好，似乎讓人們看到了通用人工智能的希望。
• InstructGPT：是一個更真實、更無害，更好地遵循用戶意圖的語言模型，經(jīng)過微調(diào)的新版本GPT-3，可以將不真實的、有害的和有偏差的輸出最小化。
• ChatGPT：每走一步，都會觀察人類的反饋，重點是能更好的分析人類的意圖。

Transformer 的三個發(fā)展方向

• BERT（Google）：只使用編碼器
• T5（Google） ：使用編碼器和解碼器
• GPT（OpenAI） ：只使用用解碼器

思考：AI和大模型發(fā)展趨勢

• 強化人類意圖反饋系統(tǒng)
• 大幅提升了意圖判別的一致性
• 能主動的承擔錯誤和無法回答的問題
• 敢于質(zhì)疑不正確的前提
• 大模型的流行，訓練和迭代的成本必然成為普通人可望而不可及的一種存在。

普通人如何不被 OpenAI 取代？

在某些方面強于普通人的，特別是對于重復性智力勞動，如重復性寫套話、寫代碼、畫圖?？头ぷ骺梢员淮?/p>

那么怎么不被取代？還是需多學習、多主動思考、多實踐、看更多書，做更多有挑戰(zhàn)的事情，在認知上避免被取代的關(guān)鍵是不斷學習和提高自己的能力，并努力適應(yīng)新的環(huán)境和挑戰(zhàn)。

• 經(jīng)驗能力強于普通人

ChatGPT，這個能力很適合我這種不太會說 套話的人，在回答一些偏知乎類問題、入學文檔、運營方法等也不在話下，此外對于中文的理解有些突破我的想法。

• 編程能力強于普通人

ChatGPT 除去內(nèi)容能力外，對于簡單的「編程」能力其實也不在話下，比如說如下這個很常用的提取 URL 用 JS 來實現(xiàn)的題目，比如說我讓他畫一個貓

• 寫文章能力強于普通人

OpenAI 除外簡單的編程實現(xiàn)，還發(fā)現(xiàn)了一個寫文章的能力，很適合寫所謂的「論證文」，不過還是感覺還是有些「正規(guī)話術(shù)」，但是在某些場合其實還是很吃香的，比如說如下這種類似于活動安排、論證主題、模版申請啥的還是合適的，居然還可以「教你做菜」。

• 理解能力強于普通人

有一些很日常的問題他也能夠回答得不錯，比如說 Q&A、解釋代碼的意思、幫你修正錯誤的英語語法、甚至通過看你的語句幫你生成 SQL 語句。

• 查找即創(chuàng)造能力強于普通人

DALLE2 AI 畫畫功能讓我慢慢意識到，其實這東西是一個「下一代的智能搜索的雛形」，相當于你想要啥，他告訴你，比現(xiàn)在的 google 搜索，更加簡單、高效，可以很方便的為后面類似機器人的場景做素材語義來源，期待更加產(chǎn)品化。

關(guān)于創(chuàng)意這部分

1. 我不覺得AI可以完全替代人類的創(chuàng)造力，尤其是有些人的價值是AI很難替代的，人類總是充滿意外
2. 很多商用創(chuàng)意可以用AI做，所謂的創(chuàng)意并不是只有獨創(chuàng)性最重要，效果也是一個很重要的指標，所以要借鑒
3. 現(xiàn)在的AI定位雖然還更像助手，但是確實可以代替挺多遇事沒想法的人了，生活里沒想法盲從的人挺多的
4. 按照創(chuàng)造力的其中一種的本質(zhì)來說，理論上AI是可以有很不錯的創(chuàng)意的。就算現(xiàn)階段的AI，如果覺得回答不夠有創(chuàng)意，也可能是prompt的問題，能找到合適的prompt就能激發(fā)出最好的回答

應(yīng)用

• 下一代搜索引擎
• 智能的人工助手
• 能對話的人工伴侶
• 虛擬主播、虛擬人
• 讓GPT去總結(jié)論文內(nèi)容

OpenAI公司介紹

OpenAI是什么

OpenAI主要關(guān)注的重點是創(chuàng)造AGI（通用人工智能）并確保AGI造福人類。保持合作的意愿，避免競爭。OpenAI會將其研究的內(nèi)容進行開源分享，讓更多的人擁有和使用AI，以將最大限度地造福全人類的方式，發(fā)展人工智能。

OpenAI在做什么

三個研究方向分別是:

• 訓練生成模型算法，可以理解為深度生成模型
• 從數(shù)據(jù)中推斷算法的算法，即神經(jīng)圖靈機
• 強化學習方法，可以理解為深度增強學習。

OpenAI與微軟的合作

• Power Apps：低代碼工具，描述需求生成對應(yīng)的查詢
• GitHub Copilot：輔助編程工具，底層為CodeX，用開源代碼訓練出來的GPT衍生模型，可以根據(jù)用戶的指令來寫代碼。
• 未來計劃將ChatGPT整合到必應(yīng)(Bing)搜索引擎和微軟設(shè)計應(yīng)用中。目前ChatGPT的模型數(shù)據(jù)時效性在2021年前，且準確性方面有些低級錯誤。

OpenAI公司大事表

• 2015 年 12 月，Elon Musk、Sam Altman 和其他投資者宣布成立 OpenAI?？偛课挥诿绹又菖f金山，OpenAI 旨在確保通用人工智能造福全人類。
• 2016 年 4 月 27 日，OpenAI 發(fā)布了其強化學習研究平臺“OpenAI Gym”的公測版。
• 2016 年 12 月 5 日，OpenAI 發(fā)布了“Universe”，這是一個軟件平臺，用于測量和訓練人工智能在全球游戲、網(wǎng)站和其他應(yīng)用程序中的通用智能。
• 2018 年 2 月 21 日，馬斯克辭去了董事會席位
• 2019 年，OpenAI 從非營利性轉(zhuǎn)變?yōu)椤坝猩舷蕖钡臓I利性。 該公司將股權(quán)分配給其員工，并與微軟公司合作，后者宣布向該公司投資 10 億美元。 OpenAI 隨后宣布打算對其技術(shù)進行商業(yè)許可，微軟是其首選合作伙伴。
• 2019年7月22日，微軟投資OpenAI 10億美元，雙方將攜手合作替Azure云端平臺服務(wù)開發(fā)人工智能技術(shù)。
• 2020 年 6 月，OpenAI 發(fā)布了 GPT-3，這是一種基于互聯(lián)網(wǎng)上數(shù)萬億個單詞訓練的語言模型。 微軟于2020年9月22日取得GPT-3獨家授權(quán)。
• 2021 年 1 月，OpenAI 推出了 DALL-E。 一年后，他們的最新系統(tǒng) DALL·E 2 以 4 倍的分辨率生成更逼真、更準確的圖像。
• 2022年11月30日，OpenAI發(fā)布了一個名為ChatGPT的自然語言生成式模型，它以對話方式進行交互。
• 2023年1月5日，OpenAI正在談判以收購要約的形式出售現(xiàn)有股份，交易對該公司的估值達到290億美元左右，使其在沒有什么收入的情況下成為賬面上最值錢的美國初創(chuàng)公司之一。
• 2023年1月10日，微軟正考慮對OpenAI進行100億美元的投資；OpenAI是爆紅的ChatGPT聊天機器人的創(chuàng)造者。微軟此前已經(jīng)在2019年向OpenAI投資了10億美元，目前正嘗試在其必應(yīng)(Bing)搜索引擎和微軟設(shè)計應(yīng)用中執(zhí)行這款人工智能軟件。
• 2023年2月1日，OpenAI公司宣布，新的訂閱服務(wù)名為ChatGPT Plus，月費為20美元。訂閱包括在高峰使用時間訪問聊天機器人。新的訂閱計劃將在未來幾周內(nèi)首先在美國推出，然后擴展到其他國家。

Google的動作

ChatGPT推出2個月用戶破億，成為了史上用戶增長最快的應(yīng)用。

Google怕ChatGPT侵蝕Google搜索引擎的占有率，決定推出Bard。

Bard：基于大模型LaMDA，現(xiàn)在還只提供給合作者測試，然后全員內(nèi)部試用，然后再放出來。

下一代搜索引擎雛形：

• 利用一些積累的模型，要把多模態(tài)對話做起來。
• Google一些模型積累：LaMDA、PaLM、Imagen、MusicLM