GPT-4 相關(guān)內(nèi)容總結(jié)

官網(wǎng)介紹

官網(wǎng)介紹：https://openai.com/product/gpt-4

1. GPT-4 是 OpenAI 最先進(jìn)的系統(tǒng)，可產(chǎn)生更安全、更有用的響應(yīng)。

我們創(chuàng)建了 GPT-4，這是 OpenAI 努力擴(kuò)展深度學(xué)習(xí)的最新里程碑。GPT-4 是一個大型多模態(tài)模型（接受圖像和文本輸入，發(fā)出文本輸出），雖然在許多現(xiàn)實世界場景中的能力不如人類，但在各種專業(yè)和學(xué)術(shù)基準(zhǔn)上表現(xiàn)出人類水平的表現(xiàn)。

1. GPT-4 可以更準(zhǔn)確地解決難題，這要歸功于其更廣泛的常識和解決問題的能力。
2. 創(chuàng)造力：GPT-4 比以往任何時候都更具創(chuàng)造性和協(xié)作性。它可以生成、編輯并與用戶一起迭代創(chuàng)意和技術(shù)寫作任務(wù)，例如創(chuàng)作歌曲、編寫劇本或?qū)W習(xí)用戶的寫作風(fēng)格。
3. 視覺輸入：GPT-4 可以接受圖像作為輸入并生成說明、分類和分析。
4. 更長的上下文：GPT-4 能夠處理超過 25,000 個單詞的文本，允許使用長格式內(nèi)容創(chuàng)建、擴(kuò)展對話以及文檔搜索和分析等用例。
5. GPT-4 的高級推理能力超越了 ChatGPT。
6. GPT-4 通過在測試者中獲得更高的近似百分位數(shù)來優(yōu)于 ChatGPT。
7. 遵循 GPT、GPT-2 和 GPT-3 的研究路徑，我們的深度學(xué)習(xí)方法利用更多數(shù)據(jù)和更多計算來創(chuàng)建越來越復(fù)雜和強(qiáng)大的語言模型
8. 安全與對齊
9. 通過人工反饋進(jìn)行訓(xùn)練：我們納入了更多的人工反饋，包括 ChatGPT 用戶提交的反饋，以改進(jìn) GPT-4 的行為。我們還與 50 多位專家合作，在 AI 安全和保障等領(lǐng)域獲得早期反饋。
10. 從現(xiàn)實世界的使用中不斷改進(jìn)：我們已經(jīng)將我們以前模型在現(xiàn)實世界中使用的經(jīng)驗教訓(xùn)應(yīng)用到 GPT-4 的安全研究和監(jiān)控系統(tǒng)中。與 ChatGPT 一樣，隨著越來越多的人使用它，我們將定期更新和改進(jìn) GPT-4。
11. GPT-4 輔助的安全研究：GPT-4 的高級推理和指令遵循能力加快了我們的安全工作。我們使用 GPT-4 幫助創(chuàng)建用于模型微調(diào)的訓(xùn)練數(shù)據(jù)，并在訓(xùn)練、評估和監(jiān)控過程中迭代分類器。
12. 與使用 GPT-4 構(gòu)建的新產(chǎn)品的組織合作

Duolingo、Be My Eyes、Stripe、Morgan Stanley、Khan Academy、Government of Iceland

GPT-4 簡短版總結(jié)

• GPT-4是一個大型多模態(tài)模型（Large Multimodal Model），能夠接受圖像和文本輸入，并輸出文本。 OpenAI首先發(fā)布了GPT-4的文本輸入功能，圖像輸入功能敬請期待。
• 實驗表明，GPT-4 在各種專業(yè)和學(xué)術(shù)考試中表現(xiàn)出了與人類水平相當(dāng)?shù)男阅埽╤uman-level performance）。例如，它通過了模擬律師考試，且分?jǐn)?shù)在應(yīng)試者的前 10% 左右；相比之下，GPT-3.5 的得分在倒數(shù) 10% 左右。
• GPT-4的訓(xùn)練穩(wěn)定性是史無前例的，這得益于對抗性測試計劃和來自于ChatGPT的經(jīng)驗教訓(xùn)，對 GPT-4 進(jìn)行迭代調(diào)整，從而在真實性、可控性等方面取得了有史以來最好的結(jié)果。
• 在過去的兩年里，OpenAI重建了整個深度學(xué)習(xí)堆棧，并與Azure共同設(shè)計了一臺超級計算機(jī)以便于應(yīng)付他們的工作負(fù)載。 將繼續(xù)專注于可靠的擴(kuò)展，進(jìn)一步完善方法，以幫助其實現(xiàn)更強(qiáng)大的提前預(yù)測性能和規(guī)劃未來的能力，這對安全至關(guān)重要。
• OpenAI還開源了OpenAI Evals，這是他們的自動化評估AI模型性能的框架，任何人都可以提交他們模型的缺陷以幫助改進(jìn)。
• OpenAI 正在通過 ChatGPT 和 API（有候補(bǔ)名單）發(fā)布 GPT-4 的文本輸入功能。圖像輸入功能方面，為了獲得更廣泛的可用性，OpenAI 正在與其他公司展開合作。
• OpenAI 還在為機(jī)器學(xué)習(xí)模型設(shè)計的傳統(tǒng)基準(zhǔn)上評估了 GPT-4。GPT-4 大大優(yōu)于現(xiàn)有的大型語言模型，以及大多數(shù) SOTA 模型

GPT-4 新特性

功能升級

• 重點強(qiáng)化了創(chuàng)作能力，作曲，寫小說，能夠生成歌詞、創(chuàng)意文本、實現(xiàn)風(fēng)格變化等
• 強(qiáng)大的識圖能力，除本身帶了對于圖片 OCR 外，還有對位置和細(xì)節(jié)的理解能力。解析報表圖片并進(jìn)行匯總，直接回答圖片中包含的提問內(nèi)容等
• 增加了對于長文本的處理能力：GPT-4 文字輸入限制提升至 2.5 萬字，ChatGPT 4096字
• 回答準(zhǔn)確性顯著提高
• 多了一種新的交互方式，就是對于圖片的理解

基礎(chǔ)能力

• GPT-4 是一個多模態(tài)大模型，支持接受圖像和文本輸入，輸出文本。
• 雖然沒一步到位，把音視頻也覆蓋上，但如果能把圖像與文本這兩塊做好，相信其應(yīng)用潛力無限。
• 在團(tuán)隊進(jìn)行的多個 GPT-4 與 GPT-3.5 的考試測試中，發(fā)現(xiàn)這兩個模型間存在很微妙的差異。當(dāng)任務(wù)的復(fù)雜性足夠高時，GPT-4 比 GPT-3.5 更可靠、更有創(chuàng)意，并且能夠處理更細(xì)微的指令。
• 在 GPT-4 發(fā)布之前，Open AI 團(tuán)隊花了 6 個月的時間 ，使用對抗性測試程序，以及從 ChatGPT 得到的經(jīng)驗教訓(xùn)，對 GPT-4 進(jìn)行了迭代調(diào)整 ，進(jìn)而在其真實性、可操控性等方面取得了有史以來最好的結(jié)果。

專業(yè)和學(xué)術(shù)表現(xiàn)

即便 GPT-4 在許多現(xiàn)實世界場景中能力不如人類，但在各種專業(yè)和學(xué)術(shù)基準(zhǔn)上的表現(xiàn)，還是超過了人類的平均水平。這里有一個數(shù)據(jù)是，在律師模擬考中，GPT-4 的成績排在應(yīng)試生的前 10% 中，而此前發(fā)布的 GPT-3.5，則在倒數(shù) 10% 的行列。參加的多種不同領(lǐng)域的專業(yè)應(yīng)試，能夠排到多靠前的位置。

模型評估對比

在與當(dāng)前機(jī)器學(xué)習(xí)模型進(jìn)行基準(zhǔn)評估對比后，GPT-4 大大優(yōu)于現(xiàn)有的大型語言模型，以及大多數(shù)最先進(jìn)的 (SOTA) 模型。

圖像處理能力

GPT-4 本次最為令人看重的，還是它接受與處理圖像的具體能力。

GPT-4可以接受文本和圖像輸入，并且這兩個是可以摻雜著用，它允許你用跟之前文本一樣的使用方式。

在官方報告中，團(tuán)隊提供了多個實際交互示例。一共有7個例子，總結(jié)起來，它可以識別搞笑圖片，可以做復(fù)雜的物理化學(xué)之類的題目，可以做看圖題，可以讀論文，可以識別meme圖片，總之，非常的強(qiáng)，可惜還不能開放使用。

GPT-4 技術(shù)報告

OpenAI 公開的技術(shù)報告中，不包含任何關(guān)于模型架構(gòu)、硬件、算力等方面的更多信息。

下面是稍微具體一點的技術(shù)報告 https://cdn.openai.com/papers/gpt-4.pdf

1. 與 GPT-3.5/ChatGPT 技術(shù)路線完全相同。GPT-4 is a Transformer-style model pre-trained to predict the next token in a document, using both publicly available data (such as internet data) and data licensed from third-party providers. The model was then fine-tuned using Reinforcement Learning from Human Feedback (RLHF). ；
2. 用一系列 alignment 方案來確保 GPT-4 輸出的安全性。The post-training alignment process results in improved performance on measures of factuality and adherence to desired behavior.
3. 用千分之一的計算量去預(yù)測 GPT-4 在一定計算規(guī)模下的性能，不用花時間訓(xùn)練大模型去探索，即 Predictable Scaling。A core component of this project was developing infrastructure and optimization methods that behave predictably across a wide range of scales. This allowed us to accurately predict some aspects of GPT-4’s performance based on models trained with no more than 1/1,000th the compute of GPT-4.
4. 很想看到 OpenAI 是如何做到 Multi-modal GPT 的，我大致是這么猜的：GPT-4 的訓(xùn)練方法應(yīng)當(dāng)與最近微軟發(fā)布的 KOSMOS-1 相同 （Language Is Not All You Need: Aligning Perception with Language Models）。預(yù)訓(xùn)練階段，輸入任意順序的文本和圖像，圖像經(jīng)過 vision encoder （如 ViT，CLIP ViT）成 embedding，文本經(jīng)過 text tokenizer 也成 embedding，組成 multimodal sentence embedding，訓(xùn)練目標(biāo)仍然是 next-token generation。KOSMOS-1 數(shù)據(jù)從哪來，直接爬網(wǎng)頁訓(xùn)，網(wǎng)頁里有圖有文字。別看 KOSMOS-1 性能比較拉，那是因為它參數(shù)量少，就 1.3 B。同樣的方式放到 GPT-4 的參數(shù)規(guī)模，能成大事。
5. GPT-4參數(shù)量，沒有找到相關(guān)描述。

訓(xùn)練過程

與之前的 GPT 模型一樣，GPT-4 基礎(chǔ)模型經(jīng)過訓(xùn)練可以預(yù)測文檔中的下一個單詞。OpenAI 使用公開可用的數(shù)據(jù)（例如互聯(lián)網(wǎng)數(shù)據(jù)）以及已獲得許可的數(shù)據(jù)進(jìn)行訓(xùn)練。訓(xùn)練數(shù)據(jù)是一個網(wǎng)絡(luò)規(guī)模的數(shù)據(jù)語料庫，包括數(shù)學(xué)問題的正確和錯誤解決方案、弱推理和強(qiáng)推理、自相矛盾和一致的陳述，以及各種各樣的意識形態(tài)和想法。

因此，當(dāng)提出問題時，基礎(chǔ)模型的回應(yīng)可能與用戶的意圖相去甚遠(yuǎn)。為了使其與用戶意圖保持一致，OpenAI 依然使用強(qiáng)化學(xué)習(xí)人類反饋 (RLHF) 來微調(diào)模型的行為。請注意，該模型的能力似乎主要來自于預(yù)訓(xùn)練過程 ——RLHF 不會提高考試成績（甚至可能會降低它）。但是模型的控制來自后訓(xùn)練過程 —— 基礎(chǔ)模型甚至需要及時的工程設(shè)計來回答問題。

GPT-4 的一大重點是建立了一個可預(yù)測擴(kuò)展的深度學(xué)習(xí)棧。主要原因是，對于像 GPT-4 這樣的大型訓(xùn)練，進(jìn)行廣泛的特定模型調(diào)整是不可行的。團(tuán)隊開發(fā)了基礎(chǔ)設(shè)施和優(yōu)化，在多種規(guī)模下都有可預(yù)測的行為。為了驗證這種可擴(kuò)展性，他們提前準(zhǔn)確地預(yù)測了 GPT-4 在內(nèi)部代碼庫（不屬于訓(xùn)練集）上的最終損失，方法是通過使用相同的方法訓(xùn)練的模型進(jìn)行推斷，但使用的計算量為 1/10000。

局限性

• 盡管功能已經(jīng)非常強(qiáng)大，但 GPT-4 仍與早期的 GPT 模型具有相似的局限性，其中最重要的一點是它仍然不完全可靠。OpenAI 表示，GPT-4 仍然會產(chǎn)生幻覺、生成錯誤答案，并出現(xiàn)推理錯誤。
• 目前，使用語言模型應(yīng)謹(jǐn)慎審查輸出內(nèi)容，必要時使用與特定用例的需求相匹配的確切協(xié)議（例如人工審查、附加上下文或完全避免使用） 。
• GPT-4 跟 GPT-3.5 類似，對訓(xùn)練數(shù)據(jù)中斷后（2021 年 9 月）所發(fā)生的事情不太了解，也會犯一些在我們看來很簡單的推理性錯誤，給用戶提供不合理的建議，以及在生成的代碼中引入安全漏洞。

總的來說，GPT-4 經(jīng)過多次迭代和改進(jìn)，在 OpenAI 的內(nèi)部對抗性真實性評估中，GPT-4 的得分比最新的 GPT-3.5 模型高 40%

GPT-4 風(fēng)險和應(yīng)對措施

• GPT-4 的訓(xùn)練在去年 8 月完成，剩下的時間都在進(jìn)行微調(diào)提升，以及最重要的去除危險內(nèi)容生成的工作。
• OpenAI一直在對GPT-4進(jìn)行迭代，以使其更加安全。
• GPT-4與以前的模型一樣具有風(fēng)險，但由于其額外的能力，從而會導(dǎo)致新的風(fēng)險。
• 邀請了50多名專家對模型進(jìn)行對抗測試，以提高模型的安全性能。
• GPT-4在RLHF訓(xùn)練過程中加入了額外的安全獎勵信號，通過訓(xùn)練模型拒絕對此類內(nèi)容的請求來減少有害的輸出。
• 為了防止模型拒絕有效請求，收集了多樣化的數(shù)據(jù)集，并在允許和不允許的類別上應(yīng)用安全獎勵信號。
• 緩解措施顯著提高了GPT-4的安全性能，例如將模型對于不允許內(nèi)容請求的響應(yīng)率降低了82%。 對敏感請求（如醫(yī)療建議和自我傷害）的響應(yīng)符合政策的頻率提高了 29%。

開源項目：OpenAI Evals

為了讓開發(fā)者能更好的評測 GPT-4 的優(yōu)缺點，OpenAI 的技術(shù)團(tuán)隊還開源了 OpenAI Evals 項目，可用于自動評估 AI 模型性能的框架，以便用戶能更專業(yè)的指導(dǎo)團(tuán)隊，進(jìn)一步優(yōu)化與改進(jìn)模型。

該項目具有以下功能特性：

• 使用數(shù)據(jù)集生成提示；
• 衡量 OpenAI 模型提供的補(bǔ)全質(zhì)量；
• 比較不同數(shù)據(jù)集和模型的性能。

GitHub：https://github.com/openai/evals

申請 GPT-4 API

• GPT-4 發(fā)布后，OpenAI 直接升級了 ChatGPT。ChatGPT Plus 訂閱者可以在 chat.openai.com 上獲得具有使用上限的 GPT-4 訪問權(quán)限。
• OpenAI 已面向開發(fā)者開放 GPT-4 API 的申請通道，大家想提前使用的話，可以先提交申請，進(jìn)入 waitlist 中等待通過。（GPT-4 API 它使用與 gpt-3.5-turbo 相同的 ChatCompletions API）。
• 申請通道：https://openai.com/waitlist/gpt-4-api
• ChatGPT Plus 訂閱會員，則可以直接獲得 GPT-4 的試用權(quán)限，無需等待。不過有一定限制，在 4 小時內(nèi)，最多只能發(fā)布 100 條信息。獲得訪問權(quán)限后，用戶當(dāng)前還是只能向 GPT-4 模型發(fā)出純文本請求，圖像請求可能得等稍晚一些時間才對外開放。

API的介紹以及獲取

• 通過注冊waitlist，開發(fā)人員可以獲得訪問 GPT-4 API 的權(quán)限
• AI研究員可以通過Researcher Access Program申請補(bǔ)貼訪問
• 獲得訪問權(quán)限后，可以向 GPT-4 模型發(fā)出純文本請求（圖像輸入仍處于有限的 alpha 階段）

• 處理對 8K 和 32K 引擎的請求的速率可能會不同（默認(rèn)速率限制為每分鐘 40k 個tokens和每分鐘 200 個tokens 請求），因此可能會在不同時間獲得對它們的訪問權(quán)限
• GPT-4-8k（上下文長度為 8,192）： $0.03 / 1k prompt tokens 和 $0.06 / 1k completion tokens
• GPT-4-32k（上下文版本為32,768）：$0.06 / 1k prompt tokens 和 $0.12 / 1k completion tokens

參考引用

https://openai.com/product/gpt-4

https://cdn.openai.com/papers/gpt-4.pdf

我的博客：https://blog.csdn.net/liluo_2951121599