專注AIGC領域的專業(yè)社區(qū)，關注GPT-4、百度文心一言、華為盤古等大語言模型（LLM）的發(fā)展和應用落地，以及國內LLM的發(fā)展和市場研究，歡迎關注！

?5月30日，HumanLoop的聯(lián)合創(chuàng)始人Raza Habib表示，上周他曾與OpenAI 聯(lián)合創(chuàng)始人Sam Altman以及其他 20 位開發(fā)者進行了一次閉門會議，討論了關于 OpenAI 接下來的發(fā)展計劃。

其中，Sam透露了OpenAI一項重要決議，正在考慮開源GPT-3。尚未開源的部分原因是，OpenAI懷疑沒有多少公司和個人有能力托管如此大的大語言模型。

以下是重點討論內容：

1、OpenAI嚴重受GPU限制

目前 OpenAI 非常受 GPU 限制，這推遲了他們的許多短期計劃。最大的客戶抱怨是關于 API 的可靠性和速度。Sam 表示，大部分問題是 GPU 短缺造成的。

ChatGPT此前支持的 32k tokens 上下文功能還不能推廣給更多的人，OpenAI 還有一些問題需要解決，因此，盡管他們可能很快就會有 100k - 1M 的 tokens 上下文窗口（今年內），但還都需要在研究上取得突破。

微調 API 也受限于 GPU 資源。他們還沒有使用像 Adapters 或 LoRa 這樣的高效微調方法，因此微調運行和管理非常消耗計算資源。

未來會有更好的微調方式。他們甚至可能會主持一個社區(qū)貢獻模型的市場。專用容量供應同樣受限于 GPU 資源。

OpenAI 為有私有需求的客戶提供了專用容量，可以讓客戶在專用的空間運行私人數(shù)據(jù)。要訪問此服務，客戶需要預支10萬美元。

2、OpenAI路線圖

Sam分享了OpenAI的API短期發(fā)展路線圖。

2023年

1）更便宜、更快的GPT-4?？偟膩碚f，OpenAI要盡可能的降低API 的成本。

2）更長的上下文窗口：在不久的將來，上下文窗口可能高達100萬 tokens 。

3）Finetuning API：微調API將擴展到最新的模型，但具體形式將取決于開發(fā)人員真正想要的東西。

4）記住對話歷史的API：當你今天調用聊天API 時，必須反復傳遞相同的對話歷史并一次又一次地為相同的tokens付費。將來會有一個記住對話歷史記錄的API版本。

2024年

多模態(tài)：作為GPT-4 版本的一部分進行演示，但在更多GPU投入使用之前，不能擴展到所有人。

3、插件“沒有 PMF”并且可能不會很快出現(xiàn)在 API 中

許多開發(fā)人員對通過API訪問 ChatGPT 插件很感興趣，但Sam表示，這些插件不會很快發(fā)布。除了瀏覽之外，插件的使用表明它們還沒有PMF（產(chǎn)品市場契合度）。

Sam指出，很多人認為他們希望自己的應用程序位于ChatGPT 之內，但他們真正想要的是應用程序中的 ChatGPT。

4、OpenAI將避免與他們的客戶競爭——除了類ChatGPT產(chǎn)品

有不少開發(fā)者表示，他們擔心在 OpenAI 可能最終發(fā)布與他們競爭的產(chǎn)品的情況下使用 OpenAI 的 API。Sam 表示，OpenAI 不會發(fā)布 ChatGPT 之外的更多產(chǎn)品。

Sam 表示，回顧歷史偉大的平臺都會有殺手級應用，ChatGPT將允許他們通過成為自己產(chǎn)品的客戶來使 API 更好。

ChatGPT的愿景是成為工作的超級智能助手，但 OpenAI 不會涉及其他許多 GPT 用例不少開發(fā)人員表示，他們擔心未來 OpenAI 針s對他們的產(chǎn)品會開發(fā)出強大的競品，因此他們對使用 OpenAI API 持著謹慎的態(tài)度。

對此，Sam 說 OpenAI 不會在ChatGPT 之外發(fā)布更多的產(chǎn)品。

5、需要監(jiān)管，也需要開源

雖然 Sam 呼吁對未來的模型進行監(jiān)管，但他認為現(xiàn)有模型并不危險，并認為監(jiān)管或禁止它們將是一個巨大錯誤。

Sam重申了對開源重要性的信念，并表示 OpenAI正在考慮開源 GPT-3。尚未開源的部分原因是，他懷疑沒有多少公司和個人有能力托管、服務如此大的大語言模型。

6、比例定律仍然成立

最近有很多文章聲稱“巨型AI模型的時代已經(jīng)結束” d。這種表達是不準確的。

OpenAI的內部數(shù)據(jù)表明，模型性能的比例定律繼續(xù)存在，使模型變大將繼續(xù)產(chǎn)生性能。擴展的速度無法維持，因為 OpenAI 在短短幾年內就將模型放大了數(shù)百萬倍，而這種做法在未來將無法持續(xù)。

這并不意味著 OpenAI 不會繼續(xù)嘗試讓模型變得更大，這只是意味著它們的規(guī)模每年可能會增加一倍或三倍，而不是增加許多數(shù)量級。

事實上，擴大模型規(guī)模對 AGI 開發(fā)的時間表有重大影響。擴大規(guī)模的理念是，我們可能已經(jīng)有構建 AGI 所需的大部分工作，剩下的大部分工作將采用現(xiàn)有的方法，并將它們擴展到更大的模型和更大的數(shù)據(jù)集。

如果“巨型AI模型的時代已經(jīng)結束”，那么我們離AGI 會很遙遠。

本文素材來源Humanloop ，如有侵權請聯(lián)系刪除

END