GPT系列專題之二:GPT-4引領認知革命 Deep Speed加速行業(yè)發(fā)展
我們將“AI+傳媒”的研究框架體系定義為“通用大模型”+“行業(yè)小樣本”的技術架構,“AI+傳媒”在應用層表現(xiàn)效力優(yōu)劣的關鍵取決于通用大模型對垂直應用的適配程度及迭代速度,
1、適配程度是指:多模態(tài)的輸入及輸出是否匹配應用層的輸入及輸出。比如GPT-4屬于“圖+文”多模態(tài)輸入+“文”單模態(tài)輸出,因此輸入模態(tài)為“圖或文”且輸出模態(tài)為“文”的垂直應用更適配GPT-4。
2、迭代速度是指:應用層產生的“行業(yè)小樣本”的數據量是否匹配大模型的迭代要求。根據我們對GPT模型的理解,比如BingAI產生的“行業(yè)小樣本”源自Bing的搜索結果,ChatGPT產生的“行業(yè)小樣本”源自用戶的反饋和互動。因此我們認為,對于超出GPT所使用的預訓練數據庫范圍(2021年9月前)的事實性表述,Bing AI反饋的是搜索的結果,ChatGPT反饋的是用戶主動的觀點,Bing AI反饋的效果比ChatGPT更好。
我們認為“行業(yè)小樣本”的價值取決于數據數量及數據質量,數量大且質量高(多模態(tài))的應用場景復用及迭代AI能力的效力更強,因此更進一步理解我們的研究框架,我們將“行業(yè)小樣本”的結構分層(中層小模型+下層應用及內容),并將“行業(yè)小樣本”的結合方式分類(調用+訓練):
1、“行業(yè)小樣本”的數據集來自小模型或應用及內容:AI產業(yè)鏈包括上層大模型、中層小模型、下層應用及內容,包括應用及內容直接接入大模型或通過小模型接入大模型兩種方式,即“大模型+應用及內容”或“大模型+小模型+應用或內容”,其中具備特定功能的AIGC軟件產品及MaaS我們理解為“小模型”+“應用”的技術范式,本身具備較高質量的AI能力,若接入匹配的多模態(tài)大模型,有望實現(xiàn)能力上的質變突破。
2、“行業(yè)小樣本”的結合方式包括“能力調用”及“能力訓練”兩類:
(1)“能力調用”是指下游垂類場景直接調用通用大模型的通用能力,并基于垂類場景內產生的特性化數據不斷提升調用能力在垂類場景內的適配程度。我們認為現(xiàn)階段下游應用及內容主要采取此類方式接入大模型能力,此類方式可高效快速調用大模型先進能力,在時間上及成本上具備優(yōu)勢。我們認為“能力調用”匹配“AI+傳媒”的第一層利好,即通過AI降本增效,大幅提高數據及內容的供給量。內容產業(yè)本質由供給決定需求,因此內容供給量的明顯提升將有效帶動傳媒基本面拐點及增量空間出現(xiàn)。
(2)“能力訓練”是指下游垂類場景將通用大模型針對特性化數據集進行再訓練,從而形成垂類場景專屬大模型。例如彭博社利用自身豐富的金融數據源,基于開源的GPT-3框架再訓練,開發(fā)出了金融專屬大模型BloombergGPT。我們認為“能力訓練”匹配“AI+傳媒”的第二層利好,即下游垂類場景本身的數據或內容反過來“再訓練”通用大模型(或開源大模型),形成傳媒內容場景專屬大模型,形成更穩(wěn)定且高質的內容輸出。我們認為訓練難度文本<圖片<視頻<影視<游戲,且內容數量逐步遞減但內容質量逐步遞增,即偏后端的影視、游戲在內容數量上訓練量級不足,因此高質量的內容形態(tài)首先通過“能力調用”輸出AIGC內容,再將AIGC內容“再訓練”大模型以解決高質量內容數量不足的問題(合成數據“再訓練”范疇)。
從投資的角度,按照我們的研究框架,傳媒對應垂類場景的“行業(yè)小樣本”,其核心價值取決于數據與內容,第一層對應數據與內容的輸入模態(tài)是否匹配大模型的輸出模態(tài);第二層對應數據與內容的數量及質量是否匹配大模型的能力再訓練:
1、按照“模態(tài)匹配”的邏輯,AI+文本/虛擬人預計率先兌現(xiàn)案例及業(yè)績,其次AI+圖片可通過“大模型”+“小模型”組合方式實現(xiàn)(如GPT+Stable Diffusion、GPT+Midjourney)。隨著未來GPT-5提供更多模態(tài)的輸入及輸出,下游垂類場景的適配范圍有望擴大,通過“能力調用”適配的應用及內容場景更為豐富,因此后續(xù)“AI+視頻/影視/游戲”的案例兌現(xiàn)度存在新的催化空間。
OpenAI最新發(fā)布的GPT-4核心特征包括:(1)多模態(tài)輸入(圖+文),單模態(tài)輸出(文),可以閱讀并總結論文內容、解答較高難度的物理題目、具備較強的OCR能力(如識別網頁草稿并按要求反饋網頁代碼)、理解人類社會常識;(2)具備長文字處理及推理判斷能力,GPT-4上下文上限約2.5萬字,允許使用長格式內容創(chuàng)建、擴展對話以及文檔搜索和分析等,能夠閱讀并記憶更多信息,且具備更高的推理判斷能力;(3)可靠性大幅提升,分辨能力提高,有效減少“虛構”或“有害”信息輸出。
2、按照“能力再訓練”的邏輯,AI+內容/IP預計空間及價值更大,其價值核心取決于數據與內容/IP的數量及質量的高低。微軟本周發(fā)布的DeepSpeed-Chat大幅提升大模型預訓練速度并大幅降低訓練成本,我們認為最核心意義為大幅降低垂類場景專屬大模型的訓練門檻,小模型層及應用層有望明顯受益。掌握數據及優(yōu)質內容(多模態(tài)數據)的下游場景具備核心競爭力,因此內容及IP(版權)的價值有望重估。
DeepSpeed-Chat集成預訓練語言大模型完整三個步驟,其中針對第三步RLHF訓練集成了高效且經濟的DeepSpeed-RLHF系統(tǒng),使復雜的RLHF訓練變得快速、經濟并且易于大規(guī)模推廣(相比現(xiàn)有系統(tǒng)提速15倍以上,且大幅降低算力要求及成本)。
來源:上海證券
若需獲取本篇完整版資源,請關注公眾號《俠說》
報告內容節(jié)選如下: