語言模型已步入大模型發(fā)展階段，國內(nèi)大模型研發(fā)應(yīng)用熱潮持續(xù)高漲，科技大廠在模型、算力、平臺、應(yīng)用進(jìn)行了四位一體的全面布局，如阿里的“通義大模型+飛天智算平臺+魔塔社區(qū)+行業(yè)應(yīng)用”、百度的“文心大模型+昆侖芯+飛槳平臺+行業(yè)應(yīng)用”、騰訊的“混元大模型+HCC算力集群+太極機(jī)器學(xué)習(xí)平臺+行業(yè)應(yīng)用”、字節(jié)的“視覺語言模型+火山高速訓(xùn)練引擎+火山機(jī)器學(xué)習(xí)平臺+行業(yè)應(yīng)用”。

大模型落地將形成API、PaaS和MaaS三種收費(fèi)模式，目前仍以內(nèi)部應(yīng)用為主，后續(xù)主要向B端企業(yè)拓展服務(wù)，預(yù)計(jì)少數(shù)企業(yè)將在C端市場形成規(guī)模。

大模型發(fā)展全面加速，通過“預(yù)訓(xùn)練+精調(diào)”模式進(jìn)行落地。

語言建模經(jīng)過統(tǒng)計(jì)語言模型、神經(jīng)語言模型、預(yù)訓(xùn)練語言模型，已經(jīng)全面邁入百億、千億參數(shù)規(guī)模的大語言模型階段。

大語言模型具備優(yōu)秀的上下文學(xué)習(xí)能力、上下文學(xué)習(xí)能力、可觀的知識容量、優(yōu)秀的泛化性和復(fù)雜推理能力。大模型研究存在Google的Bert模式、OpenAI的GPT模式和國內(nèi)的混合模式三條技術(shù)線，以ChatGPT為主導(dǎo)GPT模式目前已經(jīng)占據(jù)主流。

目前，國內(nèi)已有至少19家企業(yè)及科研院所參與人工智能大模型訓(xùn)練，主要分為大型科技公司、科研院所和初創(chuàng)科技團(tuán)隊(duì)三類。國際對比來看，目前美國領(lǐng)跑，中國跟跑，但差距不斷縮小。在實(shí)踐中，預(yù)訓(xùn)練大模型在基于海量數(shù)據(jù)的自監(jiān)督學(xué)習(xí)階段完成了“通識”教育，再借助“預(yù)訓(xùn)練+精調(diào)”等模式，在共享參數(shù)的情況下，根據(jù)具體應(yīng)用場景的特性，用少量數(shù)據(jù)進(jìn)行相應(yīng)微調(diào)，即可高水平完成任務(wù)。

互聯(lián)網(wǎng)大廠在“模型、算力、平臺和應(yīng)用”進(jìn)行四位一體布局。

阿里“通義大模型+飛天智算平臺+魔塔社區(qū)+行業(yè)應(yīng)用”：在模型層，阿里達(dá)摩院主導(dǎo)大模型研究，發(fā)布通義大模型，包括通義M6多模態(tài)模型、通義AliceMind自然語言處理模型、通義視覺計(jì)算機(jī)視覺模型。

在算力層，阿里云推出全棧智能計(jì)算解決方案“飛天智算平臺”，并啟動兩座超大規(guī)模智算中心。此外，阿里不僅擁有最多的英偉達(dá)A100芯片，還擁有自研芯片含光800、倚天710芯片，共同為人工智能大模型提供算力。

在平臺層，阿里推出AI開源社區(qū)“魔搭”，旨在打造下一代“模型即服務(wù)”的共享平臺，整合業(yè)界多方模型提供者，為開發(fā)者提供預(yù)訓(xùn)練基礎(chǔ)模型和API接口。

在應(yīng)用層，阿里已宣布旗下所有產(chǎn)品未來將全面改造并接入通義大模型，包括天貓、釘釘、高德地圖、淘寶、優(yōu)酷、盒馬等。

百度“文心大模型+昆侖芯+飛槳平臺+行業(yè)應(yīng)用”：

在模型層，百度文心大模型構(gòu)建了“基礎(chǔ)+任務(wù)+行業(yè)”三級模型；在算力層，算力基礎(chǔ)設(shè)施均由百度智算中心支持，昆侖芯二代已廣泛應(yīng)用在文心大模型，預(yù)計(jì)昆侖芯三代將于2024年初量產(chǎn)；

在平臺層，百度飛槳PaddlePaddle是其自主研發(fā)的深度學(xué)習(xí)平臺，文心大模型通過百度飛槳平臺，實(shí)現(xiàn)模型訓(xùn)練、推理部署和場景應(yīng)用；在應(yīng)用層，文心大模型將應(yīng)用在電力、燃?xì)狻⒔鹑?、生物醫(yī)藥、航天、傳媒、城市、影視、制造、社科等多個行業(yè)。

騰訊“混元大模型+HCC算力集群+太極機(jī)器學(xué)習(xí)平臺+行業(yè)應(yīng)用”：

在模型層，2022年4月，騰訊對外披露了混元大模型，涉及自然語言處理、計(jì)算機(jī)視覺、多模態(tài)等多個領(lǐng)域。騰訊自研的太極機(jī)器學(xué)習(xí)平臺為混元大模型提供算力，可支持10TB級模型訓(xùn)練、TB級模型推理計(jì)算能力等。

2023年3月，騰訊對標(biāo)ChatGPT已成立“混元助手”戰(zhàn)略級項(xiàng)目組；在算力層，2023年4月14日，騰訊云發(fā)布新一代HCC高性能計(jì)算集群，其采用最新一代星星海自研服務(wù)器，搭載NVIDIAH800 Tensor Core GPU，并基于自研網(wǎng)絡(luò)、存儲架構(gòu)，帶來3.2T超高互聯(lián)帶寬TB級吞吐能力和千萬級IOPS；

在平臺層，騰訊自研搭建了業(yè)界一流的太極機(jī)器學(xué)習(xí)平臺，致力于讓用戶更加聚焦業(yè)務(wù)AI問題解決和應(yīng)用，一站式的解決算法工程師在AI應(yīng)用過程中特征處理，模型訓(xùn)練，模型服務(wù)等工程問題；

在應(yīng)用層，混元大模型已成功應(yīng)用于騰訊廣告，將全面接入微信端、QQ端和王者榮耀、英雄聯(lián)盟游戲端，提供智能聊天、內(nèi)容推薦、情感分析、故事生成、角色塑造等功能，以及騰訊混元大模型有望將在游戲、社交、金融、教育、醫(yī)療等領(lǐng)域發(fā)展生態(tài)。

字節(jié)“視覺語言模型+火山高速訓(xùn)練引擎+火山機(jī)器學(xué)習(xí)平臺+行業(yè)應(yīng)用”：

在模型層，字節(jié)在AI方面的積累主要集中在機(jī)器翻譯、智能語音、視頻圖像和多模態(tài)四個領(lǐng)領(lǐng)域。字節(jié)跳動的研究成果包括非自回歸模型DA-Transformer、端到端語音到文本翻譯模型ConST、多顆粒度的視覺語言模型X-VLM、圖片和文本統(tǒng)一生成模型DaVinci等；在算力層，火山引擎在春季火山引擎FORCE原動力大會上正式發(fā)布自研DPU等系列云產(chǎn)品，并正式推出智能推薦-高速訓(xùn)練引擎，支持100GB至10TB以上超大模型的高效訓(xùn)練；

在平臺層，火山引擎在2023春季FORCE原動力大會發(fā)布了機(jī)器學(xué)習(xí)平臺升級版，在數(shù)據(jù)管理、資源管理、流程和模型三大領(lǐng)域具備核心優(yōu)勢；在應(yīng)用層，火山引擎的AI場景產(chǎn)品主要包括智能創(chuàng)作、智能體驗(yàn)以及智能營銷，目前已服務(wù)數(shù)百家客戶，分別在視頻創(chuàng)作、互動創(chuàng)作、直播短視頻構(gòu)建中推動客戶業(yè)務(wù)增長。此外，字節(jié)在內(nèi)部的相關(guān)產(chǎn)品持續(xù)引入AI，包括海綿樂隊(duì)、飛書My AI等。

商業(yè)應(yīng)用尚處早期，以API、PaaS、MaaS三種模式為主。

當(dāng)前全球大模型產(chǎn)業(yè)落地仍處于早期探索階段，需要與下游場景企業(yè)合作建立大模型商業(yè)模式，但下游企業(yè)目前對于大模型的理解相對有限，所需要的資源支撐比較薄弱?？偟膩碚f，大模型落地可以通過API接口調(diào)用付費(fèi)、或者大廠提供落地所需的開發(fā)工具、云平臺、服務(wù)等的PaaS模式、更進(jìn)一步是直接提供相關(guān)定制好的模型調(diào)用的MaaS模式。

來源：中信建投

報(bào)告內(nèi)容節(jié)選如下：

資料下載方式：公眾號《俠說》，www.guotaixia.com