國內(nèi)各大科技企業(yè)紛紛入局AI大模型

大模型增強(qiáng)了AI技術(shù)的通用性，助力普惠AI的實(shí)現(xiàn)。未來，大模型有望于場景深度融合，配合專業(yè)工 具和平臺支持應(yīng)用落地，開放的生態(tài)來激發(fā)創(chuàng)新，形成良性循環(huán)。 頭部企業(yè)均采取“模型+工具平臺+生態(tài)” 三層共建模式，有助于業(yè)務(wù)的良性循環(huán)，也更容易借助長 期積累形成競爭壁壘。 大模型廠商主要包括百度、騰訊、阿里、商湯、華為等企業(yè)，也有智源研究院、中科院自動(dòng)化所等研究機(jī)構(gòu)，同時(shí)英偉達(dá)等芯片 廠商也紛紛入局。

百度：文心大模型

百度文心大模型：模型+平臺+產(chǎn)品構(gòu)成全套體系

百度文心構(gòu)建了文心大模型層、工具平臺層、產(chǎn)品與社區(qū)三層體系。 產(chǎn)品能力：文心大模型+飛槳PaddlePaddle深度學(xué)習(xí)平臺，滿足市場大規(guī)模落地需求。 應(yīng)用能力：百度已在金融、能源、制造、城市、傳媒、互聯(lián)網(wǎng)等行業(yè)擁有實(shí)際落地的標(biāo)桿案例。 生態(tài)能力：在社區(qū)用戶的基礎(chǔ)上，可以實(shí)現(xiàn)與開發(fā)者、行業(yè)用戶、上下游產(chǎn)業(yè)的正向互動(dòng)。

百度飛槳：深度學(xué)習(xí)平臺為大模型研發(fā)基石

飛槳（Paddle-Paddle）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，集深度學(xué)習(xí)核心訓(xùn)練和 推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件、豐富的工具組件于一體，是國內(nèi)功能豐富、開源開放的產(chǎn) 業(yè)級深度學(xué)習(xí)平臺。截止2022年底，共服務(wù)企事業(yè)單位20萬家，創(chuàng)建模型67萬個(gè)。 飛槳深度學(xué)習(xí)平臺解決大模型研發(fā)和部署的各類問題，文心大模型是飛槳模型庫的重要組成部分，與飛槳共享生態(tài)， 包含產(chǎn)業(yè)級知識增強(qiáng)大模型體系，以及工具平臺、API和創(chuàng)意社區(qū)助力大模型的高效應(yīng)用。

文心大模型在市場格局中處于第一梯隊(duì)

百度率先在2019年3月發(fā)布預(yù)訓(xùn)練模型ERNIE1.0，文心大模型構(gòu)建了“基礎(chǔ)+任務(wù)+行業(yè)”的三級模型體系，基礎(chǔ)大模 型支撐任務(wù)與行業(yè)大模型的建設(shè)，任務(wù)和行業(yè)大模型結(jié)合真實(shí)場景與數(shù)據(jù)反哺基礎(chǔ)大模型優(yōu)化，目前已有36個(gè)大模型。 基礎(chǔ)大模型：聚焦技術(shù)挑戰(zhàn)、通用性、泛化性探索，包括含NLP大模型、CV大模型和跨模態(tài)大模型。 任務(wù)大模型：包含對話、搜索、信息抽取、生物計(jì)算等多個(gè)典型任務(wù)。 行業(yè)大模型：包含與來自8個(gè)行業(yè)的頭部企業(yè)或機(jī)構(gòu)共建的11個(gè)行業(yè)大模型。 IDC評估結(jié)果顯示，百度文心大模型處于第一梯隊(duì)，產(chǎn)品能力、生態(tài)能力達(dá)到L4水平，應(yīng)用能力達(dá)到L3水平。

基礎(chǔ)大模型：聚焦技術(shù)挑戰(zhàn)、通用性、泛化性探索

文心基礎(chǔ)大模型覆蓋了NLP、CV、跨模態(tài)三大方向。 文心NLP大模型：ERNIE3.0基于知識增強(qiáng)的多范式統(tǒng)一預(yù)訓(xùn)練框架，深入融合的千億級知識，具備強(qiáng)大的語言理解能 力與小說、摘要、文案創(chuàng)意、歌詞、詩歌等文學(xué)創(chuàng)作能力；與鵬城實(shí)驗(yàn)室合作發(fā)布了知識增強(qiáng)千億大模型“鵬城-百 度·文心“。 文心CV大模型：VIMER系列的CV大模型，包括視覺自監(jiān)督預(yù)訓(xùn)練大模型VIMER-CAE，多任務(wù)學(xué)習(xí)模型VIMERUFO2.0，端到端文檔OCR表征學(xué)習(xí)預(yù)訓(xùn)練模型VIMER-StrucTexT2.0等。 文心跨模態(tài)大模型：ERNIE-ViLG2.0文生圖大模型、ERNIE-ViL視覺-語言大模型、ERNIE-Layout文檔智能大模型等。

任務(wù)大模型：面向多個(gè)經(jīng)典下游任務(wù)推出的模型

任務(wù)大模型包括，對話大模型PLATO、搜索大模型ERNIE-Search、信息抽取大模型ERNIE-UIE、代碼生成大模型 ERNIE-Code、生物計(jì)算大模型等。 PLATO：基于隱變量的生成式開放域?qū)υ挻竽Ｐ停邆浣咏嫒怂降亩噍喠鲿硨υ捘芰Γ_放域?qū)υ捫Ч_(dá)到世界領(lǐng)先水平。 ERNIE-UIE：支持多種類型的開放抽取任務(wù)，用戶可以使用自然語言自定義抽取目標(biāo)，無需訓(xùn)練即可抽取輸入文本中的對應(yīng)信息。 ERNIE-Code：基于海量代碼和文本數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，引入聯(lián)合學(xué)習(xí)，具備跨多種自然語言和編程語言的語義理解和生成能力。 文心生物計(jì)算大模型構(gòu)建面向化合物分子、蛋白分子的生物計(jì)算領(lǐng)域預(yù)訓(xùn)練模型，賦能生物醫(yī)藥行業(yè)，包括單序列蛋白質(zhì)結(jié)構(gòu)預(yù) 測模型HelixFold、蛋白質(zhì)結(jié)構(gòu)預(yù)測模型HelixFold-Single、化和表征學(xué)習(xí)模型HelixGEM-2。

行業(yè)大模型：深入產(chǎn)業(yè)落地的重要舉措

行業(yè)大模型是百度與行業(yè)頭部企業(yè)、機(jī)構(gòu)聯(lián)合研發(fā)的融合行業(yè)數(shù)據(jù)、知識以及專家經(jīng)驗(yàn)的大模型，在各行業(yè)的技術(shù)效 果突破、產(chǎn)品創(chuàng)新、生產(chǎn)流程變革、降本增效等維度產(chǎn)生價(jià)值。 與國網(wǎng)合作的NLP大模型：探索研發(fā)電力人工智能聯(lián)合大模型，不僅提升了傳統(tǒng)電力專用模型的精度，而且大幅降低了研發(fā)門檻， 實(shí)現(xiàn)了算力、數(shù)據(jù)、技術(shù)等資源的統(tǒng)籌優(yōu)化。 與人民網(wǎng)的合作的NLP大模型：引入輿情數(shù)據(jù)中心積淀的行業(yè)知識來更好訓(xùn)練知識增強(qiáng)的傳媒行業(yè)大模型，實(shí)現(xiàn)更少的標(biāo)注數(shù)據(jù) 下大幅提升傳媒行業(yè)自然語言處理任務(wù)效果，如新聞內(nèi)容審核分類、輿情分析、摘要生成等。 與TCL合作的CV大模型：在TCL幾個(gè)產(chǎn)線檢測mAP指標(biāo)平均提升10%+，訓(xùn)練樣本減少到原有訓(xùn)練樣本30%～40%，產(chǎn)線指標(biāo)即 可達(dá)到原有產(chǎn)線效果，新產(chǎn)線冷啟動(dòng)效率可提升3倍，產(chǎn)線上線開發(fā)周期降低30%。

應(yīng)用：平臺及產(chǎn)品面向B端C端齊發(fā)力

百度文心圍繞大模型產(chǎn)業(yè)應(yīng)用的不同研發(fā)環(huán)節(jié)，面向各階段不同技術(shù)、業(yè)務(wù)背景的開發(fā)者或用戶，打造系列工具平臺 與場景化產(chǎn)品。 面向開發(fā)者：擁有面向NLP工程師的大模型套件ERNIEKit，包括數(shù)據(jù)標(biāo)注與處理、大模型精調(diào)、大模型壓縮、高性能部署、場景 化工具五大模塊能力；AI開發(fā)平臺，包括零門檻AI開放平臺EasyDL，和面向AI算法開發(fā)者提供全功能AI開發(fā)平臺BML。 面向下游應(yīng)用：文心開放了API接口，包括NLP大模型ERNIE3.0、跨模態(tài)大模型ERNIE-ViLG、對話大模型PLATO。 面向用戶：推出了基于大模型驅(qū)動(dòng)的新一代產(chǎn)業(yè)級搜索系統(tǒng)文心百中，以及AI藝術(shù)與創(chuàng)意輔助平臺文心一格。

騰訊：混元大模型

騰訊HunYuan大模型：深入產(chǎn)業(yè)落地的重要舉措

2022年4月，騰訊首次對外披露HunYuan大模型，協(xié)同了騰訊預(yù)訓(xùn)練研發(fā)力量，完整覆蓋NLP大模型、 CV大模型、多模態(tài)大模型及眾多行業(yè)/領(lǐng)域任務(wù)模型。 HunYuan-NLP：萬億級別中文NLP預(yù)訓(xùn)練模型，參數(shù)量達(dá)1T，排名CLUE1.1總排行榜第一。 HunYuan-vcr：排名VCR（Visual Commonsense Reasoning）榜單第一。 HunYuan_tvr：跨模態(tài)文字-視頻檢索AI大模型。

太極機(jī)器學(xué)習(xí)平臺：HunYuan大模型的底層支持

太極是騰訊自主研發(fā)的一站式機(jī)器學(xué)習(xí)生態(tài)服務(wù)平臺，為AI工程師打造從數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型評估到模型服 務(wù)的全流程高效開發(fā)工具，為大模型的訓(xùn)練提供了有力保障。 太極AngelPTM：預(yù)訓(xùn)練加速組件，單機(jī)最大可容納55B模型，需要192張卡就可以訓(xùn)練萬億模型。 太極-HCF ToolKit：大模型壓縮和分布式推理組件，包含了從模型蒸餾、壓縮量化到模型加速的完整能力。 太極 - HCF distributed為大模型分布式推理組件，使得HunYuan-NLP 1T大模型推理只需 96張A100(4G) 卡，相比于“威震天”資源設(shè) 備占用減少了 40%。 太極 – SNIP為大模型壓縮組件，從蒸餾框架和壓縮加速算法兩方面，實(shí)現(xiàn)了迭代更快，效果更好，成本更低的大模型壓縮。

應(yīng)用：為騰訊生態(tài)降本增效，廣告類應(yīng)用表現(xiàn)出色

HunYuan先后支持了包括微信、QQ、游戲、騰訊廣告、騰訊云等眾多產(chǎn)品和業(yè)務(wù)，降本增效。 依靠HunYuan的多模態(tài)理解能力，在廣告內(nèi)容理解、行業(yè)特征挖掘、文案創(chuàng)意生成等方面的應(yīng)用，在為騰訊廣告帶來 大幅GMV提升的同時(shí)，也初步驗(yàn)證了大模型的商業(yè)化潛力。 HunYuan大模型和騰訊廣告精排大模型基于太極機(jī)器學(xué)習(xí)平臺，共同完善優(yōu)化了廣告理解、用戶理解、廣告和用戶匹配的整個(gè)流程，提升對廣 告理解、匹配效率、精準(zhǔn)度和轉(zhuǎn)化效率。 HunYuan大模型的生成能力，可以提升廣告制作的效率：“圖生視頻”功能，可以將靜態(tài)的圖片自動(dòng)生成不同樣式的視頻廣告；“文案助手” 功能，可以為廣告自動(dòng)生成更恰當(dāng)?shù)臉?biāo)題，提升廣告的效果；“文生視頻”功能，未來只需要提供一句廣告文案，就可以自動(dòng)生成與之匹配的 視頻廣告。

阿里：通義大模型

通義大模型：讓AI更通用

2022年9月，在阿里巴巴達(dá)摩院主辦的世界人工智能大會(huì)“大規(guī)模預(yù)訓(xùn)練模型”主題論壇上，發(fā)布 “通義”大模型系 列，并宣布相關(guān)核心模型向全球開發(fā)者開源開放。 阿里達(dá)摩院基于其 AI 統(tǒng)一底座構(gòu)建了通用模型與專業(yè)模型協(xié)同的層次化人工智能體系。 統(tǒng)一底座層：M6-OFA模型作為單一模型，在不引入新增結(jié)構(gòu)的情況下，可處理超過30種跨模態(tài)任務(wù)。 通用模型層：NLP模型“通義 – AliceMind”；CV模型“通義 - 視覺”；多模態(tài)模型“通義 - M6”。 專業(yè)模型層：深入電商、醫(yī)療、娛樂、設(shè)計(jì)、金融、工業(yè)、制造業(yè)等行業(yè)。

底座層：實(shí)現(xiàn)模態(tài)表示、任務(wù)表示、模型結(jié)構(gòu)統(tǒng)一

通義大模型背后的核心技術(shù)為統(tǒng)一學(xué)習(xí)范式OFA，使其具備了多種任務(wù)的“大一統(tǒng)”能力。 單一模型即可同時(shí)處理圖像描述、視覺定位、文生圖、視覺蘊(yùn)含、文檔摘要等10余項(xiàng)單模態(tài)和跨模態(tài)任務(wù)；升級后更 是可以處理超過包括語音和動(dòng)作在內(nèi)的30多種跨模態(tài)任務(wù)。 架構(gòu)統(tǒng)一：使用Transformer架構(gòu)，統(tǒng)一進(jìn)行預(yù)訓(xùn)練和微調(diào)，無需在應(yīng)對不同任務(wù)時(shí)，增加任何特定的模型層。 模態(tài)統(tǒng)一：不管是NLP、CV這種單模態(tài)，還是圖文等多模態(tài)任務(wù)，全都采用同一個(gè)框架和訓(xùn)練思路。 任務(wù)統(tǒng)一：將所有單模態(tài)、多模態(tài)任務(wù)統(tǒng)一表達(dá)成序列到序列（Seq2seq）生成的形式，同類任務(wù)的輸入幾乎就是 “一個(gè)模子里刻出來的”。

通用模型層：趨向于統(tǒng)一大模型的演化

通義 - M6為多模態(tài)大模型， 已經(jīng)從 2020 年 6 月的 3 億參數(shù)基礎(chǔ)模型發(fā)展到 2021 年 10 月的 10 萬 億參數(shù)全球最大預(yù)訓(xùn)練模型到 2022 年 1 月的業(yè)界首個(gè)通用統(tǒng)一大模型 M6-OFA。 2021年3月，發(fā)布通義 – AliceMind，為達(dá)摩院開源的深度語言模型體系，CLUE1.1總排行榜第二。 AliceMind生態(tài)體系包括：通用語言模型 StructBERT、多模態(tài)語言模型 StructVBERT 、多語言模型VECO 、生成式模 型 PALM、文檔圖像理解模型Structural LM、表格理解模型SDCUP、超大中文理解與生成模型PLUG（24層 StructBERT編碼器+“24-6”層的PALM編碼器-解碼器）、超大圖像-文本模型mPLUG等。

華為：盤古大模型

華為盤古大模型：深耕大模型的行業(yè)應(yīng)用

華為云團(tuán)隊(duì)于2020 年立項(xiàng)AI 大模型，并且于2021 年4 月發(fā)布“盤古大模型”。受益于華為的全棧式AI 解決方案，大 模型與昇騰（Ascend）芯片、昇思（MindSpore）語言、ModelArts 平臺深度結(jié)合。盤古大模型已經(jīng)發(fā)展出包括基礎(chǔ)大模型（L0）、行業(yè)大模型（L1）、行業(yè)細(xì)分場景模型（L2）三大階段的成熟體系。 2022年11月，在華為全聯(lián)接大會(huì)2022中國站上，華為云進(jìn)一步迭代盤古大模型的技術(shù)能力，擴(kuò)展盤古大模型的服務(wù)范圍，發(fā)布 盤古氣象大模型、盤古礦山大模型、盤古OCR大模型三項(xiàng)重磅服務(wù)。

ModelArts：大模型研發(fā)的平臺支持

ModelArts 是面向開發(fā)者的一站式AI平臺，為機(jī)器學(xué)習(xí)與深度學(xué)習(xí)提供海量數(shù)據(jù)預(yù)處理及交互式智能 標(biāo)注、大規(guī)模分布式訓(xùn)練、自動(dòng)化模型生成，及端-邊-云模型按需部署能力，幫助用戶快速創(chuàng)建和部 署模型，管理全周期 AI 工作流。 ModelArts的主要能力包括數(shù)據(jù)處理、算法開發(fā)、模型訓(xùn)練、AI應(yīng)用管理和部署；功能模塊涵蓋了強(qiáng)化學(xué)習(xí)、天籌(OptVerse)AI求 解器、盤古大模型、AI Gallery（人工智能知識與實(shí)訓(xùn)專區(qū)）、IDE（云原生 Notebook）等。

基礎(chǔ)大模型：將Transformer應(yīng)用于各模態(tài)

盤古語音語義大模型：語義模型是業(yè)界首個(gè)千億中文大模型；語音模型擁有超過4 億參數(shù),是當(dāng)前最大的中文語音模型之一。 語義部分，基于Transformer搭建基礎(chǔ)架構(gòu)，針對理解能力，使用類似BERT的MLM方式訓(xùn)練；針對生成能力，使用回歸語言模型作為訓(xùn)練目標(biāo)，即給定一句 話的上半部分，讓模型預(yù)測下半部分。2022年，華為在鵬城云腦Ⅱ上訓(xùn)練了全球首個(gè)全開源2000億參數(shù)的自回歸中文預(yù)訓(xùn)練語言大模型——鵬程·盤古。

語音部分，使用卷積與Transformer 結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)，解碼器與文本類似；音頻編碼器部分，預(yù)訓(xùn)練時(shí)采取將音頻中挖掉一個(gè)片段，再隨機(jī)采樣一些片段作為 負(fù)例，讓模型從中找出正確的被挖掉的片段。

盤古視覺大模型：最大擁有30億參數(shù)，兼顧判別與生成能力；在小樣本學(xué)習(xí)性能領(lǐng)先。 融合了卷積網(wǎng)絡(luò)和Transformer 架構(gòu)，分開或按需結(jié)合達(dá)到更好效果；業(yè)界首創(chuàng)基于等級化語義聚集的對比度自監(jiān)督學(xué)習(xí)，以減少樣本選取過程中的噪聲影響。

盤古多模態(tài)大模型：使用LOUPE 算法預(yù)訓(xùn)練所得的模型，在多項(xiàng)下游任務(wù)中表現(xiàn)出了更好的精度。 采用了雙塔架構(gòu)，利用不同的神經(jīng)網(wǎng)絡(luò)來完成不同模態(tài)的信息抽取，然后僅在最后一層做信息交互和融合，具有模型獨(dú)立性強(qiáng)、訓(xùn)練效率高等優(yōu)勢。 實(shí)現(xiàn)方式為：分別抽取圖像和文本特征，然后將一個(gè)批次的圖像和文本特征送入判別器，使得配對的跨模態(tài)特征聚集在一起，而不配對跨模態(tài)特征被拉遠(yuǎn)，大 數(shù)據(jù)充分迭代后，模型就能學(xué)會(huì)將圖像和文本對齊到同一空間。此時(shí)，圖像和文本的編碼器可以獨(dú)立用于各自下游任務(wù)，或協(xié)同用于跨模態(tài)理解類下游任務(wù)。