騰訊自研混元大模型正式亮相,擁有超千億參數(shù)規(guī)模
9月7日,在2023騰訊全球數(shù)字生態(tài)大會(huì)上,騰訊混元大模型正式亮相,并宣布通過(guò)騰訊云對(duì)外開(kāi)放。騰訊將全面擁抱大模型。
騰訊混元大模型作為騰訊自研的實(shí)用級(jí)通用大模型,目前已經(jīng)接入騰訊50多個(gè)業(yè)務(wù)測(cè)試并取得初步效果,包括騰訊云、騰訊廣告、騰訊游戲、騰訊金融科技、騰訊會(huì)議、騰訊文檔、微信搜一搜、QQ瀏覽器等業(yè)務(wù)和產(chǎn)品。未來(lái)
它將作為騰訊云MaaS服務(wù)的底座,客戶不僅可以直接通過(guò)API調(diào)用混元,也可以將混元作為基底模型,開(kāi)發(fā)不同產(chǎn)業(yè)場(chǎng)景的應(yīng)用
。
今年6月,騰訊發(fā)布了行業(yè)大模型,覆蓋領(lǐng)域有限。此次發(fā)布的混元通用大模型,將會(huì)支持更多行業(yè)。
騰訊集團(tuán)高級(jí)執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生表示:“以大模型生成技術(shù)為核心,人工智能正在成為下一輪數(shù)字化發(fā)展的關(guān)鍵動(dòng)力,也為解決產(chǎn)業(yè)痛點(diǎn),帶來(lái)了全新的思路。騰訊產(chǎn)業(yè)互聯(lián)網(wǎng)將通過(guò)智能增強(qiáng)、數(shù)據(jù)增強(qiáng)、連接增強(qiáng),持續(xù)助力產(chǎn)業(yè)增強(qiáng)?!?/p>
騰訊集團(tuán)副總裁、混元大模型的負(fù)責(zé)人蔣杰介紹,面對(duì)“百模大戰(zhàn)”的市場(chǎng)環(huán)境,騰訊的策略第一是從中文領(lǐng)域做攻克,讓大模型具備更強(qiáng)的中文創(chuàng)作能力,完善服務(wù)中國(guó)企業(yè)時(shí)的本土化能力;第二是在復(fù)雜推理過(guò)程中,增強(qiáng)對(duì)大模型安全的管控能力。
騰訊掌握了從模型算法到機(jī)器學(xué)習(xí)框架,再到AI基礎(chǔ)設(shè)施的全鏈路自研技術(shù)。目前騰訊混元的參數(shù)規(guī)模超千億,預(yù)訓(xùn)練語(yǔ)料超2萬(wàn)億tokens,具備強(qiáng)大的中文創(chuàng)作能力,復(fù)雜語(yǔ)境下的邏輯推理能力,以及可靠的任務(wù)執(zhí)行能力。
此外,騰訊研發(fā)團(tuán)隊(duì)還提出了思維鏈的新策略,讓大模型能夠像人一樣結(jié)合實(shí)際的應(yīng)用場(chǎng)景進(jìn)行推理和決策。自研機(jī)器學(xué)習(xí)框架Angel讓訓(xùn)練速度相比業(yè)界主流框架提升1倍,推理速度比業(yè)界主流框架提升1.3倍。
中國(guó)信通院《大規(guī)模預(yù)訓(xùn)練模型技術(shù)和應(yīng)用的評(píng)估方法》的標(biāo)準(zhǔn)符合性測(cè)試結(jié)果顯示,混元大模型共測(cè)評(píng)66個(gè)能力項(xiàng),在“模型開(kāi)發(fā)”和“模型能力”兩個(gè)重要領(lǐng)域的綜合評(píng)價(jià)均獲得了當(dāng)前的最高分。在主流的評(píng)測(cè)集MMLU、CEval和AGI-eval上,混元大模型均有優(yōu)異的表現(xiàn)。
騰訊集團(tuán)副總裁、云與智慧產(chǎn)業(yè)事業(yè)群COO、騰訊云總裁邱躍鵬表示,“云是大模型的最佳載體,大模型也將開(kāi)創(chuàng)下一代云服務(wù)的全新形態(tài)。高效能的云產(chǎn)品、高水平的AGI能力,將加速企業(yè)在云上創(chuàng)新創(chuàng)造,AI native的應(yīng)用、全新的交互方式將持續(xù)涌現(xiàn)?!?/p>
大模型帶來(lái)的高水平智能,也將重新定義云上工具和應(yīng)用。騰訊安全風(fēng)控大模型、騰訊云AI代碼助手、騰訊會(huì)議AI小助手等產(chǎn)品,都因?yàn)榇竽P湍芰Φ募映?,為用戶帶?lái)了更好的體驗(yàn)。
蔣杰現(xiàn)場(chǎng)展示了騰訊會(huì)議、騰訊文檔、騰訊廣告等多個(gè)業(yè)務(wù),在接入騰訊混元大模型后的實(shí)際應(yīng)用情況。
比如騰訊會(huì)議AI小助手只需要簡(jiǎn)單的自然語(yǔ)言指令,就能完成會(huì)議信息提取、內(nèi)容分析等復(fù)雜任務(wù),會(huì)后還能生成智能總結(jié)紀(jì)要,已正式開(kāi)放試用申請(qǐng)。據(jù)實(shí)測(cè),在指令理解、會(huì)中問(wèn)答、會(huì)議摘要、會(huì)議待辦項(xiàng)等多個(gè)方面,混元大模型均獲得較高的用戶采納率,相較于GPT3.5有明顯的優(yōu)勢(shì)。
在文檔處理方面,騰訊混元大模型支持?jǐn)?shù)十種文本創(chuàng)作場(chǎng)景,能夠一鍵生成標(biāo)準(zhǔn)格式文本,熟悉上百種Excel公式,支持自然語(yǔ)言生成函數(shù),并基于表格內(nèi)容生成圖表。這些文檔處理功能目前正在內(nèi)測(cè)階段,將在成熟后面向用戶開(kāi)放。
在廣告業(yè)務(wù)場(chǎng)景,騰訊混元大模型支持智能化的廣告素材創(chuàng)作,可以結(jié)合行業(yè)與地域特色,實(shí)現(xiàn)文字、圖片、視頻的自然融合。
騰訊云已全面接入Llama 2、Bloom等20多個(gè)主流模型,并支持直接部署調(diào)用??蛻艨梢愿鶕?jù)實(shí)際需求,既可以基于混元大模型,也可以基于開(kāi)源模型,打造自己的行業(yè)大模型。