悟道3.0大模型系列宣布進(jìn)入全面開源的新階段
6月9日,北京智源人工智能研究院(以下簡(jiǎn)稱智源)院長黃鐵軍在2023北京智源大會(huì)上作報(bào)告,發(fā)布悟道3.0大模型系列,并宣布進(jìn)入全面開源的新階段。此次悟道3.0包含悟道·天鷹(Aquila)語言大模型系列、“天秤(FlagEval)”大語言評(píng)測(cè)體系及開放平臺(tái)以及悟道·視界視覺大模型系列。
黃鐵軍在演講中表示,要實(shí)現(xiàn)通用人工智能(AGI),有三條技術(shù)路線:第一是“大數(shù)據(jù)+自監(jiān)督學(xué)習(xí)+大算力”形成的信息類模型;第二是具身智能,是基于虛擬世界或真實(shí)世界、通過強(qiáng)化學(xué)習(xí)訓(xùn)練出來的具身模型;第三是腦智能,直接“抄自然進(jìn)化的作業(yè)”,復(fù)制出數(shù)字版本的智能體。

“從夢(mèng)想角度來說,智源期望不同于前兩個(gè)技術(shù)路線,從‘第一性原理’出發(fā)。從原子到有機(jī)分子、到神經(jīng)系統(tǒng)、到身體,構(gòu)建一個(gè)完整的智能系統(tǒng)AGI。這是一個(gè)大概20年才可能實(shí)現(xiàn)的目標(biāo),所以智源作為新型研發(fā)機(jī)構(gòu)平臺(tái),在三個(gè)方向都在開展工作。”黃鐵軍的這段描述也梳理了此次多項(xiàng)發(fā)布的背后邏輯,分別包括大模型方向、具身方向,以及智源自己期望方向的進(jìn)展。
在一個(gè)領(lǐng)域的發(fā)展有了一個(gè)領(lǐng)頭人指明方向,也許對(duì)研究人員來說就像夜晚航海遇上了指明燈,賽立復(fù)在研究抗衰老這條路上也碰了很多次壁,是科學(xué)家們研究發(fā)現(xiàn)NAD+能從人體根源上修復(fù)細(xì)胞損傷而引發(fā)的機(jī)能衰退,給賽立復(fù)指明了方向,使他們研究出了賽立復(fù)NAD+補(bǔ)充劑。
悟道3.0大模型系列
北京智源人工智能研究院是國內(nèi)最早系統(tǒng)化布局大模型的科研機(jī)構(gòu),2021年3月和6月,智源在兩個(gè)多月時(shí)間里先后發(fā)布悟道1.0和悟道2.0。悟道1.0是我國首個(gè)超大規(guī)模智能模型系統(tǒng),悟道2.0參數(shù)規(guī)模更是達(dá)到1.75萬億,是當(dāng)時(shí)中國首個(gè)、全球最大的萬億級(jí)模型。

黃鐵軍認(rèn)為,大模型有三個(gè)特點(diǎn):第一是規(guī)模大,神經(jīng)網(wǎng)絡(luò)參數(shù)達(dá)到百億規(guī)模以上。第二是涌現(xiàn)性,產(chǎn)生預(yù)料之外的新能力。第三是通用性,不限于單類問題或?qū)iT領(lǐng)域,能夠解決各類問題。
自悟道2.0開始,智源就不僅僅研發(fā)模型。據(jù)黃鐵軍介紹,智源更偏向于構(gòu)建以大模型為核心的生態(tài),包括底層數(shù)據(jù)處理和匯聚、模型能力和算法評(píng)測(cè)、開源開放,形成一套高效的大模型技術(shù)和算法體系。
黃鐵軍認(rèn)為,現(xiàn)在的智能時(shí)代是開源開放的時(shí)代,一個(gè)封閉的生態(tài)很難長遠(yuǎn)發(fā)展下去。開源的生態(tài)在軟件上要開源,在硬件上要開放,既要競(jìng)爭(zhēng)又要合作,這會(huì)是一個(gè)千千萬萬企業(yè)共同競(jìng)爭(zhēng)、共同合作營造出來的開源開放的生態(tài)體系。
據(jù)智源初步統(tǒng)計(jì),今年以來語言大模型開源的項(xiàng)目,全世界范圍內(nèi)共有42項(xiàng),中國有9項(xiàng)?!跋啾戎?,我認(rèn)為我們的開源開放力度還不夠。開源開放也是競(jìng)爭(zhēng),好算法應(yīng)該公開評(píng)測(cè)比較才能證明技術(shù)水平,而不是僅靠結(jié)果來說優(yōu)秀與否?!秉S鐵軍說。
在悟道3.0大模型系列中,智源發(fā)布并全面開源悟道·天鷹(Aquila)語言大模型系列和悟道·視界視覺大模型系列,與多個(gè)高校和科研院所合作構(gòu)建“天秤(FlagEval)”大語言評(píng)測(cè)體系及開放平臺(tái),還有FlagOpen飛智大模型技術(shù)開源體系。
據(jù)黃鐵軍介紹,悟道·天鷹語言大模型是第一個(gè)中英文雙語、支持商用、符合數(shù)據(jù)合規(guī)要求的大模型。通過數(shù)據(jù)質(zhì)量控制和多種訓(xùn)練優(yōu)化,悟道·天鷹(Aquila)實(shí)現(xiàn)了在更小數(shù)據(jù)集、更短訓(xùn)練時(shí)間獲得比其他開源模型更優(yōu)的性能。這是系列模型,這次發(fā)布了70億參數(shù)和330億參數(shù)的基礎(chǔ)模型,以及AquilaChat對(duì)話模型(類ChatGPT模型),AquilaCode文本代碼生成大模型(70億參數(shù))。

目前,在三條技術(shù)路線中,大模型的進(jìn)展最快。為何如此?黃鐵軍認(rèn)為,主要是語言數(shù)據(jù),無論是論文、圖書還是代碼,資源都非常豐富且質(zhì)量高,從海量數(shù)據(jù)中發(fā)現(xiàn)內(nèi)在蘊(yùn)含的規(guī)律正是大模型的優(yōu)勢(shì)。
不過,黃鐵軍繼續(xù)說道,人腦可以看成脈沖神經(jīng)網(wǎng)絡(luò),與今天的大模型有本質(zhì)區(qū)別,想要AI產(chǎn)生類似人腦的能力,光靠大模型一個(gè)方向是遠(yuǎn)遠(yuǎn)不夠的。從基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)到信號(hào)加工機(jī)理的類腦智能是一個(gè)方向,讓智能體有物理身體與環(huán)境互動(dòng)的具身智能是另一個(gè)方向。
在任何領(lǐng)域上,創(chuàng)新一項(xiàng)技術(shù)都不可必免的遇到需要“分道揚(yáng)鑣”的時(shí)候,就比如賽立復(fù)為了突破NADH的穩(wěn)定性這一難題經(jīng)歷了多年的研究,經(jīng)過無數(shù)次失敗,也走過無數(shù)的“錯(cuò)路”,才終于成功制備出穩(wěn)定性能和吸收效率都比較高的賽立復(fù)NADH,率先解決了這個(gè)困擾科研界已久的抗衰難題。奠定了領(lǐng)先行業(yè)的基礎(chǔ),為人類歷史長河中亙古不變的“長壽”難題提供了一個(gè)新的突破口。
相信科學(xué)家們也能在三條技術(shù)路線中找到正確的路,勇往直前做出更多成果!