關(guān)注AI界的“冰山理論”，海平面之下的技術(shù)生態(tài)才是根基！這一次，不再爭ChatGPT，而是要走開源道路，做大模型領(lǐng)域的Linux

原創(chuàng) | 文BFT機(jī)器人

01

大模型時(shí)代，

需要這樣的開源

自ChatGPT熱度暴漲以來，國內(nèi)追趕AI大模型腳步的團(tuán)隊(duì)接踵而至，無論是百度“文心一言”、阿里通義大模型、京東言犀大模型、華為盤古大模型還是清華NLP團(tuán)隊(duì)......近乎每一個(gè)都奔著“打造中國的OpenAI”而去。

在一眾聚焦ChatGPT未來發(fā)展應(yīng)用的團(tuán)隊(duì)外，有一個(gè)默默追尋技術(shù)底層創(chuàng)新的團(tuán)隊(duì)，為AI界的大模型發(fā)展開辟了新平臺。

2月28日，智源人工智能研究院正式官宣FlagOpen飛智大模型技術(shù)開源體系。作為國內(nèi)首個(gè)大模型開源體系，F(xiàn)lagOpen聯(lián)合了三十多家產(chǎn)學(xué)研單位，這一次不再是爭中國版ChatGPT，而是要打造大模型領(lǐng)域的Linux！

“大模型時(shí)代，需要這樣的開源。”“智能時(shí)代需要真開源，不是Android那樣的利用開源，不是某一企業(yè)控制的開源，而是完全在開源社區(qū)發(fā)展的、大家的開源，就像Linux、RISC-V和2022年完全轉(zhuǎn)入開源社區(qū)的PyTorch。

”這是智源人工智能研究院院長黃鐵軍在發(fā)布會上的發(fā)表的壯志豪言。

開源，即站在“巨人的肩膀”上搞研發(fā)，規(guī)避了閉門造車、重復(fù)造輪子的弊端。無論是Google收購ROS，還是智源著力打造的FlagOpen，都不難看出合作仍是未來科技發(fā)展的大趨勢。因此，開源是時(shí)代所需，亦是時(shí)代所趨。

02

六大模塊集聚，

為AI發(fā)展助力

據(jù)悉，F(xiàn)lagOpen作為一站式基礎(chǔ)軟件平臺，包括了六大模塊：FlagAI（算法）、FlagPerf、FlagEval（測評）、FlagData（數(shù)據(jù)）、FlagStudio和 FlagBoot，其中包括算法、測評、數(shù)據(jù)等作為關(guān)鍵創(chuàng)新組件，讓基于平臺全球的開發(fā)者可以迅速啟動(dòng)對于大模型的開發(fā)工作，對于企業(yè)來說無疑是大大降低了研發(fā)門檻。

FlagAI：集大模型算法和工具為一體的一站式開源大模型軟件體系

FlagAI集成了一眾主流大模型算法技術(shù)，并行處理和訓(xùn)練加速技術(shù)，支持高效訓(xùn)練。其中涵蓋的豐富模型資源包括 NLP、計(jì)算機(jī)視覺與多模態(tài)等多個(gè)領(lǐng)域，例如通用大語言模型GLM，視覺大模型Swin Transformer，多模態(tài)大模型CLIP，文生圖大模型AltDiffusion等。

FlagPerf：針對多種AI硬件的一體化評測引擎

一直以來AI硬件方面的評測具備較高的難度，但因其對AI生態(tài)具有重要意義，F(xiàn)lagPerf特別提供一個(gè)更為靈活，更為客觀公平的 AI 芯片評測體系。目前，F(xiàn)lagPerf支持多種深度學(xué)習(xí)框架、提供AI性能測試，更加便于AI芯片廠商插入底層支撐工具的AI系統(tǒng)測評生態(tài)。

FlagEval：聯(lián)合全國多個(gè)高校產(chǎn)學(xué)研團(tuán)隊(duì)而成的模型測評開源項(xiàng)目

FlagEval是聯(lián)合了多個(gè)產(chǎn)學(xué)研團(tuán)隊(duì)共同打造的，旨在探索和集合科學(xué)、公正、開放的，基礎(chǔ)模型評測基準(zhǔn)、方法及工具，探索大模型自動(dòng)評測技術(shù)，推動(dòng)大模型技術(shù)創(chuàng)新和產(chǎn)業(yè)應(yīng)用。當(dāng)前，F(xiàn)lagEval 率先開放了多模態(tài)領(lǐng)域CLIP系列模型測評工具，未來會陸續(xù)擴(kuò)充測評工具的布局。

FlagData：即開即用的大模型研究領(lǐng)域的開源工具包

FlagData 是在智源研究院構(gòu)建的全球最大語料庫——WuDaoCorpora的基礎(chǔ)上，開發(fā)的數(shù)據(jù)處理工具和算法，囊括了清洗、標(biāo)注、壓縮、統(tǒng)計(jì)分析等功能，為自然語言處理、計(jì)算機(jī)視覺等領(lǐng)域的各類模型訓(xùn)練與部署，給予了更多的數(shù)據(jù)支持。

FlagStudio：通過AI大模型為藝術(shù)創(chuàng)作提供更多場景的可能

FlagStudio 以研究院此前在NLP和CV領(lǐng)域的研究為基礎(chǔ)，通過圖文、聲文等多模態(tài)模型，構(gòu)建了應(yīng)用文生圖、文生音樂等人工智能模型支持藝術(shù)創(chuàng)作相關(guān)的開源項(xiàng)目集合，旨在為更多的中文藝術(shù)創(chuàng)作場景提供AI方面的協(xié)助。

FlagBoot：基于 Scala 開發(fā)的輕量級高并發(fā)微服務(wù)框架

FlagBoot 框架微服務(wù)處理任何一個(gè) API 都是完全異步執(zhí)行的，能夠使開發(fā)者對異步線程控制進(jìn)行性能良好的統(tǒng)一管理。FlagBoot 用極少的代碼量讓開發(fā)者快速掌握使用的邏輯，快速上手進(jìn)行自定義修改。

03

做巨人的肩膀，

讓FlagOpen為AI時(shí)代開啟無限可能

當(dāng)前，“大數(shù)據(jù)+大算力+強(qiáng)算法=大模型”是AI發(fā)展的主流，F(xiàn)lagOpen的出現(xiàn)將這一系列所需技術(shù)進(jìn)行了深度的整合，其建立的共享開源開放生態(tài)，讓AI的研發(fā)與應(yīng)用門檻大幅降低，AI不再是高掛的“空中樓閣”，更多開發(fā)者和企業(yè)都將有機(jī)會嘗試大模型的研發(fā)工作。

這無疑會為國內(nèi)AI未來的發(fā)展帶來深遠(yuǎn)的影響，新一輪的AI研發(fā)熱潮或?qū)⒁u來。

正如黃鐵軍院長所言，AI現(xiàn)象只是大模型技術(shù)「海平面以上」的冰山一角，深藏于「海平面以下部分」的基礎(chǔ)大模型技術(shù)研發(fā)體系或許才是更值得關(guān)注的部分。

當(dāng)所有人都在追趕AI落地、未來應(yīng)用的時(shí)候，一定需要有一個(gè)能讓研究人員站在巨人的肩膀上探索的平臺，曾經(jīng)在電商界或許是阿里、是京東，而如今的AI領(lǐng)域，這個(gè)能給未來帶來無限可能的平臺也許就是FlagOpen。

更多精彩內(nèi)容請關(guān)注公眾號：BFT機(jī)器人

本文為原創(chuàng)文章，版權(quán)歸BFT機(jī)器人所有，如需轉(zhuǎn)載請與我們聯(lián)系。若您對該文章內(nèi)容有任何疑問，請與我們聯(lián)系，將及時(shí)回應(yīng)。