你是否知道：

???早在 2017 年，Google 就已經(jīng)推出了一款?1370億?參數(shù)的“大模型”？（基于 MoE 和 LSTM 架構(gòu)）

???都說(shuō)大模型訓(xùn)練很難，但目前已經(jīng)公開(kāi)發(fā)表的 10 億以上參數(shù)大模型就已經(jīng)?超過(guò)了100個(gè)?？

???除了常見(jiàn)的英文、中文大模型，針對(duì)?法語(yǔ)、韓語(yǔ)、俄語(yǔ)、阿拉伯語(yǔ)?等語(yǔ)言也已經(jīng)有大模型公開(kāi)發(fā)布？

???大模型時(shí)代，哪些公司與機(jī)構(gòu)已經(jīng)爭(zhēng)得頭籌，目前擁有最多的大模型訓(xùn)練經(jīng)驗(yàn)與儲(chǔ)備？

???面對(duì)這么多的大模型，光是記住名字我們就已經(jīng)暈頭轉(zhuǎn)向，當(dāng)我們需要具體了解的時(shí)候，我們應(yīng)該如何選擇，并且在需要的時(shí)候快速找到相關(guān)的資源呢？

BMList?能夠回答這些問(wèn)題！

OpenBMB 推出的大模型榜單 BMList 在?GitHub 上已發(fā)布多時(shí)，BMList 整理了公開(kāi)的大模型信息，通過(guò)?大模型榜單?對(duì)大模型信息進(jìn)行全面展示，并在?大模型長(zhǎng)廊?中對(duì)模型信息進(jìn)行了作圖統(tǒng)計(jì)。兩種方式讓我們能夠更加全面、直觀地了解到當(dāng)前的大模型信息，掃碼速看????

大模型榜單

大模型榜單以多維表格形式展示大模型相關(guān)信息。這份列表具有如下特點(diǎn)：

???信息全面

榜單收錄了大模型?發(fā)布日期、機(jī)構(gòu)、語(yǔ)言、參數(shù)量?等信息，并提供?文檔、參數(shù)、代碼、API 鏈接。

???篩選快捷

榜單支持通過(guò)?機(jī)構(gòu)、語(yǔ)言、領(lǐng)域?等標(biāo)簽進(jìn)行模型篩選，方便用戶快速查看某一特定語(yǔ)言、特定機(jī)構(gòu)、特定領(lǐng)域相關(guān)的模型。

???關(guān)注開(kāi)源

榜單整理了大模型的?參數(shù)、代碼、API 開(kāi)源鏈接，方便用戶快速查找使用并體驗(yàn)大模型能力。

大模型長(zhǎng)廊

大模型長(zhǎng)廊中提供了大模型信息相關(guān)統(tǒng)計(jì)圖表。通過(guò)公開(kāi)信息，我們可以從中觀察大模型的發(fā)展趨勢(shì)并得到很多有趣的結(jié)論（分析僅限于已收錄數(shù)據(jù)）。

在這張大模型趨勢(shì)圖中可以看出，英文文本模型仍占據(jù)主流，中文文本模型比英文文本模型出現(xiàn)稍晚，但在各數(shù)量級(jí)都有相應(yīng)的中文文本模型推出。在圖中也可以看出，2017 年最早的“大模型”?Sparsely-Gate MoE，以及目前最大的 10 萬(wàn)億參數(shù)模型?M6-10T。

在不同組織發(fā)布的模型數(shù)量統(tǒng)計(jì)圖中，我們可以看到?Google?一騎絕塵，推出了 20 余個(gè)大模型，Meta?和?清華大學(xué)?緊隨其后。在模型數(shù)方面，國(guó)內(nèi)外各組織仍大體上旗鼓相當(dāng)。

而對(duì)于所有發(fā)布模型的參數(shù)量總和，我們能夠發(fā)現(xiàn)前十名的機(jī)構(gòu)中?阿里、BAAI、鵬城實(shí)驗(yàn)室、百度?分列第一、第三、第九、第十位，在總參數(shù)量上國(guó)內(nèi)機(jī)構(gòu)稍落后于國(guó)外。

參與貢獻(xiàn)

BMList 提供了非常簡(jiǎn)單的方式來(lái)增加新的模型。我們約定了一個(gè)簡(jiǎn)單的模型選擇規(guī)則：

???01??模型參數(shù)需大于?10億（即大于?1B?參數(shù)）

???02??模型已通過(guò)論文、博客或新聞?公開(kāi)發(fā)布

參考?貢獻(xiàn)指南：

您只需要提交一份以大模型名為文件名的 yaml 文件到 big_models 文件夾即可，PR 通過(guò)后，大模型榜單和大模型長(zhǎng)廊將會(huì)自動(dòng)更新。

除了增加新模型，如果您對(duì)?數(shù)據(jù)展示形式、模型信息字段?等內(nèi)容有新的想法與意見(jiàn)，也非常歡迎在社區(qū)提出。除此之外，由于信息來(lái)自公開(kāi)渠道，榜單在收錄模型與模型信息等內(nèi)容上可能會(huì)不完全準(zhǔn)確，也希望大家能夠積極通過(guò) issue 和 PR 提出寶貴意見(jiàn)與建議！

最后，希望 BMList 能夠成為大模型時(shí)代的 “備忘錄”，讓我們一起見(jiàn)證大模型時(shí)代的進(jìn)步與發(fā)展！

關(guān)注我們

微信搜索關(guān)注 “OpenBMB開(kāi)源社區(qū)”

加入社群或獲取更多大模型干貨知識(shí)和前沿資訊！?

??傳送門(mén)｜相關(guān)鏈接

?? ?官方網(wǎng)站：https://www.openbmb.org

?? ?GitHub：https://github.com/OpenBMB

?? ?交流QQ群：735930538

?? ?啟智社區(qū)：https://git.openi.org.cn/OpenBMB

?? ?微博：http://weibo.cn/OpenBMB

?? ?知乎：https://www.zhihu.com/people/OpenBMB

?? ?Twitter：https://twitter.com/OpenBMB?