OpenBMB 年度大事記

2023-01-03 11:27 作者:OpenBMB 0人讀過(guò) | 我要投稿

搭建BMSystem｜訓(xùn)練?微調(diào)?推理一網(wǎng)打盡?

—

我們逐步搭建大模型訓(xùn)練能力體系，推出大模型全流程加速工具包，包括大模型訓(xùn)練、微調(diào)、推理三大套件。訓(xùn)練套件包括“原料”收集器?BMData、訓(xùn)練“發(fā)動(dòng)機(jī)”?BMTrain、“瘦身”工具庫(kù)?BMCook；微調(diào)套件包括提示學(xué)習(xí)利器?OpenPrompt、參數(shù)高效微調(diào)工具?OpenDelta、開(kāi)發(fā)者共享能力的?Delta Center；推理套件包括高效壓縮工具?BMCook?和高效推理工具?BMInf。其中，OpenPrompt 發(fā)布以來(lái)在GitHub上獲得?2.2k+?star，其他工具包的 star 總和也達(dá)到1.3k+。

啟動(dòng)CPM-Live｜Ant落地 Bee起飛

—

我們發(fā)起百億大模型訓(xùn)練直播項(xiàng)目?CPM-Live，計(jì)劃書(shū)于5月26日發(fā)布。第一期模型 CPM-Ant?的訓(xùn)練在5月29日正式啟動(dòng)，耗時(shí)68天于8月5日完成結(jié)束，報(bào)告最后在9月16日?qǐng)A滿發(fā)布。CPM-Ant實(shí)現(xiàn)了?計(jì)算高效、性能優(yōu)異、部署經(jīng)濟(jì)、使用便捷?和?開(kāi)放民主?五大特點(diǎn)。

第二期模型 CPM-Bee?在10月13日開(kāi)啟訓(xùn)練，CPM-Bee 的訓(xùn)練中新增?任務(wù)模式增強(qiáng)、多語(yǔ)言融合、復(fù)雜結(jié)構(gòu)處理?等新特性。CPM-Bee即將完訓(xùn)，敬請(qǐng)期待！

打造交流社區(qū) ｜筑大模型開(kāi)源生態(tài)

—

我們構(gòu)筑了多位一體的大模型開(kāi)源生態(tài)。OpenBMB 所有開(kāi)源項(xiàng)目在?GitHub?為開(kāi)發(fā)者提供了良好的開(kāi)源體驗(yàn)，收獲了?3.5k+?star。我們?cè)?微信公眾號(hào)、B站、知乎、智源社區(qū)?多個(gè)平臺(tái)提供相關(guān)信息資訊，粉絲總量?6k+，還有近 2000?名興趣人員加入 OpenBMB 交流社群，深入討論大模型問(wèn)題。

我們也陸續(xù)在?Twitter、Medium、Hacker News?等海外平臺(tái)同步了英文資訊，未來(lái)我們還將積極建立海外社群，爭(zhēng)取打造全球化大模型交流社區(qū)。

科研成果豐碩｜鋪路大模型應(yīng)用

—

2022年2月，團(tuán)隊(duì)發(fā)布生物醫(yī)學(xué)領(lǐng)域大模型?KV-PLM，論文入選?Nature Communications?亮點(diǎn)推薦文章；3月，BMInf、OpenPrompt 的相應(yīng)論文被 ACL 2022 Demo 錄用，BMInf 以極低的計(jì)算成本支持大模型的推理和微調(diào)，OpenPrompt 提供統(tǒng)一接口的提示學(xué)習(xí)模版語(yǔ)言；5月，開(kāi)源工具包 OpenPrompt 獲國(guó)際計(jì)算語(yǔ)言學(xué)頂級(jí)會(huì)議?ACL 2022 最佳展示論文獎(jiǎng)。

在以上科研成果的基礎(chǔ)上，我們不斷完善和應(yīng)用大模型工具包，推動(dòng)學(xué)術(shù)成果的實(shí)踐轉(zhuǎn)化。

上線公開(kāi)課程｜全民科普大模型

—

我們于 7月29日在B站推出包括9個(gè)課程、總時(shí)長(zhǎng)18小時(shí)的公開(kāi)課，是?國(guó)內(nèi)首門(mén)系統(tǒng)的大模型公開(kāi)課程，目前播放量已達(dá)?3w+，課程至今好評(píng)如潮。

9月29日起，我們又在微信公眾號(hào)和B站聯(lián)動(dòng)推出【論文速讀】欄目，主打用腦圖在10min 內(nèi)帶大家快速掌握一篇前沿經(jīng)典論文，目前已陸續(xù)帶讀了EMNLP、ACL、ICLR三大頂會(huì)的論文，視頻總播放量1w+。

10月20日，知乎“知學(xué)堂”上線我們的?大模型公開(kāi)課，反響十分熱烈，截至目前總學(xué)習(xí)次數(shù)?43w+。

參與活動(dòng)交流｜線上線下兩開(kāi)花

—

在前三個(gè)季度的沉淀下，我們?cè)诘谒募径葏⒓恿烁黝惤涣骰顒?dòng)，給廣大關(guān)注者交代開(kāi)源成果，也與業(yè)界同仁互享經(jīng)驗(yàn)。

10月29日，我們參加?中國(guó)開(kāi)源年會(huì)北京分會(huì)場(chǎng)?的線下活動(dòng)開(kāi)源集市，活動(dòng)現(xiàn)場(chǎng)氛圍熱烈。我們于11月19日參與?DataFunSummit 2022?“新一代 AI 基礎(chǔ)架構(gòu)及應(yīng)用” 這一主題論壇的討論。在12月10日，我們攜手智源研究院、PARATERA 并行科技舉辦 “2022 大模型創(chuàng)新論壇 · 訓(xùn)練營(yíng)”。最后，我們?cè)?2月22日參與了?智東西公開(kāi)課「大模型系列直播課」第4講。