2022年10月13日，我們開(kāi)啟了CPM-Live第二期模型CPM-Bee的訓(xùn)練。在CPM-Ant的基礎(chǔ)上，CPM-Bee考慮了任務(wù)模式增強(qiáng)、多語(yǔ)言融合、復(fù)雜結(jié)構(gòu)處理等新特性。CPM-Bee訓(xùn)練即將完成，成果到底如何？我們決定將CPM-Bee“拉出來(lái)遛遛”。

ZeroCLUE是中文零樣本學(xué)習(xí)權(quán)威榜單，在學(xué)術(shù)界和工業(yè)界有著廣泛的影響力，自發(fā)布以來(lái)已經(jīng)吸引了百度、阿里云、IDEA 研究院、瀾舟科技等多家企業(yè)和研究院的參與。為了驗(yàn)證模型的泛化能力，我們選用這個(gè)榜單做了一下測(cè)評(píng)。

1月15日，CPM-Bee 模型在 ZeroCLUE 榜單上登頂榜首，距離上一次刷新僅僅四天，并且將總分提高了3.375分，超過(guò)了原排名前五的模型間分?jǐn)?shù)提升之和。

CPM-Bee是一個(gè)開(kāi)源的雙語(yǔ)預(yù)訓(xùn)練語(yǔ)言模型，參數(shù)量為10B，模型不僅有十余種原生能力（仍在持續(xù)增加），更是具有強(qiáng)大的通用語(yǔ)言能力。CPM-Bee模型是直播訓(xùn)練開(kāi)源大模型CPM-Live項(xiàng)目的二期成果。

CPM-Bee 何以登頂?

—

01 多任務(wù)與訓(xùn)練??

CPM-Bee 在預(yù)訓(xùn)練過(guò)程中引入各類常見(jiàn)任務(wù)模式的數(shù)據(jù)增強(qiáng)，包括分類、生成、問(wèn)答、摘要、翻譯、信息抽取等任務(wù)，使得 CPM-Bee 在各類文本處理任務(wù)上能夠開(kāi)箱即用。我們共選取了超過(guò) 20 種任務(wù)，收集和整理了 50 余個(gè)開(kāi)源數(shù)據(jù)集，同時(shí)使用已有的高質(zhì)量中英文數(shù)據(jù)構(gòu)造了多種任務(wù)數(shù)據(jù)進(jìn)一步增強(qiáng)預(yù)訓(xùn)練數(shù)據(jù)。針對(duì)每種任務(wù)，我們也構(gòu)造了不同的數(shù)據(jù)格式，并加入多個(gè)人工編寫的指令（instruction），保證數(shù)據(jù)的多樣性。

02?結(jié)構(gòu)化輸入輸出??

已有的預(yù)訓(xùn)練語(yǔ)言模型主要立足于利用非結(jié)構(gòu)化文本進(jìn)行訓(xùn)練，因而對(duì)于半結(jié)構(gòu)化及結(jié)構(gòu)化數(shù)據(jù)的處理能力較弱。在 CPM-Bee 中，我們加入了各類半結(jié)構(gòu)化及結(jié)構(gòu)化數(shù)據(jù)的處理功能。用戶無(wú)需考慮如何將已有數(shù)據(jù)壓縮為一個(gè)字符串，可以直接將 JSON 格式的數(shù)據(jù)輸入模型，就可以很方便地完成微調(diào)和推理，極大地降低了模型的使用門檻。以 ZeroCLUE 上的情感分析任務(wù)（EPRSTMT）為例，模型的輸入可以是選擇題的格式：

模型的答案是?<option_0>?。我們的輸入同樣可以不給選項(xiàng)：

此時(shí)，CPM-Bee也能夠通過(guò)生成的方式給出答案?“積極”。

03?結(jié)構(gòu)化輸入輸出??

除了在 ZeroCLUE 榜單上的各個(gè)文本理解任務(wù)上表現(xiàn)優(yōu)異之外，CPM-Bee 也擁有著很強(qiáng)的通用語(yǔ)言能力，可以通過(guò)文本生成的方式完成很多有意思的任務(wù)，例如寫作文、生成菜譜、推薦禮物等等。下面是 CPM-Bee 為我們生成的豬肉燉粉條菜譜，媽媽再也不用擔(dān)心我不會(huì)做飯了（doge）。

04?支持中英雙語(yǔ)??

雖然上述例子都是中文的，但 CPM-Bee 也使用了英文數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，同樣能夠完成各類英文任務(wù)以及中英翻譯任務(wù)。

小蜜蜂，國(guó)際范！

CPM-Bee 模型體驗(yàn)?

—

根據(jù) CPM-Bee 的能力，OpenBMB 開(kāi)發(fā)了「模力表格」應(yīng)用，試圖讓大模型真正作用于普通人的生產(chǎn)生活?！改ＡΡ砀瘛故且豢畲竽Ｐ万?qū)動(dòng)的表格效率工具，在保留表格工具原有全部功能基礎(chǔ)上，通過(guò)大模型實(shí)現(xiàn)文本內(nèi)容的批量化語(yǔ)義“計(jì)算”，進(jìn)一步提升了表格工作效率。大模型能力以函數(shù)形式嵌入，不用配置環(huán)境、不用跑代碼，只用打開(kāi)熟悉的表格，輸入大模型函數(shù)即可。IE、QA、MT、SA、SM 等短短幾個(gè)函數(shù)就可以一鍵處理大批量文本，輕松滿足大家在工作學(xué)習(xí)中的信息抽取、問(wèn)答、翻譯、情感分析和摘要等多種文本處理需求。

此外，OpenBMB 的官網(wǎng)也上線了 CPM-Bee?體驗(yàn)頁(yè)面，可以體驗(yàn)結(jié)構(gòu)化輸入輸出。頁(yè)面上方可以看到模型訓(xùn)練的總吞吐量、總花費(fèi)和總天數(shù)，之后左下角也會(huì)更新模型供大家下載，右邊則是模型能力的測(cè)評(píng)雷達(dá)圖。

?????開(kāi)源項(xiàng)目介紹?

CPM-Live 是由OpenBMB開(kāi)源社區(qū)發(fā)起的直播訓(xùn)練大模型項(xiàng)目，研發(fā)團(tuán)隊(duì)包括面壁智能和清華大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室（THUNLP）。

第一期模型 CPM-Ant 已經(jīng)在9月16日?qǐng)A滿發(fā)布，實(shí)現(xiàn)了計(jì)算高效、性能優(yōu)異、部署經(jīng)濟(jì)、使用便捷和開(kāi)放民主五大特點(diǎn)。第二期 CPM-Bee 于10月13日開(kāi)啟了訓(xùn)練，此次登頂 ZeroCLUE，正是團(tuán)隊(duì)潛心訓(xùn)“?！钡碾A段性成果。

CPM-Bee 的技術(shù)報(bào)告和模型將在年后發(fā)布，敬請(qǐng)大家期待！

?????商務(wù)合作開(kāi)拓?

除了即將發(fā)布的開(kāi)源版本之外，OpenBMB 聯(lián)合面壁智能探索出了一套成熟的業(yè)務(wù)落地經(jīng)驗(yàn)，企業(yè)版模型具備更好的效果和更完善的落地方案：

• 能力更多：模型預(yù)訓(xùn)練階段涵蓋更多任務(wù)，NLP 能力應(yīng)有盡有；

• 效果更好：同任務(wù)上零/少樣本效果更好；

• 高效微調(diào)：消費(fèi)級(jí)顯卡即可實(shí)現(xiàn)單卡高效微調(diào)，更好地適配客戶下游任務(wù)，并提供專家指導(dǎo)；

• 極速推理：適配面壁智能 BMEngine 推理引擎，低資源場(chǎng)景下也可極速推理，滿足線上業(yè)務(wù)需要。

  
  

  如果您對(duì)商業(yè)合作感興趣，歡迎通過(guò)郵件聯(lián)系

  business@modelbest.cn

???????破壁英才招募

OpenBMB 開(kāi)源社區(qū)發(fā)起面向高校博士生、碩士生和優(yōu)秀本科生的?“破壁英才”?實(shí)習(xí)生項(xiàng)目。項(xiàng)目由?OpenBMB開(kāi)源社區(qū)?和?清華大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室（THUNLP）共同發(fā)起，旨在培養(yǎng)大模型相關(guān)的高水平研究與工程人才。（前往OpenBMB開(kāi)源社區(qū)公眾號(hào)《OpenBMB發(fā)布“破壁英才”實(shí)習(xí)生項(xiàng)目》推送查看詳情）

? 傳送門??「模力表格」體驗(yàn)直達(dá)?

???https://live.openbmb.org/playground/

? 傳送門?? CPM-Bee體驗(yàn)頁(yè)面?

???https://live.openbmb.org/models/bee

? 傳送門?? CPM-Live GitHub?

???https://github.com/OpenBMB/CPM-Live

? 傳送門?? CPM-Live 主頁(yè)?

????https://live.openbmb.org

???加社群/ 提建議/ 有疑問(wèn)?

請(qǐng)找 OpenBMB 萬(wàn)能小助手：

?? 關(guān)注我們

微信搜索關(guān)注 “OpenBMB開(kāi)源社區(qū)”

后臺(tái)回復(fù)“CPM-Live” 即可加入CPM-Live加油群

還可獲取更多大模型干貨知識(shí)和前沿資訊！?