經(jīng)過五個(gè)月的開發(fā)和場(chǎng)景打磨，孟子多任務(wù)模型正式開源，提供出色的 Zero-Shot 及 Few-Shot?能力，以 0.22B 的輕量化模型在零樣本學(xué)習(xí) ZeroCLUE 和小樣本學(xué)習(xí)權(quán)威榜單?FewCLUE 榜單均排名第一，大家可通過 Hugging Face Model Hub 或 GitHub 下載使用（鏈接見下文）。?

孟子多任務(wù)模型不僅可以實(shí)現(xiàn)“一個(gè)模型完成多個(gè)任務(wù)”，還具備極強(qiáng)的泛化能力，無需大量標(biāo)注數(shù)據(jù)就可以完成新任務(wù)適配，在應(yīng)用上能夠讓模型研發(fā)和部署維護(hù)更加輕量化。

這與瀾舟團(tuán)隊(duì)自創(chuàng)立以來一直倡導(dǎo)的?“模型輕量化”?技術(shù)路線一脈相承——2021 年孟子輕量化預(yù)訓(xùn)練模型僅以十億參數(shù)，戰(zhàn)勝了眾多百億、千億參數(shù)的大模型，登頂中文語言理解權(quán)威評(píng)測(cè)基準(zhǔn) CLUE 榜單，并在同年 10 月份開源了四個(gè)模型（Mengzi-BERT-base、Mengzi-BERT-base-fin、Mengzi-T5-base、Mengzi-Oscar-base）。?

此次開源孟子多任務(wù)模型是瀾舟團(tuán)隊(duì)在“模型輕量化”方面又一個(gè)重要進(jìn)展，期待與各界同仁一起探討、交流，讓輕量化模型賦能更多應(yīng)用場(chǎng)景。??

一、為什么要研究“多任務(wù)學(xué)習(xí)”？

多任務(wù)學(xué)習(xí)（Multi-Task Learning，MTL）是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，其利用任務(wù)之間的共性和差異同時(shí)解決多個(gè)學(xué)習(xí)任務(wù)。與單獨(dú)訓(xùn)練模型相比，這可以提高特定任務(wù)模型的學(xué)習(xí)效率和預(yù)測(cè)準(zhǔn)確性。[1]?

一般來說，多任務(wù)模型具有以下優(yōu)勢(shì)：?

• 無需對(duì)底層模型進(jìn)行任何改動(dòng)，使用一個(gè)模型即可完成各種任務(wù)；

• 多任務(wù)模型具備極強(qiáng)的泛化能力，面對(duì)新任務(wù)無需額外標(biāo)注大量數(shù)據(jù)；

• 大幅降低每次面對(duì)新任務(wù)時(shí)模型的額外研發(fā)成本（包括計(jì)算成本、存儲(chǔ)成本以及維護(hù)成本）。

因此，多任務(wù)學(xué)習(xí)近期已成為工業(yè)界廣泛關(guān)注的方向。?

二、孟子多任務(wù)模型優(yōu)勢(shì)

我們收集并整理了 72 個(gè)開源數(shù)據(jù)集（不包括子集），目前在挑選出的 27 個(gè)任務(wù)上，構(gòu)造了 301 個(gè) Prompt，共計(jì)樣本量約 359w，任務(wù)類型包含了情感分類、新聞分類、摘要等任務(wù)，每個(gè)任務(wù)對(duì)應(yīng)了十個(gè)左右的 Prompt。我們采用這些數(shù)據(jù)集基于 孟子 Mengzi-T5-base 模型訓(xùn)練了孟子多任務(wù)模型（Mengzi-T5-base-MT）?。?

2.1 效果更好

孟子多任務(wù)模型（Mengzi-T5-base-MT）在 2022 年 8 月 22 日提交至零樣本學(xué)習(xí) ZeroCLUE?和小樣本學(xué)習(xí)權(quán)威榜單 FewCLUE 榜單，均排名第一。同時(shí)，孟子多任務(wù)模型在模型的規(guī)模上輕量化優(yōu)勢(shì)明顯（參數(shù)量?jī)H?0.22B）。下圖展示了孟子多任務(wù)模型在零樣本學(xué)習(xí)權(quán)威榜單 ZeroCLUE 上與其他模型的對(duì)比：??

2.2 實(shí)際場(chǎng)景驗(yàn)證

孟子多任務(wù)模型基于用戶私有數(shù)據(jù)及各個(gè)領(lǐng)域（包括金融、醫(yī)療）的任務(wù)訓(xùn)練，已經(jīng)在大量實(shí)際場(chǎng)景中得到驗(yàn)證。?

下圖展示了 Mengzi-T5-base-MT 模型在金融實(shí)體關(guān)系抽取任務(wù)的示例：?

更多模型能力展示：?

可以看到，在實(shí)體抽取、語義相似度、金融關(guān)系抽取、廣告文案生成、醫(yī)學(xué)領(lǐng)域意圖分析、評(píng)論情感分類、評(píng)論對(duì)象抽取、新聞分類等任務(wù)上的效果，孟子多任務(wù)模型的總體效果較優(yōu)。未來我們也將在多任務(wù)方向進(jìn)行更加深入的探索和實(shí)踐。?

三、快速體驗(yàn)孟子多任務(wù)模型

孟子多任務(wù)模型已開源，大家可以在 Hugging Face Model Hub 下載 Mengzi-T5-base-MT 模型或在網(wǎng)頁(yè) API 直接試用模型：

https://huggingface.co/Langboat/mengzi-t5-base-mt

或者在 Github 上查看開源 SDK project—— Mengzi Zero-Shot：

https://github.com/Langboat/mengzi-zero-shot

Mengzi Zero-Shot 項(xiàng)目提供的 SDK 目前已支持八項(xiàng)任務(wù)（涵蓋了情感分類、新聞分類、文本相似度、實(shí)體抽取、金融實(shí)體關(guān)系抽取、評(píng)論對(duì)象抽取、廣告文案生成、醫(yī)療領(lǐng)域意圖識(shí)別等），具體信息詳見 Github 項(xiàng)目文檔。

此次開源的目標(biāo)是與社區(qū)伙伴們一起打造中文領(lǐng)域包含任務(wù)最多、prompt 最多的多任務(wù)模型。根據(jù) ExT5[2] 的結(jié)論，隨著任務(wù)及 prompt 的數(shù)量的增加，模型的 Zero-Shot 表現(xiàn)會(huì)相應(yīng)提高。因此，我們希望大家能夠?yàn)楸卷?xiàng)目貢獻(xiàn)更多的任務(wù)以及 prompt，以獲得更好的多任務(wù)模型。模型會(huì)不定期更新并開源給大家免費(fèi)使用。詳情見項(xiàng)目 README 文檔，或加入孟子開源社區(qū)交流群一起討論（關(guān)注公眾號(hào)“瀾舟科技”）。

Reference :?

[1]https://en.wikipedia.org/wiki/Multi-task_learning?

[2]Aribandi V, Tay Y, Schuster T, et al. Ext5: Towards extreme multi-task scaling for transfer learning[J]. arXiv preprint arXiv:2111.10952, 2021.