ChatGPT發(fā)布以來，基于指令學習技術(shù)的類ChatGPT模型在我國能否開發(fā)成功，成為業(yè)界關(guān)注的一個焦點。復旦大學自然語言處理實驗室也于近日發(fā)布了國內(nèi)第一個對話式大型語言模型MOSS（https://moss.fastnlp.top/）。這個MOSS的命名靈感來自《流浪地球》中的人工智能MOSS，給人留下無限遐想。

該項目由復旦大學的邱錫鵬教授團隊開發(fā)，其可執(zhí)行對話生成、編程、事實問答等一系列任務(wù)，打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術(shù)路徑。與ChatGPT一樣，MOSS的開發(fā)過程包括自然語言模型的基座訓練、理解人類意圖的對話能力訓練兩個階段。在對話能力訓練階段，OpenAI收集了至少幾十萬條人類指令，讓各行各業(yè)的專業(yè)標注員寫出指令回復，再將它們輸入模型基座，以幫助GPT逐步理解各種指令。而復旦團隊則采用不同的技術(shù)路線，通過讓MOSS和人類以及其他對話模型都進行交互，顯著提升了學習效率和研發(fā)效率，短時間內(nèi)就高效完成了對話能力訓練。

雖然目前已經(jīng)開放至公眾平臺進行內(nèi)測，不過只限受邀請用戶體驗，胖胖老師已經(jīng)申請了內(nèi)測申請，加入了等待列表。從目前能了解的情況來看，MOSS的訓練模型還是偏重于英文，其模型基座學習了3000多億個英文單詞，中文詞語只學了約300億個，因而使用英語進行連續(xù)性提問的效果較好。

用來輔助編程也是ok的。

相較于ChatGPT，MOSS還是一個“新生兒”，但相信其憑借著開源的模型算法，能夠獲得更多開發(fā)者的關(guān)注，相信不久的未來，MOSS會被賦予更多的能力，如繪圖、語音、譜曲和教學，并加強它輔助科學家進行高效科研的能力等，值得期待。