"今為止唯一成功登頂?Hugging Face?全球開源模型排行榜的國產(chǎn)模型。"

本文為IPO早知道原創(chuàng)

作者｜Stone Jin

據(jù)IPO早知道消息，李開復博士帶隊創(chuàng)辦的AI 2.0公司「零一萬物」日前已獲得由阿里云領(lǐng)投的新一輪融資，估值已突破10億美元。同時，零一萬物于11月6日正式開源發(fā)布首款預訓練大模型 Yi-34B。

值得注意的是，根據(jù) Hugging Face 英文開源社區(qū)平臺和C-Eval 中文評測的最新榜單，Yi-34B預訓練模型以黑馬姿態(tài)取得了多項 SOTA 國際最佳性能指標認可，成為全球開源大模型“雙料冠軍”，這也是迄今為止唯一成功登頂 Hugging Face 全球開源模型排行榜的國產(chǎn)模型。

零一萬物創(chuàng)始人及CEO李開復博士表示：“零一萬物堅定進軍全球第一梯隊目標，從招的第一個人，寫的第一行代碼，設(shè)計的第一個模型開始，就一直抱著成為‘World's No.1’的初衷和決心。我們組成了一支有潛力對標 OpenAI、Google等一線大廠的團隊，經(jīng)歷了近半年的厚積薄發(fā)，以穩(wěn)定的節(jié)奏和全球齊平的研究工程能力，交出了第一張極具全球競爭力的耀眼成績單。Yi-34B可以說不負眾望，一鳴驚人。”

在Yi 開源模型的全球首發(fā)日，李開復還宣布，在完成 Yi-34B 預訓練的同時，已經(jīng)旋即啟動下一個千億參數(shù)模型的訓練。“零一萬物的數(shù)據(jù)處理管線、算法研究、實驗平臺、GPU 資源和 AI Infra 都已經(jīng)準備好，我們的動作會越來越快”。

當然，這些耀眼成績單的背后還是源于零一萬物潛心數(shù)月練就的大模型 “科學訓?！狈椒ㄕ?。

眾所周知，大模型效果依賴于更多、更高質(zhì)量的數(shù)據(jù)，零一萬物在數(shù)據(jù)處理管線上可謂“不惜成本”——由前Google大數(shù)據(jù)和知識圖譜專家領(lǐng)銜的數(shù)據(jù)團隊，憑對數(shù)據(jù)的深度理解與認知，結(jié)合大量數(shù)據(jù)處理實驗，建設(shè)了高效、自動、可評價、可擴展的智能數(shù)據(jù)處理管線。

不僅如此，經(jīng)過幾個月大量的建模和實驗，零一萬物自研出一套“規(guī)?；柧殞嶒炂脚_”，用來指導模型的設(shè)計和優(yōu)化。數(shù)據(jù)配比、超參搜索、模型結(jié)構(gòu)實驗都可以在小規(guī)模實驗平臺上進行，對34B模型每個節(jié)點的預測誤差都可以控制在0.5%以內(nèi)。掌握了更強的模型預測能力，從而大大減少了進行對比實驗需要的資源，也減少了訓練誤差對于計算資源的浪費。

數(shù)據(jù)處理管線和加大規(guī)模預測的訓練能力建設(shè)，把以往的大模型訓練碰運氣的“煉丹”過程變得極度細致和科學化，不僅保證了目前發(fā)布Yi-34B、Yi-6B模型的高性能，也為未來更大規(guī)模模型的訓練壓縮了時間和成本，有能力以領(lǐng)先于行業(yè)的速度，將模型規(guī)?！敖z滑”擴大到數(shù)倍。

另一方面，零一萬物的團隊現(xiàn)已覆蓋了來自Google、微軟、阿里巴巴、百度、字節(jié)跳動、騰訊等國內(nèi)外頂級企業(yè)背景的人才，并持續(xù)延攬全球范圍內(nèi)最優(yōu)秀的華人AI精英。

其中，零一萬物算法和模型團隊成員，有論文曾被GPT-4引用的算法大拿，有獲得過微軟內(nèi)部研究大獎的優(yōu)秀研究員，曾獲得過阿里CEO特別獎的超級工程師。總計在ICLR、NeurIPS、CVPR、ICCV等知名學術(shù)會議上發(fā)表過大模型相關(guān)學術(shù)論文100余篇。

而零一萬物技術(shù)副總裁及AI Alignment負責人是 Google Bard/Assistant 早期核心成員，主導或參與了從 Bert、LaMDA 到大模型在多輪對話、個人助理、AI Agent 等多個方向的研究和工程落地；首席架構(gòu)師曾在Google Brain與Jeff Dean、Samy Bengio等合作，為TensorFlow的核心創(chuàng)始成員之一；零一萬物技術(shù)副總裁及 Pretrain 負責人黃文灝是通用人工智能 AGI 的信仰者，他曾先后任職于微軟亞洲研究院和智源研究院。在微軟從事AI Agent研究工作時，得到微軟創(chuàng)始人比爾·蓋茨和CEO 薩提亞·納德拉的高度贊揚；支持 Yi 模型訓練保障交付的零一萬物技術(shù)副總裁及AI Infra負責人戴宗宏，是前華為云 AI CTO 及技術(shù)創(chuàng)新部長、前阿里達摩院 AI Infra 總監(jiān)。Infra核心團隊主要來自于阿里、華為、微軟、商湯，是AI 多領(lǐng)域具有高水平研究及系統(tǒng)研發(fā)能力的頂尖專家，曾經(jīng)參與支持了4個千億參數(shù)大模型規(guī)?；柧?，管理過數(shù)萬張GPU卡，夯實了端到端的全棧AI技術(shù)能力。

不難發(fā)現(xiàn)，零一萬物集結(jié)了一支行業(yè)內(nèi)少有的 AI Infra “技術(shù)天團”。

至于未來，零一萬物將基于Yi系列大模型，打造更多To C超級應用。李開復強調(diào)，“AI 2.0是有史以來最大的科技革命，它帶來的改變世界的最大機會一定是平臺和技術(shù)，正如PC時代的微軟Office，移動互聯(lián)網(wǎng)時代的微信、抖音、美團一樣，商業(yè)化爆發(fā)式增長概率最高的一定是ToC應用。零一萬物邀請開發(fā)者社群跟我們一起搭建Yi開源模型的應用生態(tài)系，協(xié)力打造AI 2.0時代的超級應用。”

目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球開源社區(qū)平臺正式上線，同時開放商用申請，給開發(fā)者在使用LLM的過程中提供更多、更優(yōu)質(zhì)的選擇。

本次開源的基座模型包括200K上下文窗口的基座模型，基座模型進行了比較均衡的IQ和EQ的配置，保留了后續(xù)進行不同方向微調(diào)的可能性。為了能讓語言模型有更好的應用效果，廣大開發(fā)者可以基于基座模型進行微調(diào)，GitHub 01Yi 開源網(wǎng)頁上已經(jīng)提供了簡單的微調(diào)代碼，同時模型和主流語言模型微調(diào)框架兼容，開發(fā)者可以自行進行適配。

接下來，零一萬物還將基于Yi 基座模型，快節(jié)奏開源發(fā)布一系列的量化版本、對話模型、數(shù)學模型、代碼模型和多模態(tài)模型等，邀請開發(fā)者積極投入，共同促進語言模型開源社區(qū)的繁榮發(fā)展，培育新型“AI-first”創(chuàng)新生態(tài)體系。

希望有更多的開發(fā)者使用Yi系列模型，打造自己場景中的“ChatGPT”，引領(lǐng)下一代前沿創(chuàng)新和商業(yè)模型，探索走向通用人工智能的先進能力！