本周帶來的?8?個(gè)模型項(xiàng)目分別用于代碼生成、中文對(duì)話、多語言對(duì)話、兒童情感對(duì)話、語義表征、姿勢(shì)估計(jì)等；2?個(gè)工具項(xiàng)目用于LLM訓(xùn)練、API調(diào)用。

Stability開源代碼生成模型StableCode，包含基礎(chǔ)、指令和支持16K上下文三種模型版本，支持多種編程語言

Stability 開源 StableCode，涵蓋通用基礎(chǔ)模型、指令模型，支持 16K 上下文的模型?；A(chǔ)模型在來自 BigCode 的 stack-dataset（v1.2）中進(jìn)行了多種編程語言的訓(xùn)練，進(jìn)一步使用 Python、Go、Java、JavaScript、C、Markdown 和 C++等流行語言進(jìn)行了訓(xùn)練?？傆?jì)，在高性能計(jì)算集群上使用了 560B 個(gè)代碼標(biāo)記進(jìn)行了模型訓(xùn)練。在建立基礎(chǔ)模型后，針對(duì)特定用例對(duì)指令模型進(jìn)行調(diào)優(yōu)，以解決復(fù)雜的編程任務(wù)。其中 16K 版本具有更大的上下文窗口，可實(shí)現(xiàn)同時(shí)查看或編輯多個(gè)中等大小的 Python 文件。

獲取資源：

https://sota.jiqizhixin.com/project/stablecode

虎博開源Tigerbot-13B，基于llama2繼續(xù)訓(xùn)練提升中文能力，涵蓋基礎(chǔ)和對(duì)話模型

近日，虎博開源 TigerBot-13B 大模型，基于 Llama-2 繼續(xù)訓(xùn)練，不但保持了 Llama-2 出色的英文能力，同時(shí)具有中文能力。本次開源包括基礎(chǔ)模型 TigerBot-13B-base 和對(duì)話模型 TigerBot-13B-chat。基礎(chǔ)模型基于 Llama-2-13B 繼續(xù)預(yù)訓(xùn)練 300B tokens，擴(kuò)充了中文詞表到 60K vocabulary， 并采用 holistic training 在預(yù)訓(xùn)練中直接使模型具有 9 成的指令完成能力。對(duì)話模型基于 TigerBot-13B-base 用 5M 指令數(shù)據(jù)微調(diào)，并采用 rejection sampling fine-tune 對(duì)齊人類需求。

獲取資源：

https://sota.jiqizhixin.com/project/tigerbot

元象開源XVERSE-13B，支持40多種語言、8K上下文長(zhǎng)度

XVERSE-13B 基于標(biāo)準(zhǔn) Transformer 架構(gòu)，支持 8K 上下文長(zhǎng)度?？蓾M足更多輪對(duì)話，同時(shí)減少遺忘現(xiàn)象，以及輸入更多內(nèi)容完成復(fù)雜任務(wù)。訓(xùn)練數(shù)據(jù)上，構(gòu)建了 1.4 萬億 tokens 的數(shù)據(jù)集，包含中、英、俄、西等 40 多種語言。在分詞策略上，基于 BPE 算法，使用上百 GB 語料訓(xùn)練了一個(gè)詞表大小為 100,278 的分詞器。此外，還在訓(xùn)練框架上進(jìn)行了算子、通信、并行策略及調(diào)度等方面的優(yōu)化，使得千卡集群上的峰值算力利用率達(dá)到 58.5%。

獲取資源：

https://sota.jiqizhixin.com/project/xverse-13b

百川發(fā)布53B大模型，融入搜索能力，大幅提升知識(shí)問答、文本創(chuàng)作能力

近日百川發(fā)布 Baichuan-53B 大模型，融合了意圖理解、信息檢索以及強(qiáng)化學(xué)習(xí)技術(shù)，結(jié)合有監(jiān)督微調(diào)與人類意圖對(duì)齊，在知識(shí)問答、文本創(chuàng)作領(lǐng)域表現(xiàn)突出。百川大模型的搜索增強(qiáng)系統(tǒng)融合了多個(gè)模塊，包括指令意圖理解、智能搜索和結(jié)果增強(qiáng)等組件。該體系通過深入理解用戶指令，精確驅(qū)動(dòng)查詢?cè)~的搜索，并結(jié)合大語言模型技術(shù)來優(yōu)化模型結(jié)果生成的可靠性。通過這一系列協(xié)同作用，大模型實(shí)現(xiàn)了更精確、智能的模型結(jié)果回答，通過這種方式減少了模型的幻覺。當(dāng)前 53B 模型可通過內(nèi)測(cè)申請(qǐng)?jiān)囉?，未?1 個(gè)月還將開放 API。

獲取資源：

https://sota.jiqizhixin.com/project/baichuan-53b

哈工大SCIR實(shí)驗(yàn)室開源7B兒童情感陪伴對(duì)話大模型巧板

哈工大 SCIR 實(shí)驗(yàn)室開源 7B 兒童情感陪伴對(duì)話大模型，適用于兒童情感陪伴場(chǎng)景，主要面向 K12 中小學(xué)生及家長(zhǎng)群體。巧板使用通用域人機(jī)對(duì)話、單輪指令數(shù)據(jù)以及兒童情感陪伴對(duì)話數(shù)據(jù)進(jìn)行指令微調(diào)。在數(shù)據(jù)構(gòu)建過程中，該團(tuán)隊(duì)從真實(shí)場(chǎng)景的兒童對(duì)話話題列表中進(jìn)行采樣，選定當(dāng)前對(duì)話話題，在兒童情緒輔導(dǎo)理論的指導(dǎo)下，構(gòu)建了 1k 余段高質(zhì)量中文兒童情感陪伴對(duì)話數(shù)據(jù)。此外，通過話題采樣選定當(dāng)前對(duì)話話題，結(jié)合兒童情緒輔導(dǎo)理論指導(dǎo)下的 prompt，共同組成 chatgpt_prompt，從 gpt-3.5-turbo 中獲取 5 千段兒童情感陪伴對(duì)話數(shù)據(jù)。

獲取資源：

https://sota.jiqizhixin.com/project/qiaoban

智源開源可商用中英文語義向量模型BGE，語義表征超同類模型、使用成本更低

智源開源可商用中英文語義向量模型 BGE，中英文語義檢索精度與整體語義表征能力超過同類模型，如 OpenAI 的 text embedding 002 等。BGE 在保持了同等參數(shù)量級(jí)模型中的最小向量維度，使用成本更低。BGE 出色的語義表征能力源于高效預(yù)訓(xùn)練并使用大規(guī)模文本對(duì)微調(diào)。具體地，BGE 在悟道、Pile 兩個(gè)大規(guī)模語料集上采取了針對(duì)表征的預(yù)訓(xùn)練算法 RetroMAE，并針對(duì)中文、英文分別構(gòu)建了多達(dá) 120M、232M 的樣本對(duì)數(shù)據(jù)。另外，通過借鑒 Instruction Tuning 的思想，采取了非對(duì)稱的指令添加方式，在問題端添加場(chǎng)景描述， 提升了語義向量在多任務(wù)場(chǎng)景下的通用能力。

獲取資源：

https://sota.jiqizhixin.com/project/bge

清華等發(fā)布通用工具使用框架ToolLLM，以增強(qiáng)大語言模型對(duì)API的使用能力

ToolLLM 是由清華、耶魯、人大、騰訊和知乎等多家機(jī)構(gòu)聯(lián)合推出的通用工具使用框架ToolLLM，以增強(qiáng)大語言模型對(duì) API 的使用能力。該框架與 OpenBMB 大模型工具體系"全家桶"相結(jié)合，包括數(shù)據(jù)構(gòu)建、模型訓(xùn)練和評(píng)估多項(xiàng)功能。數(shù)據(jù)方面使用 ChatGPT 自動(dòng)構(gòu)建指令調(diào)優(yōu)的數(shù)據(jù)集 ToolBench，涵蓋了 16k+真實(shí)世界的 API 和各種實(shí)際的用例場(chǎng)景，包括單一工具和多工具任務(wù)。此外，在 ToolBench 上對(duì) LLaMA 進(jìn)行微調(diào)，得到的 ToolLLaMA 與 ChatGPT 性能相當(dāng)。

獲取資源：

https://sota.jiqizhixin.com/project/toolllm

大模型高效訓(xùn)練方法Relora，采用低秩更新的方式來訓(xùn)練高秩網(wǎng)絡(luò)

ReLoRA 是新提出的低秩訓(xùn)練方法，用于訓(xùn)練大規(guī)模神經(jīng)網(wǎng)絡(luò)。ReLoRA 采用低秩更新的方式來訓(xùn)練高秩網(wǎng)絡(luò)，應(yīng)用于預(yù)訓(xùn)練具有高達(dá) 350M 參數(shù)的 Transformer 語言模型中，可取得與常規(guī)神經(jīng)網(wǎng)絡(luò)訓(xùn)練相當(dāng)?shù)男阅堋４送?，ReLoRA 的效率隨著模型大小的增加而提高，有望成為高效訓(xùn)練數(shù)十億參數(shù)網(wǎng)絡(luò)的新方法。

獲取資源：

https://sota.jiqizhixin.com/project/relora

KAUST等提出兩階段3D生成框架Magic123，基于單張圖像生成高質(zhì)量3D物體

Magic123 是一個(gè)兩階段的從粗到細(xì)的 3D 生成框架，由 KAUST、牛津大學(xué)等共同提出。Magic123 同時(shí)使用 2D 和 3D 視覺先驗(yàn)來從單張圖像進(jìn)行三維重建，讓模型在重建想象力和三維一致性之間達(dá)到平衡，泛化性能更好。在二階段訓(xùn)練過程中，第一階段通過優(yōu)化 NeRF 網(wǎng)絡(luò)來產(chǎn)生一個(gè)粗略的幾何形狀，并在第二階段再將其不斷細(xì)化為紋理豐富的高分辨率三維網(wǎng)格。實(shí)驗(yàn)表明，Magic123 在從單張圖像生成高質(zhì)量 3D 物體方面取得了顯著改進(jìn)。

獲取資源：

https://sota.jiqizhixin.com/project/magic123

Idea研究院發(fā)布兩階段蒸餾人體全身姿勢(shì)估計(jì)模型DWPose

Idea 研究院發(fā)布兩階段蒸餾人體全身姿勢(shì)估計(jì)模型 DWPose，旨在提升效果和效率。它通過兩個(gè)階段的姿勢(shì)蒸餾策略實(shí)現(xiàn)優(yōu)化。研究團(tuán)隊(duì)利用 UBody 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集包含多樣的面部表情和手勢(shì)，展示了 DWPose 的優(yōu)越性能。在 COCO-WholeBody 數(shù)據(jù)集上，DWPose 實(shí)現(xiàn)了新的最優(yōu)性能，將全身姿勢(shì)平均精度 AP 從 64.8%提升至 66.5%。此外，DWPose 還提供了多種規(guī)模的模型，可滿足不同下游任務(wù)的需求。

獲取資源：

https://sota.jiqizhixin.com/project/dwpose

網(wǎng)頁(yè)端訪問： 在瀏覽器地址欄輸入新版站點(diǎn)地址 sota.jiqizhixin.com ，即可前往「SOTA！模型」平臺(tái)，查看關(guān)注的模型是否有新資源收錄。?

移動(dòng)端訪問：在微信移動(dòng)端中搜索服務(wù)號(hào)名稱「機(jī)器之心SOTA模型」或 ID 「sotaai」，關(guān)注 SOTA！模型服務(wù)號(hào)，即可通過服務(wù)號(hào)底部菜單欄使用平臺(tái)功能，更有最新AI技術(shù)、開發(fā)資源及社區(qū)動(dòng)態(tài)定期推送。