本周帶來的?9?個(gè)模型項(xiàng)目分別用于中文對(duì)話、中英雙語、語音文本、交通預(yù)測(cè)、天文常識(shí)、科技問答等；3?個(gè)工具項(xiàng)目用于LLM開發(fā)部署、應(yīng)用構(gòu)建。

哈工大科大訊飛聯(lián)合推出中文LLaMA-2 & Alpaca-2大語言模型，基于Llama-2擴(kuò)充中文詞表并用增量預(yù)訓(xùn)練

中文 LLaMA&Alpaca 是哈工大等基于 Llama-2 開發(fā)的第二期模型項(xiàng)目。該項(xiàng)目開源了中文 LLaMA-2 基座模型和 Alpaca-2 指令微調(diào)大模型。這些模型在原版 Llama-2 的基礎(chǔ)上擴(kuò)充并優(yōu)化了中文詞表，使用了大規(guī)模中文數(shù)據(jù)進(jìn)行增量預(yù)訓(xùn)練，進(jìn)一步提升了中文基礎(chǔ)語義和指令理解能力。項(xiàng)目開源了預(yù)訓(xùn)練、指令微調(diào)腳本，并支持在個(gè)人電腦的 CPU/GPU 上快速進(jìn)行大模型量化和部署體驗(yàn)。同時(shí)，該項(xiàng)目還與 LLaMA 生態(tài)中的工具（如 transformers、llama.cpp、text-generation-webui、LangChain、vLLM 等）兼容。

獲取資源：

https://sota.jiqizhixin.com/project/chinese-llama-alpaca-2

Llama2-Chinese開源，基于大規(guī)模高質(zhì)量中文語料預(yù)訓(xùn)練提升中文能力，含7B和13B對(duì)話模型

Llama2 的預(yù)訓(xùn)練數(shù)據(jù)中，中文預(yù)訓(xùn)練數(shù)據(jù)僅占 0.13%，導(dǎo)致原版 Llama2 在中文方面表現(xiàn)較弱。為對(duì)模型底層進(jìn)行中文能力的優(yōu)化，Llama2-Chinese 采用了大規(guī)模中文語料進(jìn)行預(yù)訓(xùn)練。當(dāng)前項(xiàng)目開源 Llama2-Chinese-7b-Chat 和 13B-Chat 兩個(gè)版本，其中 Llama2-Chinese-13B 模型的預(yù)訓(xùn)練數(shù)據(jù)包含了 200B 個(gè) token，來源包括互聯(lián)網(wǎng)上公開的網(wǎng)絡(luò)數(shù)據(jù)、經(jīng)過去重處理的高質(zhì)量中文數(shù)據(jù)（如百科、書籍、博客等）、中文 Wikipedia、中文悟道開源的 200G 數(shù)據(jù)以及 Clue 開放的中文預(yù)訓(xùn)練數(shù)據(jù)等。Llama2-Chinese 在通用知識(shí)、語言理解等中文能力方面得到了顯著提升。

獲取資源：

https://sota.jiqizhixin.com/project/llama2-chinese

阿里云開源支持商用的通義千問7B模型，采用超2.2萬億高質(zhì)量數(shù)據(jù)集訓(xùn)練

近日，阿里云開源通義千問 7B（Qwen-7B），包含基礎(chǔ)模型 Qwen-7B 和 對(duì)話模型 Qwen-7B-Chat，并允許商業(yè)使用。Qwen-7B 是基于 Transformer 的大型語言模型，在自建的超過 2.2 萬億標(biāo)記的大規(guī)模高質(zhì)量數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，該數(shù)據(jù)集包括純文本和代碼，涵蓋了廣泛的領(lǐng)域，包括通用領(lǐng)域數(shù)據(jù)和專業(yè)領(lǐng)域數(shù)據(jù)。此外，基于預(yù)訓(xùn)練的 Qwen-7B 并經(jīng)過了對(duì)齊技術(shù)的訓(xùn)練得到 Qwen-7B-Chat。Qwen-7B 和 Qwen-7B-Chat 都支持 8K 長(zhǎng)度的上下文，允許輸入較長(zhǎng)的上下文。

獲取資源：

https://sota.jiqizhixin.com/project/qwen-7b

開源可商用交通大模型TransGPT，可實(shí)現(xiàn)交通情況預(yù)測(cè)、智能咨詢助手等智能交通解決方案

TransGPT 是國(guó)內(nèi)首款開源交通大模型，它能夠?qū)崿F(xiàn)交通情況預(yù)測(cè)、智能咨詢助手、公共交通服務(wù)、交通規(guī)劃設(shè)計(jì)、交通安全教育、協(xié)助管理、交通事故報(bào)告和分析、自動(dòng)駕駛輔助系統(tǒng)等功能。TransGPT 作為一個(gè)通用常識(shí)交通大模型，可以為道路工程、橋梁工程、隧道工程、公路運(yùn)輸、水路運(yùn)輸、城市公共交通運(yùn)輸、交通運(yùn)輸經(jīng)濟(jì)、交通運(yùn)輸安全等行業(yè)提供通識(shí)常識(shí)。以此為基礎(chǔ)，可以落腳到特定的交通應(yīng)用場(chǎng)景中。當(dāng)前項(xiàng)目開源 TransGPT-7B 模型，以及約 34.6 萬條文本數(shù)據(jù)用于領(lǐng)域內(nèi)預(yù)訓(xùn)練、約 5.8 萬條對(duì)話數(shù)據(jù)用于微調(diào)。

獲取資源：

https://sota.jiqizhixin.com/project/transgpt

LinkSoul.AI 開源支持中英文雙語視覺到文本的多模態(tài)模型Chinese-LLaVA

Chinese-LLaVA 是 LinkSoul.AI 開源的可商用多模態(tài)模型，支持圖像到文本多模態(tài)對(duì)話。它基于 LLaVA 框架并在 Chinese-Llama2 的基礎(chǔ)上進(jìn)行了中文自適應(yīng)，提供了對(duì)中英文雙語的處理能力。該項(xiàng)目開源 Chinese-LLaVA-Chinese-Llama-2-7B、Chinese-LLaVA-Baichuan-7B 模型，并提供中英文視覺 SFT 數(shù)據(jù)集 Chinese-LLaVA-Vision-Instructions 供開發(fā)者用于中英文視覺-文本對(duì)話方面的開發(fā)。

獲取資源：

https://sota.jiqizhixin.com/project/chinese-llava

LinkSoul.AI 開源可商用支持中英雙語、語音到文本的多模態(tài)開源對(duì)話模型LLaSM

LinkSoul.AI 開源可商用的語音到文本多模態(tài)開源對(duì)話模型 LLaSM 以及中英文語音 SFT 數(shù)據(jù)集 LLaSM-Audio-Instructions。LLaSM 是支持中英文語音文本多模態(tài)對(duì)話的開源可商用對(duì)話模型，可供開發(fā)者免費(fèi)下載、進(jìn)行商用。相較以往的傳統(tǒng)方案，LLaSM 能夠通過便捷的語音輸入的交互方式，大幅改善過往以文本為輸入的大模型的使用體驗(yàn)，同時(shí)有效避免基于 ASR 解決方案的繁瑣流程以及可能引入的錯(cuò)誤。

獲取資源：

https://sota.jiqizhixin.com/project/llasm

天文大語言模型StarGLM開源，通過整合司天工程相關(guān)的語料數(shù)據(jù)與知識(shí)庫(kù)資料進(jìn)行訓(xùn)練

為緩解大語言模型在部分天文通用知識(shí)和前沿變星領(lǐng)域的幻覺現(xiàn)象，同時(shí)探索了多模態(tài)模型在天文圖像生成與識(shí)別上應(yīng)用的可能性。天文大語言模型 StarGLM 開源，通過整合司天工程相關(guān)的語料數(shù)據(jù)與知識(shí)庫(kù)資料訓(xùn)練得到。它經(jīng)歷了多個(gè)階段的數(shù)據(jù)篩選，包括使用 ChatGPT-Corpus、Belle 項(xiàng)目、Firefly+Instinwild 項(xiàng)目和 GPT-4-LLM 項(xiàng)目進(jìn)行篩選，并結(jié)合人工標(biāo)注，共計(jì) 20 萬條天文對(duì)話數(shù)據(jù)。在未來，StarGLM 將進(jìn)一步完善語言模型并增強(qiáng)專業(yè)多模態(tài)能力，包括進(jìn)行二次預(yù)訓(xùn)練、擴(kuò)充天文知識(shí)、調(diào)整監(jiān)督微調(diào)中通用數(shù)據(jù)和專業(yè)數(shù)據(jù)的比例，緩解災(zāi)難性問題，并通過人工反饋的強(qiáng)化學(xué)習(xí)提升模型性能。

獲取資源：

https://sota.jiqizhixin.com/project/starglm

開源科技文本理解和生成任務(wù)的大型語言模型墨子（Mozi），支持科技問答對(duì)話、信息抽取等特定任務(wù)

墨子（Mozi）是一個(gè)專注于科技文本理解和生成任務(wù)的大型模型。它包含了科技問答、對(duì)話、信息抽取和摘要理解等特定任務(wù)，并通過 llama7b 和 Baichuan7b 作為基座，使用 QLoRA 優(yōu)化訓(xùn)練方法，在 8 卡 3090 服務(wù)器上經(jīng)過約 9 天的訓(xùn)練完成。墨子支持最大輸入長(zhǎng)度為 4096。該模型使用了包括 4 億標(biāo)記的 arXiv 數(shù)據(jù)、2 億標(biāo)記的 CommonCrawl 數(shù)據(jù)和 4 億標(biāo)記的中文 Wikipedia 數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。其中，涉及科技證據(jù)檢索模型，能夠準(zhǔn)確檢索與用戶問題相關(guān)的科技文本段落，避免大型模型在理解論文全文時(shí)面臨的長(zhǎng)文本依賴和噪聲干擾等問題。

獲取資源：

https://sota.jiqizhixin.com/project/mozi

Meta開源基于PyTorch的開源音頻生成庫(kù)AudioCraft，可基于用戶輸入文本生成高質(zhì)量、高保真音頻

Meta 開源能夠生成各種音頻的 PyTorch 庫(kù)——AudioCraft。AudioCraft 能夠基于用戶輸入的文本生成高質(zhì)量、高保真的音頻。可以生成一些現(xiàn)實(shí)場(chǎng)景中的聲音，還能生成有旋律的音樂。相比于文本、圖像，音頻生成是更具挑戰(zhàn)性的，因?yàn)樯筛弑Ｕ嬉纛l需要對(duì)復(fù)雜的信號(hào)和模式進(jìn)行建模。為了高質(zhì)量地生成各類音頻，AudioCraft 包含三個(gè)模型：MusicGen、AudioGen 和 EnCodec。其中，MusicGen 使用 Meta 具有版權(quán)的音樂數(shù)據(jù)進(jìn)行訓(xùn)練，基于用戶輸入的文本生成音樂；AudioGen 使用公共音效數(shù)據(jù)進(jìn)行訓(xùn)練，基于用戶輸入的文本生成音頻；EnCodec 用于壓縮音頻并以高保真度重建原始信號(hào)，保證生成的音樂是高質(zhì)量的。

獲取資源：

https://sota.jiqizhixin.com/project/audiocraft

Project Jupyter官方子項(xiàng)目Jupyter AI開源，在Jupyter中可與大模型對(duì)話，輔助處理代碼

Jupyter AI 是 Project ?Jupyter 的官方子項(xiàng)目，完全開源。它連接了來自 AI21、Anthropic、AWS、Cohere、OpenAI 等知名公司和機(jī)構(gòu)的大模型，為 Jupyter 帶來了巨大的變化。現(xiàn)在，開發(fā)者可以在 Jupyter 環(huán)境中生成代碼、總結(jié)文檔、創(chuàng)建注釋、修復(fù)錯(cuò)誤等操作。甚至可以使用文本提示生成 notebooks。Jupyter ?AI 的安裝過程簡(jiǎn)單，提供了兩種與大模型交互的界面。在 JupyterLab 中，可以使用聊天界面與大模型對(duì)話，輔助處理代碼。在支持 notebook 或 IPython 的環(huán)境中，包括 JupyterLab、Notebook、IPython、Colab 和 Visual Studio Code，可以通過使用"%% ai"魔術(shù)命令調(diào)用大模型。

獲取資源：

https://sota.jiqizhixin.com/project/jupyter-ai

開源工具包LLaMA2-Accessory，用于高效預(yù)訓(xùn)練、微調(diào)和部署大型語言模型

LLaMA2-Accessory 是一個(gè)開源工具包，用于預(yù)訓(xùn)練、微調(diào)和部署大型語言模型（LLM）和多模態(tài)語言模型。該工具包繼承自 LLaMA-Adapter，并具有更高級(jí)的功能。它支持更多的數(shù)據(jù)集和任務(wù)，包括使用 RefinedWeb 和 StarCoder 進(jìn)行預(yù)訓(xùn)練，以及單模態(tài)微調(diào)（如 Alpaca、ShareGPT、LIMA、UltraChat 和 MOSS）和多模態(tài)微調(diào)（如圖像-文本對(duì)、交叉圖像-文本數(shù)據(jù)和視覺指導(dǎo)數(shù)據(jù)）。LLaMA2-Accessory 還提供了 LLM 的 API 控制功能，并實(shí)現(xiàn)了高效的優(yōu)化和部署，包括參數(shù)高效微調(diào)技術(shù)和優(yōu)化方法。此外，它還支持多個(gè)視覺編碼器和 LLM 模型，為用戶提供了更多的選擇和靈活性。

獲取資源：

https://sota.jiqizhixin.com/project/llama2-accessory-2

用于構(gòu)建簡(jiǎn)單、透明化的LLM應(yīng)用的開源框架LLMFlows，可提高應(yīng)用可維護(hù)性和可靠性

LLMFlows 是一個(gè)用于構(gòu)建簡(jiǎn)單、透明化的大型語言模型（LLM）應(yīng)用的框架，包括聊天機(jī)器人、問答系統(tǒng)和智能代理。LLMFlows 的核心是提供一個(gè)簡(jiǎn)約的抽象集合，讓用戶能夠利用 LLM 和向量存儲(chǔ)構(gòu)建結(jié)構(gòu)良好的應(yīng)用，而無需隱藏的提示或 LLM 調(diào)用。LLMFlows 確保每個(gè)組件都完全透明，使監(jiān)控、維護(hù)和調(diào)試簡(jiǎn)單便捷。該框架使開發(fā)人員能夠更輕松地理解和控制 LLM 應(yīng)用，提高了應(yīng)用的可維護(hù)性和可靠性。

獲取資源：

https://sota.jiqizhixin.com/project/llmflows

網(wǎng)頁端訪問： 在瀏覽器地址欄輸入新版站點(diǎn)地址 sota.jiqizhixin.com ，即可前往「SOTA！模型」平臺(tái)，查看關(guān)注的模型是否有新資源收錄。?

移動(dòng)端訪問：在微信移動(dòng)端中搜索服務(wù)號(hào)名稱「機(jī)器之心SOTA模型」或 ID 「sotaai」，關(guān)注 SOTA！模型服務(wù)號(hào)，即可通過服務(wù)號(hào)底部菜單欄使用平臺(tái)功能，更有最新AI技術(shù)、開發(fā)資源及社區(qū)動(dòng)態(tài)定期推送。