本周帶來(lái)的?5?個(gè)模型項(xiàng)目分別用于聊天對(duì)話、文檔摘要、問(wèn)答、心理問(wèn)答等；6?個(gè)工具項(xiàng)目用于AI角色創(chuàng)建、智能體創(chuàng)建、模型訓(xùn)練、LLM部署等。

Meta開源商用大語(yǔ)言模型LLaMA 2，包含基礎(chǔ)和對(duì)話模型版本，參數(shù)為7B、13B、70B

近日，Meta 發(fā)布 LLaMA 2，開源可商用，包含基礎(chǔ)預(yù)訓(xùn)練和微調(diào)對(duì)話版本，參數(shù)為 7B、13B、70B。預(yù)訓(xùn)練版本 LLaMA 2 是在 2 萬(wàn)億 token 上訓(xùn)練的，微調(diào)版本 LLaMA2-chat 是在 100 萬(wàn)人類標(biāo)記的數(shù)據(jù)上訓(xùn)練的，針對(duì)對(duì)話用例進(jìn)行了專門優(yōu)化。相比于 Llama 1，Llama 2 的訓(xùn)練數(shù)據(jù)多了 40%，上下文長(zhǎng)度也翻倍，并采用了分組查詢注意力機(jī)制。測(cè)評(píng)結(jié)果顯示，Llama 2 在包括推理、編碼、精通性和知識(shí)測(cè)試等許多外部基準(zhǔn)測(cè)試中都優(yōu)于其他開源語(yǔ)言模型。當(dāng)前 LLaMA 2 開放權(quán)重下載，可通過(guò)官方開源倉(cāng)庫(kù)發(fā)送郵箱進(jìn)行申請(qǐng)，在收到郵箱后參考官方步驟進(jìn)行獲取。

獲取資源：

https://sota.jiqizhixin.com/project/llama-2

Stability AI發(fā)布全新開源語(yǔ)言模型FreeWilly，基于LLaMA 2微調(diào)，性能媲美GPT-3.5

FreeWilly 是 Stability AI 開源的 LLaMA 2 微調(diào)模型，其性能與 ChatGPT 不相上下。此次開源中，發(fā)布了基于 LLaMA 2 70B 模型的微調(diào)模型 FreeWilly2，以及基于 LLaMA 65B 原始模型微調(diào)的 FreeWilly1。FreeWilly 使用基于標(biāo)準(zhǔn) Alpaca 格式的全新合成數(shù)據(jù)集，并經(jīng)過(guò)監(jiān)督微調(diào)（SFT）的訓(xùn)練。在各項(xiàng)基準(zhǔn)測(cè)試中，F(xiàn)reeWilly2 展現(xiàn)了卓越的推理能力，甚至在某些任務(wù)上超越了 GPT-3.5。當(dāng)前，雖然 FreeWilly1 和 FreeWilly2 都是開放獲取的，但與 LLaMA 2 不同，它們是以非商業(yè)許可的形式發(fā)布的，僅可用于研究目的。

獲取資源：

https://sota.jiqizhixin.com/project/freewilly

MosaicML發(fā)布的高性能開源大型語(yǔ)言模型MPT-7B-8K，專為文檔摘要和問(wèn)答設(shè)計(jì)，支持商業(yè)用途

MPT-7B-8K 是由 MosaicML 發(fā)布的一個(gè) 7B 參數(shù)開源 LLM，具有 8k 上下文長(zhǎng)度，專門從事文檔摘要和問(wèn)答，可用于商業(yè)用途。模型在 1.5Ttokens 上訓(xùn)練得到，能夠通過(guò) FlashAttention 和 FasterTransformer 進(jìn)行快速訓(xùn)練和推理，通過(guò) llm-foundry 存儲(chǔ)庫(kù)配備高效的開源訓(xùn)練代碼。與 MPT 基礎(chǔ)系列中的所有其他模型一樣，MPT-7B-8k 針對(duì)更快的訓(xùn)練和推理進(jìn)行了優(yōu)化，并且可以在 MosaicML 平臺(tái)上對(duì)特定領(lǐng)域的數(shù)據(jù)進(jìn)行微調(diào)。官方提供 MPT-7B-8k、MPT-7B-8k-Instruct、MPT-7B-8k-Chat 三種模型權(quán)重，分別對(duì)應(yīng)預(yù)訓(xùn)練版本、指令微調(diào)版本和聊天微調(diào)版本。

獲取資源：

https://sota.jiqizhixin.com/project/mpt-7b-8k

基于Llama 2的開源可商用中文語(yǔ)言模型，適配SFT數(shù)據(jù)集，并提供在線Demo和模型權(quán)重

Chinese-Llama-2-7b 是由 LinkSoul.AI 基于 Llama 2 發(fā)布的開源可商用的中文大語(yǔ)言模型，在數(shù)據(jù)量 1000 萬(wàn)的中英文 SFT 數(shù)據(jù)集上訓(xùn)練得到，輸入格式嚴(yán)格遵循 llama-2-chat 格式，兼容適配所有針對(duì)原版 llama-2-chat 模型的優(yōu)化。項(xiàng)目提供在線 Demo（可在線試玩）、Chinese Llama2 Chat Model 模型權(quán)重，以及中英文 SFT 數(shù)據(jù)集下載鏈接。

獲取資源：

https://sota.jiqizhixin.com/project/chinese-llama-2-7b

用于創(chuàng)建個(gè)性化AI角色的工具RealChar，支持移動(dòng)端、網(wǎng)頁(yè)和終端，提供在線Demo和多種AI技術(shù)選項(xiàng)

RealChar 是自定義、實(shí)時(shí) AI 角色/伴侶創(chuàng)建工具，支持在移動(dòng)端、網(wǎng)頁(yè)和終端上進(jìn)行自然無(wú)縫對(duì)話，提供一體化代碼庫(kù)，可自定義角色個(gè)性、背景和聲音，無(wú)需編寫代碼即可創(chuàng)建 AI 角色。使用最新的 AI 技術(shù)，包括 OpenAI，Anthropic Claude 2，Chroma，Whisper，ElevenLabs 等。該工具模塊化設(shè)計(jì)，允許用戶輕松交換不同模塊以自定義流程，非常靈活。項(xiàng)目包含在線 Demo，可訪問(wèn)官方網(wǎng)站在線試玩，提供技術(shù)方案、API 設(shè)置方法、安裝方法，支持 Docker 安裝和 LangSmith 集成。

獲取資源：

https://sota.jiqizhixin.com/project/realchar

輕量、可擴(kuò)展的智能體框架AutoChain，快速生成和評(píng)估自定義智能體

AutoChain 是輕量、可擴(kuò)展的智能體框架，靈感來(lái)源于 LangChain 和 AutoGPT，讓開發(fā)人員用 LLM 和自定義工具構(gòu)建自己的智能體，通過(guò)模擬對(duì)話自動(dòng)評(píng)估不同的用戶場(chǎng)景，旨在通過(guò)簡(jiǎn)化智能體定制和評(píng)估來(lái)實(shí)現(xiàn)生成智能體的快速迭代?？梢允褂貌煌远x工具，并支持 OpenAI 函數(shù)調(diào)用，支持對(duì)話歷史記錄和工具輸出的簡(jiǎn)單內(nèi)存跟蹤，能夠通過(guò)模擬對(duì)話進(jìn)行自動(dòng)座席多輪對(duì)話評(píng)估。項(xiàng)目提供了設(shè)置安裝代碼、示例用法，以及評(píng)估代碼示例。

獲取資源：

https://sota.jiqizhixin.com/project/autochain

基于ChatGLM-6B的開源中文心理健康對(duì)話模型SoulChat，提供共情能力和合理建議

SoulChat（靈心）是由華南理工大學(xué)未來(lái)技術(shù)學(xué)院-廣東省數(shù)字孿生人重點(diǎn)實(shí)驗(yàn)室開源的中文領(lǐng)域心理健康對(duì)話大模型?；谥鲃?dòng)健康的主動(dòng)性、預(yù)防性、精確性、個(gè)性化、共建共享、自律性六大特征，構(gòu)造并使用超過(guò) 120 萬(wàn)個(gè)樣本的單輪與多輪混合共情對(duì)話數(shù)據(jù)集，對(duì) ChatGLM-6B 模型進(jìn)行全量參數(shù)的指令微調(diào)，提升了模型的共情能力、引導(dǎo)用戶傾訴能力以及提供合理建議的能力。項(xiàng)目包含模型環(huán)境部署及安裝代碼、模型調(diào)用代碼示例，以及模型應(yīng)用示例。

獲取資源：

https://sota.jiqizhixin.com/project/soulchat

簡(jiǎn)潔高效的pytorch模型訓(xùn)練工具torchkeras，支持進(jìn)階應(yīng)用和擴(kuò)展功能

torchkeras 是通用的 pytorch 模型訓(xùn)練模版工具，旨在提供優(yōu)雅、易用且易于修改的訓(xùn)練工具，支持進(jìn)度條、評(píng)估指標(biāo)、early stopping 等功能，同時(shí)還支持 tensorboard 和 wandb 回調(diào)函數(shù)等擴(kuò)展功能，核心代碼模塊化，僅約 200 行。項(xiàng)目提供使用方法、主要功能特性、基本范例（notebook 和 kaggle），以及 RL、CV、NLP 等進(jìn)階范例（notebook）。

獲取資源：

https://sota.jiqizhixin.com/project/torchkeras

自動(dòng)化內(nèi)容創(chuàng)作框架ShortGPT，簡(jiǎn)化視頻編輯和素材獲取任務(wù)

ShortGPT 是一個(gè)自動(dòng)化內(nèi)容創(chuàng)作框架，采用 LLM 方向的視頻編輯語(yǔ)言，簡(jiǎn)化了視頻創(chuàng)建、編輯、語(yǔ)音合成和素材獲取等任務(wù)。ShortGPT 還提供了現(xiàn)成的腳本和提示，支持多種語(yǔ)言。同時(shí)，ShortGPT 可以自動(dòng)化生成視頻字幕并從互聯(lián)網(wǎng)和 Pexels API 中獲取圖像和視頻素材。使用 TinyDB 確保了自動(dòng)化編輯變量的長(zhǎng)期持久性。項(xiàng)目包含安裝步驟、Web 界面運(yùn)行，以及 API 密鑰添加方法等。

獲取資源：

https://sota.jiqizhixin.com/project/shortgpt

開源本地部署LLM的高效框架MLC LLM，支持多種語(yǔ)言模型和硬件后端

陳天奇團(tuán)隊(duì)開源的可在任何設(shè)備上編譯運(yùn)行大語(yǔ)言模型的項(xiàng)目 MLC LLM，允許將任何語(yǔ)言模型本地部署在各種硬件后端和本機(jī)應(yīng)用程序上，并為每個(gè)人提供一個(gè)高效的框架，以進(jìn)一步優(yōu)化自己用例的模型性能。目的是使每個(gè)人都能在每個(gè)人的設(shè)備上本地開發(fā)、優(yōu)化和部署 AI 模型。項(xiàng)目可在本地運(yùn)行，無(wú)需服務(wù)器支持，并通過(guò)手機(jī)和筆記本電腦上的本地 GPU 加速，目前支持 7B / 13B / 70B Llama-2。

獲取資源：

https://sota.jiqizhixin.com/project/mlc-llm

開源模型引擎LLM Engine，高效部署、微調(diào)和集成大型語(yǔ)言模型

LLM Engine 是用于微調(diào)和提供大型語(yǔ)言模型服務(wù)的開源引擎，可以通過(guò) Scale 的托管版本訪問(wèn)模型，也可以使用該存儲(chǔ)庫(kù)中的 Helm 圖表在自己的基礎(chǔ)架構(gòu)中運(yùn)行模型推斷和微調(diào)。具有現(xiàn)成的模型 API，開源基礎(chǔ)模型包括 LLaMA、MPT 和 Falcon；能夠根據(jù)自己的數(shù)據(jù)進(jìn)行建模與調(diào)優(yōu)；提供推理 API 用于流式響應(yīng)和動(dòng)態(tài)批處理輸入，以提高吞吐量并降低延遲；開源集成，可以使用單個(gè)命令部署模型。

獲取資源：

https://sota.jiqizhixin.com/project/llm-engine

網(wǎng)頁(yè)端訪問(wèn)： 在瀏覽器地址欄輸入新版站點(diǎn)地址 sota.jiqizhixin.com ，即可前往「SOTA！模型」平臺(tái)，查看關(guān)注的模型是否有新資源收錄。?

移動(dòng)端訪問(wèn)：在微信移動(dòng)端中搜索服務(wù)號(hào)名稱「機(jī)器之心SOTA模型」或 ID 「sotaai」，關(guān)注 SOTA！模型服務(wù)號(hào)，即可通過(guò)服務(wù)號(hào)底部菜單欄使用平臺(tái)功能，更有最新AI技術(shù)、開發(fā)資源及社區(qū)動(dòng)態(tài)定期推送。