本周帶來的?6?個(gè)模型項(xiàng)目分別用多模態(tài)對話、自媒體知識(shí)問答、金融領(lǐng)域問答、智能教育等；4?個(gè)工具項(xiàng)目用于大模型推理加速、圖像分辨率提升、代碼遷移、多智能體開發(fā)。

純C++ LLM加速庫fastllm，支持多種國產(chǎn)開源大模型，高效提高大模型推理性能

fastllm 是一個(gè)純 C++的全平臺(tái) LLM 加速庫項(xiàng)目，適用于各種開發(fā)環(huán)境，無第三方依賴的大模型庫。目前該項(xiàng)目支持許多國產(chǎn)開源大模型，包括 ChatGLM2 6B、ChatGLM-6B、MOSS 等。其中，ChatGLM-6B 級模型單卡可達(dá) 10000+token/s，表現(xiàn)優(yōu)異。fastllm 可以在安卓設(shè)備上流暢運(yùn)行 ChatGLM-6B，并且可以在支持 CUDA 的設(shè)備上進(jìn)行加速計(jì)算。該項(xiàng)目為開發(fā)者提供了一個(gè)高效的解決方案，可用于多種應(yīng)用場景，例如自然語言處理、語音識(shí)別、機(jī)器翻譯等。

獲取資源：

https://sota.jiqizhixin.com/project/fastllm

基于GPT-4實(shí)現(xiàn)代碼遷移工具GPT-Migrate，可實(shí)現(xiàn)一鍵遷移，無需手動(dòng)修改大量代碼

GPT-Migrate 是一個(gè)代碼遷移工具，可以將代碼庫從一個(gè)框架或語言遷移到另一個(gè)框架或語言，無需手動(dòng)修改大量代碼，極大地節(jié)省時(shí)間和精力。該項(xiàng)目使用了先進(jìn)的自然語言處理技術(shù)，可以理解代碼的結(jié)構(gòu)和語義，自動(dòng)識(shí)別出相似的函數(shù)和邏輯，并生成對應(yīng)的遷移代碼。不管是遷移 Python 代碼到 Java，還是將 TensorFlow 代碼遷移到 PyTorch，GPT-Migrate 都能夠提供準(zhǔn)確可靠的遷移方案。GPT-Migrate 是基于 GPT-4 的大膽嘗試，能夠?qū)崿F(xiàn)所有代碼框架、編程語言的遷移，包括自動(dòng)生成新的目錄結(jié)構(gòu)、文件命名和項(xiàng)目依賴包等。

獲取資源：

https://sota.jiqizhixin.com/project/gpt-migrate

清華等開源多模態(tài)大模型系列VisCPM，支持中英雙語對話和文到圖生成能力

VisCPM 是由面壁智能、清華大學(xué) NLP 實(shí)驗(yàn)室和知乎聯(lián)合開源的多模態(tài)大模型系列，其中 VisCPM-Chat 模型支持中英雙語的多模態(tài)對話能力，VisCPM-Paint 模型支持文到圖生成能力，并在中文多模態(tài)開源模型中表現(xiàn)最佳。該模型基于百億參數(shù)基座模型 CPM-Bee 訓(xùn)練，融合 Q-Former 視覺編碼器和 Diffusion-UNet 視覺解碼器，支持視覺信號的輸入和輸出。VisCPM 訓(xùn)練包括預(yù)訓(xùn)練和指令精調(diào)兩個(gè)階段，通過高質(zhì)量的英文圖文對數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并采用 LLaVA-150K 英文指令精調(diào)數(shù)據(jù)對模型進(jìn)行指令精調(diào)，以對齊模型多模態(tài)基礎(chǔ)能力和用戶使用意圖。

獲取資源：

https://sota.jiqizhixin.com/project/viscpm

開源跨平臺(tái)圖片無損放大工具Final2x，多模型支持，可將圖像超分辨率提升到任意大小

Final2x 是一款開源、跨平臺(tái)的圖片無損放大工具，內(nèi)置多個(gè)模型，基于 AI 人工智能，能夠?qū)D片提升分辨率到任意尺寸，增強(qiáng)圖像的分辨率和質(zhì)量，使圖像更清晰、更詳細(xì)。該工具當(dāng)前支持 RealCUGAN、RealESRGAN、Waifu2x、SRMD 等多個(gè) AI 模型，適用于 Windows x64/arm64、MacOS x64/arm64 和 Linux x64 等多個(gè)平臺(tái)。使用 Final2x，開發(fā)者可以方便地對圖像進(jìn)行放大處理，根據(jù)自己的需要設(shè)置圖片的放大倍數(shù)，同時(shí)保持圖片的無損放大。

獲取資源：

https://sota.jiqizhixin.com/project/final2x

多角色元編程框架MetaGPT，給定需求可一鍵生成產(chǎn)品文檔、架構(gòu)設(shè)計(jì)、任務(wù)列表、代碼

MetaGPT 是一個(gè)多智能體元編程框架，可解決復(fù)雜編程流程的自動(dòng)化。MetaGPT 能夠模擬產(chǎn)品經(jīng)理、架構(gòu)師、項(xiàng)目經(jīng)理、工程師等角色，自動(dòng)監(jiān)督代碼生成，提升代碼質(zhì)量。MetaGPT 能夠一鍵進(jìn)行市場調(diào)研、競品分析、架構(gòu)設(shè)計(jì)等環(huán)節(jié)，結(jié)合現(xiàn)實(shí)情況，智能分析生成代碼的類型、適用人群和功能需求，大大降低開發(fā)成本。MetaGPT 在模擬現(xiàn)實(shí)軟件開發(fā)過程中變量更多，監(jiān)督效果更佳，生成輸出的結(jié)果更具優(yōu)勢。但該項(xiàng)目當(dāng)前仍處于開發(fā)環(huán)節(jié)，尚不能完全代替人工開發(fā)。

獲取資源：

https://sota.jiqizhixin.com/project/metagpt

針對自媒體領(lǐng)域進(jìn)行特殊訓(xùn)練的中文大模型Media LLaMA，掌握自媒體知識(shí)

Media LLaMA 是一個(gè)針對自媒體領(lǐng)域進(jìn)行特殊訓(xùn)練的模型，旨在解決自媒體創(chuàng)作、直播和運(yùn)營等領(lǐng)域缺乏專業(yè)訓(xùn)練數(shù)據(jù)的問題。該模型首先在大規(guī)模自媒體語料上進(jìn)行連續(xù)預(yù)訓(xùn)練，然后利用 ChatGPT 收集了一批關(guān)于自媒體知識(shí)問題的分析和回答，并使用這些數(shù)據(jù)對以 Chinese-LLaMA-7B 為基礎(chǔ)進(jìn)行指令微調(diào)，使其習(xí)得如何將自媒體知識(shí)應(yīng)用到實(shí)際場景中。Media LLaMA 掌握自媒體知識(shí)，能夠以通俗易懂的語言解釋自媒體概念，并進(jìn)行基礎(chǔ)的自媒體運(yùn)營咨詢，涵蓋內(nèi)容創(chuàng)作、平臺(tái)運(yùn)營、廣告投放等領(lǐng)域。

獲取資源：

https://sota.jiqizhixin.com/project/media-llama

基于中文金融知識(shí)的LLaMA微調(diào)模型Cornucopia，提高金融領(lǐng)域問答效果

Cornucopia（聚寶盆）?是一個(gè)基于中文金融知識(shí)的 LLaMA 微調(diào)模型，涉及 SFT、RLHF、GPU 訓(xùn)練部署等。該項(xiàng)目開源了基于 LLaMA 系基模型經(jīng)過中文金融知識(shí)指令精調(diào)/指令微調(diào)的微調(diào)模型。團(tuán)隊(duì)通過中文金融公開問答數(shù)據(jù)+爬取的金融問答數(shù)據(jù)構(gòu)建指令數(shù)據(jù)集，并在此基礎(chǔ)上對 LLaMA 系模型進(jìn)行了指令微調(diào)，提高了 LLaMA 在金融領(lǐng)域的問答效果。當(dāng)前項(xiàng)目發(fā)布了基于 Chinese-LLaMA 和中文金融數(shù)據(jù)進(jìn)行指令微調(diào)的模型、基于 Meta-LLaMA 和中文金融數(shù)據(jù)進(jìn)行指令微調(diào)的模型。后續(xù) Cornucopia 還會(huì)陸續(xù)發(fā)布新的中文場景的金融模型，包括 next-pretrain、multi-task SFT、RLHF 等。

獲取資源：

https://sota.jiqizhixin.com/project/cornucopia-llama-fin-chinese

教育垂直領(lǐng)域的對話大模型EduChat開源，基于BELLE繼續(xù)訓(xùn)練，實(shí)現(xiàn)自動(dòng)出題、作業(yè)批改等教育場景

EduChat 是一款針對教育垂直領(lǐng)域的對話大模型，由華東師范大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院的 EduNLP 團(tuán)隊(duì)研發(fā)。該項(xiàng)目主要研究以預(yù)訓(xùn)練大模型為基底的教育對話大模型相關(guān)技術(shù)，融合多樣化的教育垂直領(lǐng)域數(shù)據(jù)，輔以指令微調(diào)、價(jià)值觀對齊等方法。EduChat 提供教育場景下自動(dòng)出題、作業(yè)批改、情感支持、課程輔導(dǎo)、高考咨詢等豐富功能，服務(wù)于廣大老師、學(xué)生和家長群體，助力實(shí)現(xiàn)因材施教、公平公正、富有溫度的智能教育。該模型基于 BELLE 進(jìn)行繼續(xù)訓(xùn)練，具有較高的準(zhǔn)確率和性能表現(xiàn)。

獲取資源：

https://sota.jiqizhixin.com/project/educhat

用于醫(yī)學(xué)圖像的自監(jiān)督學(xué)習(xí)大規(guī)模視覺預(yù)訓(xùn)練模型LVM-Med，可用于2D-3D分割、圖像分類和目標(biāo)檢測等下游任務(wù)

LVM-Med 是一個(gè)基于二階圖匹配的自監(jiān)督學(xué)習(xí)大規(guī)模視覺預(yù)訓(xùn)練模型，專為醫(yī)學(xué)影像領(lǐng)域而設(shè)計(jì)。該模型使用近 55 個(gè)數(shù)據(jù)集中約 130 萬張醫(yī)學(xué)圖像進(jìn)行訓(xùn)練，并采用二階圖匹配公式，將當(dāng)前的對比學(xué)習(xí)和基于實(shí)例的自監(jiān)督學(xué)習(xí)方法進(jìn)行統(tǒng)一。項(xiàng)目提供了 LVM-Med 的預(yù)訓(xùn)練模型，并演示了在 2D-3D 分割、線性/完全微調(diào)的圖像分類和目標(biāo)檢測等下游任務(wù)中的應(yīng)用。

獲取資源：

https://sota.jiqizhixin.com/project/lvm-med

蘇黎世理工提出SAM-PT，利用點(diǎn)追蹤器將SAM模型擴(kuò)展到視頻領(lǐng)域的分割模型

SAM-PT 是一個(gè)基于 SAM 模型的視頻分割模型，利用最先進(jìn)的點(diǎn)追蹤器預(yù)測稀疏點(diǎn)軌跡，將 SAM 擴(kuò)展到視頻領(lǐng)域。SAM 是一個(gè)強(qiáng)大的圖像分割基礎(chǔ)模型，它可以在不需要標(biāo)注的情況下，對任何圖像中的任何物體進(jìn)行分割。SAM-PT 是第一種將稀疏點(diǎn)追蹤與 SAM 相結(jié)合用于視頻分割的方法，只要在視頻中點(diǎn)幾下鼠標(biāo)，SAM-PT 就能分割并追蹤物體的輪廓。SAM-PT 的出現(xiàn)為計(jì)算機(jī)視覺領(lǐng)域帶來了新的可能性和發(fā)展空間，可用于視頻分割、視頻跟蹤等多種應(yīng)用場景。

獲取資源：

https://sota.jiqizhixin.com/project/sam-pt

網(wǎng)頁端訪問： 在瀏覽器地址欄輸入新版站點(diǎn)地址 sota.jiqizhixin.com ，即可前往「SOTA！模型」平臺(tái)，查看關(guān)注的模型是否有新資源收錄。?

移動(dòng)端訪問：在微信移動(dòng)端中搜索服務(wù)號名稱「機(jī)器之心SOTA模型」或 ID 「sotaai」，關(guān)注 SOTA！模型服務(wù)號，即可通過服務(wù)號底部菜單欄使用平臺(tái)功能，更有最新AI技術(shù)、開發(fā)資源及社區(qū)動(dòng)態(tài)定期推送。