LongChat6/13B開源,遠(yuǎn)程檢索超ChatGLM2;MobileSAM、扁鵲2、北大ChatLaw等項(xiàng)目開源



本周帶來的?6?個(gè)模型項(xiàng)目分別用于聊天機(jī)器人、圖像分割、法律對(duì)話、3D人體頭像生成等;4?個(gè)工具項(xiàng)目用于大模型性能增強(qiáng)、異構(gòu)數(shù)據(jù)處理、文本檢測、非結(jié)構(gòu)化數(shù)據(jù)處理。
LMSYS Org發(fā)布新的聊天機(jī)器人模型系列LongChat,具有新的擴(kuò)展上下文長度,最多可達(dá)16K個(gè)token
LongChat 是一個(gè)面向開發(fā)者的聊天機(jī)器人模型系列,由 LMSYS Org 開源,包括 LongChat-7B 和 LongChat-13B,可擴(kuò)展上下文長度高達(dá) 16K 個(gè) token。LongChat 通過壓縮旋轉(zhuǎn)嵌入技術(shù),對(duì)從 ShareGPT 收集的用戶共享對(duì)話分別微調(diào) llama-7b、llama-13b 得到。評(píng)估結(jié)果表明,LongChat-13B 的遠(yuǎn)程檢索準(zhǔn)確性比其他長上下文模型高出 2 倍,包括 MPT-7B-storywriter(65K)、MPT-30B-chat(8K)和 ChatGLM2-6B(32k)。
獲取資源:
https://sota.jiqizhixin.com/project/longchat

輕量級(jí)SAM模型MobileSAM,比原始SAM縮小60倍以上,移動(dòng)設(shè)備上運(yùn)行高效,速度快
Segment anything model (SAM)是一種即時(shí)引導(dǎo)的視覺基礎(chǔ)模型,用于從背景中分割出目標(biāo)對(duì)象。在許多高級(jí)視覺應(yīng)用中,SAM 因其高度通用性而備受關(guān)注,然而,這樣的應(yīng)用需在資源受限的邊緣設(shè)備上運(yùn)行,如移動(dòng)應(yīng)用。MobileSAM 旨在將 SAM 適用于移動(dòng)設(shè)備,通過使用輕量級(jí)圖像編碼器代替重量級(jí)圖像編碼器,并采用分離蒸餾的方法,MobileSAM 在保持原始 SAM 性能的同時(shí),體積縮小了 60 倍以上。相比并發(fā) FastSAM 體積小 7 倍、速度快 4 倍,更適用于移動(dòng)應(yīng)用。
獲取資源:
https://sota.jiqizhixin.com/project/mobilesam

清華大學(xué)提出符號(hào)性記憶模塊ChatDB,基于LLM生成SQL指令操作數(shù)據(jù)庫,實(shí)現(xiàn)精確歷史信息的增刪改查,為模型回復(fù)提供信息支持
清華大學(xué)等提出符號(hào)性記憶框架 ChatDB,用數(shù)據(jù)庫作為符號(hào)性記憶模塊來增強(qiáng)大語言模型。ChatDB 由一個(gè)大語言模型(如 ChatGPT)和一個(gè)數(shù)據(jù)庫組成。具體地,大語言模型通過生成 SQL 指令來操縱數(shù)據(jù)庫,精確地控制記憶模塊中歷史信息的增刪改查,為模型回復(fù)提供信息支持。ChatDB 讓大語言模型能夠勝任需要長期且精確記錄、處理和分析歷史信息的場景,有望替代管理者,直接做分析和決策。
獲取資源:
https://sota.jiqizhixin.com/project/chatdb

北大開源集成外部知識(shí)庫的法律大語言模型ChatLaw,基于姜子牙 -13B和Anima-33B訓(xùn)練,具有強(qiáng)大邏輯推理能力
ChatLaw 是一個(gè)法律大型語言模型,可以集成外部知識(shí)庫,并基于姜子牙 -13B 和 Anima-33B 進(jìn)行訓(xùn)練,具有較強(qiáng)的邏輯推理能力。目前開源了三個(gè)模型型號(hào):ChatLaw-13、ChatLaw-33B、ChatLaw-Text2Vec。ChatLaw-13B 是學(xué)術(shù) demo 版,中文表現(xiàn)良好,但在邏輯復(fù)雜的法律問答方面效果不佳,需要使用更大參數(shù)的模型。ChatLaw-33B 是學(xué)術(shù) demo 版,邏輯推理能力大幅提升,但由于語料庫過少,會(huì)出現(xiàn)英文數(shù)據(jù)。ChatLaw-Text2Vec 使用 93w 條判決案例做成的數(shù)據(jù)集基于 BERT 訓(xùn)練了一個(gè)相似度匹配模型,可以將用戶提問信息和對(duì)應(yīng)的法條相匹配。
獲取資源:
https://sota.jiqizhixin.com/project/chatlaw

中文醫(yī)療對(duì)話模型扁鵲,經(jīng)過千萬規(guī)模中文健康對(duì)話數(shù)據(jù)微調(diào)得到,強(qiáng)化建議和知識(shí)查詢能力
扁鵲是一個(gè)中文醫(yī)療對(duì)話模型,當(dāng)前發(fā)布兩個(gè)版本扁鵲 -1.0 和扁鵲 -2.0。相比常見開源醫(yī)療問答模型,扁鵲更注重多輪交互中用戶描述不足的情況,定義了詢問鏈并強(qiáng)化了建議和知識(shí)查詢能力。扁鵲 -1.0 是一個(gè)經(jīng)過指令與多輪問詢對(duì)話聯(lián)合微調(diào)的醫(yī)療對(duì)話大模型,使用超過 900 萬條樣本的中文醫(yī)療問答指令與多輪問詢對(duì)話混合數(shù)據(jù)集訓(xùn)練得到。扁鵲 -2.0 則基于扁鵲健康大數(shù)據(jù) BianQueCorpus,選擇 ChatGLM-6B 作為初始化模型,經(jīng)過全量參數(shù)的指令微調(diào)訓(xùn)練得到,并擴(kuò)充了藥品說明書指令、醫(yī)學(xué)百科知識(shí)指令以及 ChatGPT 蒸餾指令等數(shù)據(jù),強(qiáng)化了模型的建議與知識(shí)查詢能力。
獲取資源:
https://sota.jiqizhixin.com/project/bianque

字節(jié)等提出的3D感知生成模型PanoHead,輸入單個(gè)圖像以重建完整、高質(zhì)量、多樣化的3D頭部
PanoHead 是首個(gè) 3D 感知生成模型,使用真實(shí)世界的未結(jié)構(gòu)化圖像進(jìn)行訓(xùn)練,能夠高質(zhì)量地生成具有多樣外觀和詳細(xì)幾何形狀的全頭 360°視角一致圖像。通過引入新穎的兩階段自適應(yīng)圖像對(duì)齊和三網(wǎng)格神經(jīng)體積表示,提高了 3D GAN 的表達(dá)能力和數(shù)據(jù)對(duì)齊性,實(shí)現(xiàn)了在復(fù)雜背景下的頭部合成??蓮膯螐堓斎雸D像中重建完整的 3D 頭部,用于個(gè)性化真實(shí)的 3D 頭像。相較于現(xiàn)有 3D GAN 方法,PanoHead 在生成高質(zhì)量的 3D 頭部方面表現(xiàn)更加出色,能夠準(zhǔn)確呈現(xiàn)各種發(fā)型和角度的頭部外觀。
獲取資源:
https://sota.jiqizhixin.com/project/panohead

蘇黎世聯(lián)邦理工提出圖像局部特征匹配深度神經(jīng)網(wǎng)絡(luò)LightGlue,在記憶和計(jì)算方面都更加高效、準(zhǔn)確,更易于訓(xùn)練
LightGlue 是蘇黎世聯(lián)邦理工學(xué)院提出的一種用于圖像局部特征匹配的深度神經(jīng)網(wǎng)絡(luò)。該模型結(jié)合了注意力機(jī)制、匹配問題的洞察以及 Transformer 的最新創(chuàng)新,提高了匹配效率和準(zhǔn)確性。相比于 SuperGlue,LightGlue 更加高效(內(nèi)存和計(jì)算)、準(zhǔn)確且易于訓(xùn)練。其中一個(gè)重要特性是 LightGlue 能夠能夠根據(jù)圖像對(duì)的難度進(jìn)行自適應(yīng)推斷,實(shí)現(xiàn)更快速的匹配過程,適用于對(duì)延遲敏感的應(yīng)用,如 3D 重建。
獲取資源:
https://sota.jiqizhixin.com/project/lightglue

自主管理、處理和展示大量異構(gòu)數(shù)據(jù)的LLMs系統(tǒng)Data-Copilot,無需人工干預(yù)
不同領(lǐng)域每天都會(huì)產(chǎn)生大量異構(gòu)數(shù)據(jù),需要大量人力和專業(yè)知識(shí)來高效處理和展示。Data-Copilot 是一種基于 LLM 的系統(tǒng),通過連接來自不同領(lǐng)域的數(shù)據(jù)源,可自主管理、處理、分析、預(yù)測和可視化來自不同領(lǐng)域的海量數(shù)據(jù)。它通過自主設(shè)計(jì)多功能接口和自動(dòng)部署簡潔工作流程來滿足多樣化的人類需求,接口設(shè)計(jì)和部署過程完全由 Data-Copilot 自主控制,無需人類干預(yù)。
獲取資源:
https://sota.jiqizhixin.com/project/data-copilot

基于MindSpore的OCR開源工具箱MindOCR,集成主流文本檢測和識(shí)別算法
MindOCR 是一個(gè)基于 MindSpore 開發(fā)和應(yīng)用 OCR 的開源工具箱,集成了一系列主流的文本檢測和識(shí)別算法和模型,并提供易于使用的訓(xùn)練和推理工具。它可以加速開發(fā)和部署在實(shí)際應(yīng)用中的 SOTA 文本檢測和識(shí)別模型,如 DBNet/DBNet++和 CRNN/SVTR,并幫助滿足圖像文本理解的需求。MindOCR 提供了一系列經(jīng)過優(yōu)化配置的預(yù)訓(xùn)練權(quán)重,可在 OCR 任務(wù)中達(dá)到有競爭力的性能,以及提供易于使用的推理工具,可執(zhí)行文本檢測和識(shí)別任務(wù)。
獲取資源:
https://sota.jiqizhixin.com/project/mindocr

高效處理萬億級(jí)非結(jié)構(gòu)化向量數(shù)據(jù)的開源矢量數(shù)據(jù)庫Milvus
Milvus 是一款用于非結(jié)構(gòu)化數(shù)據(jù)的開源矢量數(shù)據(jù)庫,專門設(shè)計(jì)用于處理輸入向量查詢。它能夠以萬億規(guī)模索引向量,與現(xiàn)有的按照預(yù)定義模式處理結(jié)構(gòu)化數(shù)據(jù)的關(guān)系數(shù)據(jù)庫不同。Milvus 能夠通過嵌入技術(shù)將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為向量進(jìn)行存儲(chǔ)和索引,并通過計(jì)算兩個(gè)向量的相似距離來分析它們之間的相關(guān)性。它適用于處理各種非結(jié)構(gòu)化數(shù)據(jù),如電子郵件、論文、物聯(lián)網(wǎng)傳感器數(shù)據(jù)、Facebook 照片、蛋白質(zhì)結(jié)構(gòu)等等。
獲取資源:
https://sota.jiqizhixin.com/project/milvus

網(wǎng)頁端訪問: 在瀏覽器地址欄輸入新版站點(diǎn)地址 sota.jiqizhixin.com ,即可前往「SOTA!模型」平臺(tái),查看關(guān)注的模型是否有新資源收錄。?
移動(dòng)端訪問:在微信移動(dòng)端中搜索服務(wù)號(hào)名稱「機(jī)器之心SOTA模型」或 ID 「sotaai」,關(guān)注 SOTA!模型服務(wù)號(hào),即可通過服務(wù)號(hào)底部菜單欄使用平臺(tái)功能,更有最新AI技術(shù)、開發(fā)資源及社區(qū)動(dòng)態(tài)定期推送。
