散文網(wǎng) » 科技 »學(xué)習(xí) » 中文多模態(tài)大模型VisCPM開(kāi)放API接口！升級(jí)版本能力遠(yuǎn)超同類(lèi)模型

中文多模態(tài)大模型VisCPM開(kāi)放API接口！升級(jí)版本能力遠(yuǎn)超同類(lèi)模型

2023-09-13 11:56 作者:OpenBMB 0人讀過(guò) | 我要投稿

今年6月底，OpenBMB開(kāi)源了面壁智能、清華NLP實(shí)驗(yàn)室和知乎聯(lián)合研發(fā)的SOTA 開(kāi)源中文多模態(tài)大模型VisCPM。兩個(gè)多月以來(lái)研發(fā)同學(xué)不斷突破，VisCPM得到全新升級(jí)。

易用性升級(jí)：提供API調(diào)用，提供在線Demo，支持用戶(hù)本地圖形化界面部署，支持低資源推理（最低5G顯存運(yùn)行）；
能力更強(qiáng)：對(duì)話能力升級(jí)至v1.1版本，在多模態(tài)對(duì)話、細(xì)節(jié)描述、復(fù)雜推理三個(gè)專(zhuān)項(xiàng)性能均超過(guò)其它中文模型；
論文發(fā)布：論文對(duì)VisCPM的多語(yǔ)言多模態(tài)技術(shù)進(jìn)行了詳細(xì)介紹，并進(jìn)一步推廣至更多語(yǔ)言。目前基于LLaMA的多模態(tài)對(duì)話模型在德語(yǔ)、法語(yǔ)、西班牙語(yǔ)等6種語(yǔ)言上表現(xiàn)出色。

易用性升級(jí)VisCPM開(kāi)放API接口

—

在易用性方面，VisCPM自發(fā)布以來(lái)持續(xù)升級(jí)：

值得一提的是，近期VisCPM-Chat 開(kāi)放API ，可以使開(kāi)發(fā)者更便捷地接入大模型能力，提高應(yīng)用程序的開(kāi)發(fā)效率，促進(jìn)數(shù)據(jù)共享和生態(tài)共建。開(kāi)發(fā)者僅通過(guò)如下代碼，就可輕松體驗(yàn)中文領(lǐng)域圖文理解最強(qiáng)的VisCPM-Chat，API接口支持的輸入格式和使用方式如下：

能力更強(qiáng)：VisCPM v1.1測(cè)評(píng)遙遙領(lǐng)先

—

8月18日，VisCPM-Chat-v1.1版本發(fā)布，帶來(lái)更強(qiáng)的細(xì)節(jié)理解和復(fù)雜推理能力！在LLaVA標(biāo)準(zhǔn)評(píng)測(cè)基準(zhǔn)上的結(jié)果顯示 VisCPM在中文多模態(tài)模型中綜合能力最強(qiáng)。

可以看到，VisCPM在與其它中英雙語(yǔ)的多模態(tài)大模型的橫向比較中，中文能力整體得分最高（其中細(xì)節(jié)描述和復(fù)雜推理能力尤為突出），英文能力也媲美LLaVA。而在和v1.0版本的縱向比較中，VisCPMv1.1版本在細(xì)節(jié)描述方面的得分大幅提升。

* LLaVA評(píng)測(cè)基準(zhǔn)基于COCO數(shù)據(jù)集（Common Objects in Context，由微軟發(fā)布的標(biāo)準(zhǔn)多模態(tài)數(shù)據(jù)集）構(gòu)建，從多模態(tài)對(duì)話、細(xì)節(jié)描述和復(fù)雜推理三方面全面考察多模態(tài)交互能力。

* 評(píng)測(cè)基準(zhǔn)使用GPT-4作為打分模型，從幫助度、相關(guān)度、準(zhǔn)確度和詳細(xì)程度4個(gè)維度，給標(biāo)準(zhǔn)答案和參評(píng)模型答案打分，得到對(duì)應(yīng)分?jǐn)?shù)（從1至10），分?jǐn)?shù)越高表明整體表現(xiàn)越好。

* VisCPM-Chat（v1.0）：VisCPM-Chat有兩個(gè)模型版本，分別為 VisCPM-Chat-balance 和 VisCPM-Chat-zhplus，前者在英文和中文兩種語(yǔ)言上的能力較為平衡，后者在中文能力上更加突出。本文提到的VisCPM v1.1是VisCPM-Chat的升級(jí)版。

最后，再次歡迎大家調(diào)用API接口。相信無(wú)論您是開(kāi)發(fā)者、研究人員還是企業(yè)家，都可以利用VisCPM出色的圖片細(xì)節(jié)描述和復(fù)雜推理能力找到無(wú)限的可能性。VisCPM能為您提供了前所未有的創(chuàng)造力，讓您能夠重新定義您的項(xiàng)目，為用戶(hù)帶來(lái)卓越的價(jià)值。另一方面，VisCPM的成長(zhǎng)需要您的貢獻(xiàn)，讓我們一起轉(zhuǎn)動(dòng)數(shù)據(jù)飛輪，共建持續(xù)進(jìn)化的大模型生態(tài)。