元乘象Chatimg：會(huì)看圖聊天的國(guó)產(chǎn)多模態(tài)通用大模型來(lái)了

能用圖片聊天的ChatGPT你用過(guò)嗎？由于 OpenAI 目前給出的對(duì)話框只支持文字輸入，所以在 ChatGPT 上，我們是無(wú)法體驗(yàn)到這種樂(lè)趣的。

但是，一個(gè)名為“元乘象 Chatimg”的國(guó)產(chǎn) AI 模型彌補(bǔ)了這一遺憾。它不僅支持文字聊天，還能看懂圖片上的內(nèi)容并根據(jù)圖片內(nèi)容回答問(wèn)題。

據(jù)了解，“元乘象 Chatimg”上線后十分火爆，關(guān)注微信公眾號(hào)“元乘象”就可以體驗(yàn)該應(yīng)用。

元乘象Chatimg初體驗(yàn)

如果給你一幅名畫圖片，可以想象一下，如果不知道這幅畫的名字，我們要怎么才能得到這些答案？首先，我們要把圖片輸入搜索引擎，從而根據(jù)匹配結(jié)果得到畫的名字，然后再拿著這個(gè)名字去搜想知道的信息。而且這些信息可能以大篇幅的形式彈出，需要你自己去找感興趣的段落。而借助“元乘象 Chatimg”，我們只需要上傳圖片、提問(wèn)題就可以了。

筆者給“元乘象 Chatimg”一張油畫的圖像，發(fā)現(xiàn)它可以迅速識(shí)別出圖片內(nèi)容是梵高的《星夜》，并做出鑒賞和評(píng)判。

甚至，它還能根據(jù)圖片編個(gè)故事，而且編的故事往往比較積極、陽(yáng)光。如果你想聊聊藝術(shù)，“元乘象 Chatimg”也能陪你聊，并告訴你藝術(shù)品背后的故事。如果讓Chatimg幫助分析人物性格，它的分析似乎也沒(méi)有破綻。

Chatimg有一些對(duì)于生活比較實(shí)用的功能，比如美食建議，給出一些食材，它給出的建議，已經(jīng)是“美食達(dá)人”的水準(zhǔn)。

“元乘象 Chatimg”的這些能力不止可以用來(lái)閑聊，還可以用來(lái)寫各類建議、商品文案、旅游宣傳詞…… 這些都是可以商業(yè)變現(xiàn)的場(chǎng)景。

雖然結(jié)果可能不能直接拿來(lái)用，但用作參考還是很實(shí)用的。

當(dāng)然，如果你對(duì)結(jié)果不滿意，還可以要求“元乘象 Chatimg”重寫，完整體驗(yàn)做甲方的感覺(jué)。

此外，我們還在測(cè)試過(guò)程中發(fā)現(xiàn)了一些有趣的現(xiàn)象。比如，如果“元乘象 Chatimg”僅根據(jù)圖像和文字線索回答不出你的問(wèn)題，它會(huì)讓你幫忙提供更多信息。在增加信息之后，它有可能給出正確答案。

此外，Chatimg還有交往建議、穿搭建議、秒懂情緒、美食點(diǎn)評(píng)、藝術(shù)品鑒賞等一系列新潮、好玩、實(shí)用的功能應(yīng)用。

背后的技術(shù)與團(tuán)隊(duì)

如今，大模型在 NLP 任務(wù)中取得了成功的應(yīng)用。但真實(shí)世界的數(shù)據(jù)模態(tài)是多樣的。在通用人工智能的發(fā)展過(guò)程中，多模態(tài)感知極為重要的一環(huán)，也是解鎖大模型技術(shù)應(yīng)用的關(guān)鍵。

據(jù)了解，“元乘象 Chatimg”就是搭載了自研的百億級(jí)別參數(shù)多模態(tài)大模型，從而能讓我們像體驗(yàn)的那樣能感知圖片并進(jìn)行對(duì)話。

簡(jiǎn)單介紹來(lái)說(shuō)，目前元乘象 Chatimg 大模型參數(shù)規(guī)模大概 150 億；數(shù)據(jù)方面目前主要是圖文對(duì)數(shù)據(jù)、VQA 數(shù)據(jù)等。而在訓(xùn)練過(guò)程中，該模型放開(kāi)盡量少的可學(xué)習(xí)參數(shù)，從而保證在有限算力上的高效訓(xùn)練。

未來(lái)，除了當(dāng)下的圖文互動(dòng)外，該模型還將集成圖片生成的能力并加入視頻、音頻等多種模態(tài)，甚至與數(shù)字人等技術(shù)結(jié)合，開(kāi)發(fā)出更生動(dòng)立體的形象。

（圖為盧志武教授）

順便透露一下，這個(gè)好玩的應(yīng)用來(lái)自中國(guó)人民大學(xué)高瓴人工智能學(xué)院教授盧志武帶領(lǐng)的團(tuán)隊(duì)。盧志武教授曾主導(dǎo)設(shè)計(jì)了首個(gè)公開(kāi)的中文通用圖文預(yù)訓(xùn)練模型文瀾 BriVL，并發(fā)表于 Nature Communications。該模型經(jīng)過(guò) 6.5 億弱相關(guān)中文圖文對(duì)的預(yù)訓(xùn)練，學(xué)習(xí)到獨(dú)特的中文語(yǔ)義理解能力并能很好地將中文語(yǔ)義與視覺(jué)信息聯(lián)系起來(lái)，尤其擅長(zhǎng)讀取中文獨(dú)有的含蓄語(yǔ)義與圖片中的抽象概念。