2023年6月25日 Jina AI 發(fā)布了 JinaChat，一個(gè)面向開發(fā)者和終端用戶的多模態(tài)大模型API。傳統(tǒng)大型語(yǔ)言模型往往將競(jìng)爭(zhēng)力建立在「參數(shù)多」和「刷分強(qiáng)」的基礎(chǔ)上，然而對(duì)于應(yīng)用開發(fā)者來說，傳統(tǒng)模型商的 API 并不能很好地讓開發(fā)者低成本的實(shí)現(xiàn)解決方案。結(jié)果就產(chǎn)生了AIGC時(shí)代的悖論：人人都是開發(fā)者，結(jié)果開發(fā)者一分錢沒賺到，模型 API 服務(wù)商賺個(gè)盆滿缽滿。那么今天就讓我們看看JinaChat是如何破局的。

傳統(tǒng)大模型的陷阱：西西弗斯式的循環(huán)

在實(shí)際生產(chǎn)環(huán)境中使用大模型時(shí)，通常我們會(huì)采用長(zhǎng)提示詞、小樣本提示詞（Few-shot prompt）、思維鏈（Chain of thoughts）或 AutoGPT 來完成復(fù)雜的任務(wù)。但這些能力需要引入大量上下文窗口，囿于昂貴的 token 計(jì)費(fèi)機(jī)制。我們首先面臨的障礙便是其高昂的成本。使用 ChatGPT 提問單個(gè)問題（zero-shot）通常需要耗費(fèi) 100 ~ 200 個(gè) token。特別而在聊天機(jī)器人，客服等連續(xù)對(duì)話場(chǎng)景中，為了保持上下文記憶，傳統(tǒng)的大模型API要求開發(fā)者每次都要追加發(fā)送歷史消息，直到上下文窗口被填滿。對(duì)于開發(fā)者來說，token的花銷大部分支付在了歷史消息上。小樣本提示詞（few shot prompt）是大模型中常用的高級(jí)提示詞策略，它由 {任務(wù)說明，[多個(gè)訓(xùn)練樣本,...]，測(cè)試樣本} 組成，從而誘導(dǎo)大模型給出更好的答案。其中“任務(wù)說明”和“多個(gè)訓(xùn)練樣本”這兩部分基本是固定成本，在使用小樣本提示詞時(shí)，真正的變量在于測(cè)試樣本。然而，傳統(tǒng)的大模型API要求開發(fā)者每次在構(gòu)建小樣本決策時(shí)都必須發(fā)送包含訓(xùn)練樣本的完整的提示詞才能“激活”模型的上下文學(xué)習(xí)能力。也就是說每次決策中90%的成本浪費(fèi)在了重復(fù)性的提示詞上，真正用在刀刃上的不到實(shí)際開銷的10%。

接下來就是更燒錢的 AutoGPT。曾有人說過，AutoGPT 爆火的背后 OpenAI 數(shù)錢數(shù)到麻。這是因?yàn)?AutoGPT中每一個(gè)任務(wù)需要通過思維鏈（chain of thoughts）來完成：為了提供最佳的推理，每一步推理都會(huì)引入之前的思維鏈，這就會(huì)消耗更多的 token，在 AutGPT 發(fā)布不久我們就曾詳細(xì)計(jì)算過，使用 AutoGPT 一項(xiàng)簡(jiǎn)單的的任務(wù)成本高達(dá) 102 元。

看似引領(lǐng)未來的小樣本提示詞和 AutoGPT，從成本角度來看，對(duì)大部分用戶和組織來說，都顯得遙不可及。

開發(fā)者的福音：低成本長(zhǎng)記憶的JinaChat

?“對(duì)方 token 多貴？” ?“10 美分” ?“我們 token 多貴？” ?“5 美分” ?“給我減，減到零，開局再送多模態(tài)！“

上面這段對(duì)話可能來自是大家最近常刷到的游戲廣告。也是我們 JinaChat 的源動(dòng)力之一：一個(gè)針對(duì)長(zhǎng) prompt 優(yōu)化后的大模型API，讓開發(fā)者守住自己的錢袋子。

傳統(tǒng)的大模型API無(wú)法保存和追溯對(duì)話歷史，而 JinaChat允許開發(fā)者通過 chatId 調(diào)取之前的每次對(duì)話歷史，使得大模型的 API 從 stateless 變成了 stateful，從而保持了長(zhǎng) Prompt的記憶。更重要的是，開發(fā)者每次只需要支付增量部分的花銷，而無(wú)需對(duì)記憶做重復(fù)付費(fèi)，極大的降低的開發(fā)者的使用成本。

舉個(gè)例子，如果你設(shè)計(jì)一個(gè)復(fù)雜的 Agent，需要根據(jù)歷史對(duì)話信息做出決策。用傳統(tǒng)大模型 API，你需要每次發(fā)送包括 Agent、CoT、記憶體等的全部?jī)?nèi)容，相當(dāng)于每次都從山腳下開始爬。

而有了 JinaChat，你只需發(fā)送增量信息，之前的對(duì)話會(huì)被模型記住，你只需要指定 chatId，就像游戲讀檔一樣，從已有的高度開始繼續(xù)攀爬，無(wú)需重復(fù)支付的成本。

你甚至可以在 API 中繼續(xù)圖形界面的聊天記錄。

除了可以使用 chatId 來實(shí)現(xiàn)“讀檔”， JinaChat 的單條請(qǐng)求價(jià)格也相當(dāng)便宜。以標(biāo)準(zhǔn)訂閱為例，對(duì)于少于 300 個(gè) token 的短消息，完全免費(fèi)，這滿足了大部分簡(jiǎn)單日常溝通需求。至于超過 300 個(gè) token，無(wú)論消息有多長(zhǎng)，都是一口價(jià) 0.56 元。如果開發(fā)者能夠有效結(jié)合 chatId，在首次使用長(zhǎng) prompt 構(gòu)建歷史信息和訓(xùn)練樣本，而在后期可以只發(fā)送增量 prompt，從而把成本壓縮到300 token內(nèi)，極大的降低了復(fù)雜LLM應(yīng)用的開發(fā)成本。

超越文本，引領(lǐng)多模態(tài)交互新時(shí)代

“開局送神裝” 在6月26號(hào)發(fā)布的 JinaChat 0.1 版本中，用戶不僅可以通過文本交互在一個(gè)類似 ChatGPT 的界面中與 JinaChat 交互，更可以通過上傳圖片實(shí)現(xiàn)圖聊。JinaChat 將圖像交互作為一項(xiàng)重要功能加以支持。它能夠調(diào)用 SceneXplain 實(shí)現(xiàn)對(duì)圖像解析和內(nèi)容理解。

舉例來說，當(dāng)你發(fā)送一張旅行照片時(shí)，JinaChat 能通過圖像識(shí)別技術(shù)判斷照片中的地點(diǎn)，并提供相關(guān)信息，如旅游景點(diǎn)推薦、當(dāng)?shù)孛朗车?，從而幫助你更好地?guī)劃旅行。

結(jié)合 JinaChat 的持續(xù)記憶能力，對(duì)于長(zhǎng)篇對(duì)話和多輪互動(dòng)的復(fù)雜查詢，你會(huì)發(fā)現(xiàn)，JinaChat 的性價(jià)比是市面上最具競(jìng)爭(zhēng)力的。其他解決方案無(wú)法與之比擬，可以說“過了這個(gè)村就沒這個(gè)店了。”

再如，你發(fā)送一張汽車圖片，JinaChat 能識(shí)別汽車的品類，并給出汽車的品牌型號(hào)、亮點(diǎn)等信息，深度的圖像交互能夠帶給全新的體驗(yàn)。

這種多模態(tài)交互不僅提供了更豐富的用戶和開發(fā)者體驗(yàn)，還為跨領(lǐng)域的應(yīng)用開辟了廣闊的可能性。

往深層次看，通過 JinaChat，大型語(yǔ)言模型的能力可以得到真正的應(yīng)用。基于 JinaChat 的強(qiáng)大能力，開發(fā)者們可以輕松地構(gòu)建具有多層次對(duì)話結(jié)構(gòu)、支持多模態(tài)輸入的復(fù)雜 LLM 應(yīng)用。

API 無(wú)縫集成，拓寬開發(fā)者視野

JinaChat 的 API 與 OpenAI 的聊天 API 完全兼容，另外，還增加了圖像交互、對(duì)話恢復(fù)等功能，使其在交互性方面更勝一籌。開發(fā)者可以輕易地將其替換成 JinaChat API，實(shí)現(xiàn)更加豐富和多樣化的用戶體驗(yàn)，滿足不同應(yīng)用場(chǎng)景的需求。

這就是 JinaChat，一個(gè)更低成本、更多模態(tài)的造福開發(fā)者的大規(guī)模語(yǔ)言模型服務(wù)。

無(wú)論你需要 AI 對(duì)話助手，還是開發(fā)復(fù)雜的 LLM 應(yīng)用，JinaChat 都能為你提供功能強(qiáng)大又經(jīng)濟(jì)實(shí)惠的體驗(yàn)。

如果你也希望自己的應(yīng)用更互動(dòng)、更智能，那么 JinaChat 將是你的首選。未來，JinaChat 將不斷升級(jí)，以智能對(duì)話增強(qiáng)用戶體驗(yàn)，讓我們的交流方式更加多元。

現(xiàn)在就輸入?JCFIRSTCN，即刻享受首月免費(fèi)體驗(yàn)！

點(diǎn)擊 chat.jina.ai，立刻加入我們，探索更多可能性吧！國(guó)內(nèi)用戶首次訪問時(shí)會(huì)被導(dǎo)向chat.jinaai.cn 域名以適配國(guó)內(nèi)網(wǎng)絡(luò)環(huán)境。另外 iOS 手機(jī)用戶請(qǐng)使用 Safari 或者在電腦端打開鏈接。