Anthropic 公司是由OpenAI前研究副總裁帶領(lǐng)10名OpenAI前員工于2021年成立的。這里面既有GPT-3首席工程師Tom Brown，也有OpenAI安全和政策副總裁Daniela Amodei，可以說是帶走了相當(dāng)一批核心人才。出走成立新公司的原因之一，自然是對(duì)OpenAI現(xiàn)狀并不滿意。 從前幾年開始，微軟頻頻給OpenAI注資，隨后又要求他們使用Azure超算來搞研究，而且將技術(shù)授權(quán)給微軟，甚至為微軟自己的投資活動(dòng)籌集資金。這與OpenAI創(chuàng)立的初衷相悖，一批員工便想到了離職創(chuàng)業(yè)。當(dāng)然，還有一部分原因是這群人想做能控制、可解釋的AI，說白了就是先搞明白AI模型背后的原理，從而在提供工具的同時(shí)設(shè)計(jì)更多可解釋的AI模型。于是，在OpenAI徹底變成“微軟攬錢機(jī)器”后，他們便從這家公司離開，創(chuàng)辦了Anthropic。Claude目標(biāo)是成為一個(gè)安全、接近人類價(jià)值觀且合乎道德規(guī)范的AI系統(tǒng)。目前(2023年4月)Anthropic目前團(tuán)隊(duì)大約80人，融資額超過13億美元，估值達(dá)到41億美元。Claude是在Anthropic自主研發(fā)的大型語(yǔ)言模型Create基礎(chǔ)上設(shè)計(jì)打造而成。Create使用Anthropic自行收集的巨大多樣化訓(xùn)練集進(jìn)行訓(xùn)練,并采用了原創(chuàng)性的自監(jiān)督學(xué)習(xí)方法。相較于ChatGPT背后的GPT模型采用的監(jiān)督學(xué)習(xí)方式,這種方法更能促進(jìn)模型對(duì)各種場(chǎng)景的泛化理解,強(qiáng)化常識(shí)推理能力,更好地學(xué)會(huì)人類交互模式。經(jīng)過持續(xù)迭代優(yōu)化,Claude助手已經(jīng)發(fā)布了多版本,當(dāng)前最新版本集成了Create的最新能力,可以提供流暢、知識(shí)豐富、上下文關(guān)聯(lián)的英文語(yǔ)音交互體驗(yàn)。模型方面,Anthropic宣稱其規(guī)模已經(jīng)超過175億參數(shù),相當(dāng)于GPT-3的1.5倍。

體驗(yàn)網(wǎng)址：https://claude.ai/

• 一次記憶10萬token，相當(dāng)于75000個(gè)單詞

Claude 的上下文窗口從 9K token 擴(kuò)展到了 100K token（Claude 2 已經(jīng)擴(kuò)展到 200K token，但目前發(fā)布版本僅支持 100K token）。升級(jí)后的Claude-100k版本，對(duì)話和任務(wù)處理能力得到極大提升。一方面，是“一次性可處理文本量”的增加，直接拓寬了Claude的可從事崗位類型。之前，大模型最多用來處理幾十頁(yè)的文檔?，F(xiàn)在，Claude已經(jīng)能速讀公司財(cái)報(bào)年報(bào)、技術(shù)開發(fā)文檔、識(shí)別法律文件中的風(fēng)險(xiǎn)、閱讀上百頁(yè)研究論文、乃至于處理整個(gè)代碼庫(kù)中的數(shù)據(jù)。最關(guān)鍵的是，它不僅能通讀全文總結(jié)其中的要點(diǎn)，還能進(jìn)一步完成具體任務(wù)，如寫代碼、整理表格等。Claude可以是你的「代碼伴侶」,分分鐘就能做個(gè)演示。比如,上傳一個(gè)240頁(yè)的Langchain API文檔,讓它基于這個(gè)文檔用Anthropic的語(yǔ)言模型 做一個(gè)Langchain的簡(jiǎn)單演示。

此外,Claude100k還能處理大約6小時(shí)的音頻量。比如說,把一個(gè)馬斯克的播客內(nèi)容轉(zhuǎn)錄成了58k個(gè)token量的文本,然后用Claude進(jìn)行了總結(jié)和問答。另一方面則是“記憶力”的增加，帶來了對(duì)話題掌控度的提升、以及聊天能力的提升。此前大模型經(jīng)常會(huì)出現(xiàn)“聊著聊著忘了話題”的情況，對(duì)話窗口總字?jǐn)?shù)超過幾千字后，開始胡言亂語(yǔ)。但現(xiàn)在，擁有一次10萬+個(gè)token記憶力的Claude，則不太可能出現(xiàn)這種情況，反而能牢牢記住和你聊過的話題，連續(xù)交談上好幾天。

• Claude 的訓(xùn)練數(shù)據(jù)主要是英語(yǔ)，但 Claude 2 的訓(xùn)練數(shù)據(jù)中非英語(yǔ)數(shù)據(jù)比例已經(jīng)明顯增加。經(jīng)測(cè)試發(fā)現(xiàn)claude對(duì)中文的理解能力相對(duì)于chatgpt要好很多。
• Claude 2 的訓(xùn)練數(shù)據(jù)包括 2022 年和 2023 年初更新的數(shù)據(jù)。這意味著它在互聯(lián)網(wǎng)新聞等方面了解的更多。

性能測(cè)試