來自SemiAnalysis博客的聲明翻譯： 以下內(nèi)容源自最近泄露的一份文件，由一位匿名人士在一個公共Discord服務(wù)器上分享，并已獲得轉(zhuǎn)載許可。

文件來自谷歌內(nèi)部的一名研究員，我們已核實(shí)了其真實(shí)性

。所作的唯一修改是調(diào)整格式和刪除指向內(nèi)部網(wǎng)頁的鏈接。這份文件僅代表谷歌員工的觀點(diǎn)，而非整個公司。我們并不同意以下觀點(diǎn)，我們咨詢的其他研究人員也并不認(rèn)同，但我們將為訂閱者撰寫一篇單獨(dú)的文章發(fā)表我們的觀點(diǎn)。我們只是作為一個平臺來分享這份引起廣泛關(guān)注的文件。

01.

我們沒有護(hù)城河

OpenAI也沒有

我們一直在關(guān)注OpenAI的動向。誰將達(dá)到下一個里程碑？下一步將會是什么？

然而，不得不承認(rèn)的事實(shí)是，我們無法贏得這場競賽，OpenAI也同樣如此。在我們爭執(zhí)的同時，第三方力量悄然取得了優(yōu)勢。

我當(dāng)然是在談?wù)?/p>

開源

了。簡而言之，他們正在超越我們。我們認(rèn)為的“重大開放性問題”如今已經(jīng)解決，并投入人們的使用。以下僅列舉一些：

手機(jī)上的LLMs：人們在Pixel 6手機(jī)上以每秒5個token的速度運(yùn)行基礎(chǔ)模型。

可擴(kuò)展的個人AI：你可以在一個晚上用筆記本電腦微調(diào)個性化AI。

負(fù)責(zé)任的發(fā)布：這一點(diǎn)并不是“解決”了，而是“消除”了。整個互聯(lián)網(wǎng)上有許多沒有任何限制的藝術(shù)模型網(wǎng)站，文本也緊隨其后。

多模態(tài)：當(dāng)前多模態(tài)ScienceQA的最新技術(shù)水平在一個小時內(nèi)就得到了訓(xùn)練。

雖然我們的模型在質(zhì)量上仍然略占優(yōu)勢，但差距正在驚人的速度縮小。開源模型更快、更可定制、更具隱私性，性能更強(qiáng)。他們用100美元和130億參數(shù)做到了我們在1000萬美元和5400億參數(shù)下仍在努力的事情。而且他們只用了幾周時間，而不是幾個月。這對我們意味著：

我們沒有秘密武器。我們最好的希望是向谷歌以外的其他人學(xué)習(xí)并與之合作。我們應(yīng)該優(yōu)先考慮支持第三方集成。

當(dāng)有免費(fèi)、無限制的替代品質(zhì)量相當(dāng)時，人們不會為受限制的模型付費(fèi)。我們應(yīng)該考慮我們真正的價值在哪里。

龐大的模型拖慢了我們的步伐。從長遠(yuǎn)來看，最好的模型是那些可以快速迭代的模型。既然我們知道在參數(shù)少于200億的情況下有什么可能，我們應(yīng)該更關(guān)注小型變體。

02.

發(fā)生了什么

三月初，開源社區(qū)得到了他們的第一個真正有能力的基礎(chǔ)模型，因?yàn)镸eta的LLaMA被泄露給了公眾。它沒有指令或?qū)υ捳{(diào)整，也沒有RLHF。然而，社區(qū)立即認(rèn)識到了他們所得到的東西的重要性。

隨后迅速涌現(xiàn)出大量創(chuàng)新，每隔幾天就有重大發(fā)展（詳見《時間線》）。僅僅一個月后，我們看到了具有指令調(diào)整（instruction tuning）、量化（quantization）、質(zhì)量改進(jìn)（quality improvements）、人類評估（human evals）、多模態(tài)、RLHF等功能的變體，其中許多變體是相互依賴的。

最重要的是，他們已經(jīng)在很大程度上解決了規(guī)模問題，使得任何人都可以參與其中。許多新想法來自普通人。訓(xùn)練和實(shí)驗(yàn)的門檻已經(jīng)從一個大型研究機(jī)構(gòu)的全部產(chǎn)出降低到一個人、一個晚上和一臺性能強(qiáng)大的筆記本電腦。

03.

為什么我們本可以預(yù)見到

在很多方面，這對于任何人來說都不應(yīng)該是一個驚喜。當(dāng)前開源LLM的復(fù)興緊隨著圖像生成領(lǐng)域的復(fù)興之后。社區(qū)對這兩者之間的相似之處并不陌生，許多人將這稱為LLM的“Stable Diffusion Moment”。

在這兩種情況下，低成本的公共參與得以實(shí)現(xiàn)，因?yàn)橛幸环N稱為低秩適應(yīng)（Low rank adaptation，LoRA）的大大降低成本的微調(diào)機(jī)制，結(jié)合了規(guī)模方面的重大突破（圖像合成的Latent Diffusion，LLM的Chinchilla）。在這兩種情況下，獲得足夠高質(zhì)量模型的訪問引發(fā)了來自世界各地個人和機(jī)構(gòu)的大量想法和迭代。在這兩種情況下，這些迅速超過了大型參與者。

在圖像生成領(lǐng)域，這些貢獻(xiàn)起到了關(guān)鍵作用，使Stable Diffusion走上了與Dall-E不同的道路。擁有開放模型導(dǎo)致了產(chǎn)品整合、市場、用戶界面和創(chuàng)新，而這些對于Dall-E來說并未發(fā)生。

效果是明顯的：在文化影響方面迅速占據(jù)主導(dǎo)地位，與之相比，OpenAI的解決方案變得越來越無關(guān)緊要。是否會發(fā)生在LLM上同樣的事情還有待觀察，但總體結(jié)構(gòu)元素是相同的。

04.

我們錯過了什么

推動開源近期成功的創(chuàng)新直接解決了我們?nèi)栽谂?yīng)對的問題。更多關(guān)注他們的工作可以幫助我們避免重復(fù)發(fā)明輪子。

LoRA是一種我們應(yīng)該更加關(guān)注的非常強(qiáng)大的技術(shù)

LoRA通過將模型更新表示為低秩分解（low-rank factorizations）來工作，從而將更新矩陣的大小減小多達(dá)數(shù)千倍。這使得模型微調(diào)的成本和時間大大減少。在消費(fèi)者硬件上花幾個小時個性化語言模型是一件大事，尤其是對于涉及近乎實(shí)時地整合新的、多樣化知識的愿景。這項(xiàng)技術(shù)的存在在谷歌內(nèi)部被低估了，盡管它直接影響了我們一些最雄心勃勃的項(xiàng)目。

05.

從頭開始重新訓(xùn)練模型是困難的途徑

使LoRA如此有效的部分原因是它（與其他微調(diào)形式一樣）是可堆疊的。諸如指令調(diào)整之類的改進(jìn)可以應(yīng)用，然后在其他貢獻(xiàn)者添加對話、推理或工具使用時加以利用。雖然單個微調(diào)的秩較低（low rank），但它們的總和不必如此，從而允許隨著時間的推移累積對模型進(jìn)行全秩（full-rank）更新。

這意味著隨著新的、更好的數(shù)據(jù)集和任務(wù)變得可用，模型可以以較低的成本保持最新狀態(tài)，而無需支付完整運(yùn)行的成本。

相比之下，從頭開始訓(xùn)練巨型模型不僅會丟棄預(yù)訓(xùn)練，還會丟棄已經(jīng)在頂部進(jìn)行的迭代改進(jìn)。在開源世界，這些改進(jìn)很快就會占據(jù)主導(dǎo)地位，使得完全重新訓(xùn)練變得極其昂貴。

我們應(yīng)該認(rèn)真思考每個新的應(yīng)用或想法是否真的需要一個全新的模型。如果我們確實(shí)有重大的架構(gòu)改進(jìn)，使得無法直接重用模型權(quán)重，那么我們應(yīng)該投資于更具侵略性的蒸餾形式（distillation），以便盡可能保留前一代的能力。

06.

從長遠(yuǎn)來看，如果我們能在小模型上更快地迭代，大型模型并不會更有能力

LoRA更新對于最受歡迎的模型尺寸非常便宜（約100美元）。這意味著幾乎任何有想法的人都可以生成一個并將其發(fā)布。培訓(xùn)時間少于一天是常態(tài)。在這個速度下，這些微調(diào)的累積效果很快就能彌補(bǔ)起始尺寸劣勢。事實(shí)上，從工程師小時的角度來看，這些模型的改進(jìn)速度遠(yuǎn)遠(yuǎn)超過了我們在最大型號上所能做到的，而且最好的模型已經(jīng)與ChatGPT幾乎無法區(qū)分。專注于維護(hù)地球上一些最大的模型實(shí)際上讓我們處于劣勢。

07.

數(shù)據(jù)質(zhì)量比數(shù)據(jù)規(guī)模更具可擴(kuò)展性

許多項(xiàng)目通過在小型、精選數(shù)據(jù)集上進(jìn)行訓(xùn)練來節(jié)省時間。這表明數(shù)據(jù)擴(kuò)展規(guī)律具有一定的靈活性。這些數(shù)據(jù)集的存在源于《數(shù)據(jù)并非如你所想》一文中的思考線，它們正迅速成為谷歌以外進(jìn)行訓(xùn)練的標(biāo)準(zhǔn)方式。這些數(shù)據(jù)集是通過合成方法（例如從現(xiàn)有模型中篩選最佳響應(yīng)）和從其他項(xiàng)目中收集而來，谷歌在這兩者中都不占主導(dǎo)地位。幸運(yùn)的是，這些高質(zhì)量數(shù)據(jù)集是開源的，所以我們可以自由使用。

08.

與開源直接競爭是輸不起的游戲

近期的進(jìn)展對我們的商業(yè)策略有直接、即時的影響。如果有一個免費(fèi)的、高質(zhì)量的、沒有限制的替代方案，誰會為帶有使用限制的谷歌產(chǎn)品付費(fèi)？

而且我們不應(yīng)該指望能夠迎頭趕上?，F(xiàn)代互聯(lián)網(wǎng)之所以依賴開源，是有原因的。開源有一些我們無法復(fù)制的顯著優(yōu)勢。

09.

我們需要他們勝過他們需要我們

保密我們的技術(shù)一直是一個脆弱的命題。谷歌的研究人員定期離開公司去其他公司，所以我們可以假設(shè)他們知道我們所知道的一切，并將繼續(xù)這樣做，只要這個渠道還在。

但在LLM領(lǐng)域的尖端研究變得負(fù)擔(dān)得起的情況下，保持技術(shù)競爭優(yōu)勢變得更加困難。全球各地的研究機(jī)構(gòu)在彼此的工作基礎(chǔ)上進(jìn)行建設(shè)，以廣度優(yōu)先的方式探索解決方案空間，遠(yuǎn)超我們自身的能力。我們可以試著緊緊抓住我們的秘密，而外部創(chuàng)新會削弱它們的價值，或者我們可以試著互相學(xué)習(xí)。

10.

與公司相比，個人受許可限制的程度較小

許多創(chuàng)新都是基于Meta泄露的模型權(quán)重發(fā)生的。雖然這肯定會隨著真正的開源模型變得更好而改變，但關(guān)鍵是他們不必等待。法律規(guī)定的“個人使用”以及起訴個人的實(shí)際困難意味著個人在這些技術(shù)熾熱時就能獲得這些技術(shù)。

11.

作為自己的客戶意味著你了解用例

瀏覽人們在圖像生成領(lǐng)域創(chuàng)建的模型，有大量的創(chuàng)意涌現(xiàn)，從動漫生成器到HDR風(fēng)景。這些模型由深入特定子類型的人使用和創(chuàng)建，賦予了我們無法企及的知識深度和共鳴。

12.

擁有生態(tài)系統(tǒng)：讓開源為我們服務(wù)

矛盾的是，所有這些事情中唯一明確的贏家是Meta。因?yàn)樾孤兜哪Ｐ褪撬麄兊?，所以他們?shí)際上獲得了相當(dāng)于整個星球的免費(fèi)勞動力。由于大部分開源創(chuàng)新都是基于他們的架構(gòu)進(jìn)行的，所以沒有什么能阻止他們直接將其納入自己的產(chǎn)品中。

擁有生態(tài)系統(tǒng)的價值不可估量。谷歌本身在其開源產(chǎn)品（如Chrome和Android）中成功地利用了這一范式。通過擁有創(chuàng)新發(fā)生的平臺，谷歌鞏固了自己作為思想領(lǐng)袖和方向制定者的地位，贏得了塑造比自己更大的想法敘事的能力。

我們對模型的控制越嚴(yán)格，開放替代品就越有吸引力。谷歌和OpenAI都在朝著保留對模型使用方式的嚴(yán)格控制的發(fā)布模式做出防御性反應(yīng)。但這種控制只是虛構(gòu)的。任何試圖將LLMs用于未經(jīng)批準(zhǔn)的目的的人都可以選擇自由提供的模型。

谷歌應(yīng)該在開源社區(qū)確立自己的領(lǐng)導(dǎo)地位，通過與更廣泛的對話合作，而不是忽略它們，來起到引領(lǐng)作用。這可能意味著采取一些令人不安的步驟，例如發(fā)布小型ULM變體的模型權(quán)重。這必然意味著放棄對我們模型的一些控制。但這種妥協(xié)是不可避免的。我們不能既希望建立創(chuàng)新又控制創(chuàng)新。

13.

尾聲：OpenAI呢？

所有關(guān)于開源的討論可能讓人覺得不公平，因?yàn)镺penAI目前的政策是封閉的。如果他們不分享，為什么我們必須分享呢？但事實(shí)是，我們已經(jīng)通過源源不斷地被挖走的高級研究人員與他們分享了一切。除非我們遏制這種趨勢，否則保密就毫無意義了。

最后，OpenAI并不重要。他們在與開源的相對立場上犯了與我們相同的錯誤，他們保持優(yōu)勢的能力必然受到質(zhì)疑。開源替代品可以并最終會取代他們，除非他們改變立場。至少在這方面，我們可以先行一步。

14.

時間線

2023年2月24日 - LLaMA發(fā)布

Meta發(fā)布LLaMA，開源代碼，但不開源權(quán)重。此時，LLaMA尚未進(jìn)行指令或?qū)υ捳{(diào)優(yōu)。與許多當(dāng)前模型一樣，它是一個相對較小的模型（參數(shù)分別為7B、13B、33B和65B），經(jīng)過相對較長時間的訓(xùn)練，因此與其大小相比具有相當(dāng)強(qiáng)大的能力。

2023年3月3日 - 不可避免的事情發(fā)生了

一周內(nèi)，LLaMA被泄露給公眾。這對社區(qū)的影響不可估量。雖然現(xiàn)有許可證阻止了它被用于商業(yè)目的，但突然之間任何人都可以嘗試進(jìn)行實(shí)驗(yàn)。從此時開始，創(chuàng)新進(jìn)展迅速。

2023年3月12日 - 語言模型在烤箱上運(yùn)行

一個多星期后，Artem Andreenko讓模型在樹莓派上運(yùn)行。此時，模型運(yùn)行速度太慢，因?yàn)闄?quán)重必須在內(nèi)存中分頁，實(shí)用性不強(qiáng)。盡管如此，這為一系列的模型縮小工作奠定了基礎(chǔ)。

2023年3月13日 - 筆記本電腦上的微調(diào)

第二天，斯坦福大學(xué)發(fā)布了Alpaca，為LLaMA增加了指令調(diào)優(yōu)。然而，更重要的是Eric Wang的alpaca-lora倉庫，它使用低秩微調(diào)在“單個RTX 4090上幾小時內(nèi)”完成了這個訓(xùn)練。

突然之間，任何人都可以微調(diào)模型以執(zhí)行任何操作，這引發(fā)了一場關(guān)于低成本微調(diào)項(xiàng)目的競爭。論文中自豪地描述了他們總共花費(fèi)了幾百美元。更重要的是，低秩更新可以輕松地與原始權(quán)重分開分發(fā)，使它們擺脫了Meta原始許可的約束。任何人都可以分享和應(yīng)用它們。

2023年3月18日 - 現(xiàn)在它變快了

Georgi Gerganov使用4位量化使LLaMA在MacBook CPU上運(yùn)行。這是第一個“無GPU”解決方案，速度足夠快，實(shí)用性很強(qiáng)。

2023年3月19日 - 一臺13B模型實(shí)現(xiàn)了與Bard的“平衡”

第二天，一個跨大學(xué)合作推出了Vicuna，并使用GPT-4驅(qū)動的評估來提供模型輸出的定性比較。雖然評估方法值得懷疑，但該模型比早期版本的表現(xiàn)要好得多。培訓(xùn)成本：300美元。

值得注意的是，他們能夠使用來自ChatGPT的數(shù)據(jù)，同時規(guī)避其API的限制 - 他們只需從像ShareGPT這樣的網(wǎng)站上獲取“令人印象深刻”的ChatGPT對話樣本。

2023年3月25日 - 選擇您自己的模型

Nomic創(chuàng)建了GPT4All，這既是一個模型，更重要的是一個生態(tài)系統(tǒng)。這是我們第一次看到模型（包括Vicuna）聚集在一個地方。培訓(xùn)成本：100美元。

2023年3月28日 - 開源GPT-3

Cerebras（不要與我們自己的Cerebra混淆）使用Chinchilla暗示的最佳計(jì)算計(jì)劃（optimal compute schedule）和μ參數(shù)化（u-parameterization）暗示的最佳縮放（optimal scaling）來訓(xùn)練GPT-3架構(gòu)。這在很大程度上優(yōu)于現(xiàn)有的GPT-3克隆，并且代表了μ參數(shù)化在實(shí)際應(yīng)用中的首次確認(rèn)使用。這些模型是從零開始訓(xùn)練的，這意味著社區(qū)不再依賴于LLaMA。

2023年3月28日 - 一小時內(nèi)完成多模態(tài)訓(xùn)練

使用一種新穎的參數(shù)有效微調(diào)（PEFT）技術(shù)，LLaMA-Adapter在一個小時內(nèi)引入了指令調(diào)優(yōu)和多模態(tài)。令人印象深刻的是，他們只用了120萬可學(xué)習(xí)參數(shù)。該模型在多模態(tài)ScienceQA上刷新了新的SOTA。

2023年4月3日 - 真實(shí)的人類無法分辨13B開放模型和ChatGPT之間的區(qū)別

伯克利推出了Koala，這是一個完全使用免費(fèi)可用數(shù)據(jù)訓(xùn)練的對話模型。

他們采取了衡量真實(shí)人類在他們的模型和ChatGPT之間的偏好的關(guān)鍵步驟。雖然ChatGPT仍然稍占上風(fēng)，但超過50%的時間，用戶要么更喜歡Koala，要么無所謂。培訓(xùn)成本：100美元。

2023年4月15日 - 開源RLHF達(dá)到ChatGPT水平

Open Assistant發(fā)布了一個模型，更重要的是，發(fā)布了一個用于通過RLHF進(jìn)行對齊的數(shù)據(jù)集。在人類偏好方面，他們的模型接近ChatGPT（48.3%與51.7%）。除了LLaMA之外，他們展示了該數(shù)據(jù)集可以應(yīng)用于Pythia-12B，為人們提供了使用完全開放堆棧運(yùn)行模型的選擇。此外，由于數(shù)據(jù)集是公開可用的，它使得對于小型實(shí)驗(yàn)者來說，RLHF從不可實(shí)現(xiàn)變得便宜且容易。