盡管大型語言模型（LLM）近年來取得了顯著進展，但許多最強大的模型只能通過付費API獲得，并且是使用大量專有數(shù)據(jù)進行訓(xùn)練的，這限制了研究界對這些模型的獲取和再現(xiàn)。這種趨勢引發(fā)了嚴(yán)重的擔(dān)憂，即LLM是否會主要由少數(shù)中央集團控制，迫使其他人為與這些模型進行交互付費。這種情況嚴(yán)格地阻止了大多數(shù)研究人員直接訪問或改進LLM的可能性。

鑒于訓(xùn)練和托管LLM的計算負(fù)擔(dān)，我們可能會懷疑是否將這些模型開源對于研究界是否有益。如果我們不是龐大組織中擁有大量計算資源的一部分，我們是否能夠利用LLM進行有用的研究？如果不能，也許我們注定生活在LLM的中央控制和訪問的世界。這些模型似乎對大多數(shù)人來說有著太多的“引力”（即需要訪問大量數(shù)據(jù)和計算），讓大多數(shù)人難以輕松地使用它們。

LLaMA的提議（及隨后泄露給公眾）朝著相反的方向發(fā)展，通過開源一套功能強大但較小的LLM。在LLaMA發(fā)布給公眾后，我們看到了一大波關(guān)于LLM的開放研究。這些研究產(chǎn)生了各種不同的模型，其中一些模型的質(zhì)量與ChatGPT相媲美。值得注意的是，這些模型的制作成本非常低（在大多數(shù)情況下少于500美元），并且所需計算資源較少（其中一些模型甚至可以在普通的MacBook上運行?。＝裉煸谶@里，我們將調(diào)查一些最近提出的LLaMA模型，并探討開源LLM研究是如何使這一主題更加易于接觸的。

核心概念

在之前的帖子中，我們已經(jīng)了解了LLaMA，這是一套開源的高性能大語言模型，擁有各種不同的大小。LLaMA模型僅使用公共數(shù)據(jù)進行訓(xùn)練，這使它們與開源兼容，并且無需訪問專有數(shù)據(jù)即可再現(xiàn)。但是，LLaMA的故事并未就此結(jié)束！這些模型最近在深度學(xué)習(xí)領(lǐng)域成為熱門話題。在這個概述中，我們將審視由LLaMA所帶動的研究，并了解這些模型為何以及如何變得受歡迎。首先，我們將對LLaMA提供更多背景信息，然后概述一些在本概述中理解重要的想法。

LLaMA是如何被開源的？

深度學(xué)習(xí)界長期以來一直擁抱開源，而某些研究領(lǐng)域仍然保持這種特點（例如，參見Stable Diffusion）。然而，LLM領(lǐng)域與眾不同，因為最受歡迎和最強大的模型僅通過付費API（例如GPT-4 、Claude和Cohere）提供。LLaMA的開源打破了這一趨勢，它是一套質(zhì)量令人印象深刻的較小LLM基礎(chǔ)模型。然而，LLaMA并非完全開源… 故事有些復(fù)雜。

首先，Meta公司發(fā)布了有關(guān)LLaMA的全部細(xì)節(jié)，包括深入的有用出版物、申請獲得LLaMA訪問權(quán)限的表格，以及一個簡單的存儲庫，用于在獲得模型訪問權(quán)限后進行推理和標(biāo)記化處理。為了獲得模型的訪問權(quán)限，人們必須同意一長串要求，例如不以商業(yè)目的使用LLaMA，并確保使用LLaMA創(chuàng)建的任何派生模型遵循相同的許可協(xié)議。但是，在這一發(fā)布約一周后，所有LLaMA模型的權(quán)重被公開發(fā)布到了4chan，供任何人下載。

盡管LLaMA的分享是出乎意料的（并且可以說是有害的），但它激發(fā)了數(shù)千次的下載，并且隨后促成了大量的開放研究。由于LLaMA由較小的模型組成，這些模型對于沒有大量計算資源的研究人員來說更加容易使用，它們非常適合這種情況。大量杰出的深度學(xué)習(xí)研究人員在短短幾周內(nèi)投入到工作中，推動了許多由LLaMA驅(qū)動的項目，涵蓋范圍從在Macbook上托管數(shù)十億參數(shù)的LLM到以不到500美元的成本復(fù)現(xiàn)ChatGPT等多個方面。

指令微調(diào)（Instruction Fine-Tuning）

在這個概述中，我們將看到許多模型都基于指令微調(diào)（Instruction Fine-Tuning）的思想，簡稱為指令微調(diào)。指令微調(diào)最初由FLAN提出（論文：“Finetuned language models are zero-shot learners”），它是一種訓(xùn)練形式，使得語言模型在解決基于語言的任務(wù)時更加通用，而不僅僅是針對單個任務(wù)；請參見上文。在實踐中，這通過在一系列“指令”上進行微調(diào)來實現(xiàn)，其中包括微調(diào)示例和解決任務(wù)的描述。利用這種方法，我們可以通過使用不同的任務(wù)模板和文本提示，對語言模型進行微調(diào)，從而解決各種不同的任務(wù)；請參見下文。

目前，指令微調(diào)的最受歡迎的變體之一是在對話會話示例上對LLM進行微調(diào)，這些示例可以來自人類對話，也可以是由聊天機器人生成的對話。鑒于許多最近的聊天機器人專門用于遵循指令并進行信息獲取型對話，這些模型、它們的輸出甚至用于訓(xùn)練它們的數(shù)據(jù)中都包含了豐富的遵循指令的例子和行為，可以直接用于指令微調(diào)。

自我指導(dǎo)（Self-instruct）是與這項工作相關(guān)的一種指令微調(diào)形式，它通過使用LLM生成微調(diào)指令來減少對人工編寫指令的依賴。具體而言，這個過程始于一小組指令數(shù)據(jù)，并通過以下兩個步驟的迭代來生成新數(shù)據(jù)和過濾低質(zhì)量數(shù)據(jù)：（i）使用LLM生成新數(shù)據(jù)，（ii）過濾低質(zhì)量數(shù)據(jù)。這種技術(shù)產(chǎn)生了高質(zhì)量的用于指令微調(diào)的數(shù)據(jù)，減少了人工標(biāo)注的工作量。

知識蒸餾（Knowledge Distillation）

知識蒸餾最初在Hinton博士的論文《Distilling the knowledge in a neural network》中提出，它使用（大型的）完全訓(xùn)練過的神經(jīng)網(wǎng)絡(luò)作為另一個（小型的）神經(jīng)網(wǎng)絡(luò)的訓(xùn)練信號。市面上有許多不同類型的知識蒸餾存在，但它們背后的思想是相同的。即，如果我們同時使用 （i）正常的訓(xùn)練數(shù)據(jù)和（ii）較大、更強大的神經(jīng)網(wǎng)絡(luò)在該數(shù)據(jù)上的輸出來訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)，通常會得到比僅在數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)更好的結(jié)果。通過使用較大網(wǎng)絡(luò)的輸出作為訓(xùn)練目標(biāo)，我們可以將一些信息從較大的網(wǎng)絡(luò)蒸餾到正在訓(xùn)練的較小“學(xué)生”網(wǎng)絡(luò)中。有關(guān)知識蒸餾及其各種變體的更多信息，請查看此論文：https://arxiv.org/abs/2006.05525。

除了上述內(nèi)容，我們還需要對LLM（大型語言模型）及其工作原理有一個基本的了解。為了深入了解這方面的知識，請查看以下鏈接：

在整個概述中，我們還會提到OpenAI目錄中一些特定模型的名稱（例如text-davinci-003）。在這里可以找到OpenAI API提供的模型列表及其相關(guān)描述：
GPT-4： ? A set of models that improve on GPT-3.5 and can understand as well as generate natural language or code
GPT-3.5：A set of models that improve on GPT-3 and can understand as well as generate natural language or code
DALL·E：A model that can generate and edit images given a natural language prompt
Whisper： A model that can convert audio into text
Embeddings： A set of models that can convert text into a numerical form
Moderation：A fine-tuned model that can detect whether text may be sensitive or unsafe
GPT-3Legacy：A set of models that can understand and generate natural language

Alpaca羊駝

Alpaca 是經(jīng)過微調(diào)的LLLaMA-7B （來自：?“Llama: Open and efficient foundation language models.”） LLM的一個版本，其性能類似于OpenAI的text-davinci-003（即GPT-3.5）。Alpaca的微調(diào)過程基于自我指導(dǎo) （來自：“Self-Instruct: Aligning Language Model with Self Generated Instructions.”），其中遵循指令的數(shù)據(jù)是從一個性能更高的LLM（即text-davinci-003）中收集的，并用于指令微調(diào)。簡而言之，Alpaca證明了在遵循指令的環(huán)境中，通過在高質(zhì)量數(shù)據(jù)上進行微調(diào)，可以大幅度提高小型開源LLM的質(zhì)量。此外，Alpaca的整個微調(diào)過程只需花費600美元（包括數(shù)據(jù)收集和微調(diào)），使得這種遵循指令的LLM在研究目的下易于復(fù)制和廉價實現(xiàn)。

方法：通過自我指導(dǎo)微調(diào)（SFT），我們需要（i）高質(zhì)量的預(yù)訓(xùn)練語言模型和（ii）用于微調(diào)的指令遵循數(shù)據(jù)。幸運的是，最近發(fā)布的LLaMA提供了易于獲取的預(yù)訓(xùn)練語言模型。獲取指令遵循數(shù)據(jù)稍微有些復(fù)雜，但自我指導(dǎo)（Self-instruct）是一個有效的方法。在高層次上，自我指導(dǎo)是通過LLM生成的輸出來進行進一步訓(xùn)練。對于Alpaca，我們使用text-davinci-003來生成指令遵循數(shù)據(jù)，具體包括：

1. 從自我指導(dǎo)種子集中獲得175個指令和輸出對。

2. 使用種子集作為上下文示例，提示LLM生成更多的指令，用于少樣本學(xué)習(xí)。

（論文“Stanford Alpaca: An Instruction-following LLaMA model.”）中的作者還采用了一些技巧（例如，修改提示和更高效的解碼/生成過程），使得數(shù)據(jù)生成過程與原始的自我指導(dǎo)相比更加便宜和高效?？傮w上，通過OpenAI API生成指令遵循數(shù)據(jù)的成本在52K個指令遵循示例中不到500美元。

然后，使用基于HuggingFace的訓(xùn)練框架對LLaMA-7B模型在這些數(shù)據(jù)上進行微調(diào)。通過使用完全分片數(shù)據(jù)并行（FSDP）和混合精度訓(xùn)練技術(shù)，微調(diào)過程在8個A100 GPU上僅耗時3小時，成本不到100美元。用于創(chuàng)建Alpaca的代碼和數(shù)據(jù)在網(wǎng)上是可用的。然而，商業(yè)用途的Alpaca是被禁止的，因為i）LLaMA（Alpaca基于此）具有非商業(yè)許可證，ii）OpenAI禁止使用其模型來訓(xùn)練競爭性LLM。

結(jié)果：Alpaca在自我指導(dǎo)評估集上進行了評估（主要涵蓋與電子郵件、社交媒體和生產(chǎn)力相關(guān)的任務(wù)），以及作者手動編寫的開放領(lǐng)域指令。在這些任務(wù)中，Alpaca的性能與text-davinci-003類似（即在大約180個測試案例中表現(xiàn)最佳的50%情況）。盡管這種評估顯然有限，考慮到Alpaca是一個比GPT-3.5小得多且相對容易復(fù)制的模型，其性能仍然相當(dāng)令人印象深刻。

與text-davinci-003相似，Alpaca的輸出通常比ChatGPT的輸出要短。換句話說，Alpaca的風(fēng)格反映了用于生成微調(diào)指令遵循數(shù)據(jù)的LLM的風(fēng)格。

Vicuna維丘納

《“Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality.”
》的作者提出了一種解決方案，為了促進開源研究，他們創(chuàng)建了名為Vicuna的開源聊天機器人。Vicuna是通過對LLaMA-13B[1]進行微調(diào)而得到的（LLaMA-13B是一個較小的語言模型，性能與GPT-3相當(dāng)）。Vicuna的微調(diào)數(shù)據(jù)是使用ChatGPT的用戶對話示例，并且整個微調(diào)過程的成本不到300美元，這樣使得聊天機器人更容易用于研究目的。相較于Alpaca，Vicuna更類似于ChatGPT，并且能夠生成更加詳細(xì)和有結(jié)構(gòu)的回答。

方法：在使用Vicuna進行微調(diào)的過程中，所使用的數(shù)據(jù)是通過ShareGPT這個公共API從平臺上獲取的。ShareGPT允許用戶分享他們與ChatGPT的對話。在微調(diào)之前，作者篩選了不適當(dāng)和低質(zhì)量的數(shù)據(jù)，并將較長的對話分成適合LLaMA-13B最大上下文長度的較短片段?？偣彩占?0,000個對話。與Alpaca類似，使用8個A100 GPU進行模型訓(xùn)練，采用FSDP（一些修改用于降低成本和處理長序列），訓(xùn)練過程大約需要一天的時間，具體內(nèi)容請參考上文。作者已公開發(fā)布了Vicuna的訓(xùn)練和托管代碼。在下面的表格中，我們將對Vicuna與開源LLM（LLaMA和Alpaca）進行更全面的比較。接下來，我們將詳細(xì)介紹Vicuna的評估方法

結(jié)果：對聊天機器人進行準(zhǔn)確評估是相當(dāng)困難的，隨著聊天機器人質(zhì)量的不斷提高，評估變得更加困難。例如，論文中的作者聲稱，用于評估Alpaca的自我指導(dǎo)評估集現(xiàn)在被最新的聊天機器人有效解決了，這使得模型之間的差異很難辨別。鑒于現(xiàn)有基準(zhǔn)測試的限制和創(chuàng)建新的全面評估集的難度，論文中的作者選擇了一種不同的策略：使用LLM（語言模型）來進行評估。

“隨著GPT-4的最新進展，我們很好奇它的能力是否已經(jīng)達到了人類水平，從而可以實現(xiàn)用于基準(zhǔn)生成和性能評估的自動化評估框架?！薄浴丁癡icuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality.”
》
這時候，我們可能會認(rèn)為這實際上是不可能的。聊天機器人之間的互相評估？然而，出乎意料的是，基于最近提出的GPT-4模型構(gòu)建的評估框架效果很好。首先，論文的作者設(shè)計了八個問題類別（例如，角色扮演場景和數(shù)學(xué)任務(wù)）。然后，GPT-4被啟動以在每個類別中生成多樣化的問題。有趣的是，GPT-4能夠生成一些困難的問題，而最新的聊天機器人難以回答。

具體而言，GPT-4用于在每個類別中生成十個問題，并對五個不同的聊天機器人（LLaMA-13B、Alpaca-13B、Vicuna-13B、Bard和ChatGPT）的輸出進行評估。進一步地，通過詢問GPT-4根據(jù)細(xì)節(jié)、有用性、相關(guān)性和準(zhǔn)確性對每個模型的輸出質(zhì)量進行評判。雖然以這種方式進行評估可能看似有些牽強，但GPT-4對模型進行了相當(dāng)一致的排名，并解釋了其推理過程。

根據(jù)GPT-4的評估，相較于ChatGPT，Vicuna的輸出質(zhì)量達到了92%的水平；請參考之前的內(nèi)容。通過讓GPT-4為每個模型的輸出分配分?jǐn)?shù)，從而得出了這個比例。然后，可以通過計算所有問題上它們的總質(zhì)量得分來評估模型之間的相對性能。盡管這種評估方法并不嚴(yán)謹(jǐn)，但它相當(dāng)有趣，相對一致，并促使我們思考LLM領(lǐng)域在未來將會以哪些有趣的方式發(fā)展。

相較于其他開源模型，我們可以看到GPT-4傾向于更喜歡Vicuna的輸出。此外，Vicuna在45%的問題上產(chǎn)生的輸出質(zhì)量超過或與ChatGPT的質(zhì)量相匹配。對于一個只需300美元進行微調(diào)的模型來說，這種質(zhì)量水平相當(dāng)令人印象深刻！

Koala考拉

在這一點上，我們可能會開始思考是否會用盡動物的名字來為LLM取名。然而，考拉（Koala）與維丘納（Vicuna）和羊駝（Alpaca）類似，因為它繼續(xù)專注于彌合專有和開源LLM之間的質(zhì)量差距。更具體地說，考拉是LLaMA-13B的一個版本，經(jīng)過在來自各種來源的對話數(shù)據(jù)上進行微調(diào)，包括來自公共數(shù)據(jù)集以及與其他高質(zhì)量LLM在互聯(lián)網(wǎng)上可用的對話。

經(jīng)過在真實世界的提示下進行評估，考拉-13B在與ChatGPT相比取得了具有競爭力的表現(xiàn)，甚至在表現(xiàn)上超越了相關(guān)的羊駝（Alpaca）模型。因此，考拉的結(jié)果繼續(xù)支持我們在LLaMA之后所有研究中所看到的趨勢。也就是說，我們發(fā)現(xiàn)，如果有正確的數(shù)據(jù)進行微調(diào)，較小的模型也能夠達到令人印象深刻的質(zhì)量。這樣的研究結(jié)果可能會讓我們思考：我們是不是過于關(guān)注模型規(guī)模，而忽視了數(shù)據(jù)質(zhì)量的重要性呢？

方法?？祭谖⒄{(diào)過程中使用了來自公共數(shù)據(jù)集和互聯(lián)網(wǎng)的對話數(shù)據(jù)。然而，在文獻[“Koala: A Dialogue Model for Academic Research.”]中，作者們非常強調(diào)為微調(diào)篩選高質(zhì)量數(shù)據(jù)的重要性。用于微調(diào)考拉的數(shù)據(jù)可以大致分為兩類：基于蒸餾的數(shù)據(jù)（即來自其他LLM的對話）或開源數(shù)據(jù)（即在公共數(shù)據(jù)集中可用），包括來自ShareGPT、HC3、OIG、Anthropic HH以及OpenAI WebGPT/Summarization的數(shù)據(jù)。此外，微調(diào)集甚至包括用于訓(xùn)練羊駝[“Stanford Alpaca: An Instruction-following LLaMA model.”]模型的數(shù)據(jù)。

所有這些數(shù)據(jù)都是基于對話的。值得注意的是，某些數(shù)據(jù)集中對于每個問題都包含多個對話或回答，這些對話或回答被標(biāo)記為好或壞。有趣的是，我們可以借鑒之前的技術(shù)[8]，將這些信息納入LLM的微調(diào)過程中。具體而言，通過條件訓(xùn)練，我們可以簡單地在LLM訓(xùn)練數(shù)據(jù)上添加人工標(biāo)記（例如，僅追加關(guān)于對話是好還是壞的文本信息）。這種方法可以提高性能，并使我們能夠?qū)①|(zhì)量較低的對話用于模型訓(xùn)練。

文獻[5]中的作者將考拉的訓(xùn)練和托管框架公開可用。該模型使用八個V100 GPU進行兩個時期的訓(xùn)練，大約需要6小時?？偟挠嬎愠杀緸椴坏?00美元（假設(shè)我們可以使用搶占式/競價實例），這意味著考拉是迄今為止我們見過的模型中成本最低的可復(fù)制模型！

結(jié)果。文獻[5]中訓(xùn)練了兩種不同類型的考拉模型：

• 考拉-蒸餾（Koala-distill）：僅在蒸餾數(shù)據(jù)上進行微調(diào)（即其他聊天機器人的對話示例）
  

• 考拉-全數(shù)據(jù)（Koala-all）：使用上述所有數(shù)據(jù)進行微調(diào)。

基于人工試驗和反饋，將這些考拉模型的質(zhì)量與羊駝和ChatGPT進行了比較。用于評估的問題來自羊駝評估集和從互聯(lián)網(wǎng)上獲取的一組真實用戶查詢。作者選擇添加更多問題到評估集中，因為羊駝的評估集與它訓(xùn)練的數(shù)據(jù)非常相似（即都來源于self-instruct ）。

在人類對不同LLM的輸出進行質(zhì)量和正確性評估時，我們發(fā)現(xiàn)考拉-全數(shù)據(jù)（Koala-all）往往在許多情況下超越了羊駝（Alpaca），并在大量案例中與ChatGPT的質(zhì)量相匹配或超過。此外，我們還發(fā)現(xiàn)考拉-蒸餾（Koala-distill）實際上表現(xiàn)優(yōu)于考拉-全數(shù)據(jù)。這在一定程度上有些令人費解，因為考拉-蒸餾的微調(diào)數(shù)據(jù)集較?。粗皇莵碜訡hatGPT的示例對話），但這告訴我們，用于微調(diào)的數(shù)據(jù)類型和質(zhì)量非常重要。也就是說，使用來自更大、更優(yōu)質(zhì)LLM生成的對話進行微調(diào)非常有效。

“構(gòu)建強大的對話模型的關(guān)鍵可能更在于篩選多樣且質(zhì)量高的用戶查詢的對話數(shù)據(jù)” —— 引自文獻[“Koala: A Dialogue Model for Academic Research.”]

盡管LLaMA是最近提出的，但羊駝（Alpaca）、維丘納（Vicuna）和考拉（Koala）并不是僅有的受LLaMA啟發(fā)或?qū)崿F(xiàn)的值得關(guān)注的模型。以下是一些最近發(fā)布的其他開源語言模型：

除了各種提出的模型外，由于LLaMA，LLM的研究和應(yīng)用也變得更加容易。LLaMA-13B早期就可以在單個GPU上運行，但現(xiàn)在我們甚至可以在本地（例如MacBook）上運行LLM！

看起來LLM將很快成為比以往任何時候都更多人可以使用的技術(shù)。以下是我們可以從這項工作中得出的主要觀點：

i) LLaMA激發(fā)了許多開源LLM研究。 ii) 由于LLaMA，LLM周圍的研究和應(yīng)用變得顯著更加容易。如果一個月前有人告訴我，我可以在我的MacBook上運行一個接近ChatGPT性能的LLM，我是不會相信的。這是令人興奮的時刻，我很高興能成為這樣一個偉大社區(qū)的一小部分！以下是一些基本的要點：

LLM適用于所有人。如果之前我們對此有疑問，現(xiàn)在我們知道研究社區(qū)確實可以在LLM上做出有價值的研究。幾周前，我們大多數(shù)人認(rèn)為由于龐大的數(shù)據(jù)和計算要求，LLM不太容易接觸。然而，現(xiàn)在我們可以用幾百美元訓(xùn)練出ChatGPT級別的模型（或者至少接近），甚至可以在筆記本電腦上進行對話！

小型模型是否足夠？長期以來，模型規(guī)模（以及大型預(yù)訓(xùn)練數(shù)據(jù)集）一直是高性能LLM的重要組成部分。然而，像考拉和維丘納這樣的模型告訴我們，較小的LLM實際上可以表現(xiàn)得非常出色（在某些情況下甚至能與像ChatGPT這樣的強大LLM相匹配）。這樣的發(fā)現(xiàn)突顯了數(shù)據(jù)質(zhì)量的重要性。在我們在這里看到的工作中，最有效的技術(shù)往往使用較大LLM的輸出作為訓(xùn)練數(shù)據(jù)，這表明知識蒸餾可能是創(chuàng)建小型但功能強大的LLM的重要組成部分。

商業(yè)可行性？盡管這些技術(shù)很酷，但在商業(yè)應(yīng)用中使用它們是困難的。例如，OpenAI禁止使用ChatGPT（或任何其他API模型）來訓(xùn)練競爭模型，從而阻止基于OpenAI API的知識蒸餾方法。此外，即使是LLaMA本身也禁止商業(yè)用途。因此，像Alpaca、Koala和Vicuna這樣的模型只是從研究的角度有趣，它們的方法不能用于任何用于商業(yè)用途的模型。然而，有了像Lit-LLaMA這樣的提案，似乎這些模型的商業(yè)可行版本可能會逐漸變得可用。