引言

今天，Meta 發(fā)布了 Llama 2，其包含了一系列最先進(jìn)的開放大語言模型，我們很高興能夠?qū)⑵淙婕扇?Hugging Face，并全力支持其發(fā)布。Llama 2 的社區(qū)許可證相當(dāng)寬松，且可商用。其代碼、預(yù)訓(xùn)練模型和微調(diào)模型均于今天發(fā)布了??。

通過與 Meta 合作，我們已經(jīng)順利地完成了對 Llama 2 的集成，你可以在 Hub 上找到 12 個開放模型 (3 個基礎(chǔ)模型以及 3 個微調(diào)模型，每個模型都有 2 種 checkpoint: 一個是 Meta 的原始 checkpoint，一個是?transformers?格式的 checkpoint)。以下列出了 Hugging Face 支持 Llama 2 的主要工作:

• Llama 2 已入駐 Hub: 包括模型卡及相應(yīng)的許可證。

• 支持 Llama 2 的 transformers 庫

• 使用單 GPU 微調(diào) Llama 2 小模型的示例

• Text Generation Inference (TGI) ?已集成 Llama 2，以實(shí)現(xiàn)快速高效的生產(chǎn)化推理

• 推理終端 (Inference Endpoints) 已集成 Llama 2

目錄

• 何以 Llama 2?

• 演示

• 推理

• 使用 transformers

• 使用 TGI 和推理終端

• 用 PEFT 微調(diào)

• 其他資源

• 總結(jié)

何以 Llama 2?

Llama 2 引入了一系列預(yù)訓(xùn)練和微調(diào) LLM，參數(shù)量范圍從 7B 到 70B (7B、13B、70B)。其預(yù)訓(xùn)練模型比 Llama 1 模型有了顯著改進(jìn)，包括訓(xùn)練數(shù)據(jù)的總詞元數(shù)增加了 40%、上下文長度更長 (4k 詞元??)，以及利用了分組查詢注意力機(jī)制來加速 70B 模型的推理??！

但最令人興奮的還是其發(fā)布的微調(diào)模型 (Llama 2-Chat)，該模型已使用 基于人類反饋的強(qiáng)化學(xué)習(xí) (Reinforcement Learning from Human Feedback，RLHF) ?技術(shù)針對對話場景進(jìn)行了優(yōu)化。在相當(dāng)廣泛的有用性和安全性測試基準(zhǔn)中，Llama 2-Chat 模型的表現(xiàn)優(yōu)于大多數(shù)開放模型，且其在人類評估中表現(xiàn)出與 ChatGPT 相當(dāng)?shù)男阅?。更多詳情，可參閱?論文。

如果你一直在等一個閉源聊天機(jī)器人的開源替代，那你算是等著了！Llama 2-Chat 將是你的最佳選擇！

*目前，我們正在對 Llama 2 70B (非聊天版) 進(jìn)行評測。評測結(jié)果后續(xù)將更新至此表。

演示

你可以通過?這個空間?或下面的應(yīng)用輕松試用 Llama 2 大模型 (700 億參數(shù)！):

它們背后都是基于 Hugging Face 的 TGI 框架，該框架也支撐了 HuggingChat，我們會在下文分享更多相關(guān)內(nèi)容。

推理

本節(jié)，我們主要介紹可用于對 Llama 2 模型進(jìn)行推理的兩種不同方法。在使用這些模型之前，請確保你已在 Meta Llama 2 存儲庫頁面申請了模型訪問權(quán)限。

**注意: 請務(wù)必按照頁面上的指示填寫 Meta 官方表格。填完兩個表格數(shù)小時后，用戶就可以訪問模型存儲庫。

使用 transformers

從 transformers 4.31 版本開始，HF 生態(tài)中的所有工具和機(jī)制都可以適用于 Llama 2，如:

• 訓(xùn)練、推理腳本及其示例

• 安全文件格式 (safetensors?)

• 與 bitsandbytes (4 比特量化) 和 PEFT 等工具

• 幫助模型進(jìn)行文本生成的輔助工具

• 導(dǎo)出模型以進(jìn)行部署的機(jī)制

你只需確保使用最新的?transformers?版本并登錄你的 Hugging Face 帳戶。

下面是如何使用?transformers?進(jìn)行推理的代碼片段:

另外，盡管模型本身的上下文長度?僅?4k 詞元，但你可以使用?transformers?支持的技術(shù)，如旋轉(zhuǎn)位置嵌入縮放 (rotary position embedding scaling) ，進(jìn)一步把它變長！

使用 TGI 和推理終端

Text Generation Inference (TGI)?是 Hugging Face 開發(fā)的生產(chǎn)級推理容器，可用于輕松部署大語言模型。它支持流式組批、流式輸出、基于張量并行的多 GPU 快速推理，并支持生產(chǎn)級的日志記錄和跟蹤等功能。

你可以在自己的基礎(chǔ)設(shè)施上部署并嘗試 TGI，也可以直接使用 Hugging Face 的?推理終端。如果要用推理終端部署 Llama 2 模型，請登錄?模型頁面?并單擊?Deploy -> Inference Endpoints?菜單。

• 要推理 7B 模型，我們建議你選擇 “GPU [medium] - 1x Nvidia A10G”。

• 要推理 13B 模型，我們建議你選擇 “GPU [xlarge] - 1x Nvidia A100”。

• 要推理 70B 模型，我們建議你選擇 “GPU [xxxlarge] - 8x Nvidia A100”。

注意: 如果你配額不夠，請發(fā)送郵件至?api-enterprise@huggingface.co?申請升級配額，通過后你就可以訪問 A100 了。

你還可以從我們的另一篇博文中了解更多有關(guān) 如何使用 Hugging Face 推理終端部署 LLM 的知識 , 文中包含了推理終端支持的超參以及如何使用其 Python 和 Javascript API 實(shí)現(xiàn)流式輸出等信息。

用 PEFT 微調(diào)

訓(xùn)練 LLM 在技術(shù)和計(jì)算上都有一定的挑戰(zhàn)。本節(jié)，我們將介紹 Hugging Face 生態(tài)中有哪些工具可以幫助開發(fā)者在簡單的硬件上高效訓(xùn)練 Llama 2，我們還將展示如何在單張 NVIDIA T4 (16GB - Google Colab) 上微調(diào) Llama 2 7B 模型。你可以通過 讓 LLM 更可得 這篇博文了解更多信息。

我們構(gòu)建了一個 腳本，其中使用了 QLoRA 和?trl?中的?SFTTrainer?來對 Llama 2 進(jìn)行指令微調(diào)。

下面的命令給出了在?timdettmers/openassistant-guanaco?數(shù)據(jù)集上微調(diào) Llama 2 7B 的一個示例。該腳本可以通過?merge_and_push?參數(shù)將 LoRA 權(quán)重合并到模型權(quán)重中，并將其保存為?safetensor?格式。這樣，我們就能使用 TGI 和推理終端部署微調(diào)后的模型。

首先安裝?trl?包并下載腳本:

然后，你就可以運(yùn)行腳本了:

其他資源

• 論文

• Hub 上的模型

• Open LLM 排行榜

• Meta 提供的 Llama 2 模型使用大全

總結(jié)

Llama 2 的推出讓我們非常興奮！后面我們會圍繞它陸陸續(xù)續(xù)推出更多內(nèi)容，包括如何微調(diào)一個自己的模型，如何在設(shè)備側(cè)運(yùn)行 Llama 2 小模型等，敬請期待！

英文原文:?https://hf.co/blog/llama2

原文作者: Philipp Schmid，Omar Sanseviero，Pedro Cuenca，Lewis Tunstall

譯者: Matrix Yao (姚偉峰)，英特爾深度學(xué)習(xí)工程師，工作方向?yàn)?transformer-family 模型在各模態(tài)數(shù)據(jù)上的應(yīng)用及大規(guī)模模型的訓(xùn)練推理。

審校/排版: zhongdongy (阿東)