關(guān)于 Llama 2 的一切資源，我們都幫你整理好了
Llama 2 是一個(gè)由 Meta 開發(fā)的大型語(yǔ)言模型，是 LLaMA 1 的繼任者。Llama 2 可通過(guò) AWS、Hugging Face 獲取，并可以自由用于研究和商業(yè)用途。Llama 2 預(yù)訓(xùn)練模型在 2 萬(wàn)億個(gè)標(biāo)記上進(jìn)行訓(xùn)練，相比 LLaMA 1 的上下文長(zhǎng)度增加了一倍。它的微調(diào)模型則在超過(guò) 100 萬(wàn)個(gè)人工標(biāo)注數(shù)據(jù)下完成。
這篇博客包含了所有的相關(guān)資源，以幫助您快速入門。
來(lái)自 Meta 官方的公告可以在這里找到：https://ai.meta.com/llama/
LLaMA 2 是什么？
Meta 發(fā)布的 Llama 2，是新的 SOTA 開源大型語(yǔ)言模型（LLM）。Llama 2 代表著 LLaMA 的下一代版本，可商用。Llama 2 有 3 種不同的大小 —— 7B、13B 和 70B 個(gè)可訓(xùn)練參數(shù)。與原版 LLaMA 相比，新的改進(jìn)包括：
在 2 萬(wàn)億個(gè)標(biāo)記的文本數(shù)據(jù)上進(jìn)行訓(xùn)練
允許商業(yè)使用
默認(rèn)使用 4096 個(gè)前后文本視野
70B 模型采用了分組查詢注意力（GQA）
可以在 Hugging Face Hub 上直接獲取 https://hf.co/models?other=llama-2
即刻解鎖 Llama2
有幾個(gè)不同的游樂場(chǎng)供與 Llama 2 來(lái)測(cè)試：
HuggingChat
在我們推出的 HuggingChat 中使用 Llama 2 70B：https://hf.co/chat
Hugging Face Space 應(yīng)用
我們?cè)?Space 應(yīng)用上提供了三個(gè)大小的 Llama 2 模型的體驗(yàn)，分別是:
7B https://hf.co/spaces/huggingface-projects/llama-2-7b-chat
13B https://huggingface.co/spaces/huggingface-projects/llama-2-13b-chat
70B https://huggingface.co/spaces/ysharma/Explore_llamAV2_with_TGI
Perplexity
Perplexity 的對(duì)話 AI 演示提供 7B 和 13B 的 Llama 2 模型:https://llama.perplexity.ai/
Llama 2 背后的研究工作
Llama 2 是一個(gè)基礎(chǔ)大語(yǔ)言模型，它由網(wǎng)絡(luò)上公開可獲取到的數(shù)據(jù)訓(xùn)練完成。另外 Meta 同時(shí)發(fā)布了它的 Chat 版本。Chat 模型的第一個(gè)版本是 SFT（有監(jiān)督調(diào)優(yōu)）模型。在這之后，LLaMA-2-chat 逐步地經(jīng)過(guò)人類反饋強(qiáng)化學(xué)習(xí)（RLHF）來(lái)進(jìn)化。RLHF 的過(guò)程使用了拒絕采樣與近端策略優(yōu)化（PPO）的技術(shù)來(lái)進(jìn)一步調(diào)優(yōu)聊天機(jī)器人。Meta 目前僅公布了模型最新的 RLHF (v5) 版本。若你對(duì)此過(guò)程背后的過(guò)程感興趣則請(qǐng)查看：
Llama 2: 開源并已微調(diào)的聊天模型 https://arxiv.org/abs/2307.09288
Llama 2: 一個(gè)超贊的開源大語(yǔ)言模型 https://www.interconnects.ai/p/llama-2-from-meta
Llama 2 的全面拆解 https://www.youtube.com/watch?v=zJBpRn2zTco
Llama 2 的性能有多好，基準(zhǔn)測(cè)試？
Meta 表示:
Llama 2 在眾多外部基準(zhǔn)測(cè)試中都優(yōu)于其他開源的語(yǔ)言模型，包括推理、編程、熟練程度與知識(shí)測(cè)驗(yàn)。
關(guān)于其性能你可以在這里找到更多信息：
Hugging Face 開源大語(yǔ)言模型排行榜https://hf.co/spaces/HuggingFaceH4/open_llm_leaderboard
Meta 官方公告 https://ai.meta.com/llama/
如何為 LLaMA 2 Chat 寫提示詞 (prompts)
Llama 2 Chat 是一個(gè)開源對(duì)話模型。想要與 Llama 2 Chat 進(jìn)行高效地交互則需要你提供合適的提示詞，以得到合乎邏輯且有幫助的回復(fù)。Meta 并沒有選擇最簡(jiǎn)單的提示詞結(jié)構(gòu)。
以下是單輪、多輪對(duì)話的提示詞模板。提示詞模板遵循模型訓(xùn)練過(guò)程，你可以在這里查看到詳細(xì)描述:
Llama 2 論文 https://hf.co/papers/2307.09288
Llama 2 提示詞模板 https://gpus.llm-utils.org/llama-2-prompt-template/
單輪對(duì)話
多輪對(duì)話
如何訓(xùn)練 LLaMA 2
因 LLaMA 2 為開源模型，使得可以輕易的通過(guò)微調(diào)技術(shù)，比如 PEFT，來(lái)訓(xùn)練它。這是一些非日適合于訓(xùn)練你自己版本 LLaMA 2 的學(xué)習(xí)資源：
擴(kuò)展指引：指令微調(diào) Llama 2 https://www.philschmid.de/instruction-tune-llama-2
在 Amazon SageMaker 上微調(diào) Llama 2 (7-70B) https://www.philschmid.de/sagemaker-llama2-qlora
使用 PEFT 技術(shù)微調(diào)?https://hf.co/blog/zh/llama2#fine-tuning-with-peft
Meta 提供的 Llama 模型示例以及方案 https://github.com/facebookresearch/llama-recipes/tree/main
在本地機(jī)器上微調(diào) LLAMA-v2 最簡(jiǎn)單的方法！https://www.youtube.com/watch?v=3fsn19OI_C8
如何部署 Llama 2?
Llama 2 可以在本地環(huán)境部署，使用托管服務(wù)如 Hugging Face Inference Endpoints 或通過(guò) AWS、Google Cloud、Microsoft Azure 等。
你可以查閱下述資源:
llama.cpp https://github.com/ggerganov/llama.cpp
使用文本生成接口與推理終端來(lái)部署 LLama 2 https://hf.co/blog/llama2#using-text-generation-inference-and-inference-endpoints
使用 Amazon SageMaker 部署 LLaMA 2 70B https://www.philschmid.de/sagemaker-llama-llm
在你的 M1/M2 Mac 上通過(guò) GPU 接口來(lái)本地部署 Llama-2-13B-chat https://gist.github.com/adrienbrault/b76631c56c736def9bc1bc2167b5d129
英文原文:https://www.philschmid.de/llama-2
原文作者: Philipp Schmid
