近期，Meta發(fā)布了人工智能大語(yǔ)言模型LLaMA，包含70億、130億、330億和650億這4種參數(shù)規(guī)模的模型。其中，最小的LLaMA 7B也經(jīng)過(guò)了超1萬(wàn)億個(gè)tokens的訓(xùn)練。

本文我們將以7B模型為例，分享LLaMA的使用方法及其效果。

1.?LLaMA的上手指南

這一部分，我們將step by step，展示LLaMA的使用流程。

1）?下載LLaMA模型文件

以7B模型文件為例，包含內(nèi)容如下：

2）克隆LLaMA項(xiàng)目及環(huán)境配置

git?clone?https://github.com/facebookresearch/llama.git cd llama pip install -r requirements.txt pip?install?-e 復(fù)制代碼

如下示例中，相關(guān)操作均可通過(guò)IDP終端進(jìn)行。

3) LLaMA初體驗(yàn)

在IDP的cell中運(yùn)行如下代碼，即可和LLaMA對(duì)話，接收LLaMA的回答啦！

對(duì)于7B模型：

TARGET_FOLDER=.. torchrun --nproc_per_node 1 example.py --ckpt_dir $TARGET_FOLDER/7B --tokenizer_path $TARGET_FOLDER/tokenizer.model 復(fù)制代碼

對(duì)于13B模型：

TARGET_FOLDER=.. torchrun --nproc_per_node 2 example.py --ckpt_dir $TARGET_FOLDER/13B --tokenizer_path $TARGET_FOLDER/tokenizer.model 復(fù)制代碼

對(duì)于不同大小的LLaMA模型文件，上述命令需要調(diào)整的為T(mén)ARGET_FOLDER中模型文件的名稱(chēng)和node參數(shù)。

讓我們來(lái)進(jìn)行兩個(gè)簡(jiǎn)單的問(wèn)答測(cè)試。

Prompt 1:

Building a website can be done in 10 simple steps

LLaMA 7B模型的回答如下：

Prompt 2:

Please write a beautiful love poem

LLaMA 7B的模型回答如下：

LLaMA對(duì)這個(gè)提示詞問(wèn)題，自行增加了一些場(chǎng)景預(yù)設(shè)，如“I need some new poems for my birthday（為慶生，我需要一些新詩(shī)）"。

輸入或調(diào)整提示詞prompt，可在example.py文件中的prompts部分進(jìn)行調(diào)整，如下圖所示。

關(guān)于這兩個(gè)對(duì)話示例，我們也同樣放上ChatGPT的答案，供大家對(duì)比參考。

2. 從LLaMA到"開(kāi)源版ChatGPT”？

LLaMA推出3天后，Nebuly AI的初創(chuàng)AI企業(yè)在LLaMA的基礎(chǔ)上，基于RLHF（基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)）進(jìn)行訓(xùn)練，打造了對(duì)標(biāo)ChatGPT的ChatLLaMA。

nebullvm/apps/accelerate/chatllama at main · nebuly-ai/nebullvm · GitHub

ChatLLaMA聲稱(chēng)訓(xùn)練過(guò)程比ChatGPT快15倍。同時(shí)，支持DeepSpeed ZERO，可以加快微調(diào)速度。

DeepSpeed是一個(gè)開(kāi)源的深度學(xué)習(xí)訓(xùn)練優(yōu)化庫(kù)，ZeRO是一種顯存優(yōu)化技術(shù)，用于提高大型模型的訓(xùn)練效率，如提高訓(xùn)練速度，降低成本和提高模型可用性等。

但ChatLLaMA并不提供LLaMA的模型權(quán)重，根據(jù)其license，也不可以商用。

3. 彩蛋時(shí)刻

正如文章標(biāo)題所說(shuō)，本文不僅是指南哦。

我們?cè)贗DP開(kāi)源的AI IDE中，增加了LLaMA和Stable Diffusion的示例文件，小伙伴們可以快速開(kāi)啟LLaMA體驗(yàn)之旅。

項(xiàng)目地址：有軟官網(wǎng)

參考文獻(xiàn)：https://www.jiaruvip.com/author