阿里通義千問Qwen-7b運(yùn)行在FastChat
如何讓阿里通義千問Qwen-7b運(yùn)行在FastChat
提前準(zhǔn)備：
FastChat項(xiàng)目地址:?git clone https://github.com/lm-sys/FastChat.git
Qwen-7B模型：https://huggingface.co/Qwen/Qwen-7B
本人環(huán)境介紹：
顯卡：3090 24G
內(nèi)存：60G
CPU：AMD-R5 5600
系統(tǒng)：Ubuntu22.10
Python依賴環(huán)境：
????Miniconda?
????????下載地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/
????CUDA版本如圖：
廢話不說了，開整
git?clone?https://github.com/lm-sys/FastChat.git
cd?FastChat
創(chuàng)建conda環(huán)境：?conda create -n fastchat python=3.10
激活conda環(huán)境：conda activate fastchat
安裝依賴：pip install -e ".[model_worker,webui]"?
安裝stream依賴：pip install einops transformers_stream_generator
確認(rèn)沒有問題，如圖：
開始啟動：
注意：這三步都需要新開控制臺，并且切換conda環(huán)境到fastchat
開啟控制器管理分布式工作線程： python3 -m fastchat.serve.controller?
啟動模型工人：python3 -m fastchat.serve.model_worker --model-path /home/xxx/.cache/huggingface/hub/models--QWen--QWen-7B-Chat
開啟gradio-web-ui：python3 -m fastchat.serve.gradio_web_server
訪問：http://localhost:7860即可如圖：
