無(wú)需環(huán)境配置，阿里通義千問(wèn)-7B-Chat本地一鍵體驗(yàn)

介紹（Introduction）

通義千問(wèn)-7B（Qwen-7B） 是阿里云研發(fā)的通義千問(wèn)大模型系列的70億參數(shù)規(guī)模的模型。Qwen-7B是基于Transformer的大語(yǔ)言模型, 在超大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)上進(jìn)行訓(xùn)練得到。預(yù)訓(xùn)練數(shù)據(jù)類型多樣，覆蓋廣泛，包括大量網(wǎng)絡(luò)文本、專業(yè)書籍、代碼等。同時(shí)，在Qwen-7B的基礎(chǔ)上，我們使用對(duì)齊機(jī)制打造了基于大語(yǔ)言模型的AI助手Qwen-7B-Chat。

學(xué)術(shù)Fun將上述工具制作成一鍵啟動(dòng)包，點(diǎn)擊即可使用，避免大家配置Python環(huán)境出現(xiàn)各種問(wèn)題，下載地址： ? https://xueshu.fun/2809/

整合包使用教程

• 下載壓縮包 下載地址： ?https://xueshu.fun/2809/

• 解壓后，如下圖所示，雙擊bat文件運(yùn)行

• 瀏覽器訪問(wèn)http://127.0.0.1:7860/，即可在瀏覽器進(jìn)行對(duì)話啦

量化（Quantization）

此次整合的一鍵安裝包默認(rèn)采用BF16精度，占用顯存16G左右。

PrecisionMMLUMemoryBF1656.716.2GInt852.810.1GNF448.97.4G

如希望使用更低精度的量化模型，如4比特和8比特的模型，可參考以下代碼修改文件夾里'app.py'文件。

import?os
from?modelscope.pipelines?import?pipeline
from?modelscope.utils.constant?import?Tasks

from?transformers?import?BitsAndBytesConfig
import?torch
model_id?=?'qwen/Qwen-7B-Chat'

quantization_config?=?BitsAndBytesConfig(
????????????load_in_4bit=True,
????????????bnb_4bit_quant_type='nf4',
????????????bnb_4bit_compute_dtype=torch.bfloat16)

pipe?=?pipeline(
????????????task=Tasks.chat,?model=model_id,?device_map='auto',?quantization_config=quantization_config)

history?=?None

text?=?'浙江的省會(huì)在哪里？'
results?=?pipe(text,?history=history)
response,?history?=?results['response'],?results['history']
print(f'Response:?{response}')
text?=?'它有什么好玩的地方呢？'
results?=?pipe(text,?history=history)
response,?history?=?results['response'],?results['history']
print(f'Response:?{response}')



上述方法可以讓我們將模型量化成NF4和Int8精度的模型進(jìn)行讀取，幫助我們節(jié)省顯存開銷。我們也提供了相關(guān)性能數(shù)據(jù)。我們發(fā)現(xiàn)盡管模型在效果上存在損失，但模型的顯存開銷大幅降低。