這篇文章講了下單機(jī)部署三個模型的效果，我也是踩了很多坑才搞定的，以后后出一系列文章給大家講如何部署，以及大模型的原理

首先，先給大家簡單介紹一下是哪3個大模型，由于都是公開資料，直接讓AI來告訴大家吧：利用NEW BING :

?

?

1.???????? ChatGLM-6B：這是一個由清華大學(xué)知識工程和數(shù)據(jù)挖掘小組（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）發(fā)布的開源對話機(jī)器人。該模型基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)。它支持中英雙語問答，并針對中文進(jìn)行了優(yōu)化。用戶可以在消費(fèi)級的顯卡上進(jìn)行本地部署12。

2.???????? baichuan-7B：這是一個由百川智能開發(fā)的中英文大模型，基于 Transformer 結(jié)構(gòu)，在大約 1.2 萬億 tokens 上訓(xùn)練的 70 億參數(shù)模型，支持中英雙語，上下文窗口長度為 4096。該模型在多項中文自然語言處理任務(wù)上取得了優(yōu)異的效果，包括在標(biāo)準(zhǔn)的中文和英文權(quán)威 benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果34。

3.???????? MOSS：這是一個由復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院自然語言處理實(shí)驗(yàn)室開發(fā)的中英文混合語言模型，基于 Transformer-XL 結(jié)構(gòu)，在大約 1.4 萬億 tokens 上訓(xùn)練的 100 億參數(shù)模型，支持中英雙語，上下文窗口長度為 2048。該模型在多項中文自然語言處理任務(wù)上取得了優(yōu)異的效果

?

?

這些模型都不大，可以直接在本地部署，廢話不多說，我直接上干貨：

?

綜合下來，MOSS模型是一個基于Transformer的多模態(tài)對話模型，它可以處理文本、圖像等不同類型的輸入和輸出，但是它的推理速度比較慢，占用的顯存也比較大，而且需要大量的數(shù)據(jù)和計算資源。

chatglm-6b是一個基于GPT的單模態(tài)對話模型，它只能處理文本輸入和輸出，但是它的訓(xùn)練和推理速度比較快，而且性能較好，可以生成流暢和有趣的對話。

baichuan-7b是一個類似于LLaMA的大規(guī)模預(yù)訓(xùn)練語言模型，它可以處理多種語言和領(lǐng)域的文本，但是它還不支持對話任務(wù)，需要進(jìn)一步做SFT微調(diào)來適應(yīng)不同的對話場景和目標(biāo)。

下面是問chatglm-6b的結(jié)果：

下面是MOSS的結(jié)果，跑了有點(diǎn)慢：

最后，是BAICHUAI的結(jié)果：

?

最后，給一下NEW BING的答案：

以及chat-gpt 3.5的答案：

?