最強(qiáng)中文大模型：Baichuan-13B離線模型整合一鍵運(yùn)行包下載及使用教程

介紹

Baichuan-13B 是由百川智能繼 Baichuan-7B 之后開發(fā)的包含 130 億參數(shù)的開源可商用的大規(guī)模語言模型，在權(quán)威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次發(fā)布包含有預(yù)訓(xùn)練 (Baichuan-13B-Base) 和對齊 (Baichuan-13B-Chat) 兩個(gè)版本。Baichuan-13B 有如下幾個(gè)特點(diǎn)：

更大尺寸、更多數(shù)據(jù)：Baichuan-13B 在 Baichuan-7B 的基礎(chǔ)上進(jìn)一步擴(kuò)大參數(shù)量到 130 億，并且在高質(zhì)量的語料上訓(xùn)練了 1.4 萬億 tokens，超過 LLaMA-13B 40%，是當(dāng)前開源 13B 尺寸下訓(xùn)練數(shù)據(jù)量最多的模型。支持中英雙語，使用 ALiBi 位置編碼，上下文窗口長度為 4096。 同時(shí)開源預(yù)訓(xùn)練和對齊模型：預(yù)訓(xùn)練模型是適用開發(fā)者的『 基座 』，而廣大普通用戶對有對話功能的對齊模型具有更強(qiáng)的需求。因此本次開源我們同時(shí)發(fā)布了對齊模型（Baichuan-13B-Chat），具有很強(qiáng)的對話能力，開箱即用，幾行代碼即可簡單的部署。 更高效的推理：為了支持更廣大用戶的使用，我們本次同時(shí)開源了 int8 和 int4 的量化版本，相對非量化版本在幾乎沒有效果損失的情況下大大降低了部署的機(jī)器資源門檻，可以部署在如 Nvidia 3090 這樣的消費(fèi)級顯卡上。 開源免費(fèi)可商用：Baichuan-13B 不僅對學(xué)術(shù)研究完全開放，開發(fā)者也僅需郵件申請并獲得官方商用許可后，即可以免費(fèi)商用。

離線整合包使用教程

Baichuan-13B模型托管在huggingface上，模型大小一共有20多G，直接使用Github官方代碼：https://github.com/baichuan-inc/Baichuan-13B，可能會(huì)出現(xiàn)環(huán)境錯(cuò)誤以及下載失敗的問題。

因此學(xué)術(shù)Fun整合了環(huán)境和模型，提供一鍵運(yùn)行包，下載地址：https://xueshu.fun/2756/

下載整合包后，請包壓縮包解壓到D盤根目錄，如下圖所示，其中Baichuan-13B-Chat文件夾里包含24G的模型文件。

命令行工具方式

命令行方式使用，雙擊一鍵啟動(dòng)cli_demo.bat即可，效果如下所示：

網(wǎng)頁 demo 方式

網(wǎng)頁 demo 方式使用，雙擊一鍵啟動(dòng)web_demo.bat即可，效果如下所示：

如果D盤沒有空間，想放在其他路徑下，也可以修改cli_demo.py和web_demo.py文件中model_path路徑即可。