服務(wù)部署

—

01?服務(wù)器配置?

配置詳情

GPU：8*3080TI服務(wù)器 (一塊24G顯存的卡就可以了)

CUDA：12.1

02?環(huán)境安裝?

為了避免cuda環(huán)境和pytorch版本的沖突，一個個進行安裝。

1）安裝pytorch，適配cuda12.1

參考：https://pytorch.org/get-started/locally/

注意：使用cuda安裝比較慢，所以用pip3安裝

2）安裝bmtrain

3）安裝其他環(huán)境

03?模型下載?

下載地址：https://huggingface.co/openbmb/cpm-bee-10b/tree/main

1）代碼克隆

2）下載模型 19G

下載路徑，自定義即可

?04?測試?

1）修改測試文件

修改 vi text_generation.py

更改模型路徑

2）測試模型

?05 接口設(shè)計（Python版）

1）新建Flask接口

在上述代碼中，我們通過?from flask_cors import CORS導(dǎo)入了?CORS?類，并在 Flask 應(yīng)用程序中調(diào)用了 CORS(app)。這樣就啟用了默認的 CORS 配置，允許所有來源跨域訪問。

未避免顯存異常，在上述代碼中，通過創(chuàng)建一個線程鎖?lock?和一個計數(shù)器?counter?來控制并發(fā)請求的數(shù)量。如果請求超過了?MAX_CONCURRENT_REQUESTS?的限制，即達到了最大并發(fā)請求數(shù)，服務(wù)器將返回提示信息"請稍等再試"。

2）啟動接口

3）接口測試

選擇題測試

Chat測試

聊天窗口（前后端）

—

*版權(quán)聲明：本文為CSDN博主「feifeiyechuan」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載附上原文出處鏈接↓https://blog.csdn.net/feifeiyechuan/article/details/130952744

? ?CPM-Bee開源地址

??? https://github.com/OpenBMB/CPM-Bee

? ?加社群/ 提建議/ 有疑問?

請找 OpenBMB 萬能小助手：

?? 關(guān)注我們

微信搜索關(guān)注 “OpenBMB開源社區(qū)”

后臺回復(fù)“CPM-Live” 即可加入CPM-Live加油群

還可獲取更多大模型干貨知識和前沿資訊！ ??