還在尋找基于文心一言搭建本地知識庫問答的方案嗎？AI Studio星河社區(qū)帶你實戰(zhàn)演練（支持私有化部署）！

相信對于大語言模型（LLM）有所涉獵的朋友，對于“老網(wǎng)紅”知識庫問答不會陌生。自從大模型爆火后，開發(fā)者都希望盡快進行開發(fā)實戰(zhàn)，企業(yè)都希望盡快在產(chǎn)品中集成LLM的能力，結(jié)合業(yè)務(wù)快速落地，那最直接的方式就是構(gòu)建知識庫問答。本項目由AI Studio星河社區(qū)開發(fā)者「SWHL」創(chuàng)作并發(fā)布體驗應(yīng)用，應(yīng)用中使用AI Studio SDK（文末獲取文檔）提供的能力完成文心一言與向量檢索增強的結(jié)合，與此同時，開發(fā)者「SWHL」提供的開源項目還支持本地私有化部署的版本，助力個人和企業(yè)完成知識問答系統(tǒng)搭建。

項目亮點

1、除大語言模型接口需要單獨部署外，其他部分均可使用CPU

2、整個項目模塊化，不依賴lanchain庫，各個部分都可以輕松替換，代碼簡單易懂

3、WebUI向量檢索Log可視化

4、支持接入多個LLM模型

5、支持本地私有化部署

應(yīng)用體驗Demo

應(yīng)用參數(shù)解讀：

• max_length：生成結(jié)果時的最大token數(shù)

• top_p：用于控制模型生成文本時，選擇下一個單詞的概率分布的范圍。具體來說，當(dāng)使用top_p參數(shù)時，模型將考慮累積概率分布中概率之和最大的最小集合中的所有單詞，并在其中選擇下一個單詞

• temperature：用于調(diào)整模型生成文本時的創(chuàng)造性程度，較高的temperature將使模型更有可能生成新穎、獨特的文本，而較低的溫度則更有可能生成常見或常規(guī)的文本

• Search Top_K：從文檔向量數(shù)據(jù)庫中召回的前K個相關(guān)內(nèi)容，用于和問題拼接為完整內(nèi)容送到大模型中，可選值有5，10， 15

工作流程

1、解析文檔并存入數(shù)據(jù)庫

2、檢索并回答問題

搭建知識庫問答應(yīng)用

Fork該項目

啟動進入線上開發(fā)環(huán)境

選擇CPU環(huán)境即可

AI Studio星河社區(qū)每周均可免費獲得一定數(shù)量算力

查看文件進行開發(fā)

本地私有化部署

創(chuàng)作者已將該項目進行開源，有私有化部署需求的可移步至該項目Github，獲取代碼文件進行部署。

項目作者：SWHL，RapidAI開源組織成員，日常研究方向為大模型落地和CV相關(guān)，包括OCR和目標檢測等方向。

• 作者主頁

https://github.com/SWHL

• RapidAI開源組織主頁

https://github.com/RapidAI

• 該項目Github

https://github.com/RapidAI/Knowledge-QA-LLM

AI Studio星河社區(qū)已上線SDK開發(fā)工具，支持文心一言、Embedding等能力的高效使用。