RWKV-Runner近期主要更新匯總,服務(wù)器部署說明,及后續(xù)更新計(jì)劃
用戶相關(guān)的主要更新內(nèi)容
macOS, linux支持
包含寫作,翻譯,貓娘,情景冒險(xiǎn),狼人殺,指令功能的補(bǔ)全頁面
程序嵌入所有核心依賴,避免下載緩慢問題(體積增加到8MB)
對所有主流N卡的內(nèi)置算子加速支持
模型內(nèi)部狀態(tài)緩存支持,使對話和補(bǔ)全的準(zhǔn)備速度獲得 5 - 50 倍的提速,現(xiàn)在對話和補(bǔ)全幾乎總是立即響應(yīng),狀態(tài)緩存對API調(diào)用同樣有效
對小說模型和World模型支持(強(qiáng)烈推薦體驗(yàn)World模型,100+語言,效果極佳)
API對外訪問支持
API并發(fā)性能和兼容性改善
API日志
內(nèi)置下載功能改善,現(xiàn)在比較耐用,就算你中途拔網(wǎng)線,換環(huán)境,或者狂點(diǎn)暫停繼續(xù),也不會(huì)破壞下載文件的完整性,并能夠正常斷點(diǎn)續(xù)傳
支持自定義模型路徑,自定義python解釋器,自定義strategy
諸多問題修復(fù)和用戶交互改善,增強(qiáng)用戶引導(dǎo)
服務(wù)器部署說明
先前的QQ機(jī)器人與AI繪畫結(jié)合項(xiàng)目,目前已支持由RWKV離線驅(qū)動(dòng),并支持QQ頻道:?https://github.com/josStorer/mix-chatgpt-and-ai-painting
目前提供了Next-Web的部署示例腳本,支持windows和linux,你可以輕松自己搭建一個(gè)RWKV驅(qū)動(dòng)的對外服務(wù)
部署完成效果:

鏈接:https://github.com/josStorer/RWKV-Runner/tree/master/deploy-examples
截圖速覽:


后續(xù)主要計(jì)劃更新內(nèi)容(不分先后)
模型訓(xùn)練(全量,lora)
外掛知識(shí)庫
狀態(tài)緩存數(shù)據(jù)庫
embeddings API
自由角色設(shè)定和分享
將內(nèi)部聊天,補(bǔ)全功能獨(dú)立出網(wǎng)站部署服務(wù)