模型推薦Nous-Hermes-13b+chinese-alpaca-lora
最近NousResearch/Nous-Hermes-13b模型比較火（至少TheBloke/Nous-Hermes-13B-GPTQ的下載量已經(jīng)高達(dá)160K了）。該模型自稱在各種任務(wù)中表現(xiàn)不亞于GPT-3.5-turbo，長回復(fù)、低幻覺率和缺乏OpenAI審查機(jī)制的優(yōu)點。 群友和我測試了下感覺也挺不錯的。
重點是，昨晚有個群友嘗試把chinese-alpaca-13b的lora和Nous-Hermes-13b融合在一起，成功了，模型的中文能力得到提升，有興趣可以試試。 目前該群友以上傳融合后的模型 請在hugging face上搜索： Bandifishing/Nous-Hermes-13b-Chinese?
網(wǎng)址：https://huggingface.co/Bandifishing/Nous-Hermes-13b-Chinese
該模型是原版非量化模型，要加載的話建議啟動bitsandbyts的load-in-4bit或load-in-8bit功能（懶人包的啟動程序的設(shè)置頁面有選項），不然會爆顯存。
今早我查閱了Chinese-LLaMA-Alpaca的文檔，也把chinese-alpaca-13b的lora和Nous-Hermes-13b融合了，并制作了ggml模型（適合在無獨立顯卡/A卡/顯存不足）的用戶使用。 目前已先上傳q5_1模式到hugging face上，
請在hugging face上搜索：coyude/Nous-Hermes-13b-Chinese-GGML
網(wǎng)址：https://huggingface.co/coyude/Nous-Hermes-13b-Chinese-GGML
目前還有8個版本的模型正在上傳中。 下午打算看看能不能轉(zhuǎn)成GPTQ量化模型。
