一 起因

之前的推文中有介紹了dolly（見大語言模型之dolly（ChatGPT平替版）評測,含安裝說明哦?。，F(xiàn)在，介紹另一種大語言模型，alpaca-lora，其作為斯坦福開發(fā)的新的大預(yù)言模型，最近也因?yàn)榭梢栽谙M(fèi)級顯卡應(yīng)用而受到關(guān)注。

二?正文

2.1 克隆倉庫與安裝依賴

首先，肯定是官方地址了

然后，讀者只需要通過以下操作

2.2 下載模型

接著，需要去huggingface官網(wǎng)網(wǎng)站上下載對應(yīng)的模型文件，下載的地址在

在網(wǎng)站上我們可以看到這些文件，需要將llama-7b-hf和alpaca-lora-7b各自下載到對應(yīng)的文件夾中。

2.3 改寫腳本，適應(yīng)命令行操作

改寫作者的腳本。這是因?yàn)樽髡叩哪_本是直接調(diào)用gradio去生成web服務(wù)。而筆者在這里只是為了在命令行端與大模型來個深度對話（讀者可以直接取用，不用考慮代碼的細(xì)節(jié)）。

隨后，調(diào)用上面的腳本即可啟動大模型。不過，本推文中調(diào)用的是官方的模型文件，所以調(diào)用腳本時需要指定base_model和lora_weights權(quán)重文件存放位置。

2.4 錯誤排查

注意的是，運(yùn)行時可能會報下面的報錯

這是因?yàn)槟銓?shí)際上使用的是cuda版本的文件，而這個包則默認(rèn)調(diào)用cpu版本的文件。因此，讀者先通過nvidia-smi查看自己的cuda版本，之后將對應(yīng)cuda版本的文件通過復(fù)制替換掉cpu版本的文件，即可解決問題。

2.5 模型測試

一切就緒后，讀者就可以愉快的調(diào)用這個大模型進(jìn)行溝通對話了。但是，怎么說呢，不知道是因?yàn)槟Ｐ臀募〉脑蜻€是怎么回事，目前這個大語言模型的對話感覺仍是漏洞百出，不如ChatGPT。目前來看，消費(fèi)級的大語言模型也需要進(jìn)一步的優(yōu)化。雖然，倉庫的作者聲稱經(jīng)過調(diào)教，是能夠達(dá)到3.5的。但是，這又會是另一番的苦工了，但是筆者稍后會考慮出一期如何對大模型進(jìn)行調(diào)教的內(nèi)容，歡迎各位讀者批評指正。

三?慣例小結(jié)

最近，AIGC似乎稍微有點(diǎn)降溫了，不像ChatGPT3剛出來的時候那么火爆。人們也開始漸漸習(xí)慣身邊多了一個這樣的AI助手。然而，筆者想說的是，雖然目前AIGC總體還是在好的方向的發(fā)展，我們?nèi)缘脤@種AI保持警惕，警惕技術(shù)被壞人所應(yīng)用，且毫無監(jiān)管的使用。

四 公眾號其他資源（方便讀者使用）

本公眾號開發(fā)的相關(guān)軟件，Multi-omics Hammer軟件和Multi-omics Visual軟件歡迎大家使用。

Multi-omics Hammer軟件下載地址：

https://github.com/wangjun258/Multi-omics-Hammer

Multi-omics Visual軟件下載地址：https://github.com/wangjun258/Multi_omics_Visual/releases/tag/Multi_omics_Visual_v1.03

PS：因?yàn)楸拒浖怯胮ython腳本撰寫，調(diào)用了部分依賴包，用戶首次使用需要安裝python以及對應(yīng)的包，安裝之后便可永久使用。

下面是本號在其他平臺的賬戶，也歡迎大家關(guān)注并多提意見。

簡書：WJ的生信小院

公眾號：生信小院

博客園：生信小院

最后，也歡迎各位大佬能夠在本平臺上：1傳播和講解自己發(fā)表的論文；2：發(fā)表對某一科研領(lǐng)域的看法；3：想要達(dá)成的合作或者相應(yīng)的招聘信息；4：展示自己以尋找博后工作或者博士就讀的機(jī)會;5:博導(dǎo)提供博后工作或者博士攻讀機(jī)會，都可以后臺給筆者留言。希望本平臺在進(jìn)行生信知識分享的同時，能夠成為生信分析者的交流平臺，能夠?qū)崿F(xiàn)相應(yīng)的利益互補(bǔ)和雙贏（不一定能實(shí)現(xiàn)，但是夢想總得是有的吧）。?

五 封面圖

嘿嘿，答案詳見下一篇推文呦