一 起因

眾所周知，最近的大語言模型雖然在各個大公司異常火爆，但是，對于消費級市場而言，卻受限于算力，無法真正企及。那么，如何才能在一張常規(guī)顯卡上運行市面上常見的大語言模型呢？llama.c倉庫給我們指明了一條路，使得大模型開始變得觸手可及。

二?正文

2.1?編譯llama模型，并使用C語言運行代碼

2.1.1 下載倉庫地址

2.1.2 使用命令去編譯程序，用于生成run程序
當(dāng)然，需要預(yù)先安裝好各類依賴

2.1.3 下載大語言模型

現(xiàn)在，最火的大模型語言非meta的llama模型莫屬了。因此，我們需要下載模型（因為算力有限，以及編譯問題，目前這個倉庫只能運行l(wèi)lama-2-7b模型）到指定path中，比如本文下載到“pre_model/llama_2_7b”文件夾中

2.1.4?轉(zhuǎn)換大語言模型

利用倉庫作者給定的工具將模型轉(zhuǎn)換成為llama2_7b.bin，方便c語言腳本調(diào)用

其中，模型寫入的主要是這個文件consolidate.00.pth，大于14個G左右

2.1.5 調(diào)用模型。
其中l(wèi)lama2_7b.bin就是經(jīng)過編譯的meta開源模型，隨后‘1.0’和‘256’分別是指定溫度和步長，最后的‘a(chǎn) fish love a cat and write a story’則是我們的提示詞。接著，運行下面的代碼，我們即可獲得對應(yīng)的結(jié)果啦

最后，我們即可獲得在llama模型下基于提示詞的生成式語言回復(fù)

三?慣例小結(jié)

目前來看，大語言模型帶來的變革已經(jīng)來到。然而，由于算力等限制，大模型還無法真正發(fā)揮它的功能。不過，就目前來看，目前這一困境正在被開發(fā)者們所解決。相信，在不久的未來，每個人的手機上都會有一個私人定制的chatGPT了吧。

四 公眾號其他資源（方便讀者使用）

本公眾號開發(fā)的相關(guān)軟件，Multi-omics Hammer軟件和Multi-omics Visual軟件歡迎大家使用。

Multi-omics Hammer軟件下載地址：

https://github.com/wangjun258/Multi-omics-Hammer

Multi-omics Visual軟件下載地址：https://github.com/wangjun258/Multi_omics_Visual/releases/tag/Multi_omics_Visual_v1.03

PS：因為本軟件是用python腳本撰寫，調(diào)用了部分依賴包，用戶首次使用需要安裝python以及對應(yīng)的包，安裝之后便可永久使用。

下面是本號在其他平臺的賬戶，也歡迎大家關(guān)注并多提意見。

簡書：WJ的生信小院

公眾號：生信小院

博客園：生信小院

最后，也歡迎各位大佬能夠在本平臺上：1傳播和講解自己發(fā)表的論文；2：發(fā)表對某一科研領(lǐng)域的看法；3：想要達(dá)成的合作或者相應(yīng)的招聘信息；4：展示自己以尋找博后工作或者博士就讀的機會;5:博導(dǎo)提供博后工作或者博士攻讀機會，都可以后臺給筆者留言。希望本平臺在進行生信知識分享的同時，能夠成為生信分析者的交流平臺，能夠?qū)崿F(xiàn)相應(yīng)的利益互補和雙贏（不一定能實現(xiàn)，但是夢想總得是有的吧）。?

五 封面圖

不得不說，非常喜歡編程界將各種小動物當(dāng)做項目或者書籍的封面的這種趨勢。讓我們即看的了可愛的動物，又學(xué)習(xí)到了知識，何樂而不為呢