一 起因

之前的推文《如何在一臺筆記本上部署大語言模型》有提到llama.c，這種大模型運(yùn)行方式給我們指明了一條路，使得消費(fèi)級電腦上運(yùn)行ChatGPT開始變得觸手可及。但是，那時(shí)這種大模型運(yùn)行方式剛剛興起，還沒有相應(yīng)的精準(zhǔn)大模型可以適配。但是，隨著筆者的不斷的挖掘（其實(shí)是開源社區(qū)的不斷努力），終于找到了可以是適配的高質(zhì)量的大語言模型了。下面，話不多說，讓我們開始新一輪的加強(qiáng)版的大模型之旅

二?正文

2.1?下載倉庫，安裝docker容器

2.2?下載模型

從Hugging Face網(wǎng)站下載模型，注意，本推文中最重要的是ggml-model-f16.bin模型文件。

2.3 模型啟動(dòng)

如2.1所示，我們已經(jīng)下載的docker image文件。之后我們需要通過命令進(jìn)入docker環(huán)境中。這里需要注意的是，我們下載的大模型需要在docker_catalog文件夾的run_catalog子文件夾中。

之后，在docker環(huán)境中，我們首先仍然需要準(zhǔn)備必要的python環(huán)境，用以運(yùn)行Llama2模型。

需要注意的是，如果我們不運(yùn)行上述代碼，則會(huì)出現(xiàn)以下報(bào)錯(cuò)。

接著，在python環(huán)境中運(yùn)行我們的代碼（直接在命令行輸入python，即可進(jìn)行python環(huán)境）。這里，我們希望實(shí)現(xiàn)對下面這句話的潤色

潤色前的英文翻譯：we reanalyzed the gradient centrifugation data of HCMV virus-infected cells at various timepoints, including 24, 48, 72, 96 and 120 hours post infection (hpi), using the SD algorithm

2.4 結(jié)果解析

輸出的output結(jié)果包含了需要信息。

但是，這些復(fù)雜信息中我們只需要才查看text鍵的值即可（去除我們輸入的部分文本，如下所示。

潤色后的英文翻譯：24, 48, 72, 96, and 120 hours after infection, we reanalyzed the gradient centrifugation data from HCMV-infected cells using the SD algorithm.

當(dāng)然，一次調(diào)用即完成潤色還是不夠的，我們還需要調(diào)整參數(shù)等等，最終實(shí)現(xiàn)高質(zhì)量的翻譯工作

2.5?工作總結(jié)

最后，我們在消費(fèi)級電腦上完成llama-2-13B的部署，模型加載和使用，并成功達(dá)成了我們的目標(biāo)。完成了一句話的潤色工作。

三?慣例小結(jié)

在之前推文中提到的大語言模型的推廣，還以為需要假以時(shí)日。然后，隨著越來越多的資源被投入到這里，筆者發(fā)現(xiàn)對于所有人而言，這種消費(fèi)級的大語言模型即將唾手可得。或許近兩三年之后， 我們每個(gè)人都不用為了流程式的寫作而煩惱了，可以真正的將精力投入到工作中了

不過，希望能夠開發(fā)個(gè)專門針對特定研究領(lǐng)域的微調(diào)算法，讓我們可以各個(gè)開發(fā)自己真正獨(dú)一無二的寫作助手。比如我就是看了這些文獻(xiàn)，所以我的寫作風(fēng)格就是如此獨(dú)特（強(qiáng)烈的個(gè)人特征），而不是與別人大同小異，被人認(rèn)為抄襲和復(fù)制。不過這樣，各位讀者應(yīng)該就不能輕易泄露自己的個(gè)人寫作風(fēng)格了，不然，你就會(huì)被大語言模型記錄復(fù)制，而沒有原創(chuàng)的自己了。

四 公眾號其他資源（方便讀者使用）

本公眾號開發(fā)的相關(guān)軟件，Multi-omics Hammer軟件和Multi-omics Visual軟件歡迎大家使用。

Multi-omics Hammer軟件下載地址：

https://github.com/wangjun258/Multi-omics-Hammer

Multi-omics Visual軟件下載地址：https://github.com/wangjun258/Multi_omics_Visual/releases/tag/Multi_omics_Visual_v1.03

PS：因?yàn)楸拒浖怯胮ython腳本撰寫，調(diào)用了部分依賴包，用戶首次使用需要安裝python以及對應(yīng)的包，安裝之后便可永久使用。

下面是本號在其他平臺的賬戶，也歡迎大家關(guān)注并多提意見。

簡書：WJ的生信小院

公眾號：生信小院

博客園：生信小院

最后，也歡迎各位大佬能夠在本平臺上：1傳播和講解自己發(fā)表的論文；2：發(fā)表對某一科研領(lǐng)域的看法；3：想要達(dá)成的合作或者相應(yīng)的招聘信息；4：展示自己以尋找博后工作或者博士就讀的機(jī)會(huì);5:博導(dǎo)提供博后工作或者博士攻讀機(jī)會(huì)，都可以后臺給筆者留言。希望本平臺在進(jìn)行生信知識分享的同時(shí)，能夠成為生信分析者的交流平臺，能夠?qū)崿F(xiàn)相應(yīng)的利益互補(bǔ)和雙贏（不一定能實(shí)現(xiàn)，但是夢想總得是有的吧）。?

五 封面圖

又一個(gè)新來的小動(dòng)物：豚鼠