一 起因

ChatGPT的大火讓許多人意識(shí)到只要模型足夠大，數(shù)據(jù)足夠多，機(jī)器完全能夠通過圖靈測試，實(shí)現(xiàn)與人類溝通的意愿。然而，一方面由于ChatGPT太過于消耗算力，常人消耗不起，另一方面，openAI公司也并沒有開源ChatGPT的算法，這導(dǎo)致許多人無法定制個(gè)性化的ChatGPT。好在，還是有許多有識(shí)之士在降低定制化ChatGPT的門檻。這里，我將介紹一個(gè)開源的模型dolly，僅僅一張3060Ti，我們就可以實(shí)現(xiàn)窮人版的ChatGPT。

二?正文

2.1 模型地址

那么，首先最重要的事情，必然是介紹這個(gè)模型的網(wǎng)址啦

2.2 該模型簡介

Databricks 的 Dolly 是一種遵循指令的大型語言模型，在已獲得商業(yè)使用許可的 Databricks 機(jī)器學(xué)習(xí)平臺(tái)上進(jìn)行訓(xùn)練。基于 pythia-12b，Dolly 在 InstructGPT 論文的能力域中接受了 Databricks 員工生成的約 15k 指令/響應(yīng)微調(diào)記錄 databricks-dolly-15k 的訓(xùn)練，包括頭腦風(fēng)暴、分類、封閉 QA、生成、信息提取、開放 QA 和總結(jié)。dolly-v2-12b?不是最先進(jìn)（雖然不是最先進(jìn)的，但是我認(rèn)為該模型在打破ChatGPT科技?jí)艛喾矫娴囊饬x舉足輕重）的模型，但確實(shí)表現(xiàn)出令人驚訝的高質(zhì)量指令遵循行為，而不是它所基于的基礎(chǔ)模型的特征。Databricks 致力于確保每個(gè)組織和個(gè)人都能從人工智能的變革力量中受益。Dolly 模型系列代表了我們?cè)谶@一旅程中邁出的第一步，我們很高興與全世界分享這項(xiàng)技術(shù)（這才是開源世界的精神，當(dāng)然，我也還是繼續(xù)該模型在開源的基礎(chǔ)上進(jìn)行商業(yè)化，畢竟不商業(yè)化的體系都走不長遠(yuǎn)）。該模型可在 Hugging Face 上以 databricks/dolly-v2-12b 的形式獲得。

2.3 模型構(gòu)建

那么，接下來，就要介紹如何使用這一模型來進(jìn)行我們私人的ChatGPT構(gòu)建了。至于torch包的安裝，讀者可以見這篇推文《docker鏡像之RoseTTAFold運(yùn)用》PS:首先，如果讀者手中的顯卡運(yùn)算能力低于3060Ti，建立運(yùn)行databricks/dolly-v2-3b，因?yàn)?2b需要的并行運(yùn)算能力要高于3060Ti。其次，建議讀者使用倉庫作者提供的建議，運(yùn)行torch.float16選項(xiàng)將數(shù)據(jù)壓縮，否則，即使是3060Ti也無法滿足模型加載需求。

之后，你就可以使用該模型來回答一系列的問題了。下面則是筆者詢問的問題以及回答的答案。

需要注意的是，筆者并未對(duì)模型進(jìn)行訓(xùn)練，而是使用倉庫作者提供的微調(diào)模型直接進(jìn)行使用的。

2.4?模型構(gòu)建過程中遇到的問題

第一個(gè)錯(cuò)誤

這是因?yàn)槟Ｐ陀?xùn)練的時(shí)候使用了GPU和CPU兩個(gè)單元，更改此錯(cuò)誤的方法是構(gòu)建模型的時(shí)候（pipeline）使用device參數(shù)，而不是device_map參數(shù)，并且device通過device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")指定

第二個(gè)錯(cuò)誤

這個(gè)是因?yàn)槲覀兪褂玫膁olly-v2-3b模型并不是使用于倉庫作者提出的torch.bfloat16數(shù)據(jù)壓縮，而是使用torch.float16壓縮即可
2.5 模型訓(xùn)練

至于為什么不從頭訓(xùn)練來定制個(gè)私人賈維斯呢，主要也是因?yàn)楦F。下面是倉庫作者提供的訓(xùn)練過程

** 使用 4 個(gè) A10（一張1.98萬），一個(gè) epoch 大約需要 7 個(gè)小時(shí)。

**?使用 8 個(gè) V100（一張3到4萬），一個(gè) epoch 大約需要 3.5 小時(shí)。

或許啥時(shí)候顯卡單價(jià)下降，筆者或許可以考慮摸透這個(gè)并繼續(xù)出個(gè)教程哈。目前則是吃土都不夠用來訓(xùn)練的，哈哈。

三?慣例小結(jié)

其實(shí)，筆者認(rèn)為只有百家爭鳴的AI競賽才是真正有利于人類發(fā)展的AI發(fā)展模式，一家獨(dú)家的AI發(fā)展則或造成技術(shù)壟斷。然而，AI技術(shù)的發(fā)展或者不像其他行業(yè)，強(qiáng)者只會(huì)越來越強(qiáng)，弱者只會(huì)被直接淘汰，未來或許只有兩到三家能夠提供全方位的AI服務(wù)。不過，或者隨著開源精神的深入人心，或許AI帶來的技術(shù)壟斷也能夠被輕易化解也并非天方夜譚。PS: 希望普惠眾人的定制版ChatGPT早點(diǎn)出現(xiàn)，這樣科研民工或許可以少一點(diǎn)論文寫作的煩惱?。∵@樣，每個(gè)人都能擁有自己寫作風(fēng)格（避免重復(fù)）且不會(huì)出現(xiàn)語法錯(cuò)誤（無需潤色）的論文撰寫助手了

四 公眾號(hào)其他資源（方便讀者使用）

本公眾號(hào)開發(fā)的相關(guān)軟件，Multi-omics Hammer軟件和Multi-omics Visual軟件歡迎大家使用。

Multi-omics Hammer軟件下載地址：

https://github.com/wangjun258/Multi-omics-Hammer

Multi-omics Visual軟件下載地址：https://github.com/wangjun258/Multi_omics_Visual/releases/tag/Multi_omics_Visual_v1.03

PS：因?yàn)楸拒浖怯胮ython腳本撰寫，調(diào)用了部分依賴包，用戶首次使用需要安裝python以及對(duì)應(yīng)的包，安裝之后便可永久使用。

下面是本號(hào)在其他平臺(tái)的賬戶，也歡迎大家關(guān)注并多提意見。

簡書：WJ的生信小院

公眾號(hào)：生信小院

博客園：生信小院

最后，也歡迎各位大佬能夠在本平臺(tái)上：1傳播和講解自己發(fā)表的論文；2：發(fā)表對(duì)某一科研領(lǐng)域的看法；3：想要達(dá)成的合作或者相應(yīng)的招聘信息；4：展示自己以尋找博后工作或者博士就讀的機(jī)會(huì);5:博導(dǎo)提供博后工作或者博士攻讀機(jī)會(huì)，都可以后臺(tái)給筆者留言。希望本平臺(tái)在進(jìn)行生信知識(shí)分享的同時(shí)，能夠成為生信分析者的交流平臺(tái)，能夠?qū)崿F(xiàn)相應(yīng)的利益互補(bǔ)和雙贏（不一定能實(shí)現(xiàn)，但是夢想總得是有的吧）。?

五 封面圖