9個(gè)GPT4平替已開源！用過有被驚艷到...
對(duì)于想要研究大模型的同學(xué)來說，目前ChatGPT無疑是最好的學(xué)習(xí)對(duì)象，但等它開源估計(jì)是不太可能了，所以學(xué)姐今天整理了一些開源的類GPT模型，幫助大家更好的理解大模型背后的機(jī)理。
PS：有的功能還不錯(cuò)，也可以上手玩耍玩耍。
掃描下方二維碼，回復(fù)“大模型”
免費(fèi)領(lǐng)取開源代碼+大模型必讀論文合集
1.Colossal AI
“夸父”AI，大規(guī)模并行AI訓(xùn)練系統(tǒng)，基于LLaMA預(yù)訓(xùn)練模型。作為ChatGPT的平替，開源了完整的RLHF流水線，包括，監(jiān)督數(shù)據(jù)收集、監(jiān)督微調(diào)、獎(jiǎng)勵(lì)模型訓(xùn)練和強(qiáng)化學(xué)習(xí)微調(diào)等。
優(yōu)勢：高效、簡單、可擴(kuò)展，功能多，包含AIGC
缺點(diǎn)：不完全支持中文，基于GPT-3
模型能力：集成現(xiàn)有的GPT-3 、GPT-2模型，能夠提升模型效率
訓(xùn)練：
第一階段（stage1_sft.py）：SFT監(jiān)督微調(diào)階段，該開源項(xiàng)目沒有實(shí)現(xiàn)，這個(gè)比較簡單，因?yàn)镃olossalAI無縫支持Huggingface，本人直接用Huggingface的Trainer函數(shù)幾行代碼輕松實(shí)現(xiàn)，在這里我用了一個(gè)gpt2模型，從其實(shí)現(xiàn)上看，其支持GPT2、OPT和BLOOM模型；
第二階段（stage2_rm.py）：獎(jiǎng)勵(lì)模型（RM）訓(xùn)練階段，即項(xiàng)目Examples里train_reward_model.py部分；
第三階段（stage3_ppo.py）：強(qiáng)化學(xué)習(xí)（RLHF）階段，即項(xiàng)目train_prompts.py。
代碼中的cores即原始工程中的chatgpt，cores.nn在原始工程中變成了chatgpt.models。
開源地址：https://github.com/hpcaitech/ColossalAI
2.ChatGLM
智譜AI研發(fā)，基于千億參數(shù)大模型的支持中英雙語的對(duì)話機(jī)器人。
優(yōu)勢：支持中英雙語、開源平替里面參數(shù)規(guī)模較大的對(duì)話大模型
缺點(diǎn)：模型記憶和語言能力較弱，數(shù)學(xué)、編程類解答能力較弱
模型能力：
自我認(rèn)識(shí)
提綱寫作
文案寫作
郵件寫作助手
信息抽取
角色表演
評(píng)論比較
旅游方向
訓(xùn)練：
62億參數(shù)
針對(duì)中文提問和對(duì)話進(jìn)行了優(yōu)化
經(jīng)過約1T標(biāo)準(zhǔn)符號(hào)的中英雙語訓(xùn)練，輔以監(jiān)督微調(diào)、反施自助、人類反施強(qiáng)化學(xué)習(xí)等技術(shù)的支持
開源地址：https://github.com/THUDM/ChatGLM-6B
3.LLaMa
Meta打造的一個(gè)650 億參數(shù)的大語言模型，可以在非商業(yè)許可下提供給政府、社區(qū)和學(xué)術(shù)界的研究人員和實(shí)體工作者。
優(yōu)勢：在生成文本、對(duì)話、總結(jié)書面材料、等任務(wù)上方面表現(xiàn)良好，支持20種語言。
缺點(diǎn)：對(duì)中文支持不足
開源地址：https://github.com/facebookresearch/llama
4.LLaMa-ChatLLaMA
由于 LLaMA 大模型系列沒有使用 RLHF 方法，因此初創(chuàng)公司 Nebuly AI 開源了 RLHF 版 LLaMA（ChatLLaMA）的訓(xùn)練方法。
優(yōu)勢：
更便宜，完整的開源實(shí)現(xiàn)，允許用戶基于預(yù)訓(xùn)練的 LLaMA 模型構(gòu)建 ChatGPT 風(fēng)格的服務(wù)；
LLaMA 架構(gòu)更小，使得訓(xùn)練過程和推理速度更快，成本更低；
內(nèi)置了對(duì) DeepSpeed ZERO 的支持，以加速微調(diào)過程；
支持各種尺寸的 LLaMA 模型架構(gòu)，用戶可以根據(jù)自身偏好對(duì)模型進(jìn)行微調(diào)
缺點(diǎn)：不支持中文
5.BELLE
精通中文，基于斯坦福 Alpaca項(xiàng)目，70 億參數(shù)的中文對(duì)話大模型。
優(yōu)勢：
數(shù)據(jù)：參考斯坦福大學(xué)的Alpaca項(xiàng)目，針對(duì)中文場景進(jìn)行了優(yōu)化，利用ChatGPT生了多樣化、高質(zhì)量的數(shù)據(jù)，包括日常對(duì)話、知識(shí)問答、文本生成等，有助于模型在各種中文場景中的表現(xiàn)。
模型：基于Bloom和LLAMA，訓(xùn)練了出具效果的對(duì)話模型，并完全開放了這些模型的參數(shù)，大大降低使用和科研的門檻
輕量化：開源了對(duì)話模型的量化版本，包括8bit, 4bit, 其中4bit版本模型checkpoint大小僅為6.9G，運(yùn)行僅需8.4G顯存。
開源地址：https://github.com/LianjiaTech/BELLE
6.PaLM-rlhf-pytorch
作者Phil Wang，在 PaLM 架構(gòu)之上實(shí)現(xiàn) RLHF，它基本上是使用 PaLM 的 ChatGPT
優(yōu)勢：
基于谷歌語言大模型PaLM架構(gòu)，以及使用從人類反饋中強(qiáng)化學(xué)習(xí)的方法（RLHF）
采用了ChatGPT一樣的強(qiáng)化學(xué)習(xí)機(jī)制，能讓AI的回答更加符合情景要求，降低模型毒性
開源地址：https://github.com/lucidrains/PaLM-rlhf-pytorch
7.OpenAssistant
旨在讓每一個(gè)人都可以訪問基于聊天的大語言模型。
優(yōu)勢：
開源聊天助手，其可以理解任務(wù)、與第三方系統(tǒng)交互、動(dòng)態(tài)檢索信息。
據(jù)說是第一個(gè)在人類數(shù)據(jù)上進(jìn)行訓(xùn)練的完全開源的大規(guī)模指令微調(diào)模型
缺點(diǎn)：中文效果不佳、受底層模型的限制
開源地址：https://github.com/LAION-AI/Open-Assistant
8.OpenChatKitk
前OpenAI研究員所在的Together團(tuán)隊(duì)，以及LAION、Ontocord.ai團(tuán)隊(duì)共同打造，包含200億個(gè)參數(shù)，用GPT-3的開源版本GPT-NoX-20B進(jìn)行微調(diào)
優(yōu)勢：
提供了一個(gè)強(qiáng)大的的開源基礎(chǔ)，為各種應(yīng)用程序創(chuàng)建專用和通用的聊天機(jī)器人
該 kit 包含了一個(gè)經(jīng)過指令調(diào)優(yōu)的 200 億參數(shù)語言模型、一個(gè) 60 億參數(shù)調(diào)節(jié)模型和一個(gè)涵蓋自定義存儲(chǔ)庫最新響應(yīng)的可擴(kuò)展檢索系統(tǒng)
開源地址：https://github.com/togethercomputer/OpenChatKit
9.stanford_alpaca
Stanford Alpaca是一個(gè)Instruction-following的LLaMA模型，即一個(gè)對(duì)LLaMA模型進(jìn)行指令調(diào)優(yōu)的結(jié)果模型
開源地址：https://github.com/tatsu-lab/stanford_alpaca
推薦論文
掃描下方二維碼，回復(fù)“大模型”
免費(fèi)領(lǐng)取開源代碼+大模型必讀論文合集
資料整理自網(wǎng)絡(luò)，有誤歡迎指正
