垂直領域大模型匯總
垂直領域大模型匯總
垂直領域大模型是指在特定的領域或行業(yè)中經(jīng)過訓練和優(yōu)化的大型語言模型。與通用語言模型相比，垂直領域大模型更專注于某個特定領域的知識和技能，具備更高的領域專業(yè)性和實用性。
與通用大模型相比，垂直領域大模型具有以下優(yōu)勢和劣勢：
優(yōu)勢：
領域專業(yè)性：垂直領域大模型經(jīng)過專門的訓練，能夠更好地理解和處理特定領域的知識、術語和上下文。
高質量輸出：由于在特定領域中進行了優(yōu)化，垂直領域大模型在該領域的輸出質量通常比通用大模型更高。
特定任務效果更好：對于特定領域的任務，垂直領域大模型通常比通用大模型表現(xiàn)更好。
劣勢：
數(shù)據(jù)需求和訓練成本：垂直領域大模型需要大量的特定領域數(shù)據(jù)進行訓練，這可能會面臨數(shù)據(jù)收集和標注的挑戰(zhàn)。
適應性限制：垂直領域大模型在特定領域中的適應性較強，但在其他領域的表現(xiàn)可能相對較弱。
更新和維護成本：由于特定領域的知識和要求經(jīng)常變化，垂直領域大模型需要定期更新和維護，以保持與新發(fā)展的同步。
下面介紹幾個知名度較高的垂直領域大模型，涉及教育、金融、醫(yī)學、法律四個領域。
醫(yī)療
DoctorGLM：
地址：https://github.com/xionghonglin/DoctorGLM
簡介：基于 ChatGLM-6B的中文問診模型，通過中文醫(yī)療對話數(shù)據(jù)集進行微調，實現(xiàn)了包括lora、p-tuningv2等微調及部署
BenTsao：
地址：https://github.com/SCIR-HI/Huatuo-Llama-Med-Chinese
簡介：開源了經(jīng)過中文醫(yī)學指令精調/指令微調(Instruct-tuning) 的LLaMA-7B模型。通過醫(yī)學知識圖譜和GPT3.5 API構建了中文醫(yī)學指令數(shù)據(jù)集，并在此基礎上對LLaMA進行了指令微調，提高了LLaMA在醫(yī)療領域的問答效果。
BianQue：
地址：https://github.com/scutcyr/BianQue
簡介：一個經(jīng)過指令與多輪問詢對話聯(lián)合微調的醫(yī)療對話大模型，基于ClueAI/ChatYuan-large-v2作為底座，使用中文醫(yī)療問答指令與多輪問詢對話混合數(shù)據(jù)集進行微調。
HuatuoGPT：
地址：https://github.com/FreedomIntelligence/HuatuoGPT
簡介：開源了經(jīng)過中文醫(yī)學指令精調/指令微調(Instruct-tuning)的一個GPT-like模型
Med-ChatGLM：
地址：https://github.com/SCIR-HI/Med-ChatGLM
簡介：基于中文醫(yī)學知識的ChatGLM模型微調，微調數(shù)據(jù)與BenTsao相同。
QiZhenGPT：
地址：https://github.com/CMKRG/QiZhenGPT
簡介：該項目利用啟真醫(yī)學知識庫構建的中文醫(yī)學指令數(shù)據(jù)集，并基于此在LLaMA-7B模型上進行指令精調，大幅提高了模型在中文醫(yī)療場景下效果，首先針對藥品知識問答發(fā)布了評測數(shù)據(jù)集，后續(xù)計劃優(yōu)化疾病、手術、檢驗等方面的問答效果，并針對醫(yī)患問答、病歷自動生成等應用展開拓展。
ChatMed：
地址：https://github.com/michael-wzhu/ChatMed
簡介：該項目推出ChatMed系列中文醫(yī)療大規(guī)模語言模型，模型主干為LlaMA-7b并采用LoRA微調，具體包括ChatMed-Consult : 基于中文醫(yī)療在線問診數(shù)據(jù)集ChatMed_Consult_Dataset的50w+在線問診+ChatGPT回復作為訓練集；ChatMed-TCM : 基于中醫(yī)藥指令數(shù)據(jù)集ChatMed_TCM_Dataset，以開源的中醫(yī)藥知識圖譜為基礎，采用以實體為中心的自指令方法(entity-centric self-instruct)，調用ChatGPT得到2.6w+的圍繞中醫(yī)藥的指令數(shù)據(jù)訓練得到。
XrayGLM，首個會看胸部X光片的中文多模態(tài)醫(yī)學大模型：
地址：https://github.com/WangRongsheng/XrayGLM
簡介：該項目為促進中文領域醫(yī)學多模態(tài)大模型的研究發(fā)展，發(fā)布了XrayGLM數(shù)據(jù)集及模型，其在醫(yī)學影像診斷和多輪交互對話上顯示出了非凡的潛力。
法律
LaWGPT：基于中文法律知識的大語言模型
地址：https://github.com/pengxiao-song/LaWGPT
簡介：該系列模型在通用中文基座模型（如 Chinese-LLaMA、ChatGLM 等）的基礎上擴充法律領域專有詞表、大規(guī)模中文法律語料預訓練，增強了大模型在法律領域的基礎語義理解能力。在此基礎上，構造法律領域對話問答數(shù)據(jù)集、中國司法考試數(shù)據(jù)集進行指令精調，提升了模型對法律內(nèi)容的理解和執(zhí)行能力。
LexiLaw：中文法律大模型
地址：https://github.com/CSHaitao/LexiLaw
簡介：LexiLaw 是一個基于 ChatGLM-6B微調的中文法律大模型，通過在法律領域的數(shù)據(jù)集上進行微調。該模型旨在為法律從業(yè)者、學生和普通用戶提供準確、可靠的法律咨詢服務，包括具體法律問題的咨詢，還是對法律條款、案例解析、法規(guī)解讀等方面的查詢。
Lawyer LLaMA：中文法律LLaMA
地址：https://github.com/AndrewZhe/lawyer-llama
簡介：開源了一系列法律領域的指令微調數(shù)據(jù)和基于LLaMA訓練的中文法律大模型的參數(shù)。Lawyer LLaMA 首先在大規(guī)模法律語料上進行了continual pretraining。在此基礎上，借助ChatGPT收集了一批對中國國家統(tǒng)一法律職業(yè)資格考試客觀題（以下簡稱法考）的分析和對法律咨詢的回答，利用收集到的數(shù)據(jù)對模型進行指令微調，讓模型習得將法律知識應用到具體場景中的能力。
金融
Cornucopia（聚寶盆）：基于中文金融知識的LLaMA微調模型
地址：https://github.com/jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese
簡介：開源了經(jīng)過中文金融知識指令精調/指令微調(Instruct-tuning) 的LLaMA-7B模型。通過中文金融公開數(shù)據(jù)+爬取的金融數(shù)據(jù)構建指令數(shù)據(jù)集，并在此基礎上對LLaMA進行了指令微調，提高了 LLaMA 在金融領域的問答效果?；谙嗤臄?shù)據(jù)，后期還會利用GPT3.5 API構建高質量的數(shù)據(jù)集，另在中文知識圖譜-金融上進一步擴充高質量的指令數(shù)據(jù)集。
BBT-FinCUGE-Applications
地址：https://github.com/ssymmetry/BBT-FinCUGE-Applications
簡介：開源了中文金融領域開源語料庫BBT-FinCorpus，中文金融領域知識增強型預訓練語言模型BBT-FinT5及中文金融領域自然語言處理評測基準CFLEB。
XuanYuan（軒轅）：首個千億級中文金融對話模型
地址：https://huggingface.co/xyz-nlp/XuanYuan2.0
簡介：軒轅是國內(nèi)首個開源的千億級中文對話大模型，同時也是首個針對中文金融領域優(yōu)化的千億級開源對話大模型。軒轅在BLOOM-176B的基礎上針對中文通用領域和金融領域進行了針對性的預訓練與微調，它不僅可以應對通用領域的問題，也可以解答與金融相關的各類問題，為用戶提供準確、全面的金融信息和建議。
教育
桃李（Taoli）：
地址：https://github.com/blcuicall/taoli
簡介：一個在國際中文教育領域數(shù)據(jù)上進行了額外訓練的模型。項目基于目前國際中文教育領域流通的500余冊國際中文教育教材與教輔書、漢語水平考試試題以及漢語學習者詞典等，構建了國際中文教育資源庫，構造了共計 88000 條的高質量國際中文教育問答數(shù)據(jù)集，并利用收集到的數(shù)據(jù)對模型進行指令微調，讓模型習得將知識應用到具體場景中的能力。
數(shù)學
chatglm-maths：
地址：https://github.com/yongzhuo/chatglm-maths
簡介：基于chatglm-6b微調/LORA/PPO/推理的數(shù)學題解題大模型, 樣本為自動生成的整數(shù)/小數(shù)加減乘除運算, 可gpu/cpu部署，開源了訓練數(shù)據(jù)集等。
文化
Firefly：
地址：https://github.com/yangjianxin1/Firefly
簡介：中文對話式大語言模型，構造了許多與中華文化相關的數(shù)據(jù)，以提升模型這方面的表現(xiàn)，如對聯(lián)、作詩、文言文翻譯、散文、金庸小說等。
大語言模型教程
GPT大語言模型教程：https://xueshu.fun/?cat=&s=gpt
