中文醫(yī)學(xué)大模型多模態(tài)智能分析X光片，對(duì)話式影像診斷助力問(wèn)診
中文多模態(tài)醫(yī)學(xué)大模型智能分析X光片，實(shí)現(xiàn)影像診斷，完成醫(yī)生問(wèn)診多輪對(duì)話
1.背景介紹介紹
最近，通用領(lǐng)域的大語(yǔ)言模型 (LLM)，例如 ChatGPT，在遵循指令和產(chǎn)生類似人類響應(yīng)方面取得了顯著的成功，這種成功間接促進(jìn)了多模態(tài)大模型的研究和發(fā)展，如通用領(lǐng)域的多模態(tài)大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA ，然而，此類多模態(tài)大模型卻很少出現(xiàn)在醫(yī)學(xué)領(lǐng)域的研究中，阻礙了相關(guān)研究發(fā)展。visual-med-alpaca雖然在醫(yī)學(xué)多模態(tài)大模型方面做出了一些很有成效的工作，然而其數(shù)據(jù)為英文診斷報(bào)告，不利于促進(jìn)中文領(lǐng)域醫(yī)學(xué)多模態(tài)大模型的研究發(fā)展。為此，我們開發(fā)了XrayGLM以解決上述問(wèn)題。XrayGLM在醫(yī)學(xué)影像診斷和多輪交互對(duì)話上顯示出了非凡的潛力。
借助ChatGPT以及公開的數(shù)據(jù)集，我們構(gòu)造了一個(gè)X光影像-診斷報(bào)告對(duì)的醫(yī)學(xué)多模態(tài)數(shù)據(jù)集；
我們將構(gòu)建的中文胸部X光片診斷數(shù)據(jù)集在VisualGLM-6B進(jìn)行微調(diào)訓(xùn)練，并開放了部分訓(xùn)練權(quán)重用于學(xué)術(shù)研究；
2.數(shù)據(jù)集
MIMIC-CXR是一個(gè)公開可用的胸部X光片數(shù)據(jù)集，包括377,110張圖像和227,827個(gè)相關(guān)報(bào)告。
OpenI是一個(gè)來(lái)自印第安納大學(xué)醫(yī)院的胸部X光片數(shù)據(jù)集，包括6,459張圖像和3,955個(gè)報(bào)告。
在上述工作中，報(bào)告信息都為非結(jié)構(gòu)化的，不利于科學(xué)研究。為了生成合理的醫(yī)學(xué)報(bào)告，我們對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行了預(yù)處理，并最終得到了可以用于訓(xùn)練的英文報(bào)告。除此之外，為了更好的支持中文社區(qū)發(fā)展，借助ChatGPT的能力，我們將英文報(bào)告進(jìn)行了中文翻譯，并最終形成了可用于訓(xùn)練的數(shù)據(jù)集。
3.項(xiàng)目快速時(shí)間
3.1.安裝環(huán)境
#安裝依賴
pip install -r requirements.txt
#國(guó)內(nèi)換源安裝依賴
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt
此時(shí)默認(rèn)會(huì)安裝deepspeed庫(kù)（支持sat庫(kù)訓(xùn)練），此庫(kù)對(duì)于模型推理并非必要，同時(shí)部分Windows環(huán)境安裝此庫(kù)時(shí)會(huì)遇到問(wèn)題。 如果想繞過(guò)deepspeed安裝，我們可以將命令改為：
#安裝依賴
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements_wo_ds.txt
#安裝SwissArmyTransformer
pip install -i https://mirrors.aliyun.com/pypi/simple/ --no-deps "SwissArmyTransformer>=0.3.6"
3.2.模型推理
3.2.1 CLI推理
python cli_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000 --prompt_zh '詳細(xì)描述這張胸部X光片的診斷結(jié)果'
更多參數(shù)
3.2.2 WebUI運(yùn)行
python web_demo.py --from_pretrained checkpoints/checkpoints-XrayGLM-3000
此時(shí)訪問(wèn)http://127.0.0.1:7860即可
3.3模型訓(xùn)練（復(fù)現(xiàn)XrayGLM）
硬件資源
實(shí)驗(yàn)在A100 (4X, 80GB)上進(jìn)行（1）準(zhǔn)備診療報(bào)告(中文)和[X光影像]在data/Xray文件夾下；（2）開始訓(xùn)練：
#設(shè)置CUDA變量，主要是為了解決有時(shí)候直接訓(xùn)練而出現(xiàn)無(wú)法正確加載到顯卡問(wèn)題
export CUDA_VISIBLE_DEVICES=0,1,2,3
#開始訓(xùn)練
bash finetune_XrayGLM.sh
這里的復(fù)現(xiàn)過(guò)程非常簡(jiǎn)單，主要是很多過(guò)程我們都為大家準(zhǔn)備好了，大家可以隨時(shí)復(fù)現(xiàn)一個(gè)自己的XrayGLM。
3.4.模型訓(xùn)練（通用）
【官方視頻教程】XrayGLM微調(diào)實(shí)踐
復(fù)旦大學(xué)《大語(yǔ)言模型理論與實(shí)踐》
4. 效果展示
以下效果來(lái)自于低質(zhì)量的數(shù)據(jù)訓(xùn)練和權(quán)重
4.1 影像診斷：
X光影像：診療報(bào)告(醫(yī)生)和XrayGLM對(duì)比
診療報(bào)告(醫(yī)生)：根據(jù)X射線圖像，心臟大小正常，肺部看起來(lái)很清晰。已經(jīng)排除了肺炎、積液、水腫、氣胸、腺病、結(jié)節(jié)或腫塊的存在。該發(fā)現(xiàn)表明一切正常。換句話說(shuō)，總體印象是胸部正常。
XrayGLM對(duì)比:X光片顯示，心臟大小正常。肺部沒(méi)有氣胸或胸腔積液的證據(jù)。骨骼結(jié)構(gòu)看起來(lái)沒(méi)有任何異常?？偟膩?lái)說(shuō)，X光片表明沒(méi)有發(fā)現(xiàn)急性心肺疾病的跡象。
診療報(bào)告(醫(yī)生)：x光圖片顯示沒(méi)有扭曲的區(qū)域、可疑的骨質(zhì)不透明度或胸腺積液。心臟大小輕微增大，但非常穩(wěn)定。此外，沒(méi)有氣胸的證據(jù)，肺野也正常?？傮w來(lái)說(shuō)，X光片顯示沒(méi)有急性心臟異常，但要注意輕微的心臟擴(kuò)大。
XrayGLM對(duì)比:X光片顯示，心臟大小正常。肺部和縱隔輪廓清晰，沒(méi)有氣胸或胸腔積液的證據(jù)。骨骼結(jié)構(gòu)完整，沒(méi)有任何急性異常。
|
診療報(bào)告(醫(yī)生)：心影形態(tài)在正常范圍內(nèi)。沒(méi)有急性骨質(zhì)異常。有可能出現(xiàn)沒(méi)有明顯的吸水或肺實(shí)質(zhì)狀況的線索。沒(méi)有大面積積液或氣胸。有可能懷疑其有誤吸或肺實(shí)質(zhì)問(wèn)題。為了確診和治療，可能需要進(jìn)行適當(dāng)?shù)挠跋駥W(xué)隨訪。
XrayGLM對(duì)比:心臟大小正常，肺部和縱隔輪廓清晰。沒(méi)有急性異?；蚧顒?dòng)受限的證據(jù)。沒(méi)有任何明顯的氣胸、胸腔積液或肺不張的跡象。此外，也沒(méi)有發(fā)現(xiàn)任何局灶性骨質(zhì)異?；蚱渌毙约膊 ?/p>
4.2 多輪對(duì)話：
X光影像診療報(bào)告(醫(yī)生)
右側(cè)主動(dòng)脈突出觀察到。心臟大小正常。胸部未發(fā)現(xiàn)明顯的肺氣腫、胸膜積液或可疑的肺部病變。報(bào)告指出已知右側(cè)主動(dòng)脈情況正常。
>> X光影像路徑：./data/Xray/861_1.png
>> 用戶：這是一張什么圖？
>> XrayGLM：這張圖片顯示的是一張肺部檢查的X光片。
>> 用戶：請(qǐng)描述這張胸部X光片的診斷結(jié)果
>> XrayGLM：心臟大小正常，肺部清晰。沒(méi)有急性心肺疾病的證據(jù)。
>> 用戶：是否存在肺氣腫？
>> XrayGLM：沒(méi)有肺氣腫。心臟大小正常，肺部清晰。沒(méi)有發(fā)現(xiàn)急性心肺疾病的證據(jù)。
>> 用戶：平時(shí)飲食該注意什么？
>> XrayGLM：飲食應(yīng)該健康，均衡。建議增加蛋白質(zhì)的攝入量，因?yàn)榈鞍踪|(zhì)有助于維持肌肉和骨骼的健康。多食用蔬菜、水果、全谷物以及健康的脂肪來(lái)源如橄欖油、魚類等可以幫助獲得足夠的維生素和礦物質(zhì)。此外，避免過(guò)度飲酒或吸煙，這些習(xí)慣可能會(huì)對(duì)心臟健康產(chǎn)生負(fù)面影響。
5.總結(jié)
模型的能力更多來(lái)源于數(shù)據(jù)的支持，OpenI-zh作為微調(diào)數(shù)據(jù)集，其數(shù)據(jù)量足以支持研究，在更廣泛的任務(wù)和性能表現(xiàn)上，我們認(rèn)為在大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練并在高質(zhì)量少量數(shù)據(jù)集上微調(diào)是一種可行的方案；
普遍意義的理解上，視覺(jué)多模態(tài)模型=視覺(jué)模型+語(yǔ)言模型。除了需要關(guān)注視覺(jué)模型信息與語(yǔ)言模型輸出的搭配外，還需要額外關(guān)注到語(yǔ)言模型的加強(qiáng)，在人機(jī)的對(duì)話中，尤其是醫(yī)療語(yǔ)言模型的問(wèn)答上，除了專業(yè)的醫(yī)療問(wèn)題回答，帶有人文情懷的有溫度的回答更應(yīng)該是我們追尋的目標(biāo)。
高精度的模型永遠(yuǎn)打不過(guò)大參數(shù)的模型，如果在6B模型和13B模型上選擇微調(diào)，請(qǐng)?jiān)谫Y源充足情況下選擇13B的大參數(shù)模型；
項(xiàng)目致謝
VisualGLM-6B為我們提供了基礎(chǔ)的代碼參考和實(shí)現(xiàn)；
MiniGPT-4為我們這個(gè)項(xiàng)目提供了研發(fā)思路；
gpt_academic為文檔翻譯提供了多線程加速；
MedCLIP 、BLIP2 、XrayGPT 等工作也有重大的
項(xiàng)目碼源見(jiàn)文末
[項(xiàng)目鏈接跳轉(zhuǎn)] :https://blog.csdn.net/sinat_39620217/article/details/132031469
更多優(yōu)質(zhì)內(nèi)容請(qǐng)關(guān)注：汀丶人工智能；會(huì)提供一些相關(guān)的資源和優(yōu)質(zhì)文章，免費(fèi)獲取閱讀。
