全球首次! 醫(yī)聯(lián)AI醫(yī)生完成真實(shí)世界測(cè)試,與三甲醫(yī)生一致性達(dá)96%
醫(yī)療AI大模型的應(yīng)用,國(guó)內(nèi)外都在搶先落地。近期該領(lǐng)域就出現(xiàn)了兩則重磅消息:一是,醫(yī)聯(lián)MedGPT完成真實(shí)世界測(cè)試,與三甲醫(yī)院醫(yī)生醫(yī)學(xué)一致性達(dá)到96%;二是,谷歌Med-PaLM與臨床醫(yī)生進(jìn)行醫(yī)學(xué)問(wèn)題回答測(cè)試,92.6%的長(zhǎng)篇答案符合科學(xué)共識(shí),與臨床醫(yī)生生成的答案(92.9%)相當(dāng)。
?
具體來(lái)看,醫(yī)聯(lián)率先完成了其旗下醫(yī)療AI大模型產(chǎn)品MedGPT 的真實(shí)世界測(cè)試。在6月30日,120多位真實(shí)患者和10位來(lái)自四川大學(xué)華西醫(yī)院的主治醫(yī)師以及MedGPT共同參與了這場(chǎng)評(píng)測(cè)研究。具體的評(píng)測(cè)方式如下,患者進(jìn)入診室后,將與醫(yī)助溝通自身病情,醫(yī)助通過(guò)線(xiàn)上文字輸入的方式將患者主訴傳達(dá)給真人醫(yī)生與AI醫(yī)生并協(xié)助醫(yī)患完成多輪溝通,在收集足夠的決策因子后,真人醫(yī)生與 AI 醫(yī)生為患者開(kāi)具檢查單或診斷,患者直接在舉行測(cè)試的醫(yī)院完成檢查;在獲得檢查結(jié)果后,患者進(jìn)行復(fù)診,并由AI醫(yī)生及真人醫(yī)生提供臨床診斷及治療方案。通過(guò)以上流程,可以在條件基本一致的情況下,讓真人醫(yī)生與AI醫(yī)生進(jìn)行互不干涉的獨(dú)立診斷。
?
(醫(yī)聯(lián)MedGPT評(píng)測(cè)流程)
?
最終,經(jīng)過(guò)來(lái)自北大人民醫(yī)院、中日友好醫(yī)院、阜外醫(yī)院和友誼醫(yī)院的7位專(zhuān)家教授針對(duì)評(píng)測(cè)形成的91份有效病例進(jìn)行審核,并且針對(duì)AI醫(yī)生的問(wèn)診準(zhǔn)確性、診斷準(zhǔn)確性、治療建議準(zhǔn)確性、輔助檢查方案準(zhǔn)確性、數(shù)據(jù)分析準(zhǔn)確性、提供可解釋信息、自然語(yǔ)言問(wèn)診與交互這7個(gè)評(píng)價(jià)維度的打分之后,最終,真人醫(yī)生綜合得分為 7.5分,AI 醫(yī)生綜合得分為 7.2分。AI醫(yī)生與三甲主治醫(yī)生在比分結(jié)果上的一致性達(dá)到了96%。這也是全球首次人類(lèi)醫(yī)生與AI醫(yī)生面對(duì)真實(shí)患者的能力驗(yàn)證對(duì)比。
?
?
隨后,谷歌公布了醫(yī)療大模型Med-PaLM近期的測(cè)試數(shù)據(jù),研究人員表示,在引入指令提示調(diào)整后,由此產(chǎn)生的模型Med-PaLM表現(xiàn)令人鼓舞:92.6%的長(zhǎng)篇答案符合科學(xué)共識(shí),與臨床醫(yī)生生成的答案(92.9%)相當(dāng);5.9%的答案被評(píng)為可能導(dǎo)致有害結(jié)果,與臨床醫(yī)生生成的答案(5.7%)的結(jié)果相似。
?
盡管結(jié)論一致,但是兩者的不同在于,醫(yī)聯(lián)的MedGPT的評(píng)測(cè)是基于真實(shí)患者的真實(shí)世界測(cè)評(píng),而Med-PaLM則是針對(duì)“醫(yī)學(xué)問(wèn)題”的回答。
?
對(duì)于Med-PaLM表現(xiàn)的評(píng)價(jià),巴斯大學(xué)教授詹姆斯·達(dá)文波特(James Davenport)告訴《每日郵報(bào)》:“新聞稿描述了這篇論文如何推進(jìn)我們使用大型語(yǔ)言模型回答醫(yī)學(xué)問(wèn)題的知識(shí),就其本身而言是準(zhǔn)確的。但是房間里有一頭大象,這就是‘醫(yī)學(xué)問(wèn)題’和實(shí)際行醫(yī)之間的區(qū)別。行醫(yī)并不只是回答醫(yī)學(xué)問(wèn)題,如果純粹是回答醫(yī)學(xué)問(wèn)題,我們就不需要教學(xué)醫(yī)院,醫(yī)生也不需要在學(xué)術(shù)課程之后接受多年的培訓(xùn)。”
?
(醫(yī)聯(lián)MedGPT評(píng)審維度)
?
而針對(duì)MedGPT,來(lái)自北大人民醫(yī)院、中日友好醫(yī)院、阜外醫(yī)院和友誼醫(yī)院的7位專(zhuān)家教授的評(píng)價(jià)也頗有意思。比如來(lái)自中日友好醫(yī)院的主任醫(yī)師任景怡教授表示:“盡管MedGPT還有很多的問(wèn)題,但我覺(jué)得邁出了這一步,算是里程碑的結(jié)果。它在診斷不明的時(shí)候一直堅(jiān)持沒(méi)有給患者以治療手段,這點(diǎn)我認(rèn)為值得鼓勵(lì),在診斷不明的時(shí)候,隨便給出治療手段會(huì)犯更大的錯(cuò)誤,堅(jiān)持很重要。”
?
來(lái)自北大人民醫(yī)院的主任醫(yī)師薛峰表示:“(MedGPT)超出預(yù)期,問(wèn)診很詳細(xì),可以不知疲倦的和患者耐心溝通,在常見(jiàn)病領(lǐng)域還能起到對(duì)患者科普的作用;但是現(xiàn)階段的AI醫(yī)生無(wú)法實(shí)現(xiàn)查體,未來(lái)在醫(yī)學(xué)多模態(tài)能力上還有突破才有更大的應(yīng)用價(jià)值。”
?
一家國(guó)內(nèi)領(lǐng)先的數(shù)字醫(yī)療企業(yè),與國(guó)際領(lǐng)先的科技公司先后在醫(yī)療AI大模型領(lǐng)域交出了各自的成績(jī)單。全球醫(yī)療領(lǐng)域的大模型賽跑,才剛剛拉開(kāi)序幕。