散文網(wǎng) » 科技 »自然 » 分割圖——SynthMorph，零樣本學(xué)習(xí)完成跨模態(tài)配準(zhǔn)任務(wù)

分割圖——SynthMorph，零樣本學(xué)習(xí)完成跨模態(tài)配準(zhǔn)任務(wù)

2023-08-20 00:25 作者:暑假作業(yè)多了 0人讀過(guò) | 我要投稿

還是老問(wèn)題，中文網(wǎng)站上沒(méi)有涉及《SynthMorph: Learning Contrast-Invariant Registration Without Acquired Images》這篇2020年發(fā)表的論文的相關(guān)資料，正好我打算把研究重心又從醫(yī)學(xué)圖像分割上轉(zhuǎn)移到配準(zhǔn)上。所以，就此介紹一下這個(gè)多年前閱讀過(guò)的論文。

問(wèn)題：為什么多模態(tài)圖像配準(zhǔn)這么難？

所謂的多模態(tài)是指，不同成像得到的圖像。比方說(shuō)MRI，CT，X光等。先不考慮復(fù)雜的2D-X光圖像配準(zhǔn)3D的MRI或者CT圖像的情況。就單純考慮3D-MRI配準(zhǔn)3D-CT或者是MRI-T1配準(zhǔn)MRI-T2等等之類(lèi)的問(wèn)題，為什么跨模態(tài)圖像配準(zhǔn)這么難？

以?xún)蓚€(gè)圖片作為導(dǎo)入點(diǎn)。

如圖所示，這僅僅是同個(gè)病人在MRI的同相位（inphase）和反相位（outphase）的成像結(jié)果。

觀察到，二者的像素分布極大不一致。

讓我們回到無(wú)監(jiān)督圖像配準(zhǔn)的損失函數(shù)中：

$L_%7Btotal%7D%3DL_%7Bsim%7D%2B%5Clambda%20L_%7Bsmooth%7D$

$L_%7Bsim%7D$ 是經(jīng)典的相似度量約束項(xiàng)，在無(wú)監(jiān)督單模態(tài)中可以是MSE或者是NCC。所謂的以相似度量做為配準(zhǔn)約束的前提是，二者的體素具有一定的相關(guān)性，但如果前提沒(méi)有達(dá)成的話，配準(zhǔn)效果當(dāng)然就不好。

在多模態(tài)中普遍使用MI，MI雖然是可以度量不同分布率的損失函數(shù)，但效果并不一定好。以我在分割任務(wù)的經(jīng)驗(yàn)表明，盡管MI和Dice都是分割的損失函數(shù)，但是使用Dice的效果要比MI好得多。

這是否暗示，在配準(zhǔn)任務(wù)中引入Dice損失比相似度量（MI，NCC,MSE）要更好？

答案是肯定的，在他們先前的VoxelMorph工作中，引入分割圖計(jì)算Dice值作為輔助項(xiàng)已經(jīng)顯示了標(biāo)簽的重要性（弱監(jiān)督學(xué)習(xí)的方式）。

這時(shí)添加輔助項(xiàng)的公式如下所示：

$L_%7Btotal%7D%3DL_%7Bsmi%7D%2B%5Clambda%20L_%7Bsmooth%7D%2B%5Cgamma%20L_%7Bseg%7D$

這個(gè)圖信息量有點(diǎn)大，解釋一下，各個(gè)縮寫(xiě)表示的含義：

首先他們有30個(gè)經(jīng)過(guò)FreeSurfer軟件自動(dòng)化分割得到的分割圖。

One Observed：訓(xùn)練期間使用1個(gè)大腦解剖結(jié)構(gòu)的分割圖作為標(biāo)簽

Half Observed：訓(xùn)練期間使用15個(gè)大腦解剖結(jié)構(gòu)的分割圖作為標(biāo)簽

All Observed：訓(xùn)練期間使用30個(gè)大腦解剖結(jié)構(gòu)的分割圖作為標(biāo)簽

Coarse Segmentation：訓(xùn)練期間把30個(gè)標(biāo)簽粗略劃分為4大類(lèi)作為標(biāo)簽（白質(zhì)、灰質(zhì)、腦脊液和腦干）

Obs：測(cè)試期間對(duì)那些已知標(biāo)簽計(jì)算Dice值（在a圖中使用1個(gè)；在b圖中使用15個(gè)；在c圖使用30個(gè)）

Unobs：測(cè)試期間對(duì)那些未知標(biāo)簽計(jì)算Dice值（在a圖使用30-Obs=29個(gè)；在b圖使用30-Obs=15個(gè)；在c圖使用0個(gè)）

All：測(cè)試期間對(duì)所有30個(gè)標(biāo)簽計(jì)算Dice值（在a圖使用Obs+Unobs=30個(gè)，在b圖使用Obs+Unobs=30個(gè)；在c圖也使用30個(gè)，但All和Obs一樣了，所以就不必畫(huà)出）

Substructure：測(cè)試期間不按照粗略劃分的4大類(lèi)計(jì)算Dice值，而是仍然細(xì)分為30個(gè)標(biāo)簽計(jì)算Dice值

我們只需要看圖c的橙色的折線和圖d的玫瑰色的折線，當(dāng)有關(guān)分割圖的函數(shù)項(xiàng)超參數(shù) $%5Cgamma$ =0時(shí)，即 $log_%7B10%7D%5Cgamma%3D-%5Cinfty$ ，退化為原本的無(wú)監(jiān)督學(xué)習(xí)，為圖中最左邊的Dice值。這時(shí)，引入的分割圖的函數(shù)項(xiàng)均能提高性能。

好了，說(shuō)了那么多的輔助的分割圖作為弱監(jiān)督項(xiàng)，那么，重點(diǎn)是什么？

會(huì)不會(huì)這個(gè)基于區(qū)域重疊的Dice損失比基于相似度的MSE或者其他的損失，更能幫助網(wǎng)絡(luò)關(guān)注配準(zhǔn)的本質(zhì)？比如說(shuō)，衡量器官的紋路、形狀之間的差異？

換句話說(shuō)，多模態(tài)配準(zhǔn)任務(wù)能不能脫離基于相似度量的方式？

接下來(lái)進(jìn)入正題。

SynthMorph的思路是這樣的，即Dice損失很重要，那么我用各個(gè)醫(yī)學(xué)圖像的分割圖來(lái)作為網(wǎng)絡(luò)的標(biāo)簽就行了。但是，這有一個(gè)問(wèn)題，標(biāo)簽的是很稀少的。怎么樣才能減少對(duì)醫(yī)學(xué)標(biāo)簽的依賴(lài)？

隨機(jī)生成的方式可以嗎？

可以！

如圖所示，是SynthMorph的訓(xùn)練流程。

Label sampling model? $g_s(z)$ ?，這一步表示隨機(jī)仿真生成不規(guī)則的標(biāo)簽
Image sampling model? $g_I(s_m%2Cs_f%2C%5Ctilde%7Bz%7D%20)$ ，這一步表示把標(biāo)簽變成圖像，注意：一個(gè)標(biāo)簽可以生成若干個(gè)有些許差異的圖像
Modality agnostic CNN $h_%7B%5Ctheta%7D(m%2Cf)$ ，無(wú)需多言，標(biāo)準(zhǔn)的配準(zhǔn)網(wǎng)絡(luò)
Deformation? $%5Cphi_%7Bv%7D$ ?via? $v$ ?integration，生成具有微分同胚性質(zhì)的變形場(chǎng)
Warped segmentation? $s_m%20%5Ccirc%20%5Cphi_%7Bv%7D$ ，扭曲標(biāo)簽
Regularization term? $L_%7Breg%7D$ ?Dice term? $L_%7Bdis%7D$ ，對(duì)變形場(chǎng)進(jìn)行約束，對(duì)扭曲標(biāo)簽和固定標(biāo)簽計(jì)算Dice值

其余的流程沒(méi)啥好說(shuō)的，第一步和第二步重點(diǎn)描述下：

如圖所示，根據(jù)隨機(jī)因子，經(jīng)過(guò)perlin函數(shù)先生成一個(gè)不規(guī)則的標(biāo)簽圖（取值為大于等于0的整數(shù)，顏色是可視化效果，每種顏色表示不同的值）；再經(jīng)過(guò)label2img函數(shù)，得到類(lèi)似MRI體素分布的圖像及其對(duì)應(yīng)標(biāo)簽。需要注意的是，藍(lán)色虛線框內(nèi)的標(biāo)簽，可以生成若干個(gè)綠色虛線框內(nèi)的圖像及其對(duì)應(yīng)標(biāo)簽。并且，這些圖像在形態(tài)、結(jié)構(gòu)上具有一定的相似但不完全相同，最大的差異在于體素分布很大不同。換句話說(shuō)，可以把生成的圖像及其標(biāo)簽當(dāng)成配準(zhǔn)網(wǎng)絡(luò)的固定圖像及其分割圖用于訓(xùn)練。

如圖所示，顯示了不同方法在跨模態(tài)、跨數(shù)據(jù)集的配準(zhǔn)性能。圖中右上標(biāo)b表示去除顱骨的配準(zhǔn)，右上標(biāo)x表示跨數(shù)據(jù)集的配準(zhǔn)。

synthmorph-brain取得最佳性能，這并不奇怪，因?yàn)橛?xùn)練時(shí)候輸入有腦部圖像。令人驚訝的是，synthmorph-shape，即訓(xùn)練時(shí)不輸入任意有關(guān)腦部圖像，也具有很好的性能。特別是跨模態(tài)T1-T2配準(zhǔn)時(shí)，比使用MI的voxelmorph好得多。