前言

早在20世紀(jì)40年代數(shù)字革命開始之前，圖像配準(zhǔn)就已經(jīng)成為一個(gè)具有重要現(xiàn)實(shí)意義的過程。這技術(shù)首次應(yīng)用于彩印，即將幾種單色圖案疊加在一起形成多色圖案。為了生成最終所需的多色印刷品，各個(gè)層相對(duì)于另一個(gè)層的對(duì)齊必須是精確的。若個(gè)別層發(fā)生錯(cuò)位，稱為失配。因此，為了確保準(zhǔn)確的配準(zhǔn)，人們開發(fā)了檢測和校正任何偏差的流程。隨著數(shù)字革命開啟了現(xiàn)代醫(yī)學(xué)成像時(shí)代，圖像配準(zhǔn)已經(jīng)成為醫(yī)療成像研究中不可或缺的工具。雖然MRI不是最早使用圖像配準(zhǔn)的成像技術(shù)之一，但它可以說是受益最多的一種技術(shù)。在MRI技術(shù)中，大多數(shù)都需要圖像配準(zhǔn)作為必要的預(yù)處理步驟。對(duì)于許多MRI技術(shù)，最終的圖像必須由一組精確對(duì)應(yīng)的輸入圖像合成。由于輸入圖像集是連續(xù)獲取的，在獲取過程中如果出現(xiàn)被試運(yùn)動(dòng)等問題，可能會(huì)導(dǎo)致一些或所有輸入圖像失配，因此需要使用圖像配準(zhǔn)。
然而，這只是圖像配準(zhǔn)現(xiàn)今在MRI以及更廣泛的醫(yī)學(xué)成像中發(fā)揮的許多重要作用之一。為了滿足這種多樣化的需求，在過去的幾十年里，各種各樣的圖像配準(zhǔn)技術(shù)不斷發(fā)展。此外，在過去的幾年里，就像在許多其他領(lǐng)域一樣，深度學(xué)習(xí)在解決一般圖像分析問題方面的顯著成功導(dǎo)致了人們對(duì)使用這種新興技術(shù)來重新開發(fā)圖像配準(zhǔn)技術(shù)的興趣激增。在此背景下，本文的目的是概述圖像配準(zhǔn)在MRI中的關(guān)鍵應(yīng)用；為解決這些挑戰(zhàn)而開發(fā)的圖像配準(zhǔn)技術(shù)的類別；以及深度學(xué)習(xí)帶來的未來。

應(yīng)用

圖像配準(zhǔn)的應(yīng)用可以根據(jù)獲取圖像的對(duì)象分為兩大類：受試者內(nèi)(也稱為被試內(nèi))，即待配準(zhǔn)的圖像來自同一被試；受試者間(也稱為被試間)，即待配準(zhǔn)的圖像來自不同被試。被試內(nèi)應(yīng)用是醫(yī)學(xué)圖像配準(zhǔn)的原始驅(qū)動(dòng)力。20世紀(jì)80年代，隨著多種醫(yī)學(xué)成像技術(shù)的快速發(fā)展，這些技術(shù)很好地提供了成像主體的互補(bǔ)信息，不同模態(tài)的數(shù)據(jù)融合引起了人們的極大興趣。特別是，一個(gè)主要研究重點(diǎn)是融合來自同一個(gè)體的MRI和PET數(shù)據(jù)，這不僅可以將PET提供的詳細(xì)生理信息歸因于特定的解剖位置，而且MRI可以比PET更準(zhǔn)確地確定這些解剖位置。被試內(nèi)圖像配準(zhǔn)需要校正被試在定位、圖像分辨率和圖像失真方面的差異。如今，數(shù)據(jù)融合仍然是被試內(nèi)圖像配準(zhǔn)的一個(gè)重要應(yīng)用。由于典型的成像過程可能持續(xù)半小時(shí)或更長時(shí)間，即使是最順從的參與者也不可能在這么長時(shí)間內(nèi)保持靜止。此外，不同的MRI模態(tài)通常表現(xiàn)出不同的圖像失真，也可能在圖像分辨率上存在差異，使得被試內(nèi)圖像配準(zhǔn)對(duì)于多模態(tài)融合至關(guān)重要。
第二類被試內(nèi)應(yīng)用是作為一系列MRI模態(tài)的必要預(yù)處理步驟，這些模態(tài)通常在不同的實(shí)驗(yàn)設(shè)置下，從一組連續(xù)獲得的圖像中合成其輸出。雖然在許多情況下，如fMRI，被試運(yùn)動(dòng)是圖像失配準(zhǔn)的主要原因，但擴(kuò)散MRI例外。所謂的多殼層采集，通常用于神經(jīng)成像，可以由數(shù)百個(gè)具有兩個(gè)或多個(gè)擴(kuò)散敏感因子(b值)和數(shù)百個(gè)不同的擴(kuò)散敏感梯度方向連續(xù)獲取的單個(gè)圖像組成。不同的擴(kuò)散敏感因子，加上不同的擴(kuò)散敏感梯度方向，會(huì)導(dǎo)致圖像出現(xiàn)不同程度和形式的畸變。因此，即使在沒有被試運(yùn)動(dòng)的情況下，這些圖像也會(huì)出現(xiàn)失配。在對(duì)這些圖像進(jìn)行組合以估計(jì)目標(biāo)量(如彌散張量和纖維束方向分布函數(shù))之前，必須進(jìn)行被試內(nèi)圖像配準(zhǔn)。
最后一類被試內(nèi)應(yīng)用是利用連續(xù)獲得的MRI掃描來評(píng)估隨時(shí)間的變化情況。個(gè)體的基線MRI掃描可以與一個(gè)或多個(gè)后續(xù)掃描進(jìn)行比較，以量化解剖結(jié)構(gòu)在形態(tài)學(xué)或?qū)Ρ榷确矫娴臅r(shí)間變化。這種比較已被用于建立正常發(fā)育過程中大腦結(jié)構(gòu)的生長軌跡，以及量化癡呆患者加速腦萎縮的模式。在這里，需要被試內(nèi)圖像配準(zhǔn)來校正和量化相應(yīng)解剖結(jié)構(gòu)在形態(tài)學(xué)上的差異。另一個(gè)重要應(yīng)用是圖像引導(dǎo)的神經(jīng)導(dǎo)航，以補(bǔ)償神經(jīng)外科手術(shù)中大腦結(jié)構(gòu)的變形場，稱為腦移位。圖像引導(dǎo)的神經(jīng)外科手術(shù)是根據(jù)術(shù)前掃描進(jìn)行規(guī)劃的，但大腦移位可能會(huì)導(dǎo)致嚴(yán)重的導(dǎo)航錯(cuò)誤，必須加以補(bǔ)償。這可以通過在操作過程中獲取額外的掃描來實(shí)現(xiàn)。配準(zhǔn)前和術(shù)中掃描可以確定和校正腦移位的程度。從連續(xù)掃描中估計(jì)形變的想法對(duì)于MR引導(dǎo)放療也很重要，這通常涉及到多次就診的一系列分步治療。隨著混合MR-linac系統(tǒng)的發(fā)展，每次就診時(shí)都可以很容易地獲取MRI數(shù)據(jù)，從而提供治療靶點(diǎn)及其周圍結(jié)構(gòu)的最新圖像。借助目前最快的MRI技術(shù)，甚至可以監(jiān)測靶區(qū)運(yùn)動(dòng)，從而實(shí)現(xiàn)實(shí)時(shí)補(bǔ)償，這為放療帶來了前所未有的準(zhǔn)確性。
在過去的20年里，被試內(nèi)的應(yīng)用推動(dòng)了圖像配準(zhǔn)的最早應(yīng)用，而被試間的應(yīng)用則推動(dòng)了圖像配準(zhǔn)的大部分研究。特別是，自MRI掃描儀上市以來，從大量活人身上獲取具有精細(xì)解剖細(xì)節(jié)的腦部掃描圖像成為了可能。這一進(jìn)展使神經(jīng)科學(xué)家能夠在一個(gè)大隊(duì)列中研究腦解剖的共性和變異性，以及研究隊(duì)列之間的差異，例如健康對(duì)照組和癡呆患者之間的差異。需要克服的關(guān)鍵挑戰(zhàn)是來自不同個(gè)體的掃描空間對(duì)齊，因?yàn)楸辉囍g的大腦大小和形狀差異遠(yuǎn)遠(yuǎn)大于早期為被試內(nèi)應(yīng)用開發(fā)的圖像配準(zhǔn)方法。解決空間標(biāo)準(zhǔn)化的這一挑戰(zhàn)促進(jìn)了越來越復(fù)雜的圖像配準(zhǔn)技術(shù)的發(fā)展，這將在后文進(jìn)行闡述。

圖像配準(zhǔn)算法的結(jié)構(gòu)

雖然近年來已經(jīng)開發(fā)出了大量的圖像配準(zhǔn)算法，但它們都有一個(gè)共同的結(jié)構(gòu)和一組標(biāo)準(zhǔn)的構(gòu)建塊，只是在實(shí)現(xiàn)細(xì)節(jié)上有所不同。接下來，本文將介紹這種常見的結(jié)構(gòu)和圖像配準(zhǔn)算法的標(biāo)準(zhǔn)組成部分。它將為理解各類算法之間的差異以及如何使用深度學(xué)習(xí)開發(fā)下一代方法提供概念框架。
圖像配準(zhǔn)的共同結(jié)構(gòu)和構(gòu)建塊可以從前人的研究中加以理解。關(guān)于圖像配準(zhǔn)算法的幾個(gè)要點(diǎn)是：首先，配準(zhǔn)兩張圖像的任務(wù)可以表述為找到一個(gè)圖像(運(yùn)動(dòng)圖像)相對(duì)于另一個(gè)圖像(固定圖像)的位置調(diào)整，即幾何變換，將運(yùn)動(dòng)圖像與固定圖像對(duì)齊。然后是圖像配準(zhǔn)算法的第一個(gè)基本構(gòu)建塊：兩個(gè)圖像之間對(duì)齊質(zhì)量的度量，稱為相似性度量。相似性度量需要從圖像對(duì)的某些特征中確定，所選擇的特征集合通常被稱為特征空間。
簡而言之，配準(zhǔn)兩幅圖像的算法是在預(yù)先指定的變換空間內(nèi)，遵循一定的搜索策略來尋求幾何變換的過程。當(dāng)應(yīng)用于運(yùn)動(dòng)圖像時(shí)，期望的幾何變換應(yīng)該最大化其與目標(biāo)圖像的對(duì)齊，由定義在某些特征空間上的預(yù)定義相似性度量來評(píng)估。圖像配準(zhǔn)算法的三個(gè)基本要素是：①變換空間；②基于變換空間的搜索策略；③定義在某些特征空間上的相似性度量。

圖像配準(zhǔn)算法的分類

基于變換空間的分類

基于變換空間的一種最常見分類方案是將圖像配準(zhǔn)算法分為線性和非線性兩類。如果從該算法的變換空間中繪制的變換總是將一組平行直線變換為另一組平行直線，則認(rèn)為該算法是線性的；這種變換稱為線性或仿射變換。相反，如果一個(gè)算法的變換空間包含可以將直線變換成曲線的候選點(diǎn)，則認(rèn)為該算法是非線性的，這種變換被稱為非線性或可變形變換。
基于變換空間，圖像配準(zhǔn)算法也可分為剛性配準(zhǔn)和非剛性配準(zhǔn)。如果一個(gè)算法的候選變換是線性的，并且保留了直線段的長度，則認(rèn)為該算法是剛性的；這種保持長度的線性變換稱為剛性變換。剛性圖像配準(zhǔn)通常用于被試內(nèi)的應(yīng)用，當(dāng)預(yù)期大小和形狀無差異時(shí)，以校正相同被試圖像之間的位置和方向差異，例如運(yùn)動(dòng)校正。圖1d通過其在圖1c所示的規(guī)則網(wǎng)格上的作用說明了剛性變換的效果。如果一個(gè)算法的候選變換是非線性的，則認(rèn)為該算法是非剛性的；這種變換稱為非剛性變換。非剛性變換包括所有可變形變換和非剛性線性變換。

被試之間的應(yīng)用通常需要使用非剛性圖像配準(zhǔn)來校正被試之間的大小和形狀的顯著差異。特別地，采用非剛性線性圖像配準(zhǔn)來匹配圖像的全局形狀和大小，以及位置和方向；示例如圖2c所示。然后應(yīng)用可變形圖像配準(zhǔn)來匹配局部形狀和大??；示例如圖2e所示。一些被試內(nèi)的應(yīng)用也需要非剛性圖像配準(zhǔn)。一個(gè)重要的例子是對(duì)擴(kuò)散MRI中渦流引起的幾何畸變校正。由擴(kuò)散敏感梯度產(chǎn)生的渦流會(huì)導(dǎo)致所獲得的圖像產(chǎn)生幾何畸變。事實(shí)證明，這種幾何畸變可以很好地近似為非剛性線性變換。因此，采用非剛性線性圖像配準(zhǔn)方法對(duì)其進(jìn)行校正。此外，非剛性線性變換的形式在很大程度上取決于擴(kuò)散敏感梯度的性質(zhì)。一些技術(shù)利用這種關(guān)系來產(chǎn)生所需線性變換的高質(zhì)量初始猜測。另一個(gè)例子是回波平面成像(EPI)中由磁化率引起的幾何畸變校正。軟組織與骨骼或空氣界面之間的敏感性差異會(huì)導(dǎo)致高度局部化、非線性、幾何畸變。在沒有任何附加信息的情況下，例如在其他方面都相同的采集過程中，但EPI相位編碼方向相反，可以通過將EPI圖像與同一個(gè)體的T1加權(quán)掃描進(jìn)行非線性圖像配準(zhǔn)來校正幾何畸變。

另一種對(duì)圖像配準(zhǔn)算法進(jìn)行分類的有用方法是利用變換空間的維數(shù)。顧名思義，變換空間的維數(shù)是用于搜索最優(yōu)變換空間大小的度量；維數(shù)越大，高效尋找最優(yōu)變換的難度就越大。對(duì)于一個(gè)變換空間，其維數(shù)被定義為屬于該空間中變換的自由度(DoF)。例如，剛性變換有6個(gè)自由度(3個(gè)用于平移，3個(gè)用于旋轉(zhuǎn))，它是我們考慮過的最小的變換空間，因此是尋找解變換最簡單的空間。一般的線性變換(剛性變換是一種特殊情況)有6個(gè)額外的自由度(3個(gè)用于縮放，3個(gè)用于切變)，使得線性圖像配準(zhǔn)比剛性圖像配準(zhǔn)更為復(fù)雜。相比之下，非線性變換的自由度可以大很多個(gè)數(shù)量級(jí)。
這種大維度的變換空間為描述被試之間復(fù)雜的形態(tài)差異提供了靈活性，但同時(shí)也帶來了兩個(gè)重大挑戰(zhàn)。一是如何在如此大的空間中高效地尋找正確解；這一挑戰(zhàn)將在后面的搜索策略中進(jìn)行討論。另一個(gè)是可能找到不適當(dāng)?shù)淖儞Q的問題，例如，那些在變換后的圖像中留下褶皺或撕裂。不引起折疊或撕裂的變換稱為拓?fù)浔３?。除了拓?fù)浔３种?，我們通常還要求變換是平滑的。平滑性保證了變換是可微的。這個(gè)性質(zhì)保證了雅可比矩陣的存在，雅可比矩陣可以被認(rèn)為是一個(gè)變換的一階導(dǎo)數(shù)。這個(gè)矩陣的行列式，通常被稱為雅可比行列式或雅可比矩陣，它提供了一個(gè)對(duì)局部變形有用的概括度量：大于1的值表示展開；大于0但小于1的值表示壓縮。重要的是，它提供了一種實(shí)用的方法來檢測變換是否具有拓?fù)浔３中?。一個(gè)保持拓?fù)涞淖儞Q必須只有正的雅可比行列式?？偠灾?，理想的變換應(yīng)該是拓?fù)浔３趾涂晌⒌模贿@樣的映射被稱為差分同構(gòu)變換或差分同構(gòu)。
對(duì)每個(gè)高維非線性圖像配準(zhǔn)進(jìn)行積分是一種防止算法產(chǎn)生非同構(gòu)變換的策略；這種策略被稱為轉(zhuǎn)換正則化。正則化策略是對(duì)形變圖像配準(zhǔn)算法進(jìn)行分類的重要方法。廣義上，它們可以分為顯式方法或隱式方法。在顯式方法中，引入正則化項(xiàng)來度量候選變換的適宜性；該算法的目標(biāo)是尋找最優(yōu)變換，使相似性度量和正則化項(xiàng)的加權(quán)和最大化。正則化項(xiàng)通常由雅可比行列式構(gòu)成，用于懲罰任何接近0的值。相比之下，隱式方法通過構(gòu)造對(duì)變換的所需屬性進(jìn)行編碼，也就是說，根據(jù)變換的數(shù)學(xué)表示進(jìn)行編碼。例如，通過使用三次b樣條基函數(shù)進(jìn)行自由變形，可以保證得到的變換是光滑的。通常，隱式方法需要與一些顯式正則化相結(jié)合。自由變形再次提供了一個(gè)例子，因?yàn)闃?gòu)造不保證拓?fù)浔３帧Ｒ虼?，有必要額外包含一個(gè)正則化項(xiàng)，以阻止使用任何破壞拓?fù)涞挠成洹?br>

基于相似性度量的分類

對(duì)于圖像配準(zhǔn)，人們提出了各種各樣的相似性度量方法。它們可以在特征空間的選擇上有所不同，也可以在使用特征評(píng)估圖像相似性的方式上不同。在早期的醫(yī)學(xué)圖像配準(zhǔn)中，特征空間通常是一組對(duì)應(yīng)的地標(biāo)點(diǎn)，這些地標(biāo)點(diǎn)需要提前識(shí)別，例如通過專家的人工檢查或一些自動(dòng)化方法。這種基于地標(biāo)點(diǎn)的圖像配準(zhǔn)的相似性度量通常是對(duì)應(yīng)地標(biāo)點(diǎn)之間距離的平方和。但是識(shí)別相應(yīng)的地標(biāo)點(diǎn)并不簡單，特別是當(dāng)需要大量地標(biāo)點(diǎn)時(shí)，例如，對(duì)于需要高維非線性變換的被試間應(yīng)用程序。對(duì)基于地標(biāo)的方法的一個(gè)自然泛化是使用相應(yīng)的表面作為特征空間。這利用了這樣一個(gè)事實(shí)，即在兩張圖像中識(shí)別相應(yīng)的表面相當(dāng)容易，因?yàn)檫@不需要像基于地標(biāo)的匹配那樣建立逐點(diǎn)對(duì)應(yīng)關(guān)系的繁重任務(wù)。這種方法對(duì)于調(diào)整特定的解剖結(jié)構(gòu)特別有用，比如海馬體。這種基于表面的匹配的相似性度量通常是一個(gè)表面頂點(diǎn)到另一個(gè)表面頂點(diǎn)之間最近距離的總和。如今，基于地標(biāo)和表面的方法通常不用于某些特定的被試內(nèi)應(yīng)用，在這些應(yīng)用中，剛性或線性變換就足夠了?，F(xiàn)在所選擇的特征空間是整個(gè)圖像體素集；使用該特征空間的相似性度量被稱為基于體素的或基于強(qiáng)度的相似性度量。
基于體素的相似性度量可以分為模態(tài)內(nèi)相似性度量和模態(tài)間相似性度量。模態(tài)內(nèi)相似性度量是為具有相同模態(tài)的兩張圖像而設(shè)計(jì)的。最簡單的體素相似性度量——強(qiáng)度差平方和(SSD)就是這類方法。它假設(shè)在解剖上對(duì)應(yīng)的結(jié)構(gòu)應(yīng)該具有相似的體素值，任何差異都可以歸因于噪聲。然而，由于B0或B1場的不均勻性等因素，在被試內(nèi)和被試間經(jīng)常觀察到解剖上均勻的組織內(nèi)強(qiáng)度不均勻，這足以導(dǎo)致SSD表現(xiàn)不佳。雖然這個(gè)問題可以通過應(yīng)用強(qiáng)度不均勻性校正作為預(yù)處理步驟來緩解，但也有研究開發(fā)出了對(duì)圖像強(qiáng)度做出較弱假設(shè)的替代相似性度量。一個(gè)常用的例子是歸一化交叉相關(guān)(NCC)，它是圖像對(duì)的相應(yīng)強(qiáng)度值之間的相關(guān)系數(shù)。與SSD相比，NCC僅假設(shè)解剖對(duì)應(yīng)體素強(qiáng)度之間存在線性關(guān)系。然而，對(duì)于關(guān)聯(lián)不同模態(tài)圖像之間的強(qiáng)度來說，這種假設(shè)仍然太過強(qiáng)烈。為了用模態(tài)內(nèi)的相似性度量來支持模態(tài)間的配準(zhǔn)，一種方法是將一幅圖像轉(zhuǎn)換為另一幅圖像的模態(tài)。例如，這可以用于校正渦流引起的失真，以考慮不同擴(kuò)散加權(quán)因子和梯度獲得的體積之間的對(duì)比度變化。另外，還可以使用多模態(tài)相似性度量，其中最著名的是互信息。互信息(MI)是信息論相似性度量的一個(gè)例子。從信息論的角度看待圖像配準(zhǔn)，并將其重新定義為一個(gè)預(yù)測問題，其目標(biāo)是尋求一種從固定圖像中最大化概率預(yù)測運(yùn)動(dòng)圖像的變換。其基本假設(shè)是，解剖上對(duì)應(yīng)的體素的強(qiáng)度值是彼此良好的預(yù)測指標(biāo)。

基于搜索策略的分類

圖像配準(zhǔn)采用了多種搜索策略。盡管種類繁多，但它們有一個(gè)共同的特征，即它們本質(zhì)上是迭代的。其工作原理是，首先從所選擇的變換空間中，選擇一個(gè)初始的猜測作為搜索的起點(diǎn)。然后迭代地完善這個(gè)初始估計(jì)。在每次迭代中，將變換的當(dāng)前估計(jì)應(yīng)用于運(yùn)動(dòng)圖像。然后，計(jì)算選擇的相似性度量，以評(píng)估變換后的運(yùn)動(dòng)圖像和固定圖像之間的對(duì)齊質(zhì)量。迭代繼續(xù)進(jìn)行，直到某些預(yù)先指定的收斂標(biāo)準(zhǔn)來度量所提出的細(xì)化改進(jìn)被認(rèn)為可以忽略不計(jì)。
在迭代搜索的共同框架中，不同的策略在如何對(duì)當(dāng)前變換估計(jì)進(jìn)行細(xì)化方面有所不同。在這里，變換空間由允許平移(上/下和左/右)(2?DoF)和旋轉(zhuǎn)(1?DoF)的2D剛性變換組成。所以任何細(xì)化都有3個(gè)DoF，可以看作是一個(gè)有方向和大小的矢量。換句話說，算法不僅要決定調(diào)整的方向，還要決定調(diào)整的大小。大致有兩種選擇細(xì)化方向的方法。第一種是使用交替策略的方法，每次總是對(duì)一個(gè)DoF進(jìn)行細(xì)化，同時(shí)保持其余DoF不變。這種方法實(shí)現(xiàn)起來很簡單，通常用于線性配準(zhǔn)。但當(dāng)變換空間的維數(shù)較大時(shí)，該方法的配準(zhǔn)效果不佳，不適合非線性圖像配準(zhǔn)。對(duì)于可變形圖像的配準(zhǔn)，基于梯度的策略是標(biāo)準(zhǔn)的，其中最簡單的例子是梯度上升法。這里計(jì)算了相似性度量相對(duì)于變換的梯度向量。由于沿梯度向量的調(diào)整在局部產(chǎn)生最大的相似性度量增加，因此將梯度方向作為搜索方向。一旦選擇了搜索方向，確定調(diào)整的幅度就變得棘手了，因?yàn)樗仨毚_保這個(gè)選擇不會(huì)降低相似性度量。在實(shí)踐中，可以謹(jǐn)慎地進(jìn)行一些預(yù)先定義的小調(diào)整，并在需要時(shí)減少調(diào)整，或者通過反復(fù)試驗(yàn)來實(shí)現(xiàn)。
迭代搜索面臨的一個(gè)常見挑戰(zhàn)是存在許多局部極大值。根據(jù)最初的猜測，迭代搜索可以收斂到任何一個(gè)局部極大值，但只有其中一個(gè)對(duì)應(yīng)于正確的對(duì)齊。為了解決這個(gè)問題，人們開發(fā)了兩種方法。最常用的是所謂的多分辨率策略。在這里，通過逐步模糊和降采樣來構(gòu)建一個(gè)圖像金字塔，由此產(chǎn)生的金字塔中的圖像就可以在一定尺度范圍內(nèi)捕獲空間細(xì)節(jié)。配準(zhǔn)從只包含最大尺度信息的圖像開始，這往往具有更少的局部極大值。然后在該尺度下估計(jì)的變換用于與捕獲下一尺度細(xì)節(jié)的圖像進(jìn)行初始配準(zhǔn)。重復(fù)這個(gè)過程，直到與原始圖像進(jìn)行配準(zhǔn)。第二種方法被稱為多起點(diǎn)策略。顧名思義，其想法是從多個(gè)起點(diǎn)重復(fù)配準(zhǔn)，希望從這些初始猜測中至少有一個(gè)能夠達(dá)到正確的匹配。

基于深度學(xué)習(xí)的圖像配準(zhǔn)

2012年是深度學(xué)習(xí)首次在圖像識(shí)別領(lǐng)域取得里程碑式突破的一年。因此值得注意的是，僅僅在一年之后，第一個(gè)應(yīng)用深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法就問世了。此后，關(guān)于這一主題的研究文章呈指數(shù)級(jí)增長，并且已經(jīng)出現(xiàn)了許多綜述文章，他們對(duì)利用深度學(xué)習(xí)重新開發(fā)圖像配準(zhǔn)表現(xiàn)出了極大的興趣。
首先出現(xiàn)的策略是使用深度學(xué)習(xí)來制定更好的相似性度量。該方法的第一個(gè)例子利用了深度學(xué)習(xí)的獨(dú)特能力來學(xué)習(xí)圖像中的顯著特征，從而用于分類任務(wù)。其思想是，對(duì)目標(biāo)識(shí)別很重要的特征通常對(duì)目標(biāo)匹配也很重要。因此，一種被稱為堆疊卷積自編碼器的深度學(xué)習(xí)模型被用于學(xué)習(xí)待配準(zhǔn)圖像類的新表征。根據(jù)兩幅圖像的新表征之間的相似性來評(píng)估兩幅圖像之間的相似性。這種方法的一個(gè)局限性是圖像必須是相同的模態(tài)。最近的發(fā)展集中于多模態(tài)應(yīng)用中有效的相似性度量上。一個(gè)例子是訓(xùn)練一個(gè)深度學(xué)習(xí)模型，從未對(duì)齊的圖像塊中分類對(duì)齊的圖像塊。當(dāng)呈現(xiàn)新的一對(duì)圖像塊時(shí)，得到的模型將產(chǎn)生一個(gè)介于-1到1之間的評(píng)分，其中-1表示模型認(rèn)為圖像對(duì)未對(duì)齊，1表示圖像對(duì)是對(duì)齊的。在進(jìn)行配準(zhǔn)時(shí)，在每次迭代時(shí)，將變換后的運(yùn)動(dòng)圖像和固定圖像分割成相應(yīng)的patch，并對(duì)每對(duì)patch進(jìn)行模型評(píng)分。然后，相似性度量可以用所有patch對(duì)的得分總和來評(píng)估。該方法的一個(gè)局限性是需要現(xiàn)有的多模態(tài)圖像是對(duì)齊的。最近有研究已經(jīng)開發(fā)出了放棄這一要求的策略。
另一種策略是利用深度學(xué)習(xí)來改進(jìn)搜索策略。避免局部極大值對(duì)于標(biāo)準(zhǔn)迭代搜索來說是一個(gè)明顯的挑戰(zhàn)。解決這個(gè)問題的一種方法是使用深度強(qiáng)化學(xué)習(xí)，這就是阿爾法圍棋成功打敗世界上最優(yōu)秀的人類圍棋選手的背后原因。在這里，一個(gè)高度魯棒的搜索策略是從以前的無數(shù)嘗試中學(xué)習(xí)到的。從先前經(jīng)驗(yàn)中學(xué)習(xí)的能力是傳統(tǒng)搜索策略的關(guān)鍵優(yōu)勢。這種方法的一個(gè)局限性是它保留了圖像配準(zhǔn)的迭代性質(zhì)。為了使圖像配準(zhǔn)一次完成，已經(jīng)開發(fā)了多種方法。大致可以分為監(jiān)督和非監(jiān)督兩類。監(jiān)督方法的工作原理是訓(xùn)練深度學(xué)習(xí)模型，該模型將一對(duì)圖像作為輸入，并預(yù)測將這兩幅圖像進(jìn)行配準(zhǔn)的變換。它們被稱為有監(jiān)督的模型，因?yàn)槟Ｐ捅仨氂靡阎_變換的成對(duì)圖像進(jìn)行訓(xùn)練。創(chuàng)建此類訓(xùn)練數(shù)據(jù)面臨的挑戰(zhàn)促使我們開發(fā)了無監(jiān)督方法，而無監(jiān)督方法不需要此類數(shù)據(jù)。這一突破來自于所謂的空間變換器網(wǎng)絡(luò)(STN)的發(fā)明，它允許在深度學(xué)習(xí)模型中編碼幾何變換。在模型訓(xùn)練過程中，對(duì)于每對(duì)輸入圖像，模型參數(shù)被調(diào)整，使預(yù)測變換最大化某些預(yù)設(shè)的相似性度量。換句話說，它本質(zhì)上就像運(yùn)行一個(gè)傳統(tǒng)的迭代圖像配準(zhǔn)算法。關(guān)鍵的區(qū)別在于，該模型從過去的經(jīng)驗(yàn)中學(xué)習(xí)。隨著越來越多的訓(xùn)練圖像對(duì)輸入到模型中，模型在預(yù)測正確變換方面的性能越來越好。最重要的是，在訓(xùn)練完模型后，當(dāng)有一對(duì)新的圖像需要配準(zhǔn)時(shí)，模型可以在一次中預(yù)測合適的變換，而不需要多次迭代。因此，這些方法現(xiàn)在可以在傳統(tǒng)算法所需時(shí)間的一小部分內(nèi)就完成圖像配準(zhǔn)。例如，對(duì)于一對(duì)T1加權(quán)掃描的配準(zhǔn)，計(jì)算時(shí)間可以從約1小時(shí)減少到約1分鐘。更值得注意的是，它們可以在獲得這樣的計(jì)算效率增益的同時(shí)，匹配最先進(jìn)的傳統(tǒng)技術(shù)的配準(zhǔn)性能。這樣的進(jìn)展使得基于深度學(xué)習(xí)的圖像配準(zhǔn)的未來真正令人期待。
參考文獻(xiàn)（上下滑動(dòng)查看）：

Brown, Lisa G., 1992. A survey of image registration techniques. ACM Computing Surveys 24 (4), 325–376.?https://doi.org/10.1145/146370.146374.

Fonov, Vladimir, et al., 2011. Unbiased average age-appropriate atlases for pediatric studies. NeuroImage 54 (1),?313–327. https://doi.org/10.1016/j.neuroimage.2010.07.033.

Friston, Karl J., et al., 1995. Spatial registration and normalization of images. Human Brain Mapping 3 (3),?165–189. https://doi.org/10.1002/hbm.460030303.

Fu, Fabo, et al., 2020. Deep learning in medical image registration: a review. Physics in Medicine and Biology 65?(20), 20TR01. https://doi.org/10.1088/1361-6560/ab843e.

Hajnal, Joseph V., Hill, Derek L.G., Hawkes, David J. (Eds.), 2001. Medical Image Registration, 1st ed. CRC?Press. ISBN 9780429114991.

Haskins, Grant, Kruger, Uwe, Yan, Pingkun, 2020. Deep learning in medical image registration: a survey. Machine?Vision and Applications 31 (8). https://doi.org/10.1007/s00138-020-01060-x.

Hill, Derek L.G., et al., 2001. Medical image registration. Physics in Medicine and Biology 46 (3), R1–R45. https://doi.org/10.1088/0031-9155/46/3Z201.

Maes, Frederik, et al., 1997. Multimodality image registration by maximization of mutual information. IEEE Transactions on Medical Imaging 16 (2), 187–198. https://doi.org/10.1109/42.563664.

Maintz, J.B. Antoine, Viergever, Max A., 1998. A survey of medical image registration. Medical Image Analysis 2?(1), 1–36. https://doi.org/10.1016/S1361-8415(01)80026-8.

Rueckert, Daniel, et al., 1999. Nonrigid registration using free-form deformations: application to breast MR images. IEEE Transactions on Medical Imaging 18 (8), 712–721. https://doi.org/10.1109/42.796284.

Sotiras, Aristeidis, Davatzikos, Christos, Paragios, Nikos, 2013. Deformable medical image registration: a survey.?IEEE Transactions on Medical Imaging 32 (7), 1153–1190. https://doi.org/10.1109/TMI.2013.2265603.

Toga, Arthur (Ed.), 1998. Brain Warping, 1st ed. Academic Press. ISBN 9780126925357.?Viergever, Max A., et al., 2016. A survey of medical image registration - under review. Medical Image Analysis 33,?140–144. https://doi.org/10.1016/j.media.2016.06.030.

Wells, William M., et al., 1996. Multi-modal volume registration by maximization of mutual information. Medical?Image Analysis 1 (1), 35–51. https://doi.org/10.1016/S1361-8415(01)80004-9.

Yoshida, Toshi, Yuki, Rei, 1966. Japanese Print-Making: A Handbook of Traditional & Modern Techniques, 1st?ed. Charles E. Tuttle Company.

Zhang, Hui, 2021. Medical Image Registration Demo.?https://github.com/garyhuizhang/MedicalImageRegistrationDemo.

小伙伴們點(diǎn)星標(biāo)關(guān)注茗創(chuàng)科技，將第一時(shí)間收到精彩內(nèi)容推送哦～