上海訊 上科大信息學院虞晶怡教授、張玉瑤教授科研團隊近期在醫(yī)學核磁共振圖像超分辨率重建研究以及醫(yī)學圖像建模領(lǐng)域取得重要進展。相關(guān)成果被第24屆國際醫(yī)學圖像計算和計算機輔助干預會議和第30屆國際人工智能聯(lián)合會議接收。

基于隱式神經(jīng)表示的圖像超分辨重建方法

超高分辨率的醫(yī)學核磁共振圖像提供了豐富的結(jié)構(gòu)細節(jié)，有助于提高早期診斷中的準確率。然而在醫(yī)學核磁共振成像過程中，不可預測的病人運動將導致難以在一次掃描中采集到亞毫米級的無偽影的超高分辨率圖像。因此，在實際采集過程中，通常通過在不同方向上采集到多個非各向同性的低分辨率圖像以降低掃描時間，從而緩解運動偽影問題，最后利用圖像超分辨率技術(shù)來提高其分辨率。然而，現(xiàn)存的超分辨率方法通常需要大量真實高清的核磁共振圖像作為訓練數(shù)據(jù)，且其僅可以做某一固定倍數(shù)的圖像超分辨重建。

對此，張玉瑤教授課題組提出了一種基于隱式神經(jīng)表示的醫(yī)學核磁共振圖像超分辨率重建方法。該工作舍棄了傳統(tǒng)的卷積神經(jīng)網(wǎng)絡架構(gòu)，采用隱式神經(jīng)表示（即基于坐標的全連接神經(jīng)網(wǎng)絡）去擬合待重建的超高分辨率醫(yī)學核磁共振圖像。具體來說，待重建的超高分辨圖像被視為一個三維空間坐標的連續(xù)體函數(shù)，而采集到的非各向同性低分辨率圖像則為這個連續(xù)體函數(shù)的稀疏離散采樣。進而，超分辨率重建任務便是從低分辨率輸入圖像中學習超分辨率圖像的連續(xù)函數(shù)。該方法具有兩點重要優(yōu)勢：一是該方法不需要真實的高清圖像作為訓練數(shù)據(jù)；二是理論上可以重建出任意分辨率的超高分辨率圖像。

基于真實采集環(huán)境中的實驗結(jié)果（如圖1所示）可以看出，相對于SRR和B樣條插值重建方法，該方法獲得了更清晰的無偽影重建圖像。此外，相比直接采集的真實高清高分辨率圖像，該方法的重建結(jié)果在達到了同等圖像細節(jié)的同時，提高了圖像新信噪比。因此相較于直接掃描成像高清高分辨率圖像，該重建方法是一種更有效的方式。

該成果相關(guān)論文以“IREM: A novel Image Scanning strategy for achieving High-resolution Magnetic Resonance (MR) Image via Implicit Neural Representation”為題被第24屆國際醫(yī)學圖像計算和計算機輔助干預會議接收。

上述科研成果由上海科技大學、上海交通大學、張江實驗室等單位協(xié)作完成，上?？萍即髮W信息學院2020級碩士研究生吳晴為第一作者，虞晶怡、張玉瑤為共同通信作者。

圖1. 基于真實采集數(shù)據(jù)的實驗結(jié)果。從上到下，從左到右分別為：基于冠狀面（Coronal plane）、橫斷面（Axial plane）、矢狀面（Sagittal plane）采集的非各向同性的低清圖像；真實的高清高分辨率參考圖像；該工作提出的IREM方法的重建結(jié)果；SRR方法重建結(jié)果；B樣條插值重建結(jié)果。

全新的手部骨骼參數(shù)模型

手的建模對于沉浸式虛擬現(xiàn)實（VR） /增強現(xiàn)實（ AR）、動作理解和醫(yī)療保健至關(guān)重要?，F(xiàn)有的參數(shù)模型僅考慮手的形狀、姿勢或紋理，而沒有對諸如骨骼、肌肉和肌腱的解剖屬性進行建模。但是這種高精度的手部解剖學屬性建模，對于進行復雜的手部運動分析以及實現(xiàn)精確逼真的虛擬手建模來說是非常重要的?？紤]到磁共振（MRI）等成像方式在臨床上經(jīng)常被用來診斷和治療手部疾病，可利用核磁共振對手部不同動作進行成像，進而實現(xiàn)對手內(nèi)部解剖信息的建模。

對此，虞晶怡課題組與張玉瑤課題組展開合作，使用臨床3T核磁設備和簡化的倒模程序采集了高質(zhì)量的大規(guī)模MRI手部三維影像數(shù)據(jù)集。該數(shù)據(jù)集包括35個對象的共200個3D核磁圖像，共覆蓋50個不同的手部動作，并且包括骨骼分割和關(guān)節(jié)點的標注結(jié)果。根據(jù)該數(shù)據(jù)集，他們還提出了第一個從MRI數(shù)據(jù)得到的手骨參數(shù)模型，稱為PIANO。該模型可以對不同個體的手運動結(jié)構(gòu)進行解剖學和物理上的精確建模（圖3）。PIANO模型保證了正確的手部解剖結(jié)構(gòu)，易于動畫制作。與僅基于外表面的傳統(tǒng)手部模型相比，PIANO以數(shù)據(jù)驅(qū)動的方式實現(xiàn)了對手的骨骼更加精確地建模。此外，模型還可以作為一個網(wǎng)絡層應用于深度學習，以進行基于細粒度語義損失方程的訓練。從而開啟了從MRI甚至RGB圖像中進行精細化手骨骼解剖結(jié)構(gòu)語義理解的新任務。

該成果相關(guān)論文以“PIANO: A Parametric Hand Bone Model from Magnetic Resonance Imaging”為題被第30屆國際人工智能聯(lián)合會議接收。上?？萍即髮W信息學院18級博士生李玉瑋為第一作者，信息學院虞晶怡教授為通訊作者。

圖2. 數(shù)據(jù)采集過程和數(shù)據(jù)集樣本。左：核磁設備和參與者。中：MRI原始切片。右：數(shù)據(jù)集樣本。從上到下依次是MRI，骨骼分割結(jié)果和有25個關(guān)節(jié)點標注。

圖3. PIANO模型以及從MRI和RGB圖像中細粒度的手骨解剖學和語義理解的應用示例。PIANO模型可對不同個體的手部運動結(jié)構(gòu)進行解剖學和物理上的精確建模，從而開啟了從MRI甚至RGB圖像中進行細粒度手骨骼解剖結(jié)構(gòu)語義理解的新任務。

國際醫(yī)學圖像計算和計算機輔助干預會議（International Conference on Medical Image Computing and Computer Assisted Intervention， MICCAI）是跨醫(yī)學影像計算(MIC)和計算機輔助介入 (CAI) 兩個領(lǐng)域的綜合性學術(shù)會議，是醫(yī)學領(lǐng)域的頂級會議。國際人工智能聯(lián)合會議（International Joint Conference on Artificial Intelligence， IJCAI）是人工智能領(lǐng)域最重要的學術(shù)會議之一， 也是中國計算機協(xié)會推薦A類國際會議。