原創(chuàng) | 文 BFT機(jī)器人

01

摘要

使用自然圖像數(shù)據(jù)集（如ImageNet）中的大型預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)已經(jīng)成為醫(yī)學(xué)成像深度學(xué)習(xí)應(yīng)用的實(shí)際方法。然而，由于自然圖像分類和醫(yī)學(xué)成像任務(wù)之間的差異，對(duì)遷移學(xué)習(xí)的影響了解甚少。

本文對(duì)醫(yī)學(xué)影像遷移學(xué)習(xí)進(jìn)行了探討，并對(duì)兩個(gè)大型醫(yī)學(xué)成像任務(wù)進(jìn)行了性能評(píng)估，結(jié)果顯示傳輸學(xué)習(xí)對(duì)性能幾乎沒有好處。同時(shí)，研究表明，一些差異是由于標(biāo)準(zhǔn)模型的過(guò)度參數(shù)化，而不是復(fù)雜的特征重用。

研究還探討了通過(guò)權(quán)重縮放引起的獨(dú)立于特征的遷移的好處。因此，簡(jiǎn)單、輕量級(jí)的模型在醫(yī)學(xué)影像處理中可以與ImageNet體系結(jié)構(gòu)相比，并且對(duì)于更有效的模型探索具有重要的意義。

02

介紹

隨著深度學(xué)習(xí)的發(fā)展，遷移學(xué)習(xí)在許多應(yīng)用中已經(jīng)成為重要的一部分，尤其在醫(yī)學(xué)成像領(lǐng)域。目前的標(biāo)準(zhǔn)是采用現(xiàn)有的自然圖像數(shù)據(jù)集（如ImageNet）設(shè)計(jì)的架構(gòu)，搭配相應(yīng)的預(yù)訓(xùn)練權(quán)重，然后在醫(yī)學(xué)成像數(shù)據(jù)上進(jìn)行微調(diào)。

遷移學(xué)習(xí)在多個(gè)醫(yī)學(xué)專業(yè)中被廣泛采用。其中兩個(gè)主要研究方向是在放射學(xué)中使用ResNet、DenseNet等架構(gòu)進(jìn)行胸部X光照片的訓(xùn)練，以及在眼科學(xué)中使用Inception-v3、ResNet等進(jìn)行視網(wǎng)膜眼底圖像的訓(xùn)練。

眼科學(xué)研究甚至已獲得FDA批準(zhǔn)，并在臨床中得到全面應(yīng)用。其他應(yīng)用包括早期檢測(cè)阿爾茨海默病、從皮膚癌照片中識(shí)別皮膚癌，甚至用于體外受精程序中的人類胚胎質(zhì)量評(píng)估。

盡管在醫(yī)學(xué)成像中遷移學(xué)習(xí)廣受歡迎，但對(duì)其精確效果的研究仍較少，即使在自然圖像領(lǐng)域中的最近研究也對(duì)許多常見觀點(diǎn)進(jìn)行了挑戰(zhàn)。

醫(yī)學(xué)成像設(shè)置中，許多類似的問題仍然存在。如上所述，遷移學(xué)習(xí)通常通過(guò)采用標(biāo)準(zhǔn)ImageNet架構(gòu)及其預(yù)訓(xùn)練權(quán)重，然后在目標(biāo)任務(wù)上進(jìn)行微調(diào)。然而，ImageNet分類和醫(yī)學(xué)圖像診斷在數(shù)據(jù)特性和任務(wù)規(guī)模上有明顯差異。

首先，許多醫(yī)學(xué)成像任務(wù)始于感興趣的身體區(qū)域的大型圖像，并利用局部紋理變化來(lái)識(shí)別病理。例如，在視網(wǎng)膜眼底圖像中，小的紅色“點(diǎn)”是微血管瘤和糖尿病視網(wǎng)膜病變的指示標(biāo)志，而在胸部X光片上，局部白色濃密斑塊是肺實(shí)變和肺炎的跡象。而在自然圖像數(shù)據(jù)集（如ImageNet）中，通常會(huì)有一個(gè)清晰的全局圖像主體（圖1）。因此，ImageNet特征重用對(duì)于醫(yī)學(xué)圖像是否有益仍然是一個(gè)問題。

此外，大多數(shù)醫(yī)學(xué)數(shù)據(jù)集的圖像尺寸較大（以便搜索局部變化），但圖像數(shù)量遠(yuǎn)少于ImageNet的約一百萬(wàn)張。與之相比，醫(yī)學(xué)數(shù)據(jù)集的圖像數(shù)量范圍從幾千張到幾十萬(wàn)張。

最后，醫(yī)學(xué)任務(wù)通常具有較少的類別（例如，糖尿病視網(wǎng)膜病變?cè)\斷有5個(gè)類別，胸部X光片中有5-14個(gè)類別），而標(biāo)準(zhǔn)ImageNet分類有1000個(gè)類別。由于標(biāo)準(zhǔn)ImageNet架構(gòu)在更高層級(jí)上有大量參數(shù)，集中在更高層級(jí)有著這個(gè)原因，所以這些模型的設(shè)計(jì)可能對(duì)醫(yī)學(xué)場(chǎng)景不太理想。

在本文中，作者對(duì)醫(yī)學(xué)圖像的遷移學(xué)習(xí)進(jìn)行了細(xì)粒度研究。他們的主要貢獻(xiàn)包括：

[1] 作者評(píng)估了標(biāo)準(zhǔn)的自然圖像架構(gòu)，例如ImageNet，以及一組非標(biāo)準(zhǔn)的較小、更簡(jiǎn)單的模型，在兩個(gè)大規(guī)模的醫(yī)學(xué)成像任務(wù)上的性能，這些任務(wù)當(dāng)前使用遷移學(xué)習(xí)是常態(tài)。我們發(fā)現(xiàn)：（i）在所有這些情況下，遷移學(xué)習(xí)對(duì)性能沒有顯著幫助；（ii）較小、更簡(jiǎn)單的卷積架構(gòu)與標(biāo)準(zhǔn)的ImageNet模型表現(xiàn)相當(dāng)；（iii）ImageNet性能不能預(yù)測(cè)醫(yī)學(xué)任務(wù)的性能。這些結(jié)論在數(shù)據(jù)量非常小的情況下也成立。

[2] 鑒于性能相當(dāng)，我們研究了使用預(yù)訓(xùn)練權(quán)重是否會(huì)導(dǎo)致不同的學(xué)習(xí)表示，通過(guò)使用(SV)CCA [22] 來(lái)直接分析隱藏表示。我們發(fā)現(xiàn)預(yù)訓(xùn)練確實(shí)會(huì)影響隱藏表示，但模型大小存在混淆問題，即大型的標(biāo)準(zhǔn)ImageNet模型在微調(diào)過(guò)程中變化不大，這通過(guò)初始化時(shí)和收斂后的表示相似性之間出現(xiàn)的令人驚訝的相關(guān)性證實(shí)。

[3] 通過(guò)進(jìn)一步分析和權(quán)重轉(zhuǎn)移實(shí)驗(yàn)，我們發(fā)現(xiàn)了有意義的特征重用發(fā)生在哪些位置，并探索了混合遷移學(xué)習(xí)方法，其中部分預(yù)訓(xùn)練權(quán)重被使用，網(wǎng)絡(luò)的其他部分重新設(shè)計(jì)，變得更輕量級(jí)。

[4] 我們展示了預(yù)訓(xùn)練的權(quán)重也有特征無(wú)關(guān)的好處，僅重用預(yù)訓(xùn)練權(quán)重的縮放部分而不使用特征，可以大大加快收斂速度。

03

遷移學(xué)習(xí)模型與性能評(píng)估

為了奠定研究基礎(chǔ)，作者選擇了多個(gè)神經(jīng)網(wǎng)絡(luò)架構(gòu)，并在兩種情況下評(píng)估它們的性能：隨機(jī)初始化訓(xùn)練和從ImageNet進(jìn)行遷移學(xué)習(xí)。他們訓(xùn)練了標(biāo)準(zhǔn)的、高性能的ImageNet架構(gòu)，這種在遷移學(xué)習(xí)中很流行，同時(shí)也訓(xùn)練了一系列較小的卷積神經(jīng)網(wǎng)絡(luò)，這些較小的模型在醫(yī)療任務(wù)上表現(xiàn)相當(dāng)好。

有限的研究關(guān)注ImageNet遷移學(xué)習(xí)對(duì)較小、非標(biāo)準(zhǔn)的ImageNet架構(gòu)的影響。在醫(yī)療環(huán)境中，這一調(diào)查尤其重要，因?yàn)榇笮?、?jì)算昂貴的模型可能會(huì)限制在移動(dòng)設(shè)備上的應(yīng)用。此外，標(biāo)準(zhǔn)的ImageNet模型參數(shù)大部分集中在頂層，用于執(zhí)行1000類分類。然而，醫(yī)學(xué)診斷通常需要的分類數(shù)量較少，例如視網(wǎng)膜眼底圖像和胸部X光片只有5個(gè)分類，這意味著ImageNet模型可能被過(guò)度參數(shù)化。

研究結(jié)果顯示，在各種數(shù)據(jù)集和模型中，遷移學(xué)習(xí)并不顯著改善性能。此外，較小的輕量級(jí)卷積網(wǎng)絡(luò)家族的表現(xiàn)與標(biāo)準(zhǔn)ImageNet模型相當(dāng)，盡管在ImageNet上的準(zhǔn)確性明顯較低，這表明ImageNet任務(wù)并不一定適用于醫(yī)療數(shù)據(jù)集的性能預(yù)測(cè)。最后，作者觀察到這些結(jié)論在數(shù)據(jù)非常有限的情況下也成立。

模型描述

對(duì)于標(biāo)準(zhǔn)的ImageNet架構(gòu)，作者評(píng)估了ResNet50和Inception-v3，這兩種架構(gòu)都廣泛用于醫(yī)療轉(zhuǎn)移學(xué)習(xí)應(yīng)用。論文還設(shè)計(jì)了一系列簡(jiǎn)單、更小的卷積架構(gòu)。該家族的基本構(gòu)建塊是流行的(2d)卷積序列，然后是批歸一化和relu激活。每個(gè)體系結(jié)構(gòu)都有4到5個(gè)這個(gè)基礎(chǔ)層的重復(fù)。稱這種模式家庭為CBR。根據(jù)卷積濾波器大小的選擇(對(duì)于整個(gè)架構(gòu)是固定的)，通道和層的數(shù)量，然后得到了一系列架構(gòu)，其大小范圍從標(biāo)準(zhǔn)ImageNet模型大小的三分之一（CBR-LargeT, CBR-LargeW）到尺寸的二十分之一（CBR-Tiny）。完整的架構(gòu)細(xì)節(jié)見附錄。

非常小的數(shù)據(jù)管理

論文進(jìn)行了額外的實(shí)驗(yàn)來(lái)研究在數(shù)據(jù)非常有限的情況下遷移學(xué)習(xí)的效果。大多數(shù)醫(yī)學(xué)數(shù)據(jù)集遠(yuǎn)遠(yuǎn)小于ImageNet，我們的兩個(gè)數(shù)據(jù)集也是如此。然而，我們的數(shù)據(jù)集仍有約20萬(wàn)個(gè)樣本，而其他情況可能只有幾千個(gè)。為了研究在這種非常小的數(shù)據(jù)情況下的影響，我們?cè)谝暰W(wǎng)膜數(shù)據(jù)集上只使用5000個(gè)數(shù)據(jù)點(diǎn)訓(xùn)練了模型，并考察了遷移學(xué)習(xí)的效果。結(jié)果表明，雖然在非常小的數(shù)據(jù)量下，遷移學(xué)習(xí)的效果更大，但模型大小也會(huì)影響結(jié)果 - 遷移學(xué)習(xí)主要有助于大型模型（這些模型設(shè)計(jì)用于使用數(shù)百萬(wàn)個(gè)樣本進(jìn)行訓(xùn)練），而較小的模型在遷移和隨機(jī)初始化之間幾乎沒有明顯差異。

04

遷移效應(yīng)的表征分析

論文通過(guò)用(SV)CCA定量直接分析、比較不同神經(jīng)網(wǎng)絡(luò)群體學(xué)習(xí)的隱藏表征揭示了遷移學(xué)習(xí)對(duì)神經(jīng)網(wǎng)絡(luò)表征的影響。較大的模型在遷移學(xué)習(xí)和訓(xùn)練過(guò)程中變化較小，而較小的模型在這兩個(gè)過(guò)程中表現(xiàn)得更相似。

在醫(yī)學(xué)圖像中，我們發(fā)現(xiàn)遷移學(xué)習(xí)和從隨機(jī)初始化學(xué)習(xí)對(duì)性能幾乎沒有好處。這些結(jié)果為新的混合遷移學(xué)習(xí)方法提供了指導(dǎo)，例如部分重用預(yù)訓(xùn)練權(quán)重并對(duì)網(wǎng)絡(luò)進(jìn)行輕量級(jí)重新設(shè)計(jì)。

此外，我們展示了僅重用預(yù)訓(xùn)練權(quán)重的特征無(wú)關(guān)好處，可顯著提高收斂速度。這些發(fā)現(xiàn)為醫(yī)學(xué)圖像領(lǐng)域的深度學(xué)習(xí)應(yīng)用提供了重要的見解和指導(dǎo)。

05

融合:特征獨(dú)立優(yōu)勢(shì)與權(quán)重遷移

在本節(jié)中，論文研究了遷移學(xué)習(xí)對(duì)收斂速度的影響，發(fā)現(xiàn)：

遷移學(xué)習(xí)通過(guò)更好的權(quán)重縮放僅提供了特征無(wú)關(guān)的收斂?jī)?yōu)勢(shì)。

使用來(lái)自最低兩個(gè)層/階段的預(yù)訓(xùn)練權(quán)重對(duì)收斂速度有最大的影響，進(jìn)一步支持前一節(jié)的發(fā)現(xiàn)，即任何有意義的特征重用集中在這兩個(gè)最底層（圖3）。這些結(jié)果表明了一些混合遷移學(xué)習(xí)的方法，只使用預(yù)訓(xùn)練權(quán)重的子集（最低層），并對(duì)網(wǎng)絡(luò)的頂部進(jìn)行輕量級(jí)的重新設(shè)計(jì)，甚至使用完全合成的特征。我們展示了這些混合方法捕捉到了遷移學(xué)習(xí)的大部分優(yōu)勢(shì)，并使其應(yīng)用更加靈活。

獨(dú)立特征遷移的優(yōu)勢(shì)：權(quán)重縮放

測(cè)試了預(yù)訓(xùn)練權(quán)重是否具有特征無(wú)關(guān)的好處，比如更好的權(quán)重縮放。具體來(lái)說(shuō)，將權(quán)重獨(dú)立初始化為從預(yù)訓(xùn)練權(quán)重的均值和方差采樣得到的獨(dú)立同分布（iid）權(quán)重。這樣做會(huì)繼承預(yù)訓(xùn)練權(quán)重的縮放，但會(huì)破壞所有特征。我們將其稱為均值方差初始化，發(fā)現(xiàn)它顯著加快了收斂速度（圖6）。附錄中還有其他關(guān)于批歸一化、權(quán)重采樣等的額外實(shí)驗(yàn)。

權(quán)重轉(zhuǎn)移與特征重用

接下來(lái)，我們研究有意義的特征重用僅限于網(wǎng)絡(luò)的最底層。我們通過(guò)進(jìn)行權(quán)重轉(zhuǎn)移實(shí)驗(yàn)來(lái)驗(yàn)證這一結(jié)果，即將一組連續(xù)的一些預(yù)訓(xùn)練權(quán)重轉(zhuǎn)移到網(wǎng)絡(luò)中，然后對(duì)其余部分進(jìn)行隨機(jī)初始化，并在醫(yī)學(xué)任務(wù)上進(jìn)行訓(xùn)練。在圖7中繪制訓(xùn)練曲線和達(dá)到閾值A(chǔ)UC所需的步驟，確實(shí)顯示出在最低幾層使用預(yù)訓(xùn)練權(quán)重具有最大的訓(xùn)練加速效果。有趣的是，僅僅對(duì)Resnet的conv1層使用預(yù)訓(xùn)練權(quán)重就能獲得最大的增益，盡管轉(zhuǎn)移Resnet塊意味著多個(gè)層現(xiàn)在正在重用預(yù)訓(xùn)練權(quán)重。

主要結(jié)果：混合式遷移學(xué)習(xí)方法

通過(guò)轉(zhuǎn)移實(shí)驗(yàn)的結(jié)果，我們可以提出一些混合式、更靈活的遷移學(xué)習(xí)方法。首先，對(duì)于Resnet等較大的模型，我們可以考慮重用預(yù)訓(xùn)練權(quán)重，例如到Block2層，重新設(shè)計(jì)網(wǎng)絡(luò)的頂部（其中包含大部分參數(shù)），使其更加輕量化，然后將這些層隨機(jī)初始化，并將新的精簡(jiǎn)模型進(jìn)行端到端的訓(xùn)練?？紤]到conv1的重要性不成比例，我們還可以研究將conv1初始化為合成的Gabor濾波器（詳見附錄F.3），而將其余網(wǎng)絡(luò)層隨機(jī)初始化的效果。在圖8中，我們說(shuō)明了這些混合式方法。通過(guò)這種方式減少網(wǎng)絡(luò)頂部的參數(shù)與遷移學(xué)習(xí)具有相同的收斂性和性能，并且使用合成的Gabor濾波器來(lái)初始化conv1與使用預(yù)訓(xùn)練權(quán)重來(lái)初始化conv1具有相同的效果。這些變體展示了許多新的、豐富而靈活的遷移學(xué)習(xí)方法。

06

結(jié)論

在這篇論文中，研究人員探討了遷移學(xué)習(xí)在醫(yī)學(xué)成像應(yīng)用中的核心問題。通過(guò)對(duì)兩個(gè)大型醫(yī)療任務(wù)中標(biāo)準(zhǔn)ImageNet架構(gòu)和非標(biāo)準(zhǔn)輕量級(jí)模型進(jìn)行基準(zhǔn)測(cè)試，發(fā)現(xiàn)遷移學(xué)習(xí)對(duì)性能提升有限，小型架構(gòu)可以與標(biāo)準(zhǔn)ImageNet模型相媲美。

他們對(duì)表征相似性和特征重用進(jìn)行了探索，發(fā)現(xiàn)標(biāo)準(zhǔn)ImageNet模型在初始化和訓(xùn)練后的表征相似性之間有顯著相關(guān)性，證明它們?cè)谌蝿?wù)中過(guò)度參數(shù)化。

此外，他們還發(fā)現(xiàn)有意義的特征重用主要發(fā)生在模型的最底層，并通過(guò)探索更靈活、混合的遷移方法提出了新的可能性。這些方法保留了遷移學(xué)習(xí)的優(yōu)勢(shì)并拓展了其應(yīng)用范圍。

此外，研究人員還展示了遷移學(xué)習(xí)的特征無(wú)關(guān)的好處，特別是在獲得更好的權(quán)重縮放和收斂速度方面。總的來(lái)說(shuō)，該論文通過(guò)深入研究遷移學(xué)習(xí)在醫(yī)學(xué)成像領(lǐng)域的應(yīng)用，揭示了一系列有關(guān)性能和特征重用的關(guān)鍵發(fā)現(xiàn)，并提出了更靈活和有效的遷移方法。

作者?| 淳豪

排版 |?居居手

更多精彩內(nèi)容請(qǐng)關(guān)注公眾號(hào)：BFT機(jī)器人
本文為原創(chuàng)文章，版權(quán)歸BFT機(jī)器人所有，如需轉(zhuǎn)載請(qǐng)與我們聯(lián)系。若您對(duì)該文章內(nèi)容有任何疑問，請(qǐng)與我們聯(lián)系，將及時(shí)回應(yīng)。