來(lái)源：投稿 作者：TransforMe
編輯：學(xué)姐

論文地址：https://arxiv.org/abs/2008.03673?

代碼：未公開(kāi)?

發(fā)表在ECCV 2020

貢獻(xiàn)

對(duì)于沒(méi)有充分表達(dá)的尾部類則需要額外的知識(shí)來(lái)補(bǔ)充，所以作者利用頭部的類無(wú)關(guān)特征作為額外的知識(shí)來(lái)增強(qiáng)尾部類。

思路

雖然深度學(xué)習(xí)取得了非常好的效果，但是有一個(gè)前提條件：所有的類都需要被很好的表達(dá)。 如何量化數(shù)據(jù)的representation是一個(gè)有挑戰(zhàn)的問(wèn)題。

如圖‘’所示雖然一些方法可以調(diào)整決策邊界，但是當(dāng)尾部數(shù)據(jù)過(guò)少時(shí)，如何找到?jīng)Q策邊界的正確調(diào)整方向是有挑戰(zhàn)的。 因此，作者想通過(guò)augment的方法恢復(fù)尾部數(shù)據(jù)特征分布，并利用頭部的信息實(shí)現(xiàn)這一過(guò)程。

例如，圖3左側(cè)只有中心紅色點(diǎn)代表降維后的尾部數(shù)據(jù)，當(dāng)數(shù)據(jù)過(guò)少時(shí)，通過(guò)簡(jiǎn)單移動(dòng)決策邊界無(wú)法得到最優(yōu)解。 圖3右側(cè)代表數(shù)據(jù)充足時(shí)的決策邊界。

兩個(gè)假設(shè)

• 頭部的類通用（類別無(wú)關(guān)信息）特征有助于恢復(fù)尾部類的數(shù)據(jù)分布。?

• 由于在高級(jí)特征空間具有更“線性”的表示，可以提取類通用和類特定的特征，并重新混合生成新的樣本。

方法

CAM（類激活圖）

簡(jiǎn)述：得到一個(gè)熱力圖（類激活圖），都是0到1之間的數(shù)值，越接近1的部分代表對(duì)識(shí)別這個(gè)類越有幫助，也就是類相關(guān)特征，反之亦然。 作者對(duì)類相關(guān)特征和類無(wú)光特征分別設(shè)定了兩個(gè)閾值。

可視化特征

對(duì)于提取的類相關(guān)與無(wú)關(guān)特征可視化，可見(jiàn)無(wú)關(guān)特征更緊密，相關(guān)特征更具有代表性，也越容易分離。

流程

1. 正常訓(xùn)練得到數(shù)據(jù)的representation和分類器。?

2. 利用第一步得到的representation訓(xùn)練CAM得到類別相關(guān)和無(wú)關(guān)特征，再利用得到的與尾部類最混淆類的類別無(wú)關(guān)特征和尾部數(shù)據(jù)做一個(gè)線性加權(quán)生成增強(qiáng)后的新尾部數(shù)據(jù)。 作者認(rèn)為在特征空間加權(quán)會(huì)減少噪聲和偏差。?

3. 做一個(gè)fine tuning。
   

可以看到在驗(yàn)證集上有一個(gè)不錯(cuò)的提升。

實(shí)驗(yàn)

CIFAR10、CIFAR100

ImageNet、Places

iNaturalist 2017、2018

實(shí)驗(yàn)結(jié)果可能沒(méi)有別的論文好，不錯(cuò)方法確實(shí)有效。

探討

融合層的深度

可見(jiàn)，還是在Block4的時(shí)候效果偏好。 作者認(rèn)為在靠近輸入端的特征圖包含更多的空間信息，在增強(qiáng)樣本時(shí)會(huì)引入額外的artifacts（我理解為人為噪聲）。

頭部和尾部的劃分

實(shí)驗(yàn)證明頭部數(shù)據(jù)占總樣本的95%時(shí)效果最好。

總結(jié)

idea簡(jiǎn)單，實(shí)驗(yàn)完整。 挺好

學(xué)姐目前已經(jīng)分享了很多經(jīng)典/前沿論文解讀啦！

大家可以關(guān)注【學(xué)姐帶你玩AI】一起學(xué)習(xí)！

回復(fù)“500”可以獲取論文PDF合集哦~