卷積神經(jīng)網(wǎng)絡(luò)中的平移等變性分析
卷積神經(jīng)網(wǎng)絡(luò)(CNN)具有平移等變性的觀點在某種程度上深入人心,但很少有人去探尋其原因或者理論根據(jù)。這篇文章將對這個問題進(jìn)行系統(tǒng)地講解,為后續(xù)進(jìn)一步研究CNN的其他等變性和不變性設(shè)計夯實基礎(chǔ)。
本文作者:q秦嶺北麓小丹童 | 來源:微信公眾號「3D視覺工坊」
在機器學(xué)習(xí)中,我們通常關(guān)注模型的靈活性。我們希望知道選擇的模型實際上能夠完成我們想要的任務(wù)。例如,神經(jīng)網(wǎng)絡(luò)的通用逼近定理使我們相信神經(jīng)網(wǎng)絡(luò)可以近似任何所需精度的廣泛類別的函數(shù)。但完全的靈活性也有缺點。雖然我們知道我們可以學(xué)習(xí)目標(biāo)函數(shù),但也存在許多錯誤的函數(shù),它們在我們的訓(xùn)練數(shù)據(jù)上看起來完全一樣。如果我們是完全靈活的,我們的模型可能會學(xué)習(xí)其中任何一個函數(shù),一旦我們移開了訓(xùn)練數(shù)據(jù),我們可能無法進(jìn)行泛化。因此,需要對網(wǎng)絡(luò)的靈活性加以限制。卷積神經(jīng)網(wǎng)絡(luò)是減少靈活性的一個著名成功案例。相較于早期的MLP網(wǎng)絡(luò),CNN的卷積犧牲了一部分靈活性,但實現(xiàn)了圖像數(shù)據(jù)的平移等變性,這對于圖像處理是十分重要的性質(zhì)。
簡而言之,等變性映射是保留變換的代數(shù)結(jié)構(gòu)的映射。作為一個特殊情況,平移等變映射是一種映射,當(dāng)輸入被平移時,會導(dǎo)致一個映射發(fā)生相應(yīng)的平移,如下圖所示:
當(dāng)左邊的輸入圖像被平移一定的量時,輸出特征圖也會被相同的量進(jìn)行平移。具體而言,如下圖所示,
關(guān)注知乎「3D視覺工坊」(https://www.zhihu.com/people/qiyong1993),及時獲取每日3D視覺行業(yè)最前沿學(xué)術(shù)研究。
點擊加入「SLAM」(https://mp.weixin.qq.com/s/MKi8k8P3PQqPsgCnpryjSQ)技術(shù)交流群