注意力機(jī)制

注意力機(jī)制是cv深度學(xué)習(xí)里面常用到的一個(gè)小技巧，核心就是讓網(wǎng)絡(luò)去關(guān)注到他所需要去關(guān)注的一個(gè)地方

當(dāng)利用卷積神經(jīng)網(wǎng)絡(luò)去處理圖片的時(shí)候，我們會(huì)更希望卷積神經(jīng)網(wǎng)絡(luò)去注意它應(yīng)該注意的地方，而不是每一個(gè)地方都需要去關(guān)注，不可能自己去手動(dòng)調(diào)節(jié)網(wǎng)絡(luò)需要注意的地方，所以就提出了注意力機(jī)制，希望讓網(wǎng)絡(luò)自己去自適應(yīng)的注意需要的物體，注意力機(jī)制其實(shí)就是網(wǎng)絡(luò)進(jìn)行這個(gè)網(wǎng)絡(luò)自適應(yīng)注意的一個(gè)方式

一般來(lái)講注意力機(jī)制可以分

• 通道注意力機(jī)制
• 空間注意力機(jī)制
• 通道注意力機(jī)制、空間注意力機(jī)制二者的結(jié)合

空間注意力機(jī)制

• 上圖中的長(zhǎng)方體表示特征層，一般來(lái)講一個(gè)特征層有長(zhǎng)、寬、高
• 空間注意力機(jī)制事實(shí)上是去分辨所看到的畫(huà)面哪一個(gè)區(qū)域是比較重要的
• 其實(shí)特征層會(huì)存在非常多的特征，如上圖中的圓圈所示（其實(shí)它只是一個(gè)點(diǎn)而已），空間注意力機(jī)制事實(shí)上就是去關(guān)注哪一些點(diǎn)是需要去注意的
• 比如說(shuō)現(xiàn)在想要去檢測(cè)一只鳥(niǎo)，那么這個(gè)鳥(niǎo)的區(qū)域肯定是最重要的，而這時(shí)候如果使用空間注意力機(jī)制的話(huà)，網(wǎng)絡(luò)就會(huì)自適應(yīng)的去關(guān)注這個(gè)鳥(niǎo)所在的位置，如圖所示
• 因?yàn)樽⒁饬C(jī)制一般會(huì)以一種權(quán)重的方式進(jìn)行體現(xiàn)，所以空間注意力機(jī)制就會(huì)讓屬于鳥(niǎo)的這個(gè)位置的權(quán)重變得更大一些（鳥(niǎo)的位置其實(shí)也會(huì)對(duì)應(yīng)一些特征點(diǎn)，所以就讓這些點(diǎn)的權(quán)重變得更大），那么網(wǎng)絡(luò)在往后計(jì)算的時(shí)候就會(huì)更加關(guān)注這個(gè)鳥(niǎo)

通道注意力機(jī)制

• 上圖所示也是一個(gè)特征層，它有高、寬、通道數(shù)
• 通道注意力機(jī)制其實(shí)就是去關(guān)注哪一個(gè)通道是更加重要的
• 對(duì)于特征圖來(lái)講，它每個(gè)位置都會(huì)有一個(gè)特征點(diǎn)，每一個(gè)特征點(diǎn)都存在著若干個(gè)通道，每一個(gè)通道都是我們特征點(diǎn)所對(duì)應(yīng)的特征濃縮，因?yàn)榫矸e其實(shí)是發(fā)現(xiàn)輸入圖像不同區(qū)域的一個(gè)特征，這些特征是一個(gè)高維的高語(yǔ)義信息的特征，更加具體的理解，就好像是點(diǎn)特征、線(xiàn)特征一樣，通道注意力機(jī)制其實(shí)就是去關(guān)注到底哪一些特征是重要的
• 比如說(shuō)可能獲得了一些明暗信息的特征，可能獲得一些色域信息的特征，這些特征對(duì)于分辨物體來(lái)講可能并不是很重要的，通道注意力機(jī)制其實(shí)就是去自適應(yīng)的決定哪一部分的特征是最重要的，然后就會(huì)在通道的位置上去關(guān)注哪一個(gè)更高語(yǔ)義信息的特征，比如說(shuō)點(diǎn)特征、線(xiàn)特征、明暗特征等
• 一般來(lái)講點(diǎn)特征、線(xiàn)特征主觀(guān)感覺(jué)的話(huà)，其實(shí)可能會(huì)比明暗特征更重要一些，在分辨物體的時(shí)候，通道注意力機(jī)制就會(huì)去關(guān)注點(diǎn)和線(xiàn)的特征，把它們的權(quán)值設(shè)的高一些，比如說(shuō)0.9，明暗的特征可能就設(shè)成0.1，當(dāng)然實(shí)際獲取到的特征不是這個(gè)形式，這里只是舉個(gè)例子，這樣的話(huà)就可以實(shí)現(xiàn)通道注意力機(jī)制了

其實(shí)空間注意力機(jī)制和通道注意力機(jī)制是網(wǎng)絡(luò)自適應(yīng)注意的一個(gè)方式，還有一種方式就是把這二者結(jié)合起來(lái)，畫(huà)的話(huà)可能不太好畫(huà)，就不畫(huà)了，自己腦補(bǔ)（doge）

----end----