4.12 什么是深度學(xué)習(xí)中的anchor？ 解析?: 提到RPN?絡(luò)，就不能不說anchors。所謂anchors，實(shí)際上就是?組由RPN/generate_anchors.py ?成的矩形。直接運(yùn)?Faster RCNN的作者在其論?中給的demo中的generate_anchors.py可以得到以下輸出： [[ -84. -40. 99. 55.] [-176. -88. 191. 103.] ? [-360. -184. 375. 199.] [ -56. -56. 71. 71.] [-120. -120.?135. 135.] [-248. -248.?263. 263.] [ -36. -80. 51. 95.] [ -80. -168. 95. 183.] [-168. -344. 183. 359.]] 其中每?的4個值 表矩形左上和右下?點(diǎn)坐標(biāo)。9個矩形共有3種形狀，長寬?為?約為 ?三種，如下圖。實(shí)際上通過anchors就引?了檢測中常?到的多尺度? 法。???? 注：關(guān)于上?的anchors size，其實(shí)是根據(jù)檢測圖像設(shè)置的。在python demo中，會把任意??的輸?圖像reshape成800x600（即下圖中的M=800，N=600）。????? ? 再回頭來看anchors的??，anchors中長寬1:2中最?為352x704，長寬2:1中最?736x384，基本是cover了800x600的各個尺度和形狀。???? 那么這9個anchors是做什么的呢？借?Faster RCNN論?中的原圖，如下圖，遍歷Conv layers計(jì)算獲得的feature maps，為每?個點(diǎn)都配備這9種anchors作為初始的檢測框。這樣做獲得檢測框很不準(zhǔn)確，不?擔(dān)?，后?還有2次bounding box regression可以修正檢測框位置。???? ? 解釋?下上?這張圖的數(shù)字。 a） 在原?中使?的是ZF model中，其Conv Layers中最后的conv5層num_output=256，對應(yīng)?成 256張?zhí)卣鲌D，所以相當(dāng)于feature map每個點(diǎn)都是256-dimensions b） 在conv5之后，做了rpn_conv/3x3卷積且num_output=256，相當(dāng)于每個點(diǎn)又融合了周圍3x3的空間信息（猜測這樣做也許更魯棒？反正我沒測試），同時256-d不變（如上圖中的紅框） c) 假設(shè)在conv5 feature map中每個點(diǎn)上有k個anchor（默認(rèn)k=9），?每個anhcor要分foreground 和background，所以每個點(diǎn)由256d feature轉(zhuǎn)化為cls=2k scores；?每個anchor都有(x, y, w, h)對應(yīng)4 個偏移量，所以reg=4k coordinates ? d) 補(bǔ)充?點(diǎn)，全部anchors拿去訓(xùn)練太多了，訓(xùn)練程序會在合適的anchors中隨機(jī)選取128個postive anchors+128個negative anchors進(jìn)?訓(xùn)練 注意，在本?講解中使?的VGG conv5 num_output=512，所以是512d，其他類似。 其實(shí)RPN最終就是在原圖尺度上，設(shè)置了密密??的候選Anchor。然后?cnn去判斷哪些Anchor是 ??有?標(biāo)的foreground anchor，哪些是沒?標(biāo)的backgroud。所以，僅僅是個?分類?已！ 那么Anchor?共有多少個？原圖800x600，VGG下采樣16倍，feature map每個點(diǎn)設(shè)置9個Anchor，所以： ? 其中ceil()表?向上取整，是因?yàn)閂GG輸出的feature map size= 50*38。 本解析來源：https://zhuanlan.zhihu.com/p/31426458 解析?： 當(dāng)我們使??個3*3的卷積核，在最后?個feature map上滑動，當(dāng)滑動到特征圖的某?個位置時，以當(dāng)前滑動窗?中?為中?映射回原圖的?個區(qū)域(注意 feature map 上的?個點(diǎn)是可以映射到原圖的?個區(qū)域的，相當(dāng)于感受野起的作?)，以原圖上這個區(qū)域的中?對應(yīng)?個尺度和長寬?，就是?個anchor了。 Fast RCNN使?3種尺度和3種長寬?（1:1；1:2；2:1），則在每?個滑動位置就有 3*3 = 9 個 anchor。 解析三： 在Faster RCNN??，Anchor（或者說RPN?絡(luò)）的作?是代替以往RCNN使?的selective search 的?法尋找圖???可能存在物體的區(qū)域。 當(dāng)?張圖?輸?ResNet或者VGG，在最后?層的feature map上?，尋找可能出現(xiàn)物體的位置，這時 候分別以這張feature map的每?個點(diǎn)為中?，在原圖上畫出9個尺?不?Anchor。然后計(jì)算Anchor 與GT（ground truth）box的IoU（重疊率），滿??定IoU條件的Anchor，便認(rèn)為是這個Anchor包含了某個物體。 ?標(biāo)檢測的思想是，?先在圖?中尋找“可能存在物體的位置（regions）”，然后再判斷“這個位置??的物體是什么東西”，所以region proposal就參與了判斷物體可能存在位置的過程。region proposal是讓模型學(xué)會去看哪?有物體，GT box就是給它進(jìn)?參考，告訴它是不是看錯了，該往哪些地?看才對。