Two-Stream Convolutional Networks for Action Recognition in Videos?

原文版本： arXiv:1406.2199v2 [cs.CV] 12 Nov 2014

主要：本文在當(dāng)時(shí)提出用兩種2d卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)，一個(gè)主要提取圖像語(yǔ)義信息，一個(gè)主要提取視頻的光流信息去對(duì)視頻進(jìn)行分類。并在當(dāng)時(shí)達(dá)到了和傳統(tǒng)方法旗鼓相當(dāng)?shù)姆诸愃健?/p>

個(gè)人認(rèn)為有兩點(diǎn)很重要，一個(gè)是對(duì)視頻理解使用“多模態(tài)”的信息，將傳統(tǒng)的RGB視頻解析為圖片序列，和光流信息，因?yàn)楸旧淼?d卷積對(duì)于動(dòng)作的變化，物品的紋理會(huì)更關(guān)注，而對(duì)于不同幀之間的異同可能不是那么敏感，而光流的提取與使用另一套神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)的這個(gè)思想，和現(xiàn)在流行的使用多模態(tài)信息的手段非常類似，這一點(diǎn)思路可以用到不同的細(xì)分任務(wù)里面，將你的任務(wù)解構(gòu)，再拼接，如現(xiàn)一些圖像恢復(fù)任務(wù)也會(huì)加入物體的語(yǔ)義分割圖來(lái)進(jìn)行輔助。

同時(shí)有一點(diǎn)小思考，就是視頻理解，和視頻方向的視覺(jué)任務(wù)將不可避免地成為主流，其連貫動(dòng)作中，自然的空間變換帶來(lái)的圖像增強(qiáng)，視頻包含的信息也更符合現(xiàn)實(shí)直覺(jué)等等...如何充分利用視頻里的信息，是我們需要學(xué)習(xí)的。

網(wǎng)絡(luò)架構(gòu)沒(méi)什么好說(shuō)的，和簡(jiǎn)單的AlexNet很像。

重點(diǎn)是在于光流 ——?Optical flow，這個(gè)可以自行了解什么是光流。本文提出了兩點(diǎn)光流手段，一個(gè)是直接將幀與幀之間形成的光流進(jìn)行疊加后輸入網(wǎng)絡(luò)，實(shí)際上都是在對(duì)應(yīng)的同樣的點(diǎn)的位置上去取得光流，對(duì)于每個(gè)光流圖來(lái)說(shuō)，每次都去問(wèn)“這個(gè)位置的點(diǎn)”下一幀是往什么方向走了，不需要關(guān)心這個(gè)點(diǎn)的前后幀的動(dòng)向（可以理解成不關(guān)心時(shí)序信息？）；另種則是根據(jù)光流的軌跡，在軌跡上進(jìn)行光流數(shù)值的疊加，也就是更充分去看物體在整個(gè)流程中的“流動(dòng)方向”。還有一種“Bi-directional optical flow”結(jié)構(gòu)，是另一種光流的計(jì)算方式，是增加信息，更為保險(xiǎn)的操作，類似于bert，等中的冗余信息，用增加信息冗余度去換漲點(diǎn)。

本文中使用的第一種光流信息，因?yàn)閷?shí)際實(shí)驗(yàn)效果會(huì)好一些，作者也不太明白道理，并未跟進(jìn)做更多的實(shí)驗(yàn)，但是直覺(jué)上說(shuō)第二種效果會(huì)更好。（后續(xù)的其他作者的工作也證明了第二種能拿到的語(yǔ)義信息更為豐富，取得了更好的效果）。

最后使用的是非常簡(jiǎn)單的將兩個(gè)最后的權(quán)值做softmax后取平均，換成現(xiàn)在，是不是也可以換成一個(gè)類似于Transformer中的的Attention操作呢。

雙流網(wǎng)絡(luò)是視頻分類與理解領(lǐng)域的開(kāi)山之作，其提出的“光流信息的使用”在現(xiàn)在很多視覺(jué)任務(wù)中仍然經(jīng)常使用，需要了解！