來源：公眾號|3D視覺工坊（系投稿）

作者：周仲凱

「3D視覺工坊」技術交流群已經(jīng)成立，目前大約有12000人，方向主要涉及3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫(yī)療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產(chǎn)品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流、ORB-SLAM系列源碼交流、深度估計等。工坊致力于干貨輸出，不做搬運工，為計算機視覺領域貢獻自己的力量！歡迎大家一起交流成長~

添加小助手微信：CV_LAB，備注學校/公司+姓名+研究方向即可加入工坊一起學習進步。

QQ群「3D視覺研習社」，群號：574432628

計算機視覺三大國際頂級會議之一的 ECCV 2020 已經(jīng)召開。今年 ECCV 共收到有效投稿 5025 篇，是 ECCV 2018 論文投稿數(shù)量的二倍還要多，接收論文1361 篇，接收率為 27%，相比上屆會議下降了約 5%。在接收論文中，oral論文數(shù)為 104 篇，占有效投稿總數(shù)的 2%，spotlight 論文數(shù)目為 161 篇，占比約 3%。其中，最佳論文獎由普林斯頓大學 Zachary Teed 和 Jia Deng 摘得，論文題名為RAFT: Recurre-nt All-Pairs Field Transforms for Optical Flow。論文提出的RAFT模型由于其卓越的泛化能力，成為最新的光流baseline模型：該模型在KITTI在線評價指標中獲得5.10%的異常值比率，相比于當前公布的最佳模型提升了16%，且在MPI-Sintel在線評價指標中獲得2.855px的端點誤差，相比于當前公布的最佳模型提升了30%。本文首先將對光流的基本概念進行闡述，接著對RAFT光流計算模型的具體實施步驟以及對應的思路進行介紹與分析。

1 光流的基本概念

光流是運動物體或場景表面像素點在投影平面的二維瞬時速度，因此圖像序列對應的光流不僅攜帶其中運動目標與場景的運動信息，更包含了其結構信息。

CV2020最佳論文解讀之遞歸全對場變換光流計算模型" data-size="165131" width="1080" height="242">

圖1-1 光流可視化效果展示

圖1-1分別展示了光流計算技術在運動目標檢測中的應用，可以看到：精確的光流不僅可以給出連續(xù)圖像幀中每一像素點的運動信息，還可清晰地分割出運動目標輪廓，其中，通過不同的顏色區(qū)分運動方向，顏色的深淺定義運動矢量大小。

CV2020最佳論文解讀之遞歸全對場變換光流計算模型" data-size="253157" width="1080" height="240">

圖1-2光流計算技術應用

21世紀以來，隨著計算機計算的不斷提升，光流計算技術廣泛的應用于各種更高級的計算機視覺任務中。例如，圖1-2(a) 在針對視頻的人體行為識別的研究中，可利用人體行為的光流特征，增強在時空域中人體行為特征的表述能力，顯著降低異常值點對行為識別產(chǎn)生的不良影響。圖1-2(b) 在運動目標檢測與目標跟蹤的研究中：可根據(jù)光流檢測運動目標的結構、位移特性，減少運動目標之間的匹配時間消耗，提升在攝像機運動情況下，目標檢測、跟蹤的魯棒性。圖1-2(c) 在機器人導航避障的研究中，可利用光流針對圖像區(qū)域的矢量信息，獲得機器人前方區(qū)域的避障信息，提升機器人行動決策的精度。

2 RAFT光流計算模型

RAFT光流計算模型由特征提取模塊、context提取模塊、視覺相似性(Visual Similarity)計算模塊以及更新迭代模塊共同組成。下文將分別對RAFT光流計算模型中各模塊的計算流程以及原理進行分析介紹。

2.1 特征提取模塊與context提取模塊

特征提取模塊的作用為提取輸入第一幀、第二幀圖像中的特征，其中特征的分辨率為輸入圖像的1/8。Context提取模塊的作用同樣為提取特征，只不過只提取第一幀圖像的上下文信息特征，分辨率同樣為輸入圖像的1/8。在結構上，特征提取模塊context提取模塊的結構基本類似，區(qū)別有兩點：首先模塊中選擇的規(guī)范化層不同，特征提取模塊采用的為instance規(guī)劃化技術，而context提取模塊采用的為batch規(guī)劃化技術。其次特征提取模塊輸出單一的輸入圖像特征，而context提取模塊輸出兩份輸入的圖像特征。

2.2 視覺相似性(Visual Similarity)計算模塊

視覺相似性計算模塊的作用和2018cvpr光流領域經(jīng)典論文PWC-Net的思想類似，區(qū)別便是，PWC-Net是在每一層特征金字塔中利用上層金字塔預測光流對當前層的第二幀圖像特征向第一幀圖像特征進行warp，然后對warp的第二幀圖像特征與原始第一幀圖像特征進行匹配獲得對應的cost volume，PWC-Net中cost volume的尺寸為[batch, d, h, w]，例如[2,81,24,80]，代表第一幀圖像特征中的每一個像素點，與warp后第二幀圖像中以這個像素點為中心的9x9鄰域范圍內的點做匹配(點乘操作)，如上式所示，其中k=4,代表匹配的半徑長度為4，與分別代表第一幀圖像特征中的像素點與第二幀圖像特征中的像素點，總共對2個batch進行上述操作。

CV2020最佳論文解讀之遞歸全對場變換光流計算模型" data-size="7907" width="532" height="79">

而RAFT中的視覺相似性計算模塊的計算流程是首先對第一幀圖像特征與第二幀圖像特征匹配獲得一個[batch, h, w, h, w]的cost volume，代表第一幀圖像中的每一個像素點，都與第二幀圖像特征中所有像素點進行匹

CV2020最佳論文解讀之遞歸全對場變換光流計算模型" data-size="8876" width="729" height="75">

配，總共進行batch次上述操作。匹配過程如下式所示，其中與分別為第一幀圖像特征與第二幀圖像特征，i,j,k,l分別為第一幀與第二幀圖像特征的高、寬索引, h為圖像特征的通道維度索引。RAFT在原始圖像分辨率1/8的圖像特征上通過迭代優(yōu)化光流，光流的初始值設定為0,也就是說不產(chǎn)生移動，然后通過該光流索引上述尺寸為[batch, h, w, h, w]的cost volume(方便表示記作CT1)，具體來說便是：在第一次迭代中，因為光流初始值為0，那么便利用上述CT1索引第二幀圖像中以當前像素點為中心的9x9鄰域范圍內點的匹配結果，后續(xù)迭代中，因光流迭代之后不為0，同樣進行上述索引，只不過需要在當前點上施加一個光流的位移，通過此操作獲得的cost volume記作CT2，尺寸為[batch, d, h, w]，d與PWC-Net論文中的參數(shù)一樣，一般為81。通過上述操作便可使匹配范圍進一步擴大，進而在下文中將要提到的更新迭代模塊中求得殘差光流，用來補償初始光流?？赏ㄟ^Pooling操作獲得不同分辨率下的CT2，用來獲得局部以及整體的特征。

2.3 更新迭代模塊

更新迭代模塊的輸入由四部分組成：兩份context提取模塊輸出，CT2，以及上層迭代過程輸出的光流。該模塊利用GRU模塊以及卷積操作，計算出相對于上次迭代過程輸出光流的殘差光流，然后與上次迭代過程輸出光流進行相加用作補償。需要注意的是，該模塊中利用卷積操作學習上采樣權值，使當前1/8分辨率下的光流上采樣到與輸入圖像同尺寸，具體形式如下圖所示，其中w1-w9為利用卷積操作學習到的權重，也就是說，上采樣之后的光流結果中每一像素點的值都與其周圍的9個像素點有關。最后，輸出每一次迭代過程生成的全分辨率光流結果，用于損失函數(shù)計算，更新模型中的參數(shù)。

CV2020最佳論文解讀之遞歸全對場變換光流計算模型" data-size="83862" width="1192" height="508">

3 RAFT模型中的損失函數(shù)

RAFT模型中總共進行12次優(yōu)化迭代，也就是說會產(chǎn)生12個全分辨率下的光流結果。迭代次數(shù)越多，光流計算精度越精確。RAFT模型采用的是監(jiān)督算法，具體步驟可以表示為：通過求取12次光流迭代過程中的光流計算結果與光流真實值的L1范數(shù)，并且迭代的次數(shù)越多，對應L1范數(shù)結果的權值也就越大(說明該結果對整個損失函數(shù)的影響越大)，如下式所示，其中，N=12。

CV2020最佳論文解讀之遞歸全對場變換光流計算模型" data-size="4590" width="256" height="98">

4 總結

本文敘述了ECCV最佳論文RAFT的一般計算步驟，如有不足，請多多指教。

本文僅做學術分享，如有侵權，請聯(lián)系刪文。