作者：PCIPG-LC ?| 來源：3D視覺工坊

在公眾號「3D視覺工坊」后臺，回復(fù)「原論文」即可獲取論文pdf。

添加微信：dddvisiona，備注：三維重建，拉你入群。文末附行業(yè)細(xì)分群。

盡管目前有許多成功的方法進(jìn)行特征跟蹤，但現(xiàn)有的特征跟蹤器仍受到標(biāo)準(zhǔn)相機(jī)硬件性能的限制。首先，標(biāo)準(zhǔn)相機(jī)面臨帶寬延遲權(quán)衡，這明顯限制了它們在快速移動下的性能：在低幀速率下，它們具有最小的帶寬，但代價是延遲增加；此外，低幀率會導(dǎo)致連續(xù)幀之間出現(xiàn)較大的外觀變化，從而顯著增加跟蹤特征的難度。在高幀速率下，延遲會減少，但代價是增加帶寬開銷與下游系統(tǒng)的功耗。標(biāo)準(zhǔn)相機(jī)的另一個問題是運(yùn)動模糊，這在高速低照度場景中尤為突出。隨著當(dāng)前AR/VR設(shè)備的商品化，這些問題變得更加突出。事件攝像機(jī)已被證明是標(biāo)準(zhǔn)相機(jī)的理想替代品，可以解決帶寬延遲權(quán)衡問題。事件相機(jī)是仿生視覺傳感器，只要單個像素的亮度變化超過預(yù)定義的閾值，就會異步觸發(fā)信息。由于這種獨(dú)特的工作原理，事件攝像機(jī)輸出時間分辨率為微秒級的稀疏事件流，并具有高動態(tài)范圍和低功耗的特點(diǎn)。由于事件主要是根據(jù)邊緣對應(yīng)觸發(fā)的，因此事件相機(jī)呈現(xiàn)最小的帶寬。這使得它們非常適合克服標(biāo)準(zhǔn)相機(jī)存在的缺點(diǎn)。為了解決這些缺陷，本文提出了第一個用于事件相機(jī)的數(shù)據(jù)驅(qū)動特征跟蹤模型，它利用事件相機(jī)的高時間分辨率與標(biāo)準(zhǔn)幀相結(jié)合來最大限度地提高跟蹤性能?；谏窠?jīng)網(wǎng)絡(luò)模型，在后續(xù)事件流中定位來自灰度圖像的模板圖像來跟蹤特征。為了提高跟蹤性能，引入了一種新穎的幀注意模塊，該模塊可以在一個圖像中的特征跟蹤之間共享信息。首先在合成光流數(shù)據(jù)集上進(jìn)行訓(xùn)練，然后使用基于使用相機(jī)姿勢的 3D 點(diǎn)三角測量的新穎自我監(jiān)督方案對其進(jìn)行微調(diào)。本文的跟蹤模型在事件相機(jī)數(shù)據(jù)集基準(zhǔn) EC 和最近發(fā)布的 EDS 數(shù)據(jù)集上分別比最先進(jìn)的方法高出 5.5% 和 130.2%。無需大量手動手動調(diào)整參數(shù)即可實(shí)現(xiàn)此性能。此外，在不優(yōu)化部署代碼的情況下，本文的方法比現(xiàn)有方法實(shí)現(xiàn)了更快的推理速度。最后，將本文的方法與成熟的基于幀的跟蹤器 KLT 進(jìn)行結(jié)合，在高速場景中充分利用兩種數(shù)據(jù)的優(yōu)點(diǎn)。這里也推薦「3D視覺工坊」新課程《深度剖析面向自動駕駛領(lǐng)域的車載傳感器空間同步（標(biāo)定）》。

在高速和高動態(tài)范圍場景中，現(xiàn)有事件相機(jī)特征跟蹤方法的延遲和跟蹤魯棒性具有極好的效果。但是，到目前為止，基于事件的跟蹤方法仍是基于經(jīng)典模型假設(shè)設(shè)計的，這會導(dǎo)致在存在噪聲的情況下跟蹤性能較差。它們要么依賴于運(yùn)動參數(shù)的迭代優(yōu)化，要么對特征可能的變換進(jìn)行簡單的分類。因此，由于未建模因素的影響，不能推廣到不同的場景中去。此外，它們通常具有復(fù)雜的模型參數(shù)，需要大量的手動調(diào)整以適應(yīng)不同的事件相機(jī)和不同的場景。

特征跟蹤算法旨在在后續(xù)時間步中跟蹤參考系中的給定點(diǎn)。通常通過提取參考幀中特征位置周圍的外觀信息，然后在后續(xù)幀中進(jìn)行匹配和定位。遵循此流程，本文在時間步處對給定位置提取灰度幀中的圖像，并使用異步事件流跟蹤該特征。時間步和之間的事件流由事件組成，每個事件編碼像素坐標(biāo)、微秒級分辨率的時間戳和極性。給定參考圖像，本文的網(wǎng)絡(luò)使用前一時間步的特征位置的局部鄰域中的相應(yīng)事件流來預(yù)測和期間的相對特征位移。本地窗口內(nèi)的事件被轉(zhuǎn)換為密集事件表示，具體來講使用 SBT 的最大時間戳版本進(jìn)行數(shù)據(jù)預(yù)處理，其中每個像素都分配有最近事件的時間戳。一旦網(wǎng)絡(luò)將參考補(bǔ)丁定位在當(dāng)前事件補(bǔ)丁內(nèi)，就會更新特征軌跡，并在新預(yù)測的特征位置提取新的事件流，同時保留參考圖像塊。然后重復(fù)這一過程，同時累積相對位移以構(gòu)建一個連續(xù)的特征軌跡。本文方法和幀注意力模塊的概述如圖 2 所示。

為了在當(dāng)前事件流內(nèi)定位模板圖像中的特征，特征網(wǎng)絡(luò)首先基于FPN編碼器對兩個圖片進(jìn)行編碼。生成的輸出是兩個圖像的逐像素特征圖，其中包含上下文信息，同時保留空間信息。為了計算事件圖片和模板圖片中每個像素之間的相似性，本文基于模板圖片編碼器的瓶頸特征向量和事件補(bǔ)丁的特征圖構(gòu)建了一個相關(guān)圖，如下圖所示。隨后，將兩個特征圖與相關(guān)圖組合作為后續(xù)特征編碼器的輸入，以細(xì)化相關(guān)圖。該特征編碼器由標(biāo)準(zhǔn)卷積和一個具有時間狀態(tài)的 ConvLSTM 塊組成。時間信息對于預(yù)測隨時間變化的特征軌跡至關(guān)重要。此外，它還可以集成事件提供的運(yùn)動信息。特征網(wǎng)絡(luò)的輸出是空間維度為1×1的單個特征向量。到目前為止，每個特征都是相互獨(dú)立處理的。

為了在同一圖像不同特征之間進(jìn)行共享信息，本文引入了一種新穎的幀注意模塊，如下圖所示。由于剛體上的點(diǎn)在圖像平面中表現(xiàn)出相關(guān)運(yùn)動，因此在圖像上的特征之間共享信息有很大的好處。為了實(shí)現(xiàn)這一點(diǎn)，本文的幀注意力模塊將當(dāng)前時間步處所有圖像塊的特征向量作為輸入，并基于所有特征向量的自注意力加權(quán)融合計算每個圖像塊的最終位移。具體來說，在一段時間內(nèi)為每個特征設(shè)定一個狀態(tài)，以便利用注意力模塊融合中先前時間步中的位移預(yù)測。時間信息有助于與過去具有相似運(yùn)動的特征之間的信息共享。這樣，通過在相似的特征軌跡上自適應(yīng)地調(diào)節(jié)它們，可以在具有挑戰(zhàn)性的情況下維護(hù)易受攻擊的特征軌跡。每個輸入特征向量首先使用兩個具有 Leaky ReLU 激活函數(shù)的線性層(MLP) 與當(dāng)前狀態(tài)融合（每個特征向量單獨(dú)進(jìn)行）。然后，圖像中產(chǎn)生的所有融合特征都將用作多頭注意力（MHA）的 key、query 和 value，增強(qiáng)圖像每個特征自身信息的提取。為了促進(jìn)訓(xùn)練，在每個特征的多頭注意力周圍引入了一個跳躍連接，該連接在訓(xùn)練過程中通過 Layerscale 層 ?(LS) 進(jìn)行自適應(yīng)加權(quán)。然后，在門控層中使用所得的特征向量，根據(jù)先前的狀態(tài)(GL) 計算更新的狀態(tài)，具體的公式如下所示。

最終，更新后的狀態(tài)通過單個線性層進(jìn)行處理用來預(yù)測最終位移。

跟蹤網(wǎng)絡(luò)、提取網(wǎng)絡(luò)甚至流網(wǎng)絡(luò)的監(jiān)督仍然是一個開放的研究領(lǐng)域，因?yàn)榘袼丶墝?yīng)作為真值的數(shù)據(jù)集很少見。更糟糕的是，基于事件的精確像素對應(yīng)的數(shù)據(jù)集更少。為了克服這個限制，本文首先使用來自 Multiflow 數(shù)據(jù)集的合成數(shù)據(jù)來訓(xùn)練本文的網(wǎng)絡(luò)，其中包含幀、合成生成的事件和真實(shí)像素流。然而，由于沒有對噪聲進(jìn)行建模，因此合成事件與真實(shí)事件攝像機(jī)記錄的事件有很大不同。因此，在第二步中，使用新穎的姿勢監(jiān)督損失來微調(diào)本文的網(wǎng)絡(luò)，以縮小合成事件和真實(shí)事件之間的差距。

合成數(shù)據(jù)的好處在于它提供了真實(shí)的特征軌跡。因此，基于L1距離損失可以直接應(yīng)用于預(yù)測和真實(shí)值之間的每一個預(yù)測步驟的預(yù)測和真是位移之間的相對位位移，如圖3所示。

有可能預(yù)測的特征軌跡發(fā)散到模板塊之外，使得下一個特征位置不在當(dāng)前搜索中。因此，如果預(yù)測位移和真實(shí)位移的差值| | Δf ( j-Δfj | | 1 )超過了塊半徑r，我們不將L1距離加到最終損失中，以避免在監(jiān)督中引入噪聲。我們的截斷損失函數(shù)的定義如下所示：

為了使網(wǎng)絡(luò)適應(yīng)真實(shí)場景，引入了一種新穎的僅基于已標(biāo)定相機(jī)真實(shí)姿態(tài)的姿態(tài)監(jiān)督損失函數(shù)。利用運(yùn)動結(jié)構(gòu)回復(fù)（SFM）算法，例如COLMAP，或者通過外部運(yùn)動捕捉系統(tǒng)，可以很容易地獲得稀疏時間步的真實(shí)姿態(tài)。由于本文的監(jiān)督策略依賴基于位姿的3D點(diǎn)的三角剖分，因此只能應(yīng)用在靜態(tài)場景中。在微調(diào)的第一步，跟蹤模型預(yù)測一個事件序列的多個特征軌跡。對于每個預(yù)測軌跡，直接使用Direct Linear Transform(DLT)算法計算相應(yīng)3D點(diǎn)。具體來說，對于每個特征位置，可以使用相機(jī)位姿假設(shè)針孔相機(jī)模型的投影方程，表示為時間步的旋轉(zhuǎn)矩陣、平移向量與標(biāo)定矩陣，具體計算如下述公式。由此得到的投影矩陣可以表示為由列向量組成的矩陣，其中。

利用DLT算法，可以將投影方程轉(zhuǎn)化為如下述公式的齊次線性方程組。通過SVD，得到使方程的最小二乘誤差最小的三維點(diǎn)。一旦計算出的三維位置，就可以利用透射投影公式來找到每個事件步相對應(yīng)的重投影像素點(diǎn)。。最終的位姿監(jiān)督損失函數(shù)根據(jù)預(yù)測的特征和在時刻每個可用的相機(jī)位姿的重投影特征構(gòu)建。如圖4所示。

本文使用如下的截斷損失函數(shù)，當(dāng)重投影的特征不在事件塊之內(nèi)時， 排除該部分損失函數(shù)的值。

本文在常用的事件相機(jī)數(shù)據(jù)集EC（參考論文：The event-camera dataset and simulator: Event-based data for pose estimation, visual odometry, and SLAM）上比較了提出的數(shù)據(jù)驅(qū)動跟蹤模型，該數(shù)據(jù)集包括APS幀（24 Hz）和分辨率為240 × 180的事件，使用DAVIS240C相機(jī)記錄。此外，該數(shù)據(jù)集利用外部運(yùn)動捕捉系統(tǒng)以200 Hz的速率提供實(shí)際的相機(jī)姿態(tài)。此外，為了在更新的傳感器設(shè)置下評估跟蹤性能，本文在新發(fā)布的Event-aided Direct Sparse Odometry（EDS）數(shù)據(jù)集（參考文獻(xiàn)：Event-aided Direct Sparse odometry）上測試了本文的方法。與EC數(shù)據(jù)集相比，EDS數(shù)據(jù)集包含更高分辨率的幀和事件（640×480像素）。與EC數(shù)據(jù)集類似，它包含了來自外部運(yùn)動捕捉系統(tǒng)的150 Hz速率的真實(shí)姿態(tài)。由于EDS和EC的主要目的是評估相機(jī)位姿估計，因此兩個數(shù)據(jù)集中的大多數(shù)場景都是靜態(tài)的。

為了評估不同的特征跟蹤模型，本文首先用Harris角點(diǎn)檢測器對每個序列提取特征。在初始特征集的基礎(chǔ)上，每個被測跟蹤模型根據(jù)其特定的更新率預(yù)測特征位移。遺憾的是，EDS和EC這兩個數(shù)據(jù)集沒有可以作為真值的特征軌跡。為了評估沒有真值的特征跟蹤模型，先前的工作使用基于幀的KLT跟蹤模型預(yù)測的軌跡作為真值。相反，為了提高KLT軌跡的精度，基于本文提出的位姿監(jiān)督方法設(shè)計評估方案。具體來說，作為真實(shí)值的軌跡是通過使用相機(jī)實(shí)際的姿態(tài)對KLT軌跡進(jìn)行三角剖分，然后將其重新投影到每個選定的目標(biāo)幀中得到的。對KLT軌跡進(jìn)行三角剖分的好處是KLT的微小跟蹤誤差可以被濾除，從而得到幾何一致的真實(shí)軌跡。為了驗(yàn)證所提出的評估方法，本文進(jìn)行了一個真實(shí)特征軌跡可得的仿真實(shí)驗(yàn)。在這個模擬實(shí)驗(yàn)中，本文計算了KLT重投影誤差與真實(shí)特征軌跡之間的皮爾森相關(guān)系數(shù)，其值為0.716。這表明本文提出的評估方案與真實(shí)特征軌跡之間存在顯著的相關(guān)性，驗(yàn)證了本文的評估方案的有效性。由于每個測試的跟蹤模型都有其更新率，因此本文對所有特征軌跡進(jìn)行線性插值，保證與真實(shí)姿勢時間步長相同，以計算評估指標(biāo)。此外，為了有效測試方法基于事件的跟蹤能力，本文在評估期間不更新特征模板。此外，我們停用所有終端標(biāo)準(zhǔn)并報告特征與真實(shí)值超過一定距離的時間，稱為 Feature Age（FA）。本文沒有像之前的工作那樣選擇一個錯誤閾值，而是以1像素的步長評估1-31像素范圍內(nèi)的多個錯誤閾值的軌跡。因此，不報告端點(diǎn)誤差，因?yàn)槭褂貌煌恼`差閾值測試每個軌跡，這有效地將距離誤差納入 FA 中。作為第一個性能指標(biāo)，本文計算由真實(shí)軌跡持續(xù)時間歸一化的跟蹤 FA，以考慮不同的軌跡長度。。然而，由于一些特征軌跡在開始時被丟棄掉，本文展示穩(wěn)定軌跡的 FA。第二個誤差度量通過穩(wěn)定軌跡和真實(shí)軌跡之間比率來表示被丟失的軌跡。然后將該比率乘以 FA，計算的結(jié)果作為第二個性能指標(biāo)。該指標(biāo)結(jié)合了方法跟蹤的特征軌跡的質(zhì)量和數(shù)量。

首先在有3000個特征軌跡的Multiflow數(shù)據(jù)集上使用ADAM優(yōu)化器進(jìn)行模型訓(xùn)練。學(xué)習(xí)率設(shè)置為。最初從 4 個unroll step開始，在 80000 和 120000 個訓(xùn)練步后，逐漸將unroll step分別增加到 16 和 24。在Multiflow數(shù)據(jù)集上訓(xùn)練完成之后，使用本文提出的監(jiān)督方法進(jìn)行700次優(yōu)化迭代進(jìn)行參數(shù)的微調(diào)。在達(dá)到指定訓(xùn)練次數(shù)時學(xué)習(xí)率降低至。這些數(shù)據(jù)集不用于評估。

本文將本文的方法與當(dāng)前最先進(jìn)的方法 EKLT 進(jìn)行比較，后者的每個特征均從灰度圖像中提取對應(yīng)模板塊，并通過事件跟蹤該特征，類似于本文所提的跟蹤模型。作為另一個依賴灰度模板的跟蹤模型，本文還比較了 ICP 跟蹤模型用于基于事件的視覺里程計。此外，還針對純基于事件的跟蹤模型 HASTE 和 EM-ICP 進(jìn)行評估。對于 EKLT、HASTE 和 EM-ICP，采用公開可用的代碼來進(jìn)行實(shí)驗(yàn)。ICP 的實(shí)施取自相關(guān)工作（參考論文：Standard and event cameras fusion for feature tracking）。所有方法的超參數(shù)都針對特定數(shù)據(jù)集進(jìn)行了調(diào)整，這需要多個小時才能實(shí)現(xiàn)最佳性能。

在常用的跟蹤數(shù)據(jù)集 EC 上，本文提出的數(shù)據(jù)驅(qū)動方法在非零 FA 和預(yù)期 FA 方面均優(yōu)于其他方法，詳細(xì)如表 1。性能處在第二位的方法為 EKLT，它跟蹤特征的持續(xù)時間與本文提出的方法相近，如表 1 中的非零 FA 指標(biāo)所示。然而，本文的方法能夠從預(yù)期 FA 生成初始特征集中跟蹤更多特征。成功跟蹤特征的比例越高，F(xiàn)A 越長，使本文的方法更適合姿態(tài)估計等下游任務(wù)。從圖 5 的第一行可以看出，與 EKLT 和 HASTE 相比，本文的方法產(chǎn)生了更多的平滑特征軌跡。正如預(yù)期的那樣，純粹基于事件的方法（HASTE、EM-ICP）和使用灰度圖像作為模板的方法（本文的、EKLT）之間存在性能差距。這證實(shí)了利用灰度圖像提取模板（隨后基于事件進(jìn)行跟蹤）的好處。

與在 EC 數(shù)據(jù)集上的性能表現(xiàn)類似，本文提出的方法在 EDS 數(shù)據(jù)集上優(yōu)于所有現(xiàn)有跟蹤方法，在非零 FA 和預(yù)期 FA 方面具有更大的優(yōu)勢，如表 1 所示。性能的顯著提升證實(shí)了本文方法能夠處理不同光照條件和噪聲模式的 3D 場景中獲得的高分辨率數(shù)據(jù)。由于使用 Splitter 設(shè)置來記錄 EDS 數(shù)據(jù)集的數(shù)據(jù)，因此事件和圖像之間存在未對準(zhǔn)偽影，并且由于入射光的減少而導(dǎo)致事件中存在低光噪聲。此外，與 EC 數(shù)據(jù)集相比，EDS 包括更快的相機(jī)運(yùn)動，導(dǎo)致所有方法的總體跟蹤性能較低。盡管如此，本文的方法能夠處理不同的噪聲源，同時可以預(yù)測大量的特征軌跡，如圖 5 第二行和第三行所示。最后，除了性能增益之外，本文方法不需要數(shù)小時的手動微調(diào)來將跟蹤模型從小分辨率轉(zhuǎn)移到具有不同對比度閾值設(shè)置的高分辨率事件相機(jī)上。

要在實(shí)際應(yīng)用中使用特征跟蹤模型，提供低延遲的特征位移更新至關(guān)重要。因此，根據(jù)實(shí)際影響事件的因素評價不同方法的運(yùn)行時間，即計算時間除以接收數(shù)據(jù)的時間，圖 6 展示了各個方法的跟蹤性能。應(yīng)該指出的是，大多數(shù)跟蹤方法并不是為了運(yùn)行效率而實(shí)現(xiàn)的，此外由于使用不同的編程語言實(shí)現(xiàn)，無法做到絕對的公平。此外，本文對所有方法進(jìn)行調(diào)整，重點(diǎn)關(guān)注跟蹤性能，這解釋了為什么 EKLT 的運(yùn)行時間很長，因?yàn)楸疚娘@著增加了優(yōu)化迭代的次數(shù)。盡管如此，不同方法的運(yùn)行時間可以粗略地認(rèn)為不同方法的推理速度。對于 HASTE，本文還展示了理想 HASTE 的運(yùn)行時間，在圖 6 中名為 HASTE 假設(shè) HASTE 代碼框架完美并行，按順序跟蹤每個特征。即使沒有優(yōu)化部署代碼，本文方法也能在 EC 數(shù)據(jù)集上展現(xiàn)出接近實(shí)時的性能，同時也是 EDS 數(shù)據(jù)集上最快的方法，具有更高的跟蹤性能。在 EDS 數(shù)據(jù)集上，本文的方法并行處理 19.7 個補(bǔ)丁平均需要 17 毫秒，而在使用 Nvidia Quadro RTX 8000 GPU 的 EC 上處理 14.2 個補(bǔ)丁需要 13 毫秒。本文方法的快速推理能力可以通過深度學(xué)習(xí)架構(gòu)的批量處理和高度并行化框架來解釋。這表明本文的方法具有應(yīng)用于低延遲場景的潛力。這里也推薦「3D視覺工坊」新課程《深度剖析面向自動駕駛領(lǐng)域的車載傳感器空間同步（標(biāo)定）》

為了結(jié)合灰度圖像的上下文信息和事件的高延遲信息，本文使用流行的 KLT 幀跟蹤方法擴(kuò)展了基于事件的跟蹤方法。具體來說，本文使用事件跟蹤方法來跟蹤兩幀之間盲區(qū)內(nèi)的特征，并在新幀到達(dá)后使用跟蹤模型的位移預(yù)測作為 KLT 跟蹤器的初始猜測。這樣做的好處是可以有效減輕高速運(yùn)動造成的兩幀之間基線過大的負(fù)面影響。此外，與本文事件跟蹤模型的結(jié)合提供了兩幀之間的特征位置，顯著增加了特征位置更新的頻率。另一方面，一旦獲得可靠的幀信息，KLT 跟蹤器就可以糾正特征位置。當(dāng)基于相機(jī)姿態(tài)構(gòu)建真值時，使用具有三個層次尺度的 KLT 跟蹤器來處理更大的運(yùn)動。將本文的方法和 KLT 跟蹤器（Ours+KLT）的組合與純 KLT 跟蹤器的幀間不同像素運(yùn)動進(jìn)行比較，如圖 7 所示。不同的像素運(yùn)動是通過在 EC 數(shù)據(jù)集序列中跳幀來實(shí)現(xiàn)的，這對應(yīng)于增加兩幀之間的像素運(yùn)動。從圖 7 中可以看出，對于幀間的小像素位移，本文的跟蹤模型和 KLT 組合的性能與純 KLT 跟蹤器相當(dāng)。然而，隨著像素運(yùn)動的增加，本文方法提供的初始猜測有助于 KLT 跟蹤器在更長的時間內(nèi)跟蹤特征。此外，本文基于事件的跟蹤方法可以在高速運(yùn)動期間，即當(dāng)幀遭受運(yùn)動模糊時提供強(qiáng)大的特征跟蹤。這可以在圖 1 中可以觀察到，圖 1 顯示了本文的跟蹤模型由于高速運(yùn)動而導(dǎo)致的運(yùn)動模糊幀上預(yù)測的平滑特征軌跡。

為了測試每個網(wǎng)絡(luò)模塊對整個模型的具體貢獻(xiàn)，本文基于參考模型進(jìn)行了幾次消融實(shí)驗(yàn)，參考模型沒有幀注意模塊，詳情參見表 1。合成數(shù)據(jù)訓(xùn)練期間的增強(qiáng)顯著促進(jìn)了從合成數(shù)據(jù)到現(xiàn)實(shí)世界數(shù)據(jù)的零樣本傳輸。此外，特征編碼器中的循環(huán)導(dǎo)致更長的 FA（w/recurrence），這也是通過引入相關(guān)圖（w/o correlation）在較小規(guī)模上實(shí)現(xiàn)的。雖然在 EC 數(shù)據(jù)集上沒有任何改進(jìn)，但本文提出的幀注意力模塊顯著提高了 EDS 數(shù)據(jù)集上序列的性能。這種性能的提高證實(shí)了在相似的特征軌跡之間共享信息的好處。通過使用本文的自我監(jiān)督方案將基于幀注意模塊（Ref+Frame Attention）的網(wǎng)絡(luò)適應(yīng)真實(shí)數(shù)據(jù)，實(shí)現(xiàn)了最高的跟蹤性能。最后，幀注意力模塊依賴狀態(tài)變量（無狀態(tài)）來充分利用幀中特征之間共享信息。

本文提出了第一個用于事件相機(jī)的數(shù)據(jù)驅(qū)動特征跟蹤模型，它利用低延遲事件來跟蹤在灰度幀中檢測到的特征。借助本文提出的幀注意力模塊，該模塊融合特征軌跡上的信息，本文的跟蹤模型在兩個數(shù)據(jù)集上的性能優(yōu)于最先進(jìn)的方法，同時推理時間更短。此外，本文提出的方法不需要進(jìn)行大量的手動參數(shù)調(diào)整，并且可以通過本文的自監(jiān)督策略適應(yīng)新的事件相機(jī)。最后，本文可以將基于事件的跟蹤模型與 KLT 跟蹤模型結(jié)合起來，用于在具有挑戰(zhàn)性的場景中進(jìn)行穩(wěn)定軌跡的預(yù)測。

目前工坊已經(jīng)建立了3D視覺方向多個社群，包括SLAM、工業(yè)3D視覺、自動駕駛方向。

細(xì)分群包括：

[工業(yè)方向]三維點(diǎn)云、結(jié)構(gòu)光、機(jī)械臂、缺陷檢測、三維測量、TOF、相機(jī)標(biāo)定、綜合群；

[SLAM方向]多傳感器融合、ORB-SLAM、激光SLAM、機(jī)器人導(dǎo)航、RTK|GPS|UWB等傳感器交流群、SLAM綜合討論群；

[自動駕駛方向]深度估計、Transformer、毫米波|激光雷達(dá)|視覺攝像頭傳感器討論群、多傳感器標(biāo)定、自動駕駛綜合群等。

[三維重建方向]NeRF、colmap、OpenMVS等。除了這些，還有求職、硬件選型、視覺產(chǎn)品落地等交流群。

大家可以添加小助理微信: dddvisiona，備注：加群+方向+學(xué)校|公司, 小助理會拉你入群。

標(biāo)簽：