多目標(biāo)跟蹤MOT未來研究方向討論
首先補(bǔ)充一下，避免被抨擊（此處省略笑哭的表情），標(biāo)題中說的“未來研究方向”其實(shí)是相對于之前比較成熟的方案而言的，一方面下面的總結(jié)是我一年半之前的畢業(yè)論文里總結(jié)的內(nèi)容，另一方面下文總結(jié)中的方向可能當(dāng)下正在陸續(xù)被研究者們推進(jìn)中，已經(jīng)不是適用于所有人的“未來方向”了，這里說明一下。
當(dāng)然寫這篇文章的初衷也是大家一起交流討論，所以歡迎大家積極發(fā)表自己正在做的方向或者心目中的未來方向。
正文
之前分享了一篇多目標(biāo)跟蹤MOT的入門綜述，主要是之前自己剛接觸MOT時(shí)，網(wǎng)上的公開資料比較少，為了便于感興趣的朋友能快速入門，就整理了自己畢業(yè)論文里的部分材料，寫下了一篇綜述：(點(diǎn)擊鏈接進(jìn)入)
沒想到這篇文章得到了一些朋友的肯定，并因此結(jié)識了一些同行朋友，想想也是蠻有意義的。不過這篇寫綜述當(dāng)時(shí)比較趕，漏掉了最后的“未來工作”，之前一直想著有時(shí)間再單獨(dú)寫一篇補(bǔ)充一下，但是拖延癥一直沒有行動。最近有幾個(gè)做目標(biāo)跟蹤的朋友私信我詢問可做的方向，就一起討論了一下，也順便寫了這篇文章，希望MOT方向的朋友可以一起交流。
結(jié)合相關(guān)論文和網(wǎng)上開源資料，個(gè)人總結(jié)多目標(biāo)跟蹤后面可以在以下方向投入一下：
（1）多類別多目標(biāo)跟蹤，即MCOT
MCOT，Multiple Classes Object Tracking。當(dāng)前的絕大多數(shù)MOT算法，包括我自己之前的工作在內(nèi)，還都是只針對“汽車”或“行人”等單一目標(biāo)種類進(jìn)行的跟蹤。但在實(shí)際應(yīng)用中一般需要對多個(gè)類別的目標(biāo)進(jìn)行同步跟蹤。所以，在后續(xù)研究中，從事MOT方向研究的朋友們可以考慮嘗試同時(shí)對多類別多目標(biāo)進(jìn)行跟蹤。
（2）多攝像頭多目標(biāo)跟蹤
不難理解，多（跨）攝像頭下的多目標(biāo)跟蹤挑戰(zhàn)性更大。對于多（跨）攝像頭，有兩種工作環(huán)境，第一種是對于同一場景，多個(gè)攝像頭進(jìn)行拍攝，即在多個(gè)視角下進(jìn)行。這種情況下，需要考慮融合來自多個(gè)鏡頭的數(shù)據(jù)信息。第二種是，每個(gè)鏡頭記錄不同的場景，組成一個(gè)非重疊的多相機(jī)網(wǎng)絡(luò)。此時(shí)，跨攝像頭的數(shù)據(jù)關(guān)聯(lián)變成了目標(biāo)重識別（Reid）問題，進(jìn)一步增加了研究難度。
（3）與其它計(jì)算機(jī)視覺任務(wù)結(jié)合的多目標(biāo)跟蹤
目前已經(jīng)有一些研究者著手于將MOT與其它一些計(jì)算機(jī)視覺任務(wù)結(jié)合處理，他們的實(shí)驗(yàn)結(jié)果也表明這些任務(wù)能夠從彼此中獲益。大家可以考慮的結(jié)合包括但不限于：目標(biāo)分割、行人重識別、人體姿勢估計(jì)、動作識別等。舉例說明，目標(biāo)分割分支能夠提供背景信息和場景結(jié)構(gòu)，可能對MOT問題的處理很有幫助。
（4）基于當(dāng)前方案的改進(jìn)，如設(shè)計(jì)新的loss、新的網(wǎng)絡(luò)設(shè)計(jì)、transformer等注意力機(jī)制等
這一部分也是當(dāng)前大家主要在做的方向，也還包括為了便于嵌入式落地所做的輕量級設(shè)計(jì)等工作。當(dāng)然，對于數(shù)據(jù)標(biāo)注、生成的工作也很有意義，因?yàn)槟繕?biāo)跟蹤的數(shù)據(jù)標(biāo)注十分耗時(shí)耗力。這一部分可做的工作其實(shí)蠻多的，篇幅及能力限制，就不在贅述了，歡迎大家積極補(bǔ)充。
其實(shí)，以上部分內(nèi)容小湯之前也已經(jīng)分享過一次百度飛槳pptracking的直播視頻，里面對MOT也做了一些相似的說明，感興趣的朋友可以看一下：（點(diǎn)擊鏈接，即可進(jìn)入）
寫在最后：
歡迎對目標(biāo)跟蹤、目標(biāo)檢測、目標(biāo)分類、語義分割、深度估計(jì)等計(jì)算機(jī)視覺任務(wù)及自動駕駛技術(shù)感興趣的朋友，加入技術(shù)交流群4群，和眾多網(wǎng)友一起交流，一起玩！
推薦閱讀：（點(diǎn)擊進(jìn)入）
