論文分享
2021CVPR基于相關學習的多目標檢測：Multiple Object Tracking with Correlation Learning
摘要
當前卷積網路通過學習檢測和外觀特征，極大的提高了多目標跟蹤的性能，但是由于卷積網路本身的局限性，無法有效的獲得空間和時間的長期依賴關系，基于空間布局，作者提出了利用區域相關模塊來建模目標與其周圍環境之間的拓撲關系，用來加強模型在擁擠場景中的識別能力，具體的方式就是建立每個空間位置與其環境的密集對應關系，并通過自我監督學習明確地約束相關體積，現有的方式通常是利用兩個或兩個以上的相鄰幀來構造增強的特征表示，但是在動態場景中使用卷積網路描述具有困難，所以作者提出一個可學習的相關算子，在不同層的卷積特征映射上建立幀與幀的匹配，以此來捕獲時序資訊，
介紹
首先介紹了多目標跟蹤(MOT)的兩種常見范式：tracking-by-detection（TBD）范式和joint-detection-and-tracking（JDT）范式，
TBD范式：利用檢測和資料管理任務的自然劃分來解決問題，在視頻每幀中先檢測出來所有感興趣的目標物體，然后將其與前一幀中檢測出來的目標進行關聯來實作跟蹤的效果，這種方式的優點是可以在整個視頻中跟蹤隨時出現的新目標，當然這種方式要求你前提得有一個好的“目標檢測”演算法，主要是配合匈牙利演算法實作匹配，使用這種范式主要是關注優化檢測，特征表示或者是資料關聯，但是這種方法在復雜場景中對于存在確定干擾物或者頻繁遮擋方面仍然存在急需優化的地方，低下的級聯結構也是需要改進的地方，
JDT范式：端到端可訓練的檢測框范式，共同學習檢測和外觀特征，詳情可見joint-detection-and-tracking
下圖是論文中特征追蹤和相關追蹤兩種方法在存在干擾時的表現對比圖，如果存在相似的干擾選項，僅采用特征追蹤進行目標與軌跡之間的匹配是不夠的，通過特征追蹤得到的匹配置信度不夠精確，導致跟蹤關聯部分的性能下降，這些方法之所以無法很好地區分相似的目標，是因為其受限于區域的感受野，下圖（b）便是這篇文章提出的方法生成的熱度圖，很輕易地能夠看出，CorrTracker可以很好地區分不同的目標，
基于存在的問題，作者提出使用相關網路來學習目標和環境的拓撲資訊，也就是說使用一種空間相關層來記錄目標和相對空間位置之間的關系，由于實時為所有位置構建全相關拓撲在實時運算上是無法實作的（運算量過大），但是可以通過限制特征的方式來構建區域的拓撲結構，此外，作者的相關性學習并不局限于興趣類別的目標[53,49]，背景背景，如車輛，也被建模，以幫助目標識別和關系推理，建立了每個空間位置及其環境的密集對應關系，并通過自監督學習明確地約束相關體積，為解決傳統MOT當中由于獨立幀輸入所帶來的擁擠場景表現不佳的問題，本文采用輸入多個相鄰幀的方式來實作時間上的一致性，提高了在遮擋場景中的性能，此次為解決CNN本身的局限性，本文將空間相關模塊擴展到時間維度，并加入歷史資訊來減少出現歧義的情況，
簡單總結一下:
- 提出了CorrTracker，一個利用相關性的跟蹤器，對目標極其周圍環境之間的關系進行建模；
- 采用自監督學習的方法來訓練區域相關性模塊，使得模型對相似物體的判別能力更強；
- 拓展空間區域相關性模塊到時間維度，提取時序資訊；
- CorrTracker達到了sota，在MOT17測驗集上達到了76.5%的MOTA和73.6%的IDF1，
CorrTracker流程
一共分為三大部分：
- 通用特征提取
- 基于時空相關性的同時學習和檢測預測
- 進行資料關聯以將檢測分配到其最可能的軌跡中
其中步驟一和步驟二是微分的，并組成端到端的可訓練架構，采用了一種緊湊的關聯技術，類似于DeepSORT所使用的技術來控制磁道的初始化和終止，其主要目的是對特征地圖上密集位置與其背景關系之間的相關性進行高效建模，這有助于抑制復雜場景中的干擾因素，
對應的數學表達方式：
為了解決直接使用ReID特征而不考慮背景關系使得引入過多沒必要的標識切換所帶的滯后性的跟蹤魯棒性，作者對物體的區域結構進行重新建模，以區分物體與干擾物，受到光流相關體積的啟發,作者用相關體積中的置信值模擬了每個目標的結構，并設計了一個新的密集相關模塊，為了探究MOT的背景關系資訊，
空間區域相關層
特征金字塔的相關性學習：
通過這種方法，我們可以獲得目標和整個全域背景關系之間的近似相關性，同時保持緊致性和效率，我們的金字塔相關性利用了視頻中自然的時空連貫性，多目標跟蹤可以分解為多個獨立的單目標跟蹤，我們的方法可以等效于特征金字塔上的密集暹羅網路跟蹤[2]，另一方面，從集合匹配的角度來看，需要考慮全域特征，我們的多尺度關聯考慮了資訊傳輸的兩個方面，
時間相關學習
MOT場通常忽略不同幀之間的相關性，跟蹤器通常通過資料關聯來克服遮擋，單幀檢測器難以確保良好的時間一致性，這使得該演算法在遮擋、運動模糊和小目標場景中的性能顯著下降，成為運動目標檢測的瓶頸，在論文3-2中擴展了空間區域相關性到時間維度，并為不同幀中的目標建立相關性，兩幀之間的相關性可以看作是運動資訊學習的建立，還使用這種相關性來增強特征表示，這可以提高檢測精度，具體來說則是在不同幀之間建立多尺度相關性，并使用參考影像作為存盤器來增強影像特征，該方法有助于跟蹤器克服目標遮擋和運動模糊，提高檢測和身份特征的一致性，
自監督特征學習
在這里，作者研究了一種多任務學習方法，該方法通過視覺物件跟蹤對語意進行監督，并通過對應流對相關體積進行自我監督訓練，我們的關聯模塊是可解釋的，用于測量不同物件之間的相似性，實際上，我們的方法密集地執行msm×Nsiamese跟蹤操作，以提高分辨力，從這個角度來看，我們可以明確實施跟蹤監督，地面真相標簽設定方式
其中y是要素地圖中相應位置的標識標簽，使用一種類似于平衡交叉熵的方式來訓練，至于自監督訓練的部分，作者采用了論文Tracking Emerges by Colorizing Videos中的著色任務來進行跟蹤的方法，
實驗結果
在MOT17驗證集上評估相關性架構，
添加的自監督損失對跟蹤器整體性能的提升效果
過濾器尺寸對MOT17-val速度和MOTA精度的影響
與MOT基準的最新水平的比較
可視化的目標跟蹤軌跡
在MOT17和MOT20上的相關跟蹤器的定性結果
總結
在本文中，作者提出了一種新的相關跟蹤框架，基于關系結構有助于區分相似物件的觀察結果，我們的相關模塊將所有目標與其本地背景關系緊密匹配，并從相關卷中學習有區別的嵌入，此外，作者還展示了如何將相關模塊從空間布局擴展到相鄰幀，以增強時間建模能力，探討了自我監督學習對相關量施加區別性約束的方法，它可以明確地預測實體流，對四個MOT挑戰的大量實驗表明，本文提出的CorrTracker實作了最先進的性能，并且推理效率很高，
歡樂的時光總是短暫的，讓我們下一次再見！！！
good good study,day day up! (study hard, improve every day)
預知后事，請聽下回分解！！！！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/302593.html
標籤：其他
上一篇：【影像隱寫】DESIGNING STEGANOGRAPHIC DISTORTION USING DIRECTIONAL FILTERS（WOW）論文筆記（附matlab代碼）