目錄
- （序）論文及代碼:
- 一.SORT
- 1.預測模型
- 2. 資料關聯
- 3.目標丟失的問題
- 二.DeepSORT
- 1.狀態估計:
- 2.軌跡處理：
- 3.Assignment Problem
- 4.Motion Metric
- 5.Appearance Metric
- 6.匹配級聯
- 7.Deep Appearance Descriptor
- 8.演算法總結
（序）論文及代碼:
SORT論文傳送門
SORT代碼傳送門
DeepSORT論文傳送門
DeepSORT代碼傳送門
一.SORT
1.預測模型
X = [ u , v , s , r , u ˙ , v ˙ , s ˙ ] T X=[u,v,s,r,\dot{u},\dot{v},\dot{s}]^{T} X=[u,v,s,r,u˙,v˙,s˙]T
其中u和v分別代表目標的中心橫縱坐標，s和r表示目標的BBox的尺寸大小和比例，注意長寬比應該為一個常量，因此后面三個量表示預測的下一幀，當檢測與目標關聯時，檢測到的邊界框用于更新目標狀態，其中通過卡爾曼方法對速度分量進行了優化求解，如果沒有檢測與目標關聯，則只需使用線性速度模型，
2. 資料關聯
作者使用匈牙利指派演算法進行資料關聯，使用的cost矩陣為原有目標在當前幀中的預測位置和當前幀目標檢測框之間的IOU，當然小于指定IOU閾值的指派結果是無效的，作者發現使用IOU能夠解決目標的短時被遮擋問題，這是因為目標被遮擋時，檢測到了遮擋物，沒有檢測到原有目標，假設把遮擋物和原有目標進行了關聯，那么在遮擋結束后，因為在相近大小的目標IOU往往較大，因此很快就可以恢復正確的關聯，這是建立在遮擋物面積大于目標的基礎上的
3.目標丟失的問題
如果連續 [公式] 幀沒有實作已追蹤目標預測位置和檢測框的IOU匹配，則認為目標消失，實驗中設定 [公式] ，原因有二，一是勻速運動假設不合理，二是作者主要關注短時目標追蹤，另外，盡早洗掉已丟失的目標有助于提升追蹤效率，但是，問題就出現了，這樣的話目標的ID一定會頻繁的切換，這樣就會造成跟蹤計數的不準確！
二.DeepSORT
1.狀態估計:
使用一個8維空間去刻畫軌跡在某時刻的狀態 [公式]
分別表示bounding box中心的位置、縱橫比、高度、以及在影像坐標中對應的速度資訊，然后使用一個kalman濾波器預測更新軌跡，該卡爾曼濾波器采用勻速模型和線性觀測模型，其觀測變數為 [公式]
2.軌跡處理：
這個主要說軌跡什么時候終止、什么時候產生新的軌跡，首先對于每條軌跡都有一個閾值a用于記錄軌跡從上一次成功匹配到當前時刻的時間，當該值大于提前設定的閾值 [公式] 則認為改軌跡終止，直觀上說就是長時間匹配不上的軌跡認為已經結束，然后在匹配時，對于沒有匹配成功的檢測都認為可能產生新的軌跡，但由于這些檢測結果可能是一些錯誤警告，所以對這種情形新生成的軌跡標注狀態’tentative’ ,然后觀查在接下來的連續若干幀（論文中是3幀）中是否連續匹配成功，是的話則認為是新軌跡產生，標注為’confirmed’,否則則認為是假性軌跡,狀態標注為’deleted’
3.Assignment Problem
在SORT中，我們直接使用匈牙利演算法去解決預測的Kalman狀態和新來的狀態之間的關聯度，現在我們需要將目標運動和表面特征資訊相結合，通過融合這兩個相似的測量指標，
4.Motion Metric
使用馬氏距離來評測預測的Kalman狀態和新來的狀態：
表示第j個detection和第i條軌跡之間的運動匹配度，其中 [公式] 是軌跡由kalman濾波器預測得到的在當前時刻觀測空間的協方差矩陣， [公式] 是軌跡在當前時刻的預測觀測量， [公式] 時第j個detection的狀態 [公式]
考慮到運動的連續性，可以通過該馬氏距離對detections進行篩選，文中使用卡方分布的0.95分位點作為閾值 [公式] =0.4877,我們可以定義一個門限函式
5.Appearance Metric
當目標運動不確定性較低時，馬氏距離是一個很好的關聯度量，但在實際中，如相機運動時會造成馬氏距離大量不能匹配，也就會使這個度量失效，因此，我們整合第二個度量標準，對每一個BBox檢測框 [公式] 我們計算一個表面特征描述子 [公式] , 我們會創建一個gallery用來存放最新的 [公式] 個軌跡的描述子，即 [公式] ，然后我們使用第i個軌跡和第j個軌跡的最小余弦距離作為第二個衡量尺度！
當然，我們也可以用一個門限函式來表示
如何使用CNN網路來計算這個描述子，我們接下來會講到！
接著，我們把這兩個尺度相融合為：
總之，距離度量對于短期的預測和匹配效果很好，而表觀資訊對于長時間丟失的軌跡而言，匹配度度量的比較有效，超引數的選擇要看具體的資料集，比如文中說對于相機運動幅度較大的資料集，直接不考慮運動匹配程度，
6.匹配級聯
本文還提出了一種級聯匹配的策略來提高匹配精度，主要由于當一個目標被遮擋很長時間，Kalman濾波的不確定性就會大大增加，并會導致連續預測的概率彌散，假設本來協方差矩陣是一個正態分布，那么連續的預測不更新就會導致這個正態分布的方差越來越大，那么離均值歐氏距離遠的點可能和之前分布中離得較近的點獲得同樣的馬氏距離值，
上述圖片描述了級聯匹配的演算法！！！
在最后階段，作者使用之前SORT演算法中的IOU關聯去匹配n=1的unconfirmed和unmatched的軌跡，這可以緩解因為表觀突變或者部分遮擋導致的較大變化，當然有好處就有壞處，這樣做也有可能導致一些新產生的軌跡被連接到了一些舊的軌跡上，
7.Deep Appearance Descriptor
作者建立了一個深度卷積神經網路去提取目標的特征資訊，并使用L2標準化吧特征投影到一個統一的超球面！模型結構為：
8.演算法總結
總的來說，效果還是很明顯的，使用CNN提取的特征進行匹配，大大減少了SORT中的ID switches, 經作者實驗證明減少了大約45%, 在高速率視頻流中也達到了很好的水準！
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/282707.html
標籤：其他
上一篇：資料結構-排序(1)
下一篇：Qt 元物件系統