基于多目標視頻影像邊緣特征的核相關濾波跟蹤演算法

基于多目標視頻影像邊緣特征的核相關濾波跟蹤演算法

1、演算法原理

多目標捕獲視頻影像中全部視場內均包括捕獲目標,捕獲程序中應去除已穩定跟蹤的目標,且視頻影像內目標的運動存在規律性,視頻影像中的隨機噪聲無規律,根據目標的運動軌跡可判斷目標是否為真正的待跟蹤目標[6-8]，將目標運動軌跡的3幀影像時間(40ms)作為線性段,利用線性判斷捕獲目標的方法可表示為：
式中,Z 0、V 0分別為目標初始運動位置、目標初始運動速度,Z、t分別為目標運動位置、運動時間，通過(1)式可確定3幀影像內目標特性是否呈線性變化,當目標呈線性變化時,表示該目標為待跟蹤目標,可對該目標實施跟蹤,從而完成視頻影像內全部目標的捕獲，

1.2 影像特征提取

1.2.1 影像邊緣特征提取

為提升視頻影像內多目標在復雜背景下的跟蹤精度,利用動態邊緣演化技術提取視頻影像的多目標邊緣特征，動態邊緣演化技術是將某個存在邊界輪廓曲線的自變數即能量泛函通過影像中目標與背景的灰度分布資訊體現,并通過Euler-Lagrange方程的動態格式獲取能量泛函對應的曲線演化方程,從而獲取最佳邊緣輪廓曲線，該技術利用影像主動輪廓的全部光強資訊提取特征,可以有效消除噪聲對影像的影響，動態邊緣演化技術的能量泛函可表示為：
![在這里插入圖片描述](https://img-blog.csdnimg.cn/20210419111905528.png

式中,(x,y)為待消除噪聲影像的坐標,s 為噪聲因子,C 為灰度分布資訊,p 為能量泛函,E 為提取的光強資訊特征,C§為影像直方圖曲線,c 1與c2分別為影像I(x,y)中由內輪廓Ω in及外輪廓Ωout確定的目標內部及背景區域均值, ∮ C ds為影像邊緣曲線的長度,α、β、μ 均為權重因子，利用水平集函式φ(x,y,t)的零水平集呈現曲線C(t),再利用Heaviside的H (φ)函式將水平集函式代入(2)式,利用邊界的單一積分體現區域與邊界的混合積分,通過Euler-Lagrange方程求解函式的最小值,可表示為：

式中,?φ 為一階函式導數,為范數,div為整除函式,δ s (φ)為H (φ)函式的一階導數即Dirac度量的正則化函式,κ 為Dirac度量系數，

1.2.2 影像顏色特征的提取

將視頻影像梯度角度直方圖與顏色資訊相結合,獲得梯度角度-色度飽和度直方圖的顏色特征,并將提取的特征應用于核相關濾波跟蹤演算法中，為避免提取顏色特征程序中對冗余資訊的提取,僅分析與提取視頻影像液晶顯示幕行同步信號(HS)通道的資訊,利用色調(H)通道以及飽和度(S)通道的像素值建立顏色空間極坐標系,利用極坐標內角度和梯度體現視頻影像的色度、飽和度,得到：

式中,H 、θ、G、B 分別為H 通道的像素值、極坐標外角度、內角度聚類系數、外角度聚類系數,極坐標的內角度可表示為：

式中,R 為特征點聚類系數，飽和度可表示為：

依據特征點聚類器創建各個特征點的時空特征向量并對創建的時空特征向量進行聚類,得到與各個分類相應的構成區域,并基于此將視頻影像劃分為n 塊區域,統計不同區域的梯度角度直方圖和色度飽和度直方圖,將全部區域直方圖串聯,利用OpenCV 工具獲取視頻影像色度飽和度直方圖以及梯度角度直方圖,即影像的梯度角度-色度飽和度直方圖,該直方圖可以有效表征影像的顏色特征，

1.3 核相關濾波跟蹤演算法

在回圈移位編碼密集采樣程序中,結合回圈矩陣訓練分類器即核相關濾波跟蹤演算法,通過核方法獲取視頻影像與分類器間的相關系數[9-14] ,更新后的目標位置即為最大相關系數所處的位置,該演算法利用頻域實作,跟蹤速度較快，

1.3.1 回圈移位以及回圈矩陣

將視頻影像內的感興趣目標塊用大小為n×1的向量x 表示,將該區域作為基礎樣本，通過回圈移位操作獲取正樣本以及負樣本訓練分類器,回圈移位操作的變換矩陣可表示為：

設每次移動位數為1,移動次數為n 時即可得到x,全部樣本的集合可表示為：
P u x u=0,1,…,n-1
回圈矩陣可表示為：

式中,X 為回圈矩陣，回圈矩陣在x 為隨機向量時可表示為：
**X =Fdiag(^x)F H **
式中,diag為對角矩陣函式,F 為傅里葉矩陣,^x 為x的離散傅里葉變換,上標H 為共軛轉置操作，
1.3.2 嶺回歸模型學習分類器
嶺回歸是有偏資料估計回歸方法,可用封閉方程表示為：

式中,x i樣本目標,y i為回歸目標,w為分類器引數,f(x i )為封閉函式,i為有偏資料對應的序號,ξ為可調節過擬合的引數,對(13)式求極值得到
w=(X H X +ξI) -1 X H y
式中,I為單位矩陣,X為行向量x i組成的矩陣,y為向量y i組成的矩陣，
用多項式∑ Mi=1τ i x i表示映射至高維空間的w,其中,M為高維空間總維數,τ i為x i的線性組合系數,則：
τ=(K +ξI) -1 y
式中,K 為核矩陣,如果核矩陣具有回圈特性,則

式中,K xx’為高斯核回圈特性,x’為訓練樣本,上標*為復數共軛,F -1為傅里葉逆變換,η為核函式引數,頻域內的非線性分類器引數為：

式中,^y 為頻域內的目標期望,δ 為高斯核函式的空間帶寬，

1.3.3 分類器快速跟蹤

利用w 檢測新輸入視頻影像z 中的目標時,依據回應函式得到的視頻影像檢測公式為：
f(z)=w T z
樣本利用核函式的映射程序即通過非線性分類器檢測目標的程序,分類器的回應可表示為：

式中,n 為非線性分類器檢測的目標數量,K(,)為回圈矩陣函式，通過式可得到新輸入視頻影像與全部滑動子視窗的相關性,用回圈矩陣簡化后可表示為：

式中,^f(z)和☉分別為回圈矩陣的簡化結果和邏輯運算子，

1.4 視頻影像的多目標跟蹤

訓練分類器時,利用連續標簽標記樣本,依據待跟蹤目標與樣本中心距離?得到相關濾波回應值,范圍為[0,1],相關濾波回應值在接近跟蹤目標時趨于1,遠離跟蹤目標時趨于0，利用不同特征的最大回應值分配跟蹤權重,跟蹤目標特征權重可表示為：

式中,f(Z b )與f(Z s )分別為邊緣特征Z b以及梯度角度-色度飽和度直方圖顏色特征Z s的回應輸出，根據不同特征回應大小分配跟蹤權重,得到目標的最終跟蹤位置為：

式中,p Zb為對邊緣特征的跟蹤位置,p Zs為對顏色特征的跟蹤位置，

實體分析

選取Benchmark資料集中的視頻驗證本演算法跟蹤目標的有效性,資料集內的視頻影像均為戶外環境,包括不同尺度變換、光照變換、遮擋等復雜環境的視頻影像,通過定性以及定量分析評價本演算法的跟蹤性能，

2.1 定性評價

本演算法對交通視頻影像內第100、500、1000幀影像的多目標跟蹤結果如圖1所示，可以發現,本演算法可在存在相似物干擾的情況下成功跟蹤視頻影像中的多目標,且未存在漏跟蹤情況，在目標被其他目標遮擋的情況下仍可準確跟蹤目標,這表明本演算法具有較高的跟蹤性能，在跟蹤程序中視頻影像存在抖動情況,本演算法仍可準確跟蹤目標并快速恢復正常跟蹤,這表明本演算法具有較強的跟蹤魯棒性

2.2 定量評價

采用跟蹤成功率、跟蹤精確度、跟蹤重疊率、平均跟蹤速度定量評價本演算法的跟蹤性能,選取文獻[1]中的自適應演算法、文獻[1]中的高斯尺度空間演算法、文獻1]中的特征融合演算法、文獻[1]中的多通道演算法、文獻[1]中的金字塔特征演算法、文獻[1中的卷積特征演算法作為對比,評價本演算法的跟蹤性能，
2.2.1 跟蹤成功率7種演算法在不同幀數下的跟蹤成功率如表1所示,可以發現,本演算法在不同幀數下的跟蹤成功率均大于99%,明顯高于其他演算法,這表明本演算法具有較高的跟蹤有效性，

2.2.2 跟蹤精確度

用中心誤差評價不同演算法對視頻影像多目標的跟蹤精度,中心誤差可表示為E = (a’ m -a m ) 2 + (b’ m -b m ) 2 ,方式中,(a m ,b m )與(a’ m ,b’ m )分別為根據演算法得到的視頻內第m幀影像的目標中心坐標及手動標記的

目標中心坐標,中心誤差值越小,表明跟蹤演算法的精確度越高，7種跟蹤演算法的中心誤差如表2所示,可以發現,本演算法跟蹤多目標的中心誤差在不同幀數下均最小,趨近于0,這表明本演算法具有較高的跟蹤精度，高斯尺度空間演算法及多通道演算法在300幀之前的中心誤差與本演算法相差較小,300幀之后跟蹤精度急劇下降,原因是高斯尺度空間演算法及多通道演算法的波動幅度過大,魯棒性較差，

7種跟蹤演算法在輕微遮擋、嚴重遮擋等復雜環境下的中心誤差如表3 所示,可以發現,本演算法在不同復雜環境下均具有最低的中心誤差,這表明本演算法可適應視頻影像內的復雜環境,具有較高的跟蹤精準性及跟蹤魯棒性，原因是本演算法將提取的影像邊緣特征與梯度角度-色度飽和度直方圖顏色特征相結合,提升了多目標的跟蹤性能，

2.2.3 跟蹤重疊率

重疊率是評價目標跟蹤性能的重要指標,視頻影像的多目標跟蹤重疊率可表示為O =X area (R m ∩R’ m )X area (R m ∪R’ m ),方式中,R m與R’ m為根據演算法得到的視頻內第m幀影像的目標框及手動標記的目標框,X area為區域面積，7種跟蹤演算法的跟蹤重疊率如表4所示,可以發現,本演算法跟蹤視頻影像的多目標時,跟蹤重疊率明顯高于其他演算法,這表明本演算法具有優越的跟蹤性能，

2.2.4 平均跟蹤速度

為檢測本演算法跟蹤的實時性,統計不同演算法的跟蹤速度,結果如表5所示，可以發現,用本演算法跟蹤不同復雜環境視頻影像內的多目標時,跟蹤速度明顯高于其他演算法,有效驗證了本演算法的實時性，

綜上所述,相比其他演算法,本演算法具有更優的跟蹤成功率、跟蹤精確度、跟蹤重疊率、平均跟蹤速度,原因是本演算法將視頻影像目標運動軌跡的3幀影像時間作為線性段,利用線性判斷方法捕獲目標,利用動態邊緣演化技術準確提取捕獲目標的邊緣特征,解決了視頻影像多目標處于運動狀態時邊緣特征模糊導致的目標跟蹤難度大問題，

關注蘇州程式大白，持續更新技術分享，謝謝大家支持