一、簡介

目標跟蹤是計算機視覺研究領域的熱點之一，有著非常廣泛的應用，如：相機的跟蹤對焦、無人機的自動目標跟蹤等都需要用到目標跟蹤技術，此外，還有特定物體的跟蹤，比如人體跟蹤，交通監控系統中的車輛跟蹤，人臉跟蹤和智能互動系統中的手勢跟蹤等，

過去的幾十年來，目標跟蹤技術取得了長足的進步，特別是近幾年，隨著深度學習的目標跟蹤方法的出現，獲得了令人滿意的效果，也涌現了越來越多的方法，這都使得目標跟蹤技術取得了突破性的進展，

本文主要內容包括：目標跟蹤的基本流程與框架，快速目標跟蹤相關方法及其應用效果，

希望通過本文能幫助讀者對目標跟蹤領域有一個較為全面的認識，對其中涉及到的方法及原理有進一步的了解，

二、目標跟蹤基本流程與框架

目標（單目標）跟蹤任務就是在給定某視頻序列初始幀的目標大小與位置的情況下，預測后續幀中該目標的大小與位置，

此基本任務大致流程可以根據框架進行如下劃分：

輸入初始化目標框（初始幀），在下一幀中產生眾多候選框（Motion Model），提取這些候選框的特征（Feature Extractor），然后對這些候選框評分（Observation Model），最后在這些評分中找一個得分最高的候選框作為預測的目標（Prediction A），或者對多個預測值進行融合（Ensemble）得到更優的預測目標，

根據如上框架，我們可以把目標跟蹤的主要研究內容歸納為5個方面：

（1）運動模型：如何產生眾多的候選樣本，

（2）特征提取：利用何種特征表示目標，

（3）觀測模型：如何為眾多候選樣本進行評分，

（4）模型更新：如何更新觀測模型使其適應目標的變化，

（5）集成方法：如何融合多個決策從而獲得一個更優的決策結果，

下面分別簡要介紹這5項研究內容：

運動模型（Motion Model）: 生成候選樣本的速度與質量直接決定了跟蹤系統表現的優劣，常用的有兩種方法：粒子濾波（Particle Filter）和滑動視窗（Sliding Window），粒子濾波是一種序貫貝葉斯推斷方法，通過遞回的方式推斷目標的隱含狀態，而滑動視窗是一種窮舉搜索方法，它列出目標附近的所有可能的樣本作為候選樣本，

特征提取（Feature Extractor）: 鑒別性的特征表示是目標跟蹤的關鍵之一，常用的特征被分為兩種型別：手工設計的特征（Hand-crafted feature）和深度特征（Deep feature），常用的手工設計的特征有灰度特征（Gray），方向梯度直方圖（HOG），哈爾特征（Haar-like），尺度不變特征（SIFT）等，與人為設計的特征不同，深度特征是通過大量的訓練樣本學習出來的特征，它比手工設計的特征更具有鑒別性，因此，利用深度特征的跟蹤方法通常很輕松就能獲得一個不錯的效果，

觀測模型（Observation Model）: 大多數的跟蹤方法主要集中在這一塊的設計上，根據不同的思路，觀測模型可分為兩類：生成式模型（Generative Model）和判別式模型（Discriminative Model），生成式模型通常尋找與目標模板最相似的候選作為跟蹤結果，這一程序可以視為模板匹配，常用的理論方法包括：子空間，稀疏表示，字典學習等，而判別式模型通過訓練一個分類器去區分目標與背景，選擇置信度最高的候選樣本作為預測結果，因為有大量的機器學習方法可以利用，判別式方法已經成為目標跟蹤中的主流方法，常用的理論方法包括：邏輯回歸，嶺回歸，支持向量機，多示例學習，相關濾波等，

模型更新（Model Update）: 模型更新主要是更新觀測模型，以適應目標表觀的變化，防止跟蹤程序發生漂移，模型更新沒有一個統一的標準，通常認為目標的表觀連續變化，所以常常會每一幀都更新一次模型，但也有人認為目標過去的表觀對跟蹤很重要，連續更新可能會丟失過去的表觀資訊，引入過多的噪音，因此利用長短期更新相結合的方式來解決這一問題，

集成方法（Ensemble Method）: 集成方法有利于提高模型的預測精度，也常常被視為一種提高跟蹤準確率的有效手段，集成方法可以籠統的劃分為兩類：在多個預測結果中選一個最好的，或是利用所有的預測加權平均，

三、快速目標跟蹤方法

模板匹配

模板匹配是目標跟蹤的經典方法，它的優點有：簡單準確，適用面廣，抗噪性好，而且計算速度快，缺點是不能適應劇烈光照變化和目標劇烈形變，

模板匹配法，就是指在一幀影像內尋找目標模板的位置，其中和模板最像的地方就是目標，只要把全圖的所有子區域和目標模板比較一下，找到最像目標模板的子區域，它就是目標的位置，如何度量子區域和目標模板的相似程度呢？最簡單的辦法就是計算這二者的相關系數，

相關系數(r)是一種數學距離，可以用來衡量兩個向量的相似程度，它起源于余弦定理：cos(A)=(a2+c2-b2)/2bc.如果兩個向量的夾角為0度（對應r=1），說明它們完全相似，如果夾角為90度(r=0)，則它們完全不相似，如果夾角為180度(r = -1),則它們完全相反，把余弦定理寫成向量的形式：

cos(A) = <b,c>/(|b|*|c|),

即：cos(A) = (b1c1+b2c2+… bncn)/sqrt[(b12+b22+…+bn2) (c12+c22+…+cn2)]

其中分子表示兩個向量的內積，分母表示兩個向量的模相乘，

在實際應用中，更常用的是去均值相關系數，它在上式的基礎上還要在分子分母減去各個向量的均值：

?

這樣，兩個向量相似的部分被減掉，它們的相關性就被放大了，

假設目標模板是一個10*10的影像，它就可以被看作是一個100維的向量，每一維是一個像素點的灰度值，然后把這個向量和影像中的每一個子區域作比較，找出相關系數最大的子區域，目標的位置就找到了，

TLD

TLD演算法主要由三個模塊構成：追蹤器（tracker），檢測器（detector）和機器學習（learning），

對于視頻追蹤來說，常用的方法有兩種，一是使用追蹤器根據物體在上一幀的位置預測它在下一幀的位置，但這樣會積累誤差，而且一旦物體在影像中消失，追蹤器就會永久失效，即使物體再出現也無法完成追蹤；另一種方法是使用檢測器，對每一幀單獨處理檢測物體的位置，但這又需要提前對檢測器離線訓練，只能用來追蹤事先已知的物體，

TLD是對視頻中未知物體的長時間跟蹤的演算法，“未知物體”指的是任意的物體，在開始追蹤之前不知道哪個物體是目標，“長時間跟蹤”又意味著需要演算法實時計算，在追蹤中途物體可能會消失再出現，而且隨著光照、背景的變化和由于偶爾的部分遮擋，物體在像素上體現出來的“外觀”可能會發生很大的變化，

追蹤器的作用是跟蹤連續幀間的運動，當物體始終可見時跟蹤器才會有效，追蹤器根據物體在前一幀已知的位置估計在當前幀的位置，這樣就會產生一條物體運動的軌跡，從這條軌跡可以為學習模塊產生正樣本（Tracking->Learning），

檢測器的作用是估計追蹤器的誤差，如果誤差很大就改正追蹤器的結果，檢測器對每一幀影像都做全面的掃描，找到與目標物體相似的所有外觀的位置，從檢測產生的結果中產生正樣本和負樣本，交給學習模塊（Detection->Learning），演算法從所有正樣本中選出一個最可信的位置作為這一幀TLD的輸出結果，然后用這個結果更新追蹤器的起始位置（Detection->Tracking），

學習模塊根據追蹤器和檢測器產生的正負樣本，迭代訓練分類器，改善檢測器的精度（Learning->Detection），

光流法(Lucas-Kannade)

光流法的原理：利用影像序列中像素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關系，從而計算出相鄰幀之間物體的運動資訊，

假設一：場景中物體被跟蹤的部分亮度保持不變；

假設二：運動相對于幀率是緩慢、連貫的數學表達指的是在上連續，可導；

假設三：相鄰的點保持近鄰δ鄰域內所有像素點的速度（U，V）相等；

對于大多數30Hz攝像機，大而不連貫的運動較多，所以LK光流法在實際中的跟蹤效果不好，通常一個大的視窗來捕獲大的運動，但往往違背運動連貫的假設，故引入影像金字塔，

在影像金字塔的最高層計算光流，用得到的運動估計結果作為下一層金字塔的起始點，重復這個程序直到到達金字塔的最底層，這樣將不滿足運動假設的可能性降到最小從而實作對更快和更長的運動的跟蹤，

這個演算法的不足在于它不能產生一個密度很高的流向量，例如在運動的邊緣和黑大的同質區域中的微小移動方面流資訊會很快的褪去，它的優點在于有噪聲存在的魯棒性還是可以的，

四、快速目標跟蹤方式的應用效果

• 原影像大小為640x480
• Intel(R) Xeon(R) CPU X5660 @ 2.80GHz

?

zeusee.com 智云視圖

標籤：其他

上一篇：圖形學入門(3)——區域填充演算法(region filling)

下一篇：Mac錄制或保存視頻后如何放大？