OpenCV-CamShift 演算法

1.概述

CamShift 演算法 (Continuously AdaptiveMeanSifit),是對 MeanShift 演算法 的改進，能夠自動調節搜索視窗大小來適應目標的大小，可以跟蹤視頻中尺寸變化的目標，它也是一種 半自動跟蹤演算法 ，需要手動標定跟蹤目標，基本思想是以視頻影像中運動物體的顏色資訊作為特征，對輸入影像的每一幀分別作 MeanShift 運算，并將上一幀的目標中心和搜索視窗大小作為下一幀 MeanShift 演算法的中心和搜索視窗大小的初始值，如此迭代下去，就可以實作對目標的跟蹤，因為在每次搜索前將搜索視窗的位置和大小設定為運動目標當前中心的位置和大小，而運動目標通常在這區域附近，縮短了搜索時間；另外，在目標運動程序中，顏色變化不大，故該演算法具有良好的魯棒性，

/**@brief Finds an object center,size,and orientation.
 *@param probImage Back projection of the object histogram.
 *@param window Initial search window.
 *@parma criteria Stop criteria for the underlying meanShift.
 returns(in old interfaces) Number of iterations CAMSHIFT took to converge
 The function implement the CAMSHIFT object tracking algorithm @cite Bradski98.First,it finds an
 objec center using meanShift and hen adjusts the window size and finds the optimal rotation.
 The function returns the rotated rectangle structure that includes the object position,size,and orientation.The next position of the search window can be obtained with RotatedRect::boundingRect()
 */
 CV_EXPORTS_W RotatedRect CamShift(InputArray probImage, CV_IN_OUT Rect &window, TermCriteria criteria);

其中 probImage 為輸入影像直方圖的反向投影圖，window 為要跟蹤目標的初始位置矩形框，criteria 為演算法結束條件，函式回傳一個有方向角度的旋轉矩陣，該函式的實作首先是利用 MeanShift 演算法計算出要跟蹤的中心，然后調整初始視窗的大小位置和方向角度，在 CamShift 內部呼叫了 MeanShift 演算法計算目標的重心，

2.演算法

2.1 演算法流程圖

2.2 具體步驟

步驟一：計算目標區域內的顏色直方圖，
通常是將輸入影像轉換到HSV顏色空間，目標區域為初始設定的搜索視窗范圍，分離出色調H分量做該區域的色調直方圖計算，因為 RGB 顏色空間對光線條件的改變較為敏感，要減小該因素對跟蹤效果的影響，CamShift 演算法通常采用 HSV 色彩空間進行處理，當然也可以用其它顏色空間計算，這樣即得到目標模板的顏色直方圖，
步驟二：根據獲得的顏色直方圖將原始輸入影像轉化成顏色概率分布影像，該程序稱為“反向投影"，所謂直方圖反向投影，就是輸入影像在已知目標顏色直方圖的條件下的顏色概率密度分布圖，包含了目標在當前幀中的相干資訊，對于輸入影像中的每一個像素，查詢目標模型顏色直方圖，對于目標區域內的像素，可得到該像素屬于目標像素的概率，而對于非目標區域內的像素,該概率為0，
步驟三：Mean Shift迭代程序，目的在于找到目標中心在當前幀中的位置，首先在顏色概率分布圖中選擇搜索視窗的大小和初始位置，然后計算搜索視窗的質心位置，設像素點(i, j)位于搜索視窗內，I(i, j)是顏色直方圖的反向投影圖中該像素點對應的值，定義搜索視窗的零階矩 M00 和一階矩M10,M01如下：

則搜索視窗的質心位置為：

接著調整搜索視窗中心到質心，零階矩反映了搜索視窗尺寸，依據它調整視窗大小，并將搜索視窗的中心移到質心，如果移動距離大于設定的閾值，則重新計算調整后的視窗質心，進行新一輪的視窗位置和尺寸調整，直到視窗中心與質心之間的移動距離小于閾值，或者迭代次數達到某一最大值，認為收斂條件滿足，將搜索視窗位置和大小作為下一幀的目標位置輸入，開始對下一幀影像進行新的目標搜索，

3.程式

3.1 打開攝像頭

VidelCapture cap;
cap.open(0);
if(!cap.isOpened())
{
	cout<<"Could not initialize camera"<<endl;
	return -1;
}

3.2 滑鼠回應

static void onMouse(int event, int x, int y, int, void *)
{
	if(selectObject)
	{
		selection.x = MIN(x, origin.x);
        selection.y = MIN(y, origin.y);
        selection.width = std::abs(x - origin.x);
        selection.height = std::abs(y - origin.y);
        selection &= Rect(0, 0, image.cols, image.rows);
	}
	switch(event)
	{
	case EVENT_LBUTTONDOWN:
        origin = Point(x, y);
        selection = Rect(x, y, 0, 0);
        selectObject = true;
        break;
     case EVENT_LBUTTONUP:
        selectObject = false;
        if (selection.width > 0 && selection.height > 0)
            trackObject = -1;
        break;
	}
}

setMouseCallback("CamShift", onm ouse, 0);

3.3 影像型別轉換及閾值化

cvtColor(image, hsv, COLOR_BGR2HSV);
inRange(hsv, Scalar(0, smin, MIN(_vmin, _vmax)), Scalar(180, 256, MAX(_vmin, _vmax)), mask);

3.4 計算、歸一化、繪制直方圖

calcHist(&roi, 1, 0, maskroi, hist, 1, &hsize, &phranges);
normalize(hist, hist, 0, 255, NORM_MINMAX, -1);
for(int i=0; i<hsize; i++)
{
	int val = saturate_cast<int>(hist.at<float>(i)*histImg.rows/255);
	rectangle(histImg, Point(i*binW, histImg.rows), Point((i+1)*binW, histImg.rows-val), Scalar(buff.at<Vec3b>(i)), -1, 8);
}

3.5 反向投影

calcBackProject(&hue, 1, 0, hist, backproject, &phranges);

3.6 目標跟蹤

RotatedRect trackBox=CamShift(backproject, trackWindow, TermCriteria(TermCriteria::EPS | TermCriteria::CONT, 10, 1));
ellipse(image, trackBox, Scalar(255,0,0), 3, LINE_AA);

4. 總結

CamShift演算法改進了 MeanShift 跟蹤演算法的第二個缺陷，在跟蹤程序中能夠依據目標的尺寸調節搜索視窗大小，對 有尺寸變化的目標可準確定位，但是，一方面 CamShfit 演算法在計算目標模板直方圖分布時，沒有使用核函式進行加權處理，也就是說目標區域內的每個像素點在目標模型中有著相同的權重，故 CamShfit 演算法的抗噪能力低于MeanShift跟蹤演算法，另一方面，CamShift 演算法中沒有定義候選目標，直接利用目標模板進行跟蹤，除此以外，CamShift 演算法采用 HSV 色彩空間的H分量建立目標直方圖模型，仍然只是依據目標的色彩資訊來進行跟蹤，當目標與背景顏色接近或者被其他物體遮擋時，CamShift 會自動將其包括在內，導致跟蹤視窗擴大，有時甚至會將跟蹤視窗擴大到整個視頻大小，導致目標定位的不準確，連續跟蹤下去造成目標的丟失，