Abstract：利用aruco庫中的相關函式實作在攝像頭下aruco碼的識別和在指定地方插入視頻，
Criticize：一：OpenCV實作USB攝像頭的打開 并且實作USB攝像頭引數調節
我們呼叫opencv特有的Videocapture函式來實作攝像頭的打開 基本形式為 Videocapture（index）（index代表你攝像頭在你電腦上的介面名，想查詢的話就打開終端 輸入 ls /dev |capture video 查看當前的video+index 一般電腦自帶的是0 ，1，其他的video就是你的usb攝像頭），最簡單的形式就是 Videocapture object（index）;（object代表Videocapture類物件），打開攝像頭之后我們需要將視頻流讀入圖片以顯示，這一部分較為簡單，直接看代碼，
我們讀進來之后需要更改一下攝像頭的引數，目的是為了減少環境光對影像的污染，攝像頭引數主要有六個，幀率，亮度 ，對比度，飽和度 ，色調，曝光，我們更改引數之前最好先記住攝像頭原本的引數
二： 在單一背景下，識別出ArUco碼 并且 在復雜背景下，識別出ArUco碼
Aruco碼就是我們前面所說的二進制碼，是一種只有黑白兩種顏色組成的正方形碼，
三： 在有多個ArUco碼的情況下，只識別其中一種ArUco碼
由于前面介紹了Markscorners 與Marksid一一對應，所以我們只需要根據id來提取特定的一類aruco碼，特別注意，檢測的時候里面的引數不能變，因為我們檢測的時候必須要檢測所有的影像來的到id和corners，只有在繪畫的時候我們才可以 根據id來畫特定的aruco碼
我們可以理解為drawDetectedMarkers(undistimg,Markscorners,Marksid);的操作是根據得到的id提取出corners的輪廓并且在undistimg上畫出來， 那這樣的話我們可以新建一個和Masksid一樣型別的資料A，篩選一下id 存入A中，再新建一個和Markscorners一樣型別的資料B，來存入特定的aruco碼輪廓，（因為是以唯一的對應，如果不重建B，id少而corners多，打破了規則因而函式不行了），
四： 獲取ArUco碼平面相對攝像頭的距離、角度等資訊+ 獲取ArUco碼中心在空間中的坐標（solvePnP）
做之前我們需要了解攝像頭成像原理，簡言之，就是初中學的知識：小孔成像，
單目測距演算法
相似三角形+
用相似三角形計算物體或者目標到相機的距離，將使用相似三角形來計算相機到一個已知的物體或者目標的距離，
假設有一個寬度為 W 的目標或者物體，然后將這個目標放在距離的相機為 D 的位置，用相機對物體進行拍照并且測量物體的像素寬度 P，
這樣就得出了相機焦距的公式：
F = (P x D) / W
舉個例子，假設在離相機距離 D = 24 英寸的地方放一張標準的 8.5 x 11 英寸的 A4 紙（橫著放；W = 11）并且拍下一張照片，測量出照片中 A4 紙的像素寬度為 P = 249 像素，因此的焦距 F 是：
F = (248px x 24in) / 11in = 543.45，
當繼續將的相機移動靠近或者離遠物體或者目標時，可以用相似三角形來計算出物體離相機的距離：
D’ = (W x F) / P，
例如，假設將相機移到距離目標 3 英尺（或者說 36 英寸）的地方并且拍下上述的 A4 紙，通過自動的圖形處理可以獲得圖片中 A4 紙的像素距離為 170 像素，將這個代入公式得：
D’ = (11in x 543.45) / 170 = 35 英寸或者約 36 英寸，合 3 英尺，
從以上可以看到，要想得到距離，就要知道攝像頭的焦距和目標物體的尺寸大小，這兩個已知條件根據公式：
D’ = (W x F) / P
得出目標到攝像機的距離Ｄ，其中Ｐ是指像素距離，Ｗ是Ａ４紙的寬度，Ｆ是攝像機焦距，
我們想測量aruco碼到攝像頭的距離和旋轉角度，可以利用solvepnp函式得到圖片相對于攝像機的平移矩陣和旋轉向量來得到，
五：實作特定四個ArUco碼之間插入圖片/視頻
我在這里僅僅插入了圖片而已，要想實作在特定的aruco碼之間插入圖片，我們需要aruco的頂點坐標，因為aruco獲得aruco碼的坐標是存在markscorners里面，而且是從左上角順時針存盤到一個vector容器中，所以我們需要四個不一樣的aruco碼，并且要定位到具體的點，并且經過透視變換，將圖片定位到我們需要的四個點之間
Catalogue：
1. OpenCV實作USB攝像頭的打開
2. 實作USB攝像頭引數調節
3. 在單一背景下，識別出ArUco碼
4. 在復雜背景下，識別出ArUco碼
5. 在有多個ArUco碼的情況下，只識別其中一種ArUco碼
6. 獲取ArUco碼平面相對攝像頭的距離、角度等資訊（攝像頭測距、RotatedRect類）
7. 獲取ArUco碼中心在空間中的坐標（solvePnP）
8. 實作特定四個ArUco碼之間插入圖片/視頻（參考視頻）
Introduction：根據Opencv3.1.0官方檔案的介紹姿態估計在許多計算機視覺應用中都非常重要：機器人導航、增強現實等等，該程序基于找到真實環境中的點與其二維影像投影之間的對應關系，這通常是一個困難的步驟，因此通常使用合成或基準標記來使其更容易，aruco碼即二進制編碼，由于其四個角的對應關系固定，在解碼方法不變的情況下，內部資料不變，健壯性較好，本次實驗我們通過劃分大任務為小任務，實作掌握二進制編碼的識別以及利用二進制編碼實作人工智能識別的初步，向著相機姿態估計進發，
Body：
一：OpenCV實作USB攝像頭的打開 并且實作USB攝像頭引數調節
我們呼叫opencv特有的Videocapture函式來實作攝像頭的打開 基本形式為 Videocapture（index）（index代表你攝像頭在你電腦上的介面名，想查詢的話就打開終端 輸入 ls /dev |capture video 查看當前的video+index 一般電腦自帶的是0 ，1，其他的video就是你的usb攝像頭），最簡單的形式就是 Videocapture object（index）;（object代表Videocapture類物件），打開攝像頭之后我們需要將視頻流讀入圖片以顯示，這一部分較為簡單，直接看代碼，
我們讀進來之后需要更改一下攝像頭的引數，目的是為了減少環境光對影像的污染，攝像頭引數主要有六個，幀率，亮度 ，對比度，飽和度 ，色調，曝光，我們更改引數之前最好先記住攝像頭原本的引數，此處不是重點，請直接看代碼：
#include <iostream>
#include<opencv2/opencv.hpp>
#include <fstream>
#include<vector>
#include "posecatch.h"
using namespace std;
using namespace cv;
init camera;
Mat fream;
Mat setl;
VideoCapture capture(2);
void onchange(int,void*)//滑動條的回呼函式
{
//double fps= getTrackbarPos("fps","datas");
camera.brightness= getTrackbarPos("brightness","datas");
camera.contast= getTrackbarPos("contast","datas");
camera.saturation=getTrackbarPos("saturation","datas");
camera. hue=getTrackbarPos("hue","datas");
camera.exposure=getTrackbarPos("exposure","datas");
capture.set(CAP_PROP_FPS, 30);//幀率 幀/秒
capture.set(CAP_PROP_BRIGHTNESS, camera.brightness);//亮度 1
capture.set(CAP_PROP_CONTRAST,camera.contast);//對比度 40
capture.set(CAP_PROP_SATURATION, camera.saturation);//飽和度 50
capture.set(CAP_PROP_HUE, camera.hue);//色調 50
capture.set(CAP_PROP_EXPOSURE, camera.exposure);//曝光 50
}
int main()
{//打開單目攝像頭
namedWindow("datas",WINDOW_AUTOSIZE);
createTrackbar("fps","datas",(int *)&camera.fps,60,onchange,0);//利用滑動條來調更加直觀
createTrackbar("brightness","datas",(int *)&camera.brightness,1000,onchange,0);
createTrackbar("contast","datas",(int *)&camera.contast,255,onchange,0);
createTrackbar("saturation","datas",(int *)&camera.saturation,255,onchange,0);
createTrackbar("hue","datas",(int *)&camera. hue,255,onchange,0);
createTrackbar("exposure","datas",(int *)&camera.exposure,500,onchange,0);
onchange(0,0);
while(1)
{ capture>>setl;
imshow("capture",setl);
waitKey(1);
}
return 0;
}然后你會發現除了個別引數你能更改之外（如曝光度），大分布你是不能更改的，甚至都沒辦法得到，這種并不適用
感興趣可以利用v4l2去獲得基本引數
二： 在單一背景下，識別出ArUco碼 并且 在復雜背景下，識別出ArUco碼
Aruco碼就是我們前面所說的二進制碼，是一種只有黑白兩種顏色組成的正方形碼，具體介紹請看https://blog.csdn.net/sinat_16643223/article/details/114261770
我們這里主要說明如何用opencv自帶的aruco庫函式檢測并且繪制出aruco碼
檢測我們要用到detectMarkers()函式，精準檢測出aruco碼
cv::aruco::detectMarkers(inputImage, dictionary, markerCorners, markerIds, parameters, rejectedCandidates);
第一個引數是待檢測marker的影像，
第二個引數是字典物件，根據我們生成的或者圖片上的aruco調整
檢測出的markers存盤在markerCorners 和 markerIds結構中：
markerCorners 是檢測出的影像的角的串列，對于每個marker，將回傳按照原始順序排列的四個角（從左上角順時針開始），因此，第一個點是左上角的角，緊接著右上角、右下角和左下角，
markerIds 是在markerCorners檢測出的所有maker的id串列.注意回傳的markerCorners和markerIds 向量具有相同的大小，
第四個引數是型別的物件 DetectionParameters. 這一物件包含了檢測階段的所有引數，這一引數將在 下一章節詳細介紹，
最后的數, rejectedCandidates, 回傳了所有的marker候選, 例如， 那些被檢測出來的不是有效編碼的方形，每個候選同樣由四個角定義， 它的 形式和markerCorners的引數一樣，這一引數可以省略
利用aruco庫函式的時候一定要加#include <opencv2/aruco.hpp>頭檔案和命名空間using namespace aruco;
在正式檢測前需要做一些準備作業
- 影像校正：
我個人用的是matlab得到的相機內參矩陣和畸變矩陣 得到內參矩陣和畸變矩陣之后我們需要用到undistort（）函式進行影像的校正
undistort(src,undistimg,camearMatrix,discoeffs);//2.影像灰度轉化+二值化（利用了THRESH_OTSU|THRESH_BINARY）+濾波
cvtColor(undistimg,src_gray,COLOR_BGR2GRAY);
threshold(src_gray,src_gray,50,255,THRESH_OTSU|THRESH_BINARY);
blur(src_gray,src_gray,Size(3,3));- 檢測前的最后一步 準備檢測函式需要的引數
引數的具體型別以及含義已經在前面介紹過了，接下來就是我們的函式準備作業
cv::Ptr<cv::aruco::Dictionary> dictionary=aruco::getPredefinedDictionary(aruco::PREDEFINED_DICTIONARY_NAME::DICT_4X（由于我是從圖片上識別的 里面的4x4是我白格子的行數和列數）
vector <int> Marksid;
vector<vector<Point2f>> Markscorners,rejects;
detectMarkers(src_gray,dictionary,Markscorners,Marksid);
繪制出我們檢測到的函式drawDetectedMarkers(undistimg,Markscorners,Marksid);
值得一提的是 Markscorners 與Marksid是一對一的 我們用c標識前者 n標識后者（其中Ci可以與Cj相等 意思是數字可以有重復 單數一個id對應這唯一的一個aruco碼 比如C1==5 C2==5,但是N1和N5并不一樣 （切換成大寫是因為好看））
事已至此，我們已經可以繪畫出攝像頭范圍內的aruco碼了，檢測和繪制函式對于背景的復雜不復雜基本不受影響，
三： 在有多個ArUco碼的情況下，只識別其中一種ArUco碼
由于前面介紹了Markscorners 與Marksid一一對應，所以我們只需要根據id來提取特定的一類aruco碼，特別注意，檢測的時候里面的引數不能變，因為我們檢測的時候必須要檢測所有的影像來的到id和corners，只有在繪畫的時候我們才可以 根據id來畫特定的aruco碼
我們可以理解為drawDetectedMarkers(undistimg,Markscorners,Marksid);的操作是根據得到的id提取出corners的輪廓并且在undistimg上畫出來， 那這樣的話我們可以新建一個和Masksid一樣型別的資料A，篩選一下id 存入A中，再新建一個和Markscorners一樣型別的資料B，來存入特定的aruco碼輪廓，（因為是以唯一的對應，如果不重建B，id少而corners多，打破了規則因而函式不行了），
cv::Ptr<cv::aruco::Dictionary> dictionary=aruco::getPredefinedDictionary(aruco::PREDEFINED_DICTIONARY_NAME::DICT_4X4_100);
vector <int> Marksid;
vector<int> test;
vector<vector<Point2f>> Markscorners,rejects;
vector<vector<Point2f>> test1;
DetectorParameters parmetes;
// if(Marksid.size()>0) special marks find special marks
// test.clear();//清空的原因是因為Marksid，Markscorners會隨著每次檢測而更新
// test1.clear();//而我們這個只能存東西，所以必須清除一下再存入，達到更新效果 如果不清除 就會留下上一幀影像
// for(size_t i=0;i<Marksid.size();i++)
// {
// if(Marksid[i]==5)
// {
// test.push_back(Marksid[i]);
// test1.push_back(Markscorners[i]);
// cout<<"size of test is"<<test.size()<<endl;
//}
//cout<<"1"<<endl;
//drawDetectedMarkers(undistimg,test1,test);四： 獲取ArUco碼平面相對攝像頭的距離、角度等資訊+ 獲取ArUco碼中心在空間中的坐標（solvePnP）
做之前我們需要了解攝像頭成像原理，簡言之，就是初中學的知識：小孔成像，
原文鏈接：https://blog.csdn.net/wujianing_110117/article/details/106161633
單目測距演算法
相似三角形+
用相似三角形計算物體或者目標到相機的距離，將使用相似三角形來計算相機到一個已知的物體或者目標的距離，
假設有一個寬度為 W 的目標或者物體，然后將這個目標放在距離的相機為 D 的位置，用相機對物體進行拍照并且測量物體的像素寬度 P，
這樣就得出了相機焦距的公式：
F = (P x D) / W
舉個例子，假設在離相機距離 D = 24 英寸的地方放一張標準的 8.5 x 11 英寸的 A4 紙（橫著放；W = 11）并且拍下一張照片，測量出照片中 A4 紙的像素寬度為 P = 249 像素，因此的焦距 F 是：
F = (248px x 24in) / 11in = 543.45，
當繼續將的相機移動靠近或者離遠物體或者目標時，可以用相似三角形來計算出物體離相機的距離：
D’ = (W x F) / P，
例如，假設將相機移到距離目標 3 英尺（或者說 36 英寸）的地方并且拍下上述的 A4 紙，通過自動的圖形處理可以獲得圖片中 A4 紙的像素距離為 170 像素，將這個代入公式得：
D’ = (11in x 543.45) / 170 = 35 英寸或者約 36 英寸，合 3 英尺，
從以上可以看到，要想得到距離，就要知道攝像頭的焦距和目標物體的尺寸大小，這兩個已知條件根據公式：
D’ = (W x F) / P
得出目標到攝像機的距離Ｄ，其中Ｐ是指像素距離，Ｗ是Ａ４紙的寬度，Ｆ是攝像機焦距，
我們想測量aruco碼到攝像頭的距離和旋轉角度，可以利用solvepnp函式得到圖片相對于攝像機的平移矩陣和旋轉向量來得到，solvePnP函式需要的引數如下：
solvePnP(objpoints,imgpoints,camearMatrix,discoeffs,rvec,tvec);
Objpoints：vector<Point3f>類，對應的點在三維世界中的坐標，
Imgpoints ： vector<Point2f>類，對應的點在二維世界中的坐標
camearMatrix：Mat 類， 用matlab測出的相機內參矩陣
Discoeffs：Mat類， 用matlab測出的相機的畸變矩陣
Rvec，tvec：Mat類 ，分別是測量出的旋轉和平移矩陣
可能遇到的問題：1.二維三維的轉化問題（下面代碼里解釋）2.rvec 里面的內容存的是float型別 是角度它是個一列三行的矩陣，每一列分別存著關于x，y，z軸的偏移角
3.tvec是個一列三行的矩陣，分別存著影像點在以相機為原點的坐標系中x，y，z，軸上的位置，
if(Marksid.size()>0)//find all marks
{ for(size_t i=0;i<Marksid.size();i++)//get tvec and rvec
{ //vector <Point3f>objpoints;
//vector<Point2f>imgpoints;
for(size_t j=0;j<4;j++)//二維轉三維并且存下二維
{
Point3f real;
Point2f imgpoint;
imgpoint=Markscorners[i][j];
imgpoints.push_back(imgpoint);
real.x= Markscorners[i][j].x;
real.y=Markscorners[i][j].y;
real.z=0;
objpoints.push_back(real);
}
//objpoints.push_back(realpoints);
//imgpoints.push_back(tmppoints);
}
drawDetectedMarkers(undistimg,Markscorners,Marksid);
solvePnP(objpoints,imgpoints,camearMatrix,discoeffs,rvec,tvec);
double dis=sqrt(tvec.at<float>(0,0)*tvec.at<float>(0,0)+tvec.at<float>(1,0)*tvec.at<float>(1,0)+tvec.at<float>(2,0)*tvec.at<float>(2,0));
cout<<"dis is "<<dis<<endl;
cout<<"angle x is"<<rvec.at<float>(0,0)<<endl;
cout<<"angle y is"<<rvec.at<float>(1,0)<<endl;
cout<<"angle z is"<<rvec.at<float>(2,0)<<endl;得到中心的代碼如下 十分容易懂
for(size_t i=0;i<Marksid.size();i++)//get center
{
float x1=(Markscorners[i][0].x-Markscorners[i][1].x)/2;
float y1=(Markscorners[i][0].y-Markscorners[i][3].y)/2;
Point2f center=Point2f(x1,y1);
cout<<"No "<<i<<"'s center is"<<center<<endl;
}五：實作特定四個ArUco碼之間插入圖片/視頻
我在這里僅僅插入了圖片而已，要想實作在特定的aruco碼之間插入圖片，我們需要aruco的頂點坐標，因為aruco獲得aruco碼的坐標是存在markscorners里面，而且是從左上角順時針存盤到一個vector容器中，所以我們需要四個不一樣的aruco碼，并且要定位到具體的點，并且經過透視變換，將圖片定位到我們需要的四個點之間
Step1.我們先按照檢測aruco碼的順序來檢測aruco碼
detectMarkers(src_gray,dictionary,Markscorners,Marksid);Step2.由于markcorners是個vector容器，我們可以使用迭代器的方式來尋找特定id的aruco碼所對應的點
Step3.我們需要存入要插入的圖片的點，圖片我們之前就已經讀入了
Step4.最后一步就是利用透視變換，實作圖片動態跟隨與插入
完整代碼請看：https://github.com/AluxJ/my_case.git
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/341999.html
標籤：其他