背景介紹:
Sugar 在《影像處理基礎》一文中說過:“OpenMV 在影像里做目標識別的程序就是:不停地取出畫面里的每一幀影像,在影像里的每一幀畫面上找目標的程序,”
本篇就說一說 OpenMV 怎樣在一幀畫面上識別目標的,
image 模塊
上一篇《從 hello world 讀懂 OpenMV 怎樣玩》中說到 OpenMV 通過 sensor.snapshot() 從攝像頭獲取一幀影像,也就是一張當時的圖片,得到這個圖片后,就可以通過 image 模塊里的方法處理圖片了,原因是:

通過官方檔案可知:sensor.snapshot() 回傳一個 image 類的物件,要使用 image 模塊提供的方法,按 Python 的規矩就要:
import image
image 可以在當前的影像幀上做各種各樣的操作,下面先說一說要進行這些操作需要的基礎知識,
像素坐標
OpenMV 的像素坐標系如下:

與其他(OpenCV 等)影像處理系統一樣,像素坐標系的原點在影像的“左上角”,x、y 軸的正方向如上圖,
image 模塊方法示例:打標記
一、 API 介紹
1、image.clear() 清除影像幀上的所有像素點;
2、image.draw_rectangle(x, y, w, h) 以 (x, y) 為起點,畫寬 w 高 h 的方形,
二、代碼及現象

通過這個示例,非常直觀地感受到了 image.clear() 的作用:消除了整個影像幀的像素,把影像變黑了,如果我們想保留圖片,在拍攝到的視頻畫面上畫這個方塊,那么應該這么寫代碼:

每獲取一幀影像畫一個方塊,不用擦除之前畫的方塊,因為每次 sensor.snapshot() 的時候影像幀一更新就把上一次畫的方塊沖掉了(這里要細細體會一下搞明白哦),
三、再說兩個畫畫 API 接下來的例子用:
(1) image.draw_cross(x,y) 以像素坐標 (x, y) 為中心畫個十字,
(2) img.draw_circle(x, y, diameter) 以像素坐標 (x, y) 為圓心,diameter 為直徑畫一個圓,
只要了解 Python 的基本知識,對 OpenMV 編程就非常簡單,專注點在視覺及影像內容上而非 Python 語法上就對了,如果對 Python 語法還不熟悉的話可以看 Sugar 的 Python 入門系列推文,這里要說明的一點是:就算 Python 語法非常簡單,作為一種編程語言,學習其語法也會有一段枯燥的時間,這一點從 Sugar 寫 Python 入門系列推文的時候閱讀量不大就能看得出來,Python 相對于其他語言來講算是入門階段相當短的了,只要熬過那么一小段時間,識訓將是其樂無窮的,
image 模塊方法示例:找色塊
一、API 介紹
1、image.find_blobs(Lab色彩空間下的閥值元組)用于尋找當前影像幀里的目標色塊,官方 API 是這樣寫的:

2、sensor.set_auto_whitebal(False) 關閉自動白平衡,
這是個 sensor 模塊的設定,之所以放在這里說是因為這個設定與尋找色塊相關,官方檔案里是這么說的:

Sugar 對藝術略知一二并不精通,如果問“自動白平衡”是什么,還是下面這兩位大佬解釋得好:
藝術大佬一,來自知乎,請手動搜索下圖中的標題:

藝術大佬二,直接點這個題目《咳咳咳!你真的搞懂白平衡了嗎?》
Sugar 的做法是:官方檔案讓關咱就關了,不多問,哈哈,別學 Sugar 這樣不求甚解啊,多了解是好的,
二、image.blob 類介紹
上面的 image.find_blobs() 回傳一個 image.blob 物件,下面就來看一下這個物件里都包含哪些資訊,
| 資訊 | 含意 |
|---|---|
| corners | 從左上角開始順時針方向,色塊 4 個角的 (x,y) 像素坐標 |
| min_conrners | 這個目前沒搞明白先不解釋 |
| rect | 以 (x,y,w,h) 形式回傳色塊的邊界框資訊 |
| x | 色塊邊界框的 x 像素坐標 |
| y | 色塊邊界框的 y 像素坐標 |
| w | 色塊邊界框寬的像素個數 |
| h | 色塊邊界框高的像素個數 |
| pixels | 色塊里包含的像素點個數 |
| cx | 色塊中心的 x 像素坐標(整型) |
| cxf | 色塊中心的 x 像素坐標(浮點型) |
| cy | 色塊中心的 y 像素坐標(整型) |
| cyf | 色塊中心的 y 像素坐標(浮點型) |
| rotation | 長條形色塊的旋轉角度,0~PI 弧度,對圓形色塊無用 |
| rotation_deg | 以“度”為單位回傳長條形色塊的旋轉角度 |
| rotation_rad | 同 rotation,加了 rad 更易識別單位 |
| code | merge=True 時才有效,這個目前沒搞明白先不解釋 |
| count | merge=True 時才有效,這個目前沒搞明白先不解釋 |
| perimeter | 色塊周長上的像素個數 |
| roundness | 色塊的圓度,0~1 之間,圓是 1 |
| elongation | 色塊的線條度,0~1 之間,線是 1 |
| area | 色塊的面積,即:w*h |
| density | 色塊邊框區域內像素點的數量,0~1之間,較低說明物件鎖定不太好 |
| extent | 同 density,就是換個名字而已 |
| compactness | 類似 density,區別是使用色塊周長來衡量物件的密度,也是 0~1 之間 |
| solidity | 類似 density,區別是使用最小面積旋轉的矩形相對于邊界矩形來測量密度,也是 0~1 之間 |
| convexity | 色塊的方度,0~1 之間,正方形是 1 |
| x_hist_bins | 色塊中所有列的 x 軸直方圖,Bin 值在 0 和 1 之間縮放 |
| y_hist_bins | 色塊中所有行的 y 軸直方圖,Bin 值在 0 和 1 之間縮放 |
| major_axis_line | 色塊主軸像素點的元組,貫穿最小面積矩形最長邊,可以用 image.draw_line() 繪制 |
| minor_axis_line | 色塊次軸像素點的元組,貫穿最小面積矩形最短邊,可以用 image.draw_line() 繪制 |
| enclosing_circle | 包圍色塊最小面積矩形的圓的像素點元組,可以用 image.draw_circle() 繪制 |
| enclosed_ellipse | 包圍色塊最小面積矩形的橢圓的像素點元組,可以用 image.draw_ellipse() 繪制 |
三、代碼及現象

圖上的代碼不長,一張圖片看得全就不把代碼單摘出來了,相信愿意實踐的讀者可以照著打出來,這里點一處考察 Python 能力的地方:如果去掉代碼里 if len(blobs) > 0: 這個條件,則運行會在某個時候報錯,問題有三個:
1、會在什么時候報錯?
2、報什么錯,為什么報這個錯?
3、可否用 if blobs: 代替 if len(blobs) > 0:?
如果答不上來或答不全,請到 Sugar 寫的 Python 入門系列推文里鞏固一下 Python 基礎,
PS
顏色閥值的提取使用的是 OpenMV IDE 的一個工具,如下圖:

用法不細說了,網上搜一搜或者用滑鼠在彈出視窗上拉一拉就知道,
關注作者
歡迎掃碼關注我的公眾號MultiMCU EDU,

提示:在公眾號“關于我”頁面可加作者微信好友,
喜歡本文求點贊,有打賞我會更有動力,
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/155227.html
標籤:其他
下一篇:【圖神經網路】圖卷積網路 GCN
