點擊上方“小白學視覺”，選擇加"星標"或“置頂”

重磅干貨，第一時間送達

如今，體育運動的熱潮日益流行，同樣，以不正確的方式進行運動的風險也在增加，有時可能會導致嚴重的傷害，考慮到這些原因，提出一種以分析運動員的關節運動，來幫助運動員糾正姿勢的解決方案，

人體姿勢估計是計算機視覺領域的重要問題，它的演算法有助于定位手腕，腳踝，膝蓋等部位，這樣做是為了使用深度學習和卷積神經網路的概念提供個性化的運動訓練體驗，特別是對于體育活動而言，訓練質量在很大程度上取決于影像或視頻序列中人體姿勢的正確性，

從影像或視頻序列中檢測運動員的姿勢

資料集

正確選擇資料集以對結果產生適當影響也是非常必要的，在此姿勢檢測中，模型在兩個不同的資料集即COCO關鍵點資料集和MPII人類姿勢資料集上進行了預訓練，

1. COCO：COCO關鍵點資料集是一個多人2D姿勢估計資料集，其中包含從Flickr收集的影像，迄今為止，COCO是最大的2D姿勢估計資料集，并被視為測驗2D姿勢估計演算法的基準，COCO模型有18種分類，COCO輸出格式：鼻子— 0，脖子—1，右肩—2，右肘—3，右手腕—4，左肩—5，左手肘—6，左手腕—7，右臀部—8，右膝蓋—9，右腳踝—10，左臀部—11，左膝—12，左腳踝—13，右眼—14，左眼—15，右耳—16，左耳—17，背景—18

2. MPII：MPII人體姿勢資料集是一個多人2D姿勢估計資料集，包含從Youtube視頻中收集的近500種不同的人類活動，MPII是第一個包含各種姿勢范圍的資料集，也是第一個在2014年發起2D姿勢估計挑戰的資料集，MPII模型輸出15分，MPII輸出格式：頭—0，脖子—1，右肩—2，右肘—3，右腕—4，左肩—5，左肘—6，左腕—7，右臀部—8，右膝蓋—9，右腳踝—10，左臀部—11，左膝蓋—12，左腳踝—13，胸部—14，背景—15

這些點是在對資料集進行處理并通過卷積神經網路（CNN）進行全面訓練時生成的，

具體步驟

步驟1：需求收集（模型權重）和負載網路

訓練有素的模型需要加載到OpenCV中，這些模型在Caffe深度學習框架上進行了訓練，Caffe模型包含兩個檔案，即.prototxt檔案和.caffemodel檔案，

1. .prototxt檔案指定了神經網路的體系結構，

2. .caffemodel檔案存盤訓練后的模型的權重，

然后我們將這兩個檔案加載到網路中，

# Specify the paths for the 2 files
protoFile = "pose/mpi/pose_deploy_linevec_faster_4_stages.prototxt"
weightsFile = "pose/mpi/pose_iter_160000.caffemodel"
# Read the network into Memory
net = cv2.dnn.readNetFromCaffe(protoFile, weightsFile)

步驟2：讀取影像并準備輸入網路

首先，我們需要使用blobFromImage函式將影像從OpenCV格式轉換為Caffe blob格式，以便可以將其作為輸入輸入到網路，這些引數將在blobFromImage函式中提供，由于OpenCV和Caffe都使用BGR格式，因此無需交換R和B通道，

# Read image
frame = cv2.imread("image.jpg")
# Specify the input image dimensions
inWidth = 368
inHeight = 368
# Prepare the frame to be fed to the network
inpBlob = cv2.dnn.blobFromImage(frame, 1.0 / 255, (inWidth, inHeight), (0, 0, 0), swapRB=False, crop=False)
# Set the prepared object as the input blob of the network
net.setInput(inpBlob)

步驟3：做出預測并決議關鍵點

一旦將影像傳遞到模型，就可以使用OpenCV中DNN類的正向方法進行預測，該方法通過網路進行正向傳遞，這只是說它正在進行預測的另一種方式，

output = net.forward()

輸出為4D矩陣：

1. 第一個維度是圖片ID（如果您將多個圖片傳遞到網路），

2. 第二個維度指示關鍵點的索引，該模型會生成置信度圖（在影像上的概率分布，表示每個像素處關節位置的置信度）和所有已連接的零件親和度圖，對于COCO模型，它由57個部分組成-18個關鍵點置信度圖+ 1個背景+ 19 * 2個部分親和度圖，同樣，對于MPI，它會產生44點，我們將僅使用與關鍵點相對應的前幾個點，

3. 第三維是輸出圖的高度，

4. 第四個維度是輸出圖的寬度，

然后，我們檢查影像中是否存在每個關鍵點，我們通過找到關鍵點的置信度圖的最大值來獲得關鍵點的位置，我們還使用閾值來減少錯誤檢測，

置信度圖

一旦檢測到關鍵點，我們便將其繪制在影像上，

H = out.shape[2]
W = out.shape[3]
# Empty list to store the detected keypoints
points = []
for i in range(len()):
# confidence map of corresponding body's part.
    probMap = output[0, i, :, :]
# Find global maxima of the probMap.
    minVal, prob, minLoc, point = cv2.minMaxLoc(probMap)
# Scale the point to fit on the original image
x = (frameWidth * point[0]) / W
y = (frameHeight * point[1]) / H
if prob > threshold :
        cv2.circle(frame, (int(x), int(y)), 15, (0, 255, 255), thickness=-1, lineType=cv.FILLED)
        cv2.putText(frame, "{}".format(i), (int(x), int(y)), cv2.FONT_HERSHEY_SIMPLEX, 1.4, (0, 0, 255), 3, lineType=cv2.LINE_AA)
# Add the point to the list if the probability is greater than the threshold
        points.append((int(x), int(y)))
else :
        points.append(None)
cv2.imshow("Output-Keypoints",frame)
cv2.waitKey(0)
cv2.destroyAllWindows()

步驟4：繪制骨架

由于我們已經繪制了關鍵點，因此我們現在只需將兩對連接即可繪制骨架，

for pair in POSE_PAIRS:
partA = pair[0]
partB = pair[1]
if points[partA] and points[partB]:
cv2.line(frameCopy, points[partA], points[partB], (0, 255, 0), 3)

結果

上面顯示的輸出向我們顯示了運動員在特定時刻的準確姿勢，下面是視頻的檢測結果，

專案原始碼：https://github.com/ManaliSeth/Athlete-Pose-Detection

下載1：OpenCV-Contrib擴展模塊中文版教程

在「小白學視覺」公眾號后臺回復：擴展模塊中文教程，即可下載全網第一份OpenCV擴展模塊教程中文版，涵蓋擴展模塊安裝、SFM演算法、立體視覺、目標跟蹤、生物視覺、超解析度處理等二十多章內容，

下載2：Python視覺實戰專案52講

在「小白學視覺」公眾號后臺回復：Python視覺實戰專案，即可下載包括影像分割、口罩檢測、車道線檢測、車輛計數、添加眼線、車牌識別、字符識別、情緒檢測、文本內容提取、面部識別等31個視覺實戰專案，助力快速學校計算機視覺，

下載3：OpenCV實戰專案20講

在「小白學視覺」公眾號后臺回復：OpenCV實戰專案20講，即可下載含有20個基于OpenCV實作20個實戰專案，實作OpenCV學習進階，

交流群

歡迎加入公眾號讀者群一起和同行交流，目前有SLAM、三維視覺、傳感器、自動駕駛、計算攝影、檢測、分割、識別、醫學影像、GAN、演算法競賽等微信群（以后會逐漸細分），請掃描下面微信號加群，備注：”昵稱+學校/公司+研究方向“，例如：”張三 + 上海交大 + 視覺SLAM“，請按照格式備注，否則不予通過，添加成功后會根據研究方向邀請進入相關微信群，請勿在群內發送廣告，否則會請出群，謝謝理解~