使用OpenCV進行實時車道檢測

作者|ABHISHEK SHARMA
編譯|VK
來源|Analytics Vidhya

大約十年前，當谷歌的人還在試驗一輛原型車時，我預見了自己的第一輛自動駕駛汽車，當時我立刻被這個想法迷住了，不可否認，我不得不等待一段時間，直到這些概念向社區開放，現在看來等待確實是值得的！

我最近試驗了一些與計算機視覺有關的自動駕駛汽車概念，里面包括車道檢測，想想看，它實際上是設計任何一款自主汽車的核心概念，

以下是我們將在本視頻中構建的車道檢測系統：https://youtu.be/sYhZbhT-Smw

很酷，對吧？在這個教程中，我會使用OpenCV庫進行車道檢測和自動駕駛汽車，當然，在本教程中，我們還將引入Python代碼，

目錄

1. 理解車道檢測的概念

2. 理解問題陳述

3. 什么是幀掩碼？

4. 車道檢測的影像預處理

5. 用OpenCV在Python中實作車道檢測

理解車道檢測的概念

那么什么是車道檢測？以下是百度百科對車道的定義：

車道，又稱行車線、車行道，是用在供車輛行經的道路，在一般公路和高速公路都有設定，高速公路對車道使用帶有法律上的規則，例如行車道和超車道，

對其進行定義是很重要的，因為它使我們能夠繼續進行車道檢測概念，我們在建立一個系統時不能有任何含糊不清的地方，

正如我前面提到的，車道檢測是自動駕駛汽車和自動駕駛汽車的關鍵組成部分，這是駕駛場景理解的重要研究課題之一，一旦獲得車道位置，車輛就知道去哪里，并避免撞上其他車道或離開道路，這樣可以防止駕駛員/車輛系統偏離車道，

以下是一些隨機道路影像（第一行）及其檢測到的車道（第二行）：

理解問題陳述

我們希望執行的任務是實時檢測視頻中的車道，我們可以通過多種方式進行車道檢測，我們可以使用基于學習的方法，例如在帶注釋的視頻資料集上訓練深度學習模型，或者使用預訓練好的模型，

然而，也有更簡單的方法來執行車道檢測，在本文中，我將向你展示如何在不使用任何深入學習模型的情況下完成此任務，但是我們將使用Python中流行的OpenCV庫，

下面是我們將要處理的視頻的一個幀：

正如我們在這張圖片中看到的，我們有四條車道被白色的車道標線隔開，所以，要檢測車道，我們必須檢測車道兩邊的白色標記，這就引出了一個關鍵問題——我們如何檢測車道標線？

除了車道標線之外，場景中還有許多其他物件，道路上有車輛、路側護欄、路燈等，在視頻中，每一幀都會有場景變化，這很好地反映了真實的駕駛情況，

因此，在解決車道檢測問題之前，我們必須找到一種方法來忽略駕駛場景中不需要的物件，

我們現在能做的一件事就是縮小感興趣的領域，與其使用整個幀，不如只使用幀的一部分，在下面的影像中，除了車道的標記之外，其他所有內容都隱藏了，當車輛移動時，車道標線將或多或少地落在該區域內：

在下一節中，我將向你展示如何編輯視頻幀以選擇特定區域，你還將了解一些必要的影像預處理操作，

什么是幀掩碼(Frame Mask)？

在這里，幀掩碼只是一個NumPy陣列，當我們想對影像應用掩碼時，只需將影像中所需區域的像素值更改為0、255或任何其他數字，下面給出了一個影像掩蔽的例子，影像中某個區域的像素值已設定為0：

這是一種非常簡單但有效的從影像中去除不需要的區域和物件的方法，

車道檢測的影像預處理

我們將首先對輸入視頻中的所有幀應用掩碼，然后，我們將應用影像閾值化和霍夫線變換來檢測車道標線，

影像閾值化

在這種方法中，灰度影像的像素值根據閾值被指定為表示黑白顏色的兩個值之一，因此，如果一個像素的值大于一個閾值，它被賦予一個值，否則它被賦予另一個值，

如上所示，對蒙版影像應用閾值后，我們只得到輸出影像中的車道標線，現在我們可以通過霍夫線變換很容易地檢測出這些標記，

霍夫線變換

霍夫線變換是一種檢測任何可以用數學方法表示的形狀的方法，

例如，它可以檢測矩形、圓、三角形或直線等形狀，我們感興趣的是檢測可以表示為直線的車道標線，

這是相關檔案：https://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html

在執行影像閾值化后對影像應用霍夫線變換將提供以下輸出：

我們需要對所有幀執行此程序，然后將生成的幀縫合到新視頻中，

用OpenCV在Python中實作車道檢測

是時候用Python實作這個車道檢測專案了！我推薦使用Google Colab，因為構建車道檢測系統需要計算能力，

首先匯入所需的庫：

import os
import re
import cv2
import numpy as np
from tqdm import tqdm_notebook
import matplotlib.pyplot as plt

讀取視頻幀

我已經從這個YouTube視頻中抽取了一些視頻片段，你可以從這個鏈接下載:https://drive.google.com/file/d/1e4cc4zFFna3Owyym6aq7ZXoquHA2l95O/view?usp=sharing，

# 獲取幀的檔案名
col_frames = os.listdir('frames/')
col_frames.sort(key=lambda f: int(re.sub('\D', '', f)))

# 加載幀
col_images=[]
for i in tqdm_notebook(col_frames):
    img = cv2.imread('frames/'+i)
    col_images.append(img)

讓我們繪制一個幀：

# 指定一個索引
idx = 457

# plot frame
plt.figure(figsize=(10,10))
plt.imshow(col_images[idx][:,:,0], cmap= "gray")
plt.show()

幀掩碼創建

我們感興趣的區域是一個多邊形，我們想掩蓋除了這個區域以外的一切，因此，我們首先必須指定多邊形的坐標，然后使用它來準備幀掩碼：

# 創建0矩陣
stencil = np.zeros_like(col_images[idx][:,:,0])

# 指定多邊形的坐標
polygon = np.array([[50,270], [220,160], [360,160], [480,270]])

# 用1填充多邊形
cv2.fillConvexPoly(stencil, polygon, 1)

# 畫出多邊形
plt.figure(figsize=(10,10))
plt.imshow(stencil, cmap= "gray")
plt.show()

# 應用該多邊形作為掩碼
img = cv2.bitwise_and(col_images[idx][:,:,0], col_images[idx][:,:,0], mask=stencil)

# plot masked frame
plt.figure(figsize=(10,10))
plt.imshow(img, cmap= "gray")
plt.show()

影像預處理

我們必須對視頻幀執行一些影像預處理操作來檢測所需的車道，預處理操作包括：

1. 影像閾值化

2. 霍夫線變換

1.影像閾值化

# 應用影像閾值化
ret, thresh = cv2.threshold(img, 130, 145, cv2.THRESH_BINARY)

# 畫出影像
plt.figure(figsize=(10,10))
plt.imshow(thresh, cmap= "gray")
plt.show()

2.霍夫線變換

lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)

# 創建原始幀的副本
dmy = col_images[idx][:,:,0].copy()

# 霍夫線
for line in lines:
  x1, y1, x2, y2 = line[0]
  cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)

# 畫出幀
plt.figure(figsize=(10,10))
plt.imshow(dmy, cmap= "gray")
plt.show()

現在我們將對每個幀應用所有這些操作，我們還將結果幀保存在新目錄中：

cnt = 0

for img in tqdm_notebook(col_images):
  
  # 應用幀掩碼
  masked = cv2.bitwise_and(img[:,:,0], img[:,:,0], mask=stencil)
  
  # 應用影像閾值化
  ret, thresh = cv2.threshold(masked, 130, 145, cv2.THRESH_BINARY)

  # 應用霍夫線變換
  lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
  dmy = img.copy()
  
  #畫出檢測到的線
  try:
    for line in lines:
      x1, y1, x2, y2 = line[0]
      cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)
  
    cv2.imwrite('detected/'+str(cnt)+'.png',dmy)
  
  except TypeError: 
    cv2.imwrite('detected/'+str(cnt)+'.png',img)

  cnt+= 1

視頻準備

# 輸入幀的路徑
pathIn= 'detected/'

#輸出視頻路徑
pathOut = 'roads_v2.mp4'

# 視頻每秒的幀數
fps = 30.0

from os.path import isfile, join

# 獲取幀的檔案名
files = [f for f in os.listdir(pathIn) if isfile(join(pathIn, f))]
files.sort(key=lambda f: int(re.sub('\D', '', f)))

接下來，我們將把檢測到的車道上的所有幀放入一個串列中：

frame_list = []

for i in tqdm_notebook(range(len(files))):
    filename=pathIn + files[i]
    #讀取每一個檔案
    img = cv2.imread(filename)
    height, width, layers = img.shape
    size = (width,height)
    
    #將幀插入影像陣列
    frame_list.append(img)

最后，我們現在可以使用下面的代碼將幀合并為視頻：

# 寫入視頻
out = cv2.VideoWriter(pathOut,cv2.VideoWriter_fourcc(*'DIVX'), fps, size)

for i in range(len(frame_array)):
    out.write(frame_array[i])

out.release()

這就完成了Python中的車道檢測系統，

結尾

在本教程中，我們介紹了一種簡單的車道檢測技術，我們沒有使用任何模型或復雜的影像特征，相反，我們的解決方案完全基于某些影像預處理操作，

但是，在很多情況下，這個解決方案都無法作業，例如，當沒有車道標線，或者道路上的車輛太多時，該系統將失敗，在車道檢測中有更復雜的方法來克服這些問題，

原文鏈接：https://www.analyticsvidhya.com/blog/2020/05/tutorial-real-time-lane-detection-opencv/

歡迎關注磐創AI博客站：
http://panchuang.net/

sklearn機器學習中文官方檔案：
http://sklearn123.com/

歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/

標籤：其他

上一篇：決策樹和隨機森林

下一篇：沃爾瑪的產品知識圖譜