盤它！基于CANN的輔助駕駛AI實戰案例，輕松搞定車輛檢測和車距計算！-有解無憂

摘要：基于昇騰AI異構計算架構CANN（Compute Architecture for Neural Networks）的簡易版輔助駕駛AI應用，具備車輛檢測、車距計算等基本功能，作為輔助駕駛入門級專案再合適不過，

本文分享自華為云社區《盤它！基于CANN的輔助駕駛AI實戰案例，輕松搞定車輛檢測和車距計算！》，作者：昇騰CANN，

引言

科幻片中光怪陸離的飛行器，寄托著人類對未來出行的無限遐想，隨著科技的進步，能夠自動駕駛的汽車，已經離我們越來越近，自動駕駛帶給人類的驚喜不止是酷炫的自動超車變道，還有它在緩解交通阻塞、減少空氣污染、提高道路安全性方面的種種可能性，因此也引得無數汽車企業、科技企業競相加入這條行業賽道，力求不斷突破，

然而，自動駕駛并不是一蹴而就的，由于技術瓶頸和相關法律法規的限制并未真正意義落地，當下的智能汽車正處于半自動駕駛（輔助駕駛）階段，什么是輔助駕駛？簡而言之，就是借助汽車對周圍環境的自動感知和分析，讓駕駛員預先察覺可能發生的危險，有效增加汽車駕駛的舒適性和安全性，當然，輔助駕駛系統也是非常復雜的，為實作汽車在多種復雜場景下的通用性，以及技術層面的多樣性，離不開人工智能技術，我們開發了一套基于昇騰AI異構計算架構CANN（Compute Architecture for Neural Networks）的簡易版輔助駕駛AI應用，具備車輛檢測、車距計算等基本功能，作為輔助駕駛入門級專案再合適不過啦！話不多說，開啟專案傳送門：https://www.hiascend.com/zh/developer/mindx-sdk/driveassist

CANN是華為專門針對AI場景推出的異構計算架構，以提升用戶開發效率和釋放昇騰AI處理器澎湃算力為目的，并且提供多層次的AscendCL編程介面，支持用戶快速構建基于昇騰平臺的AI應用和業務，

當然，真正意義上的輔助駕駛系統遠比這個AI應用更復雜，下面主要介紹如何借助AscendCL編程介面對輸入視頻進行預測推理，從而實作對車輛及車道線的智能檢測，

典型的目標檢測演算法

為模仿駕駛員對車輛的辨別和分析，需要建立起一個類似人腦的演算法結構，找出目標物體，確定它們的類別和位置，同時也需要解決影響檢測準確性的一系列問題，比如汽車的外觀和姿態、光照和遮擋等因素帶來的干擾，以YOLO（You Only Look Once）為代表的目標檢測演算法為各類物體的檢測提供了更多可能性，從人臉檢測到車流控制，從人群計數到農作物監控，目標檢測演算法在各領域都發揮著不可或缺的作用， YOLO演算法目前已經迭代到v5版本，本專案使用的是YOLOv4，下面我們來看看它的結構，

圖片來自https://blog.csdn.net/andyjkt/article/details/107590669

從演算法結構方面看，YOLOv4由三部分組成：Backbone層提取特征，Neck層提取一些更復雜的特征，最后由Head層計算預測輸出，

1. Backbone層：通過CSPDarknet53框架在不同影像細粒度上聚合并形成具備影像特征的卷積神經網路，主要用于影像特征提取，

2. Neck層：由SPP或PAN等一系列混合和組合影像特征的網路層組成，提取一些更復雜的特性，并將影像特征傳遞到預測層，

3. Head層：對影像特征進行預測，生成邊界合并預測類別，從流程方面看，YOLOv4主要分為三個處理階段：

首先，將影像分割為若干個網格（grid cell），每個網格負責生成3個包圍框（bounding box），以及對應置信度，
接著，YOLOv4會用非極大值抑制演算法（NMS），將與標注資料（ground truth）重合度低的bounding box剔除，
經過回歸處理后，最后剩下的bounding box所在的位置就是YOLOv4預測目標所在的位置，

圖片源自YOLO原始論文，參見文章末尾

昇騰強大算力平臺，讓訓練“快”到飛起，

和人類掌握某項技能一樣，演算法模型本身也需要經過不斷地訓練和試錯才能滿足特定業務場景需求，面對成千上萬的資料量和引數量，訓練時間可能需要幾天甚至上月，這時，一個擁有強大算力的AI計算平臺簡直能救你于水火，

昇騰AI基礎軟硬體平臺，依托昇騰AI處理器強大的算力，借助異構計算架構CANN的軟硬體協同優化充分釋放硬體算力，為高效訓練奠定了堅實的基礎，

我們知道，AI演算法模型可以基于不同AI框架定義，無論是華為開源AI框架昇思MindSpore，還是TensorFlow、PyTorch、Caffe等其他常用AI框架，CANN都能輕松轉換成標準化的Ascend IR(Intermediate Representation)表達的圖格式，屏蔽AI框架差異，讓你快速搞定演算法遷移，即刻體驗昇騰AI 處理器的澎湃算力，

此外，在全新一代CANN 5.0版本中，更是能通過圖級和算子級的編譯優化、自動調優等軟硬體深度協同優化，全面釋放硬體澎湃算力，達到AI模型訓練性能的大幅提升，針對包括分類、檢測、NLP、語意分割在內的常用模型訓練場景，均可實作性能翻番，讓整個訓練程序快到“飛”起，

本專案使用的YOLOv4原始模型是基于Pytorch框架和昇騰AI處理器訓練的，開發者們可以直接下載使用，也可根據實際精度需要重訓：

https://www.hiascend.com/zh/software/modelzoo/detail/2/e2c648dc7ffb473fb41d687a1a490e28

AscendCL介面，助力開發者高效編程

有了訓練好的AI演算法模型之后，就能借助AscendCL編程介面實作對視頻車輛及車道線的智能檢測了， AscendCL（Ascend Computing Language）是一套用于開發深度神經網路推理應用的C語言API庫，兼具運行時資源管理、模型加載與執行、影像預處理等能力，能夠讓開發者輕松解鎖圖片分類、目標檢測等各類AI應用，并且為開發者屏蔽底層處理器的差異，讓開發者只需要掌握一套API，就可以全面應用于昇騰全系列AI處理器，借助AscendCL編程介面，采用如下圖所示的模塊化設計，便能快速實作一個基于YOLOv4演算法的目標檢測應用，

首先介紹一下核心代碼，在預處理階段，主要將opencv讀到的影像轉換成符合模型輸入標準格式和尺寸的影像（原始碼如下圖所示，完整版代碼請查看文末鏈接），

1. 首先將opencv每幀讀到的BGR影像轉換成RGB影像，并通過模型輸入所需寬高與原影像寬高得到縮放系數scale、偏移量shift、偏移系數shift_ratio，
2. 將原影像resize到新的寬高得到image_，構建一個全0的新影像，寬高和模型輸入寬高相同，將image_以np.array的形式填充到全0的影像中，不在偏移范圍內的則都是0，將的影像的資料型別轉換成np中32位浮點型，
3. 為了消除奇異樣本資料的影像，進一步做歸一化處理，
4. 最后將通道數換到影像的第一維度，回傳新生成的影像和原始影像，

在推理階段，呼叫acl_model中的execute函式執行模型（完整版代碼請查看文末鏈接），預處理后的影像會被送至轉成om的YOLOv4模型，回傳推理結果，

在后處理階段中，后處理包括根據推理結果獲取檢測框坐標和置信度，使用NMS消除多余的邊框，使用透視變換矩陣計算車距，用opencv檢測車道線，最侄訓制帶有車輛檢測框、檢測框類別、車距和車道線的新影像，

梳理一下整體開發流程：

1. 運行管理資源申請：用于初始化系統內部資源，此部分為固定的呼叫流程，
2. 加載模型檔案并構建輸出的記憶體：將訓練好的模型轉換成om離線模型并且從檔案加載，此時需要由用戶自行管理模型運行的記憶體，根據記憶體中加載的模型獲取模型的基本資訊包括模型輸入、輸出資料的buffer大小，由模型的基本資訊構建模型輸出記憶體，為接下來的模型推理做準備，
3. 資料預處理：對讀入的影像資料進行預處理，然后構建模型的輸入資料，首先會對輸入視頻中的影像畫面按每幀進行處理；然后由BGR轉成RGB格式；接著使用resize將影像大小變成416x416，最后除以255進行歸一化處理以消除奇異資料的影響，
4. 模型推理：根據構建好的模型輸入資料進行模型推理，
5. 決議推理結果：基于推理得到的檢測邊框和各邊框的置信度，使用NMS消除多余的邊框，將新的邊框和類別繪制在輸出影像上，這樣，一個基于CANN開發的簡易版AI輔助駕駛小應用就開發完成了，小伙伴們點擊如下鏈接就能直接體驗效果啦！https://www.hiascend.com/zh/developer/mindx-sdk/driveassist

可能有人會問，車距是怎么算出來的？其實車距計算采用的是透視變換原理，使用opencv的getPerspectiveTransform方法通過將駕駛程序中拍攝的直視圖轉換成俯視圖計算車距，此外，用來拍攝行駛畫面的相機也影響車距的計算，需要查找相機的內外參矩陣，結合畸變系數用相機標定技術將影像中的距離資訊映射為客觀世界中的真實距離，從而計算出與其他車的距離，這幾個引數如何查找可以參考文末的視頻鏈接，

我們的專案代碼全部開源，感興趣的小伙伴可以下拉到文末直接訪問原始碼，當前開發的這個AI輔助駕駛小應用，針對解析度1280x720、幀率29.97、時長16秒的視頻，單幀影像在昇騰AI處理器上的純推理時長為14.19毫秒，但由于影像的前處理和后處理是在CPU上進行的，因此影響整體性能，可通過以下方式改進：

1. 前處理和后處理根據CPU數量和處理時長使用多個執行緒并行處理，提高昇騰AI處理器使用率，

2. 使用多個昇騰AI處理器進行多路推理，進一步提升性能，
3. 優化代碼演算法，將后處理部分由CPU下沉到昇騰AI處理器減少后處理耗時，如何下沉可參考https://gitee.com/ascend/samples/tree/master/python/level2_simple_inference/2_object_detection/YOLOV3_coco_detection_picture_with_postprocess_op
4. 使用Auto Tune工具，對模型進行調優，減少模型單次推理時長
5. 使用Profiling工具，分析模型中耗時算子，對算子進行優化

歡迎小伙伴一起參與專案改進，如有疑問也歡迎在gitee互動留言！

總結

如今很多汽車、高鐵和飛機上都搭載了輔助駕駛系統，不僅可以減輕駕駛員的負擔，同時還降低了事故發生的概率，隨著越來越多的行業匯入AI這條道路，昇騰CANN也將憑借技術優勢大大降低企業和個人開發者的使用門檻，通過不斷創新打造昇騰AI極致性能體驗，加速AI應用行業落地步伐，助力合作伙伴在未來AI之路上越走越遠！

盤它！基于CANN的輔助駕駛AI實戰案例，輕松搞定車輛檢測和車距計算！

引言

典型的目標檢測演算法

昇騰強大算力平臺，讓訓練“快”到飛起，

AscendCL介面，助力開發者高效編程

總結

相關鏈接