基于AI深度學習的缺陷檢測系統

1. 基于AI深度學習的工業缺陷檢測現狀

在工業生產中，由于生產和運輸環境中的不可控因素，很容易產生劃痕、壓傷、擦掛等缺陷，而其中的缺陷大部分都極其微小，甚至是肉眼難以識別，這些缺陷所造成的壞品率極大的制約了工業界的發展，在中國制造業轉型升級的程序中，產品質量要銷往歐美等發達國家，讓產品更具競爭力，必然要求不良品不能最終出現在成品中，一方面，如果能提前發現不良的部件，提前排除，那就能打造成本優勢，另一方面，人工檢測一般在強燈光或者顯微鏡的作業環境中，人容易疲勞，容易誤判，對經驗要求高，現在大部分工廠并不容易找到檢測工人，各種因素驅動之下，全自動智能化的外觀檢測，催生了龐大市場需求，然而，很多工廠都還是剛從人工轉視覺，市場潛力無限，

圖1 電池產線人工在做外觀缺陷檢測

除去人工檢測外，使用機器視覺技術進行缺陷檢測是最為常見的做法，而機器視覺中需要依賴硬體模塊和軟體模塊兩個部分，硬體模塊中最主要的功能是影像采集，軟體模塊主要負責影像的處理，分析和檢測功能， 機器自動外觀檢測一般都采用傳統視覺演算法方法，主要包括面積分析、顏色抽取、差異對比、灰度分析、Blob計算等，然而這些方法對被檢物件依賴較大，并且存在檢測效率低、誤檢率高、不同目標需要針對性編碼等問題， 隨著深度學習影像檢測技術的發展，尤其在自動提取特征和實作端到端檢測方面表現出良好的性能，使得深度學習網路可以準確且快速地從影像中識別目標，并且具有較強的魯棒性， 因此，基于深度學習的影像檢測技術在缺陷檢測領域得到越來越多的重視，

圖2 螢屏生產線人工在做外觀缺陷檢測

傳統方法中影像分析主要是利用影像本身的特點，人工的進行影像特征選擇或特征提取，現在可以使用的影像處理演算法有很多，像 Open CV 庫和 HALCOM 演算法包中就有許多高效的影像處理和特征提取演算法，比如對資料去噪后，可以利用 Open CV 中的邊緣檢測演算法對影像邊緣進行定位和檢測，通過差分、微分等方法找到符合特征的邊緣資訊，然后通過一些手動設計好的特征提取演算法，對這些資訊進行匹配，找到符合缺陷特征的資訊，進而完成缺陷的檢測，

深度學習中的影像分析相比需要人工提取特征的傳統方法操作起來就比較簡單，其主要依靠深度學習演算法訓練出的模型，檢測時，模型會根據訓練程序中自動學習到的模型特征，對影像利用卷積操作進行特征提取得到的影像特征進行檢測判斷，然后給出“他”的判斷結果，在使用深度學習的程序中，省去了人工影像處理，提取特征的操作，由深度卷積神經網路代替人來完成這些操作，而且針對復雜的特征，卷積神經網路在這些作業上會比人完成的更加出色，

2. 工業應用少樣本的深度學習技術

深度學習近年來應用效果越來越好，很大程度上依賴于在當前資訊時代中對大資料的應用，比如疫情當下，很多小區為了加強對控制出入小區的門禁的管理，使用了應用廣泛的人臉識別設備，甚至使用了針對戴口罩人臉的檢測，希望可以讓住戶不摘口罩就可以被識別，而這樣的設備要想使效果滿足日常使用需求，需要服務端的演算法中有訓練得當的模型的支持，這樣的模型就需要大量的人臉資料來喂養，相對來說，人臉資料算是比較好收集和標記的，只要在人流量大的區域架設采集設備，一天就可以采集成千上萬張人臉照片，對于人臉照片，普通的標記作業人員就可以完成質量比較好的標記，但是工業生產的場景中，良率都比較高，且被檢測目標的專業性，需要更專業的人員才能判斷出缺陷內容，也無法滿足大量的缺陷樣本的采集作業，由于樣本數量太少，訓練模型時出現過擬合問題，因此分析目標檢測中典型演算法的優劣勢，需要提出靈活的模型網路的缺陷檢測演算法框架，用于解決少樣本學習程序中模型過擬合的問題，

圖3 電池蓋帽典型的缺陷型別（1）

圖4 電池蓋帽典型的缺陷型別（2）

3. 深度學習技術的應用分類

目前工業領域筆者見過的實際應用深度學習技術在生產線正常良好作業的，以美國康耐視的Vidi深度學習軟體居多，主流的halcon開發應用者，由于halcon缺乏完善的標注訓練工具，導致幾乎市場上不存在基于halcon的深度學習的工業現場實際應用，

圖5 Vidi 深度學習工具軟體

至于所謂的百度飛槳和華為等大廠的國產深度學習演算法包，筆者判斷，或許開源的深度學習演算法包好用，但是真正的情況的是，工業上鮮有落地，所謂的開源深度學習標注軟體更是一堆雞毛，根本無法商業化，因為一套完善的機器視覺檢測設備，他是一整套集成化的產品，包括了運動控制、人機界面、資料管理、機器視覺（傳統）、機器視覺（AI）、機械設計、電氣部分、生產組織管理等因素，不僅僅只是解決了AI演算法問題，就能把機器做出來，或者做好，他是一系列專業性能力的集合，然后某些細分領域的檢測設備，畢竟數量少，不能像汽車那樣大規模應用而獲得資本大規模投入，吸引大量高素質人才進入，自動化設備其實是專業性很強的領域、在技術門檻很高、收入待遇平平的時候，是難以吸引大量985大學等頂尖人才加入，畢竟Vidi標注訓練工具很貴，針對市場上的深度學習標注訓練測驗一體化的工具缺乏的情況，我公司 東莞市精馳技術有限公司 自主研發了一款能滿足深度學習要求的標注訓練測驗一體化工具，簡單易用，

圖5 東莞市精馳技術有限公司的MindWorks.AI工具軟體（深度學習標注訓練測驗一體化）

MindWorks.AI具備專案管理、目標生成、圖片管理、標注缺陷、種類分類、劃分、訓練和測驗評估一體化的深度學習工具軟體，

言歸正傳，深度學習的應用分類，主要是4類：1、目標識別；2、缺陷分割（語意分割）3、目標分類；4無監督學習，

1、目標識別，就是識別目標的位置，在工業領域，一般情況下不需要使用，筆者認為用傳統的匹配定位或者卡尺等特征定位準確度更高，

圖6 東莞市精馳技術有限公司的影像目標識別定位軟體

2、缺陷分割（語意分割），這個是重點內容，就是訓練后，深度學習將目標缺陷分割出來，標注的越準確，分割的結果越好，

圖7 東莞市精馳技術有限公司的MindWorks.AI工具軟體缺陷標注界面

圖8 基于精馳技術MindWorks.AI工具軟體訓練后的缺陷分割效果

3、目標分類，此類方法，將不同型別的目標篩選出來，或者將不同的缺陷進行分類，然后將缺陷目標找到，分類是深度學習速度最快，準確度最好的，深度學習最有優勢的地方也是如此，

圖9 基于精馳技術MindWorks.AI工具軟體的分類訓練

一般情況下，標注工具需要將目標調整到一致的位姿后，加掩膜，只保留目標區別區域，再訓練，效果會很好，基于深度學習的分類演算法，如上圖所示，只有1個點的區別的模穴號混料篩選，準確度可以達到99.8%以上，效果非常好，

4、無監督學習，此類方法，是針對難以找到NG樣品的時候，就訓練OK樣本，如果單單去理解專業術語無監督，可能讓讀者懵逼，一言以蔽之，就是訓練好物料，訓練后，在運行時候實際物料與之判斷，不重合的地方越多，差異越多，有個面積閾值，用來判斷NG，類似于差異模板，

圖10 基于精馳技術MindWorks.AI工具軟體的無監督學習訓練

圖11 基于精馳技術MindWorks.AI工具軟體的無監督學習訓練結果

3、深度學習技術在工業裝備檢測系統的實作步驟

步驟1：準備階段，樣本采集，目標缺陷都分布在目標樣本中，此時，需要對樣本分類進行圖片采集，一般在采集的同時通過影像定位，使樣本保持在同樣的位姿，東莞市精馳技術有限公司（東莞市精馳軟體有限公司）針對這一環節專門開發了采集糾正姿態的軟體，

步驟2：準備階段，樣本訓練，將采集的樣本匯入到工具軟體進行標注劃分和訓練，東莞市精馳技術有限公司（東莞市精馳軟體有限公司）針對這一環節專門開發了一體化的工具軟體MindWorks.AI，

步驟3：準備階段，匯入訓練模型結果到運行軟體，將有了標準的訓練劃分標注軟體，就可以可視化的得到訓練結果，然后生成結果之后，就可以匯入到目標運行軟體，以待實際作業使用，

圖12 精馳技術有限公司開發的檢測運行系統

精馳技術有限公司開發的檢測運行系統，可最大支持12個黑白/彩色相機同時作業，具備缺陷存檔、統計報表、深度學習模型匯入、運行執行判斷等動能，容易使用，而且方便，

圖13 精馳技術Inspect運行軟體的深度學習模型匯入視窗

步驟2：運行階段，實作目標ROI定位，目標ROI就是需要進行檢測分析的地方，定位ROI的方式有很多種，包括深度學習本身就可以做ROI目標檢測，傳統的方式，主要包括Blob分析，找圓，找方，找Mark點，模板匹配等，精馳技術根據團隊多年的應用經驗，推薦使用模板匹配進行精確定位ROI，

步驟3：運行階段，呼叫深度學習模型，目標ROI找到之后，將該ROI直接應用深度學習模型即可得到結果，對于分類而言，結果是不同型別的分數的串列，可以設定一個閾值判斷即可；對于缺陷分割而言，就是分割出來的缺陷位置，將他顯示出來，可以這是一個面積閾值來判定OK和NG；對于無監督學習而言，也是用面積表征缺陷位置，設定一個面積閾值判斷OK和NG即可，

4、深度學習技術的工業裝備檢測系統效果展示

深度學習是個好技術，也確實能解決一些問題，但是不要指望他能解決一切問題，畢竟一套檢測系統、一臺檢測設備，都是光學、運動控制、攝像機標定、預處理、人機界面、資料系統、機械、電氣、組織管理等一系列要素的集合，就像木桶原理一樣，任何一塊有短板，這個產品都是做不出來的，抑或是不穩定的，畢竟深度學習也就是產品的演算法一環而已，僅此而已，只不是方法先進一點罷了，

圖13 精馳技術MindWorks.AI 深度學習在印刷目標的識別效果

圖14 精馳技術MindWorks.AI 深度學習在劃痕目標的識別效果

圖15 精馳技術MindWorks.AI 深度學習在PCB光板的識別效果

5、最后

最后最后，若您有更好的專案，我們可以一起評估，一起合作，合作共贏，如果您有其他見解，不妨聯系我們一起交流學習，