Surface-Defect-Detection

🐎📈 collect Surface-Defect-Detection paper and dataset 🐋

原文鏈接，參看我的Github：https://github.com/Charmve/Surface-Defect-Detection

目前, 基于機器視覺的表面缺陷裝備已經在各工業領域廣泛替代人工肉眼檢測，包括3C、汽車、家電、機械制造、半導體及電子、化工、醫藥、航空航天、輕工等行業，傳統的基于機器 視覺的表面缺陷檢測方法，往往采用常規影像處理 演算法或人工設計特征加分類器方式，一般來說，通常利用被檢表面或缺陷的不同性質進行成像方案的設計，合理的成像方案有助于獲得光照均勻的影像，并將物體表面缺陷明顯的體現出來，近年來，不少基于深度學習的缺陷檢測方法也被廣泛應用在各種工業場景中，

對比計算機視覺中明確的分 類、檢測和分割任務, 缺陷檢測的需求非常籠統. 實 際上, 其需求可以劃分為三個不同的層次: “缺陷是什么”（分類）、“缺陷在哪里”（定位）和“缺陷是多少”（分割），

一、表面缺陷檢測關鍵問題

1、小樣本問題

目前深度學習方法廣泛應用在各種計算機視覺 任務中, 表面缺陷檢測一般被看作是其在工業領域的具體應用，在傳統的認識中, 深度學習方法無法直接應用在表面缺陷檢測中的原因是因為在真實的 工業環境中, 所能提供的工業缺陷樣本太少，

相比于ImageNet資料集中1400多萬張樣本資料, 表面缺陷檢測中面臨的最關鍵的問題是小樣本問題, 在很多真實的工業場景下甚至只有幾張或幾十張缺陷圖片， 實際上, 針對于工業表面缺陷檢測中關鍵問題之 一的小樣本問題, 目前有4種不同的解決方式:

1）資料擴增、生成

最常用的缺陷影像擴 增方法是對原始缺陷樣本采用鏡像、旋轉、平移、扭曲、濾波、對比度調整等多種影像處理操作來獲取 更多的樣本，另外一種較為 常見方法是資料合成, 常常將單獨缺陷融合疊加到 正常(無缺陷)樣本上構成缺陷樣本，

2）網路預訓練與遷移學習

一般來說,，采用小樣本來訓練深度學習網路很容易導致過擬合, 因此 基于預訓練網路或遷移學習的方法是目前針對樣 本中最常用的方法之一，

3）合理的網路結構設計

通過設計合理的網路 結構也可以大大減少樣本的需求，基于壓縮采樣定理來壓縮和擴充小樣本資料, 使 用CNN直接對壓縮采樣的資料特征進行分類. 相比 于原始的影像輸入, 通過對輸入進行壓縮采樣能大 大降低網路對樣本的需求. 此外, 基于孿生網路的表 面缺陷檢測方法也可以看作是一種特殊的網路設計, 能夠大幅減少樣本需求，

4）無監督或半監督

在無監督模型中, 只利用正 常樣本進行訓練, 因此不需要缺陷樣本. 半監督方法 可以利用沒有標注的樣本來解決小樣本情況下的網路訓練難題，

2、實時性問題

基于深度學習的缺陷檢測方法在工業應用中包括三個主要環節: 資料標注、模型訓練與模型推斷. 在實際工業應用中的實時性更關注模型推斷這一環節. 目前大多數缺陷檢測方法都集中在分類或 識別的準確性上, 而很少關注模型推斷的效率，有不少方法用于加速模型, 例如模型權重量化和模型剪枝等，另外，雖然現有深度學習模型 使用GPU作為通用計算單元, 但隨著技術發展, 相信FPGA會成為一個具有吸引力的替代方案，

二、工業表面缺陷檢測常用資料集

1）鋼材表面：NEU-CLS（可用于分類、定位任務）

地址：http://faculty.neu.edu.cn/yunhyan/NEU_surface_defect_database.html

由東北大學（NEU）發布的表面缺陷資料庫，收集了熱軋鋼帶的六種典型表面缺陷，即軋制訊訓皮（RS），斑塊（Pa），開裂（Cr），點蝕表面（ PS），內含物（In）和劃痕（Sc），該資料庫包括1,800個灰度影像：六種不同型別的典型表面缺陷，每一類缺陷包含300個樣本，對于缺陷檢測任務，資料集提供了注釋，指示每個影像中缺陷的類別和位置，對于每個缺陷，黃色框是指示其位置的邊框，綠色標簽是類別分數，

2）太陽能板：elpv-dataset

地址：https://github.com/zae-bayern/elpv-dataset

3）金屬表面：KolektorSDD

The dataset is constructed from images of defected electrical commutators that were provided and annotated by Kolektor Group d.o.o… Specifically, microscopic fractions or cracks were observed on the surface of the plastic embedding in electrical commutators. The surface area of each commutator was captured in eight non-overlapping images. The images were captured in a controlled environment.

offical link: https://www.vicos.si/Downloads/KolektorSDD

百度網盤鏈接：https://pan.baidu.com/share/init?surl=HSzHC1ltHvt1hSJh_IY4Jg

提取碼：1zlb

The dataset consists of:

• 50 physical items (defected electrical commutators)
• 8 surfaces per item
• Altogether 399 images:
  – 52 images of visible defect
  – 347 images without any defect
• Original images of sizes:
  – width: 500 px
  – height: from 1240 to 1270 px
• For training and evaluation images should be resized to 512 x 1408 px

For each item the defect is only visible in at least one image, while two items have defects on two images, which means there were 52 images where the defects are visible. The remaining 347 images serve as negative examples with non-defective surfaces.

4）PCB板檢測：DeepPCB

地址：https://github.com/Charmve/Surface-Defect-Detection/tree/master/DeepPCB

5）AITEX資料集（面料缺陷）

資料集下載鏈接：

https://pan.baidu.com/s/1cfC4Ll5QlnwN5RTuSZ6b7w

提取碼：b9uy

該資料庫由七個不同織物結構的245張4096 x 256像素影像組成，資料庫中有140個無缺陷影像，每種型別的織物20個，除此之外，有105幅紡織行業中常見的不同型別的織物缺陷（12種缺陷）影像，影像的大尺寸允許用戶使用不同的視窗尺寸，從而增加了樣本數量，Internet上的資料庫還包含所有具有缺陷的影像的分割mask，使得白色像素表示缺陷區域，其余像素為黑色，

6）天池布匹缺陷資料（競賽）

資料下載鏈接：

https://pan.baidu.com/s/1LMbujxvr5iB3SwjFGYHspA

提取碼：gat2

在布匹的實際生產程序中，由于各方面因素的影響，會產生污漬、破洞、毛粒等瑕疵，為保證產品質量，需要對布匹進行瑕疵檢測，布匹疵點檢驗是紡織行業生產和質量管理的重要環節，目前人工檢測易受主觀因素影響，缺乏一致性；并且檢測人員在強光下長時間作業對視力影響極大，由于布匹疵點種類繁多、形態變化多樣、觀察識別難道大，導致布匹疵點智能檢測是困擾行業多年的技術瓶頸，本資料涵蓋了紡織業中布匹的各類重要瑕疵，每張圖片含一個或多種瑕疵，資料包括包括素色布和花色布兩類，其中，素色布資料約8000張，用于初賽；花色布資料約12000張，用于復賽，

7）天池鋁型材表面瑕疵資料集（競賽）

資料集下載鏈接：

https://tianchi.aliyun.com/competition/entrance/231682/information

資料介紹：在鋁型材的實際生產程序中，由于各方面因素的影響，鋁型材表面會產生裂紋、起皮、劃傷等瑕疵，這些瑕疵會嚴重影響鋁型材的質量，為保證產品質量，需要人工進行肉眼目測，然而，鋁型材的表面自身會含有紋路，與瑕疵的區分度不高，傳統人工肉眼檢查十分費力，不能及時準確的判斷出表面瑕疵，質檢的效率難以把控，近年來，深度學習在影像識別等領域取得了突飛猛進的成果，鋁型材制造商迫切希望采用最新的AI技術來革新現有質檢流程，自動完成質檢任務，減少漏檢發生率，提高產品的質量，使鋁型材產品的生產管理者徹底擺脫了無法全面掌握產品表面質量的狀態，大賽資料集里有1萬份來自實際生產中有瑕疵的鋁型材監測影像資料，每個影像包含一個或多種瑕疵，供機器學習的樣圖會明確標識影像中所包含的瑕疵型別，

8）弱監督學習下的工業光學檢測（DAGM 2007） Weakly Supervised Learning for Industrial Optical Inspection

資料下載鏈接：

https://hci.iwr.uni-heidelberg.de/node/3616

資料集介紹：

• 主要針對紋理背景上的雜項缺陷，

• 較弱監督的訓練資料，

• 包含是個資料集，前六個為訓練資料集，后四個為測驗資料集，

• 每個資料集均包含以灰度8位PNG格式保存的1000個“無缺陷”影像和150個“有缺陷”影像，每個資料集由不同的紋理模型和缺陷模型生成，

• “無缺陷”影像顯示的背景紋理沒有缺陷，“無缺陷”影像的背景紋理上恰好有一個標記的缺陷，

• 所有資料集已隨機分為大小相等的訓練和測驗子資料集，

• 弱標簽以橢圓形表示，大致表示缺陷區域，

9）基建表面裂紋檢測資料 Cracks on the surface of the construction.

資料集是github上的一個專案，主要是一些基建（水泥表面裂紋），可以訪問專案連接：https://github.com/cuilimeng/CrackForest-dataset 或者百度云鏈接：https://pan.baidu.com/s/1108j5QbDr7T3XQvDxAzVpg

提取碼：jajn

Cracks on the bridge(left) and crack on the road surface.

• Bridge cracks. There are 2688 images of bridge crack without pixel-level ground truth. From the authors “Liangfu Li Weifei Ma Li Li Xiaoxiao Gao”. Files can be reached by visiting https://github.com/Charmve/Surface-Defect-Detection/tree/master/Bridge_Crack_Image.

• Crack on road surface. From Shi, Yong, and Cui, Limeng and Qi, Zhiquan and Meng, Fan and Chen, Zhensong. Original dataset can be reached at https://github.com/Charmve/Surface-Defect-Detection/tree/master/CrackForest. We extract the image files of the pixel level ground truth.

10）磁瓦缺陷資料集 Magnetic tile dataset

Magnetic tile dataset by ourselves. Can be downloaded from https://github.com/Charmve/Surface-Defect-Detection/tree/master/Magnetic-Tile-Defect, which was used in our paper “Surface defect saliency of magnetic tile”, the paper can be reach by here or here

Figure 1. An overview of our dataset.

This is the datasets of the paper “Saliency of magnetic tile surface defects”
The images of 6 common magnetic tile defects were collected, and their pixel level ground-truth were labeled.

11）鐵軌表面缺陷資料集 RSDDs dataset

RSDDs資料集包含兩種型別的資料集：第一種是從快車道捕獲的I型RSDDs資料集，其中包含67個具有挑戰性的影像，第二個是從普通/重型運輸軌道捕獲的II型RSDDs資料集，其中包含128個具有挑戰性的影像，

兩個資料集的每幅影像至少包含一個缺陷，并且背景復雜且噪聲很大，

RSDDs資料集中的這些缺陷已由一些專業的人類觀察員在軌道表面檢查領域進行了標記，

官方鏈接：http://icn.bjtu.edu.cn/Visint/resources/RSDDs.aspx

鏈接：https://pan.baidu.com/share/init?surl=svsnqL0r1kasVDNjppkEwg

提取碼：nanr

12）Kylberg Texture Dataset v. 1.0

Figure 2. Example patches from each one of the 28 texture classes.

Short description

• 28 texture classes, see Figure 2.
• 160 unique texture patches per class. (Alternative dataset with 12 rotations per each original patch, 160*12=1920 texture patches per class).
• Texture patch size: 576x576 pixels.
• File format: Lossless compressed 8 bit PNG.
• All patches are normalized with a mean value of 127 and a standard deviation of 40.
• One directory per texture class.
• Files are named as follows: blanket1-d-p011-r180.png, where blanket1 is the class name, d original image sample number (possible values are a, b, c, or d), p011 is patch number 11, r180 patch rotated 180 degrees.

offical link:http://www.cb.uu.se/~gustaf/texture/

https://github.com/abin24/Surface-Inspection-defect-detection-dataset

三、Surface Defect Detection Papers

收集一些表面缺陷檢測的文章，主要檢測物件是：金屬表面、LCD屏、建筑、輸電線等缺陷或例外檢物，方法以分類方法、檢測方法、重構方法、生成方法為主，電子版論文放在了paper檔案的對應日期檔案下，

詳見本倉庫 Papers