主頁 >  其他 > 如何在自定義資料集上訓練YOLOv5

如何在自定義資料集上訓練YOLOv5

2020-09-21 19:25:00 其他

作者|Jacob Solawetz, Joseph Nelson
編譯|Flin
來源|blog

YOLO系列的目標檢測模型隨著YOLOv5的引入變得越來越強大,在這篇文章中,我們將介紹如何訓練YOLOv5為你的定制用例識別定制物件,

非常感謝Ultralytics將此存盤庫組合在一起,我們相信,與干凈的資料管理工具相結合,任何希望在其專案中部署計算機視覺專案的開發人員都可以輕松地使用此技術,

我們使用公共血細胞檢測資料集,你可以自己匯出,你也可以在自己的自定義資料上使用本教程,

  • 公共血細胞檢測資料集:https://public.roboflow.ai/object-detection/bccd

為了訓練探測器,我們采取以下步驟:

  • 安裝YOLOv5依賴項

  • 下載自定義YOLOv5物件檢測資料

  • 定義YOLOv5模型配置和架構

  • 訓練一個定制的YOLOv5探測器

  • 評估YOLOv5性能

  • 可視化YOLOv5訓練資料

  • 對測驗影像運行YOLOv5推斷

  • 匯出保存的YOLOv5權重以供將來推斷

YOLOv5:有什么新鮮的嗎?

就在兩個月前,我們對googlebrain引入EfficientDet感到非常興奮,并寫了一些關于EfficientDet的博客文章,我們認為這個模型可能會超越YOLO家族在實時目標探測領域的突出地位——事實證明我們錯了,

三周內,YOLOv4在Darknet框架下發布,我們還寫了更多關于分解YOLOv4研究的文章,

在寫這篇文章之前幾個小時,YOLOv5已經發布,我們發現它非常清晰明了,

YOLOv5是在Ultralytics-Pythorch框架中撰寫的,使用起來非常直觀,推理速度非常快,事實上,我們和許多人經常將YOLOv3和YOLOv4 Darknet權重轉換為Ultralytics PyTorch權重,以便使用更輕的庫更快地進行推理,

YOLOv5比YOLOv4表現更好嗎?我們很快會向你介紹,你可能對YOLOv5和YOLOv4有了初步的猜測,


YOLOv5與EfficientDet的性能對比

YOLOv4顯然沒有在YOLOv5存盤庫中進行評估,也就是說,YOLOv5更易于使用,而且它在我們最初運行的定制資料上表現非常出色,

我們建議你在 YOLOv5 Colab Notebook 中同時進行接下來的操作,

  • https://colab.research.google.com/drive/1gDZ2xcTOgR39tGGs-EZ6i3RTs16wmzZQ

安裝YOLOv5環境

從YOLOv5開始,我們首先克隆YOLOv5存盤庫并安裝依賴項,這將設定我們的編程環境,準備好運行物件檢測訓練和推理命令,

!git clone https://github.com/ultralytics/yolov5  # clone repo
!pip install -U -r yolov5/requirements.txt  # install dependencies

%cd /content/yolov5

然后,我們可以看看我們的訓練環境免費提供給我們的谷歌Colab,

import torch
from IPython.display import Image  # for displaying images
from utils.google_utils import gdrive_download  # for downloading models/datasets

print('torch %s %s' % (torch.__version__, torch.cuda.get_device_properties(0) if torch.cuda.is_available() else 'CPU'))

很可能你會從谷歌Colab收到一個 Tesla P100 GPU,以下是我收到的:

torch 1.5.0+cu101 _CudaDeviceProperties(name='Tesla P100-PCIE-16GB', major=6, minor=0, total_memory=16280MB, multi_processor_count=56)

GPU可以讓我們加快訓練時間,Colab也很好,因為它預裝了torchcuda,如果你嘗試在本地上使用本教程,可能需要執行其他步驟來設定YOLOv5,

下載自定義YOLOv5物件檢測資料

在本教程中,我們將從Roboflow下載YOLOv5格式的自定義物件檢測資料,在本教程中,我們使用公共血細胞檢測資料集訓練YOLOv5檢測血流中的細胞,你可以使用公共血細胞資料集或上傳你自己的資料集,

  • Roboflow:https://roboflow.ai/
  • 公共血細胞資料集:https://public.roboflow.ai/object-detection/bccd

關于標記工具的快速說明

如果你有未標記的影像,則首先需要標記它們,對于免費的開源標簽工具,我們推薦 LabelImg入門CVAT注釋工具入門 的指南,嘗試標記約50幅影像再繼續本教程,要在以后提高模型的性能,你將需要添加更多標簽,

  • https://blog.roboflow.ai/getting-started-with-labelimg-for-labeling-object-detection-data/
  • https://blog.roboflow.ai/getting-started-with-cvat/

一旦你標記了資料,要將資料移動到Roboflow中,請創建一個免費帳戶,然后你可以以任何格式拖動資料集:(VOC XML、COCO JSON、TensorFlow物件檢測CSV等),

上傳后,你可以選擇預處理和增強步驟:


為BCCD示例資料集選擇的設定

然后,單擊 Generate 和 Download,你將能夠選擇YOLOv5 Pythorch格式,


選擇“YOLO v5 Pythorch”

當出現提示時,一定要選擇“Show Code Snippet”,這將輸出一個下載curl腳本,這樣你就可以輕松地將資料以正確的格式移植到Colab中,

curl -L "https://public.roboflow.ai/ds/YOUR-LINK-HERE" > roboflow.zip; unzip roboflow.zip; rm roboflow.zip

正在Colab中下載…

下載YOLOv5格式的自定義物件資料集

匯出將創建一個名為data.yaml的YOLOv5.yaml檔案,指定YOLOv5 images檔案夾、YOLOv5 labels檔案夾的位置以及自定義類的資訊,

定義YOLOv5模型配置和架構

接下來,我們為我們的定制物件檢測器撰寫一個模型組態檔,在本教程中,我們選擇了最小、最快的YOLOv5基本模型,你可以從其他YOLOv5模型中選擇,包括:

  • YOLOv5s
  • YOLOv5m
  • YOLOv5l
  • YOLOv5x

你也可以在此步驟中編輯網路結構,但一般不需要這樣做,以下是YOLOv5模型組態檔,我們將其命名為custom_yolov5s.yaml

nc: 3
depth_multiple: 0.33
width_multiple: 0.50

anchors:
  - [10,13, 16,30, 33,23] 
  - [30,61, 62,45, 59,119]
  - [116,90, 156,198, 373,326] 

backbone:
  [[-1, 1, Focus, [64, 3]],
   [-1, 1, Conv, [128, 3, 2]],
   [-1, 3, Bottleneck, [128]],
   [-1, 1, Conv, [256, 3, 2]],
   [-1, 9, BottleneckCSP, [256]],
   [-1, 1, Conv, [512, 3, 2]], 
   [-1, 9, BottleneckCSP, [512]],
   [-1, 1, Conv, [1024, 3, 2]],
   [-1, 1, SPP, [1024, [5, 9, 13]]],
   [-1, 6, BottleneckCSP, [1024]],
  ]

head:
  [[-1, 3, BottleneckCSP, [1024, False]],
   [-1, 1, nn.Conv2d, [na * (nc + 5), 1, 1, 0]],
   [-2, 1, nn.Upsample, [None, 2, "nearest"]],
   [[-1, 6], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1]],
   [-1, 3, BottleneckCSP, [512, False]],
   [-1, 1, nn.Conv2d, [na * (nc + 5), 1, 1, 0]],
   [-2, 1, nn.Upsample, [None, 2, "nearest"]],
   [[-1, 4], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 3, BottleneckCSP, [256, False]],
   [-1, 1, nn.Conv2d, [na * (nc + 5), 1, 1, 0]],

   [[], 1, Detect, [nc, anchors]],
  ]

訓練定制YOLOv5探測器

我們的data.yamlcustom_yolov5s.yaml檔案準備好了,我們準備好訓練了!

為了開始訓練,我們使用以下選項運行訓練命令:

  • img:定義輸入影像大小

  • batch:確定批次大小

  • epochs:定義訓練時間段的數量,(注:通常,3000+很常見!)

  • data:設定yaml檔案的路徑

  • cfg:指定我們的模型配置

  • weights:指定權重的自定義路徑,(注意:你可以從Ultralytics Google Drive檔案夾下載權重)

  • name:結果名稱

  • nosave:只保存最后的檢查點

  • cache:快取影像以加快訓練速度

運行訓練命令:


訓練定制的YOLOv5探測器,它訓練得很快!

在訓練期間,你想看 [email protected] 來了解你的探測器是如何運行的,請參閱這篇文章,

  • https://blog.roboflow.ai/what-is-mean-average-precision-object-detection/

評估定制YOLOv5探測器性能

現在我們已經完成了訓練,我們可以通過查看驗證指標來評估訓練程序的執行情況,訓練腳本將洗掉tensorboard日志,我們將其可視化:

在我們的自定義資料集上可視化tensorboard結果

如果你因為一些原因不能把張量板可視化,結果也可以用utils.plot_result來繪制并保存為result.png,

我早早就停止了訓練,你需要在驗證映射達到其最高點處獲取經過訓練的模型權重,

可視化YOLOv5訓練資料

在訓練程序中,YOLOv5訓練管道通過增強創建成批的訓練資料,我們可以可視化訓練資料真實性和增強訓練資料,

我們的真實訓練資料

我們的訓練資料采用自動YOLOv5增強

對測驗影像運行YOLOv5推斷

現在我們利用我們訓練過的模型,對測驗影像進行推理,訓練完成后,模型權重將保存 weights/,

對于推理,我們呼叫這些權重和一個指定模型置信度的conf(要求的置信度越高,預測越少)和一個推理源,源可以接受一個包含影像、單個影像、視頻檔案以及設備的網路攝像頭埠的目錄,對于源代碼,我將test/*jpg移到test-infer/

!python detect.py --weights weights/last_yolov5s_custom.pt --img 416 --conf 0.4 --source ../test_infer

推理時間非常快,在我們的 Tesla P100 上,YOLOv5s 達到了每秒142幀!!

以142 FPS(0.007s/影像)的速度推斷YOLOv5s

最后,我們在測驗影像上可視化我們的探測器推斷,

測驗影像的YOLOv5推理

匯出保存的YOLOv5權重以供將來推斷

既然我們定制的YOLOv5物體探測器已經過驗證,我們可能需要從Colab中取出權重,用于實時計算機視覺任務,為此,我們匯入一個Google驅動器模塊并將其發送出去,

from google.colab import drive
drive.mount('/content/gdrive')

%cp /content/yolov5/weights/last_yolov5s_custom.pt /content/gdrive/My\ Drive

結論

我們希望你喜歡訓練你的定制YOLOv5探測器!

使用 YOLOv5 非常方便,YOLOv5訓練迅速,推理迅速,表現出色,
讓我們把它弄出來!

原文鏈接:https://blog.roboflow.ai/how-to-train-yolov5-on-a-custom-dataset/

歡迎關注磐創AI博客站:
http://panchuang.net/

sklearn機器學習中文官方檔案:
http://sklearn123.com/

歡迎關注磐創博客資源匯總站:
http://docs.panchuang.net/

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/99243.html

標籤:其他

上一篇:有會量子力學的大佬嗎,求給個解題步驟

下一篇:開張!來逛逛我們的新品線上展銷會吧

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more