YOLOV4在linux下訓練自己資料集（親測成功）-有解無憂

最近推出了yolo-v4我也準備試著跑跑實驗看看效果,看看大神的最新操作

這里不做打標簽作業和配置cuda作業，需要的可以分別百度搜索 VOC格式資料集制作，cuda和cudnn配置

我們直接利用VOC格式訓練自己資料集的模型

筆者也是根據官方github的readme操作的沒看懂可以進入官方鏈接看看英文介紹，或者在issue里面提問，筆者花了一天也算是跑通了資料集的代碼，

paper

https://arxiv.org/abs/2004.10934

github

https://github.com/AlexeyAB/darknet#how-to-train-with-multi-gpu

-- 1.首先測驗原始權重效果

　　-- 1.下載預訓練權重

　　-- 2.編譯

　　-- 3.測驗

-- 2.訓練自己的資料集

　　-- 1.創建yolo-obj.cfg 檔案

　　-- 2.制作obj.names

　　-- 3.制作obj.data

　　-- 4.放入源圖片

　　-- 5.制作train.txt

　　-- 6.開始訓練

1.下載預訓練權重

放上鏈接

有翻墻則：

https://github.com/AlexeyAB/darknet/releases/download/darknet_yolo_v3_optimal/yolov4.weights

百度網盤：

鏈接：https://pan.baidu.com/s/16wOHbaa2mG7cTZ_RcGjRnw
提取碼：99bl

下載好yolov4.weights 權重后放在主目錄下即可

2.編譯檔案該方法為使用makefile方法編譯

打開Makefile檔案修改該檔案

修改該檔案中前4行 ---- 0都改為1

代表使用GPU測驗和訓練（前提是安裝好了cuda和cudnn的機器，安裝方法直接百度搜 cuda和cudnn就有很多教程）

如果沒安裝過cuda則不用改

執行以下命令編譯

1 make

然后主目錄中出現darknet檔案

3.運行該檔案

1 ./darknet

如果編譯成功則會出現以下資訊

1 usage: ./darknet<function>

現在可以測驗初始預訓練權重效果了

1 ./darknet detect cfg/yolov4.cfg yolov4.weights data/dog.jpg

成功則在主目錄下出現predictions.jpg 圖片為預測后的圖片

效果如下

2.訓練自己的資料集

--2.1創建yolo-obj.cfg 檔案，將 yolov4-custom.cfg 中的內容復制到 yolo-obj.cfg里面并做以下修改，

　　--2.1.1修改subdivisions=16(如果報記憶體不足，將subdivisions設定為32或64)

　　--2.1.2修改max_batches=classes*2000 例如有2個類別人和車，那么就設定為4000

　　--2.1.3修改steps為80% 到 90% 的max_batches值比如max_batches=4000，則steps=3200,3600

　　--2.1.4修改classes,先用ctrl+F搜索 [yolo] 可以搜到3次，每次搜到的內容中修改classes=你自己的類別比如classes=2

　　--2.1.5修改filters,一樣先搜索 [yolo] ,每次搜的yolo上一個[convolution] 中 filters=(classes + 5)x3 比如filters=21

　　--2.1.6如果要用[Gaussian_yolo] ，則搜索[Gaussian_yolo] 將[filters=57] 的filter 修改為 filters=(classes + 9)x3 （這里我沒用到，但是還是修改了）

--2.2制作obj.names，在build\darknet\x64\data\ 檔案夾下創建obj.names檔案，內容為你的類別比如人和車那么obj.names 為如下

person
car

--2.3制作obj.data，在build\darknet\x64\data\檔案夾下創建obj.data檔案，內容如下

classes= 2
train  = data/train.txt
valid  = data/test.txt
names = data/obj.names
backup = backup/

筆者在這讀取不到data/下檔案所以改為絕對路徑就可以了這是我的obj.data檔案

--2.4放入源圖片，在build\darknet\x64\data\檔案夾下創建obj檔案夾，存放所有的原始圖片

　　筆者在這里遇到問題，就是我是VOC格式的圖片如下

└── VOCdevkit     
    └── VOC2012   
        ├── Annotations        
        ├── ImageSets          
        │   ├── Main
        ├── JPEGImages

但是yoloV4需要的訓練集不是這樣，現在說下制作程序

先進入script下有一個檔案voc_label.py,利用該代碼可以得到我們想要的txt標注資訊類似xml檔案資訊

首先注釋掉classes=[.............] 替換里面類別為自己的類別（我是做垃圾檢測所以是litter）然后我的voc是2007的所以也取消掉2012的修改如下

然后將所有出現的 VOCdevkit修改為 VOCdevkit2007 ,因為我的目錄是 (這里根據你們的資料集更改要求找到對應的目錄就可以了)

--VOCdevkit2007

　　--VOC2007

　　　　--ImageSets

然后在同級目錄下會出現labels檔案這個就是xml對應的txt檔案，

將labels中檔案放入之前的build\darknet\x64\data\obj中

那么obj檔案中會同時存在源圖片同名txt檔案

這樣就完成了txt的制作了

--2.5最后是制作train.txt

　　--2.5.1需要以下格式的train.txt

　　--2.5.2可以使用如下代碼制作

import os
from os import listdir, getcwd
from os.path import join

if __name__ == '__main__':
    source_folder =r'G:\jianfeng\project\rubblish_det\yolov4\darknet-master\darknet-master\cfg\JPEGImages'
    dest = r'G:\jianfeng\project\rubblish_det\yolov4\darknet-master\darknet-master\cfg\1/train.txt'
    dest2 = r'G:\jianfeng\project\rubblish_det\yolov4\darknet-master\darknet-master\cfg\1/val.txt'
    file_list = os.listdir(source_folder)
    train_file = open(dest, 'a')
    val_file = open(dest2, 'a')
    i=0
    for file_obj in file_list:
        file_name, file_extend = os.path.splitext(file_obj)

        if (i%4 ==0):
           #val_file.write(file_name+".jpg" + '\n')  相對路徑
            val_file.write("build/darknet/x64/data/obj/"+file_name+".jpg" + '\n')
        else:
           #train_file.write(file_name+".jpg" + '\n')
            train_file.write("build/darknet/x64/data/obj/"+file_name+".jpg" + '\n')
        i+=1
    train_file.close()
val_file.close()

其中dest和dest2可以根據自己需要更改

但是這里遇到些問題就是我的程式無法識別相對路徑data/，所以我把路徑改為了絕對路徑 build/darknet/x64/data/obj/下的檔案，如下

現在就完成了所以制作，可以開始訓練了

--2.6.下載權重和之前的權重不一樣

鏈接：https://pan.baidu.com/s/1yhB8pRcGH84gyRWeNictBA
提取碼：gi4d

下載好放入主目錄中

--2.7.開始訓練

./darknet detector train data/obj.data yolo-obj.cfg yolov4.conv.137

如果要使用gpu的話輸入以下

./darknet detector train data/obj.data yolo-obj.cfg yolov4.conv.137 -gpus gpu_id

出現以下畫面則正在訓練

最終效果圖

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

錯誤問題總結：

1.mosaic=1 - compile Darknet with OpenCV for using mosaic=1

因為在設定中使用了opencv（c++版本），而我們沒有安裝導致的，將之前修改的yolo-obj.cfg中搜索mosaic將1改為0，

mosaic=1  #--》 更改為0

2.make時出現以下錯誤

chmod +x *.sh
g++ -std=c++11 -std=c++11 -Iinclude/ -I3rdparty/stb/include -DGPU -I/usr/local/cuda/include/ -DCUDNN -DCUDNN_HALF -Wall -Wfatal-errors -Wno-unused-result -Wno-unknown-pragmas -fPIC -Ofast -DGPU -DCUDNN -I/usr/local/cudnn/include -DCUDNN_HALF -c ./src/image_opencv.cpp -o obj/image_opencv.o
In file included from ./src/image.h:3:0,
                 from ./src/image_opencv.h:4,
                 from ./src/image_opencv.cpp:1:
include/darknet.h:41:26: fatal error: cuda_runtime.h: No such file or directory
compilation terminated.
Makefile:165: recipe for target 'obj/image_opencv.o' failed
make: *** [obj/image_opencv.o] Error 1

出現原因是cuda的path不對導致

先查看自己cuda版本輸入 nvcc -V

查看主目錄下Makefile檔案

搜/usr/local/cuda/xxx 目錄

我的原始檔案是/usr/local/cuda/xxx ,cuda版本是9.0 所以

將cuda -->改為cuda-9.0 即可如下

/usr/local/cuda-9.0/xxx

測驗test.txt資料集時的命令（并將結果保存至result.txt中）：

./darknet detector test darknet.data darknet-yolov3.cfg darknet-yolov3_final.weights -thresh 0.25 -dont_show -ext_output < data/test.txt > result.txt

恭喜你看完了，有問題可以評論，或者去github上面提問，問作者問題更靠譜哦 ^ - ^

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/27913.html

標籤：其他

上一篇：Soft-NMS: Improving Object Detection With One Line of Code

下一篇：從卷積拆分和分組的角度看CNN模型的演化