文章目錄

1 目標檢測簡介
2 lmdb資料制作
    2.1 VOC資料制作
    2.2 lmdb檔案生成

lmdb格式的資料是在使用caffe進行目標檢測或分類時，使用的一種資料格式，這里我主要以目標檢測為例講解lmdb格式資料的制作，

1 目標檢測簡介

【1】目標檢測主要有兩個任務：

判斷影像中物件的類別
類別的位置

【2】目標檢測需要的資料：

訓練所需的影像資料，可以是jpg、png等圖片格式
影像資料對應的類別資訊和類別框的位置資訊，

2 lmdb資料制作

caffe一般使用lmdb格式的資料，在制作資料之前，我們需要對資料進行標注，可以使用labelImg對影像進行標注（https://github.com/tzutalin/labelImg），這里就不多贅述資料標注的問題，總之，我們得到了影像的標注Annotations資料，lmdb資料制作，首先需要將annotations資料和影像資料制作為VOC格式，然后將其生成LMDB檔案即可，下邊是詳細的步驟：

2.1 VOC資料制作

這里我以caffe環境的Mobilenet+YOLOv3模型的代碼為例（https://github.com/eric612/MobileNet-YOLO），進行lmdb資料制作，并且也假設你已經對其配置編譯成功（如沒成功，可以參考博文進行配置），所以我們的根目錄為:caffe-Mobilenet-YOLO-master，下邊為詳細步驟：

【1】VOC格式目錄建立：

VOC格式目錄主要包含為：
在這里插入圖片描述
其中，Annotations里存盤的是xml標注資訊，JPEGImages存盤的是圖片，ImageSets則是訓練和測驗的txt串列等資訊，下邊我們就要安裝如上的目錄進行建立我們自己的資料目錄，

創建Annotations、JPEGImages、ImageSets/Main等檔案，命令如下（也可直接界面操作哈）：

注：建議新手按照我的名稱，對于后續檔案修改容易！！！

cd ~/   # 進入home目錄
cd Documents/  # 進入Documents目錄
cd caffe-Mobilenet-YOLO-master/  # 進入我們的根目錄
cd data         # 進入data目錄內
mkdir VOCdevkit   # 創建存盤我們自己的資料的檔案夾
cd VOCdevkit
mkdir MyDataSet  # 創建存盤voc的目錄
cd MyDataSet   
# 創建VOC格式目錄
mkdir Annotations
mkdir JPEGImages
mkdir ImageSets
cd ImageSets
mkdir Main

好啦，我們的檔案夾就建立好了，如下圖所示：
在這里插入圖片描述
【2】將所有xml檔案考入至Annotations檔案夾內
【3】將所有圖片考入至JPEGImages檔案夾內
【4】劃分訓練接、驗證集合測驗集，如下為Python代碼，需要修改的地方注釋已標明：

import os  
import random 
# 標注檔案的路徑，需要你自己修改
xmlfilepath=r'/home/Documents/caffe-Mobilenet-YOLO-master/data/VOCdevkit/MyDataSet/Annotations/'      
# 這里是存盤資料的本目錄，需要改為你自己的目錄              
saveBasePath=r"/home/Documents/caffe-Mobilenet-YOLO-master/data/VOCdevkit/"                        
trainval_percent=0.8            # 表示訓練集和驗證集所占比例，你需要自己修改，也可選擇不修改
train_percent=0.8               # 表示訓練集所占訓練集驗證集的比例，你需要自己修改，也可選擇不修改       
total_xml = os.listdir(xmlfilepath)
num=len(total_xml)    
list=range(num)    
tv=int(num*trainval_percent)    
tr=int(tv*train_percent)    
trainval= random.sample(list,tv)    
train=random.sample(trainval,tr)    
  
print("train and val size",tv)  
print("traub suze",tr)  
ftrainval = open(os.path.join(saveBasePath,'MyDataSet/ImageSets/Main/trainval.txt'), 'w')    
ftest = open(os.path.join(saveBasePath,'MyDataSet/ImageSets/Main/test.txt'), 'w')    
ftrain = open(os.path.join(saveBasePath,'MyDataSet/ImageSets/Main/train.txt'), 'w')    
fval = open(os.path.join(saveBasePath,'MyDataSet/ImageSets/Main/val.txt'), 'w')    
  
for i  in list:    
    name=total_xml[i][:-4]+'\n'    
    if i in trainval:    
        ftrainval.write(name)    
        if i in train:    
            ftrain.write(name)    
        else:    
            fval.write(name)    
    else:    
        ftest.write(name)    
    
ftrainval.close()    
ftrain.close()    
fval.close()    
ftest .close()

上述代碼修改之后，在根目錄caffe-Mobilenet-YOLO-master執行上述代碼即可，
在data/VOCdevkit/MyDataSet/ImageSets下生成trainval.txt、test.txt、train.txt、val.txt等所需的txt檔案，如下圖所示：
在這里插入圖片描述
這些TXT檔案會包含圖片的名字，不帶路徑，如下圖所示：

2.2 lmdb檔案生成

【1】執行如下命令，將生成lmdb所需的腳本復制至data/VOCdevkit/MyDataSet檔案夾內：

cp data/VOC0712/create_* data/MyDataSet/                # 把create_list.sh和create_data.sh復制到MyDataSet目錄                  
cp data/VOC0712/labelmap_voc.prototxt data/MyDataSet/   # 把labelmap_voc.prototxt復制到MyDataSet目錄

在這里插入圖片描述
【2】修改create_list.sh檔案：

1 第3行修改目錄路徑，截止到VOCdevkit即可
在這里插入圖片描述
2 第13行修改為for name in MyDataSet(VOCdevkit下自己建立的檔案夾名字)

3 第15-18行注釋掉

4 第41行get_image_size修改為自己的路徑（注意，這里是build caffe_mobilenet_yolo之后才會形成的）：

#!/bin/bash
# 如果嚴格安裝我上述的步驟，就可以不用修改路徑位置，
# 需要修改的位置也使用注釋進行了標注和解釋

# 這里需要更改，你資料的根目錄位置，需要修改的地方！！！！
root_dir="/home/Documents/Caffe_Mobilenet_YOLO/data/VOCdevkit/"   
sub_dir=ImageSets/Main
bash_dir="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
for dataset in trainval test
do
  dst_file=$bash_dir/$dataset.txt
  if [ -f $dst_file ]
  then
    rm -f $dst_file
  fi
  for name in MyDataSet  # 如果你建立的不是MyDataSet，這里需要修改為你自己的名字
  do
  	# 這里需要修改，注釋掉即可
    #if [[ $dataset == "test" && $name == "VOC2012" ]]
    #then
    #  continue
    #fi
    echo "Create list for $name $dataset..."
    dataset_file=$root_dir/$name/$sub_dir/$dataset.txt

    img_file=$bash_dir/$dataset"_img.txt"
    cp $dataset_file $img_file
    sed -i "s/^/$name\/JPEGImages\//g" $img_file
    sed -i "s/$/.jpg/g" $img_file

    label_file=$bash_dir/$dataset"_label.txt"
    cp $dataset_file $label_file
    sed -i "s/^/$name\/Annotations\//g" $label_file
    sed -i "s/$/.xml/g" $label_file

    paste -d' ' $img_file $label_file >> $dst_file

    rm -f $label_file
    rm -f $img_file
  done

  # Generate image name and size infomation.
  if [ $dataset == "test" ]
  then
    home/Documents/Caffe_Mobilenet_YOLO/caffe-MobileNet-YOLO-master/build/tools/get_image_size $root_dir $dst_file $bash_dir/$dataset"_name_size.txt"

【3】creat_data.sh修改：

1 第2行修改為自己的路徑：root_dir="/home/Documents/caffe-MobileNet-YOLO-master/"
在這里插入圖片描述
2 第7行修改為：data_root_dir="/home/Documents/caffe-MobileNet-YOLO-master/data/VOVdevkit/

3 第8行修改為：dataset_name="MyDataSet"

4 第9行修改為：mapfile="$root_dir/data/VOCdevkit/$dataset_name/labelmap_voc.prototxt"

5 第26行修改為$root_dir/data/VOCdevkit/$dataset_name/$subset.txt
在這里插入圖片描述

cur_dir=$(cd $( dirname ${BASH_SOURCE[0]} ) && pwd )
# 修改為自己的路徑
root_dir="/home/Documents/Caffe_Mobilenet_YOLO/caffe-MobileNet-YOLO-master/"

cd $root_dir

redo=1
# 這里需要修改為自己的路徑
data_root_dir="/home/Documents/Caffe_Mobilenet_YOLO/caffe-MobileNet-YOLO-master/data/VOCdevkit/"
dataset_name="MyDataSet"  # 修改為自己的名字
mapfile="$root_dir/data/VOCdevkit/$dataset_name/labelmap_voc.prototxt"  # 修改為自己的路徑
anno_type="detection"
db="lmdb"
min_dim=0
max_dim=0
width=0
height=0

extra_cmd="--encode-type=jpg --encoded"
if [ $redo ]
then
  extra_cmd="$extra_cmd --redo"
fi
for subset in test trainval
# subset.txt路徑需要修改
do
  python $root_dir/scripts/create_annoset.py --anno-type=$anno_type \
  --label-map-file=$mapfile --min-dim=$min_dim --max-dim=$max_dim --resize-width=$width \
  --resize-height=$height --check-label $extra_cmd $data_root_dir $root_dir/data/VOCdevkit/$dataset_name/$subset.txt \
  $data_root_dir/$dataset_name/$db/$dataset_name"_"$subset"_"$db examples/$dataset_name

【3】修改labelmap_voc.prototxt檔案：

除了第一個背景標簽部分不要修改，其他改成自己的標簽就行，多的刪掉，少了添加進入就行

【4】最后在caffe-MobileNet-YOLO-master/examples檔案夾內新建一個MyDataSet檔案夾（空的）

【5】運行create_list.sh腳本: ./data/VOCdevkit/MyDataSet/create_list.sh，運行完后，會在自己建的VOCdevkit/MyDataSet/目錄內生成trainval.txt, test.txt, test_name_size.txt，

【6】運行create_data.sh腳本: ./data/VOCdevkit/MyDataSet/create_data.sh

運行此命令時，提示：bash：./data/VOCdevkit/MyDataSet/create_list.sh：Permission denied，沒有權限，需要執行如下命令賦予執行命令：

chmod u+x data/VOCdevkit/MyDataSet/create_data.sh

出現了錯誤：ValueError: need more than 2 values to unpack，
在這里插入圖片描述
需要將create_annoset.py中第88行的seg去掉，因為我們的Annotations只有兩個值，img_file和anno，

運行完后，會在會在自己建的VOCdevkit/MyDataSet目錄內生成lmdb檔案夾：
在這里插入圖片描述

lmdb對應訓練集和測驗集的lmdb格式的檔案夾：
在這里插入圖片描述
***
好啦，今天的教程就到這里，如有疑問，可關注公眾號【計算機視覺聯盟】私信我或留言交流！！

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/60186.html

標籤：其他

上一篇：機器學習 TensorFlow 實作智能鑒黃

下一篇：AI-影像基礎知識-02

【目標檢測實戰】目標檢測實戰之一--手把手教你LMDB格式資料集制作！

1 目標檢測簡介

2 lmdb資料制作

2.1 VOC資料制作

2.2 lmdb檔案生成