目錄

1.環境配置

1.1 安裝cuda

1.2 安裝cudnn

1.3 安裝Pytorch

2.下載Faster-RCNN pytorch1.0并跑通VOC2007資料集

2.1下載代碼

2.2 配置和需要修改的地方

2.3 訓練

2.4 測驗

2.5 用demo.py對圖片進行檢測

3.訓練自己的資料集

3.1 制作資料集

3.2 訓練

3.3 測驗

3.4 跑demo.py對圖片進行檢測

1.環境配置

系統：ubuntu20.04
顯卡：RTX3060
cuda11.3+cudnn8.2.1 參考博客：Ubuntu16.04下安裝cuda和cudnn的三種方法（親測全部有效）_隔壁老王的博客-CSDN博客_ubuntu安裝cuda
python 3.6 + Anaconda
Pytorch-1.7.1

1.1 安裝cuda

官網安裝包鏈接：https://developer.nvidia.com/cuda-toolkit-archive ，

??

??
在終端輸入：

wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run

sudo sh cuda_11.3.0_465.19.01_linux.run

安裝之前要先查看自己的顯卡是否支持cuda10.0以上或者以下的版本，30系列的顯卡貌似不支持cuda10.0以下的版本，顯卡驅動可以向下兼容cuda版本，在終端輸入nvidia-smi即可查看顯卡驅動版本：
??
顯卡驅動對應的cuda版本如下：

??
我的顯卡驅動是470.86版本，所以可以使用所有版本的cuda，但是百度了以下好像cuda11.4沒有對應的Pytorch版本，所有索性就下載了cuda11.3版本，
安裝好了之后，在終端輸入nvcc -V即可看到cuda11.3

??

1.2 安裝cudnn

官網安裝包鏈接：cuDNN Archive | NVIDIA Developer

??

注意看cuda版本對應的cudnn版本，我下載的是cuda11.3，所以下載的是cudnn8.2.1版本，下載完之后解壓下來，會看到一個cuda檔案夾，在當前目錄打開終端，依次輸入代碼：

sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
 
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
 
sudo chmod a+r /usr/local/cuda/include/cudnn.h
 
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*

1.3 安裝Pytorch

官網安裝包鏈接：PyTorch

??
利用Anaconda進行安裝Pytorch時，要添加清華鏡像源，不然會下載的很慢

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

# 設定搜索時顯示通道地址
conda config --set show_channel_urls yes

配置完清華鏡像源之后，要修改以下Pytroch官網給的安裝代碼，需要將-c pytorch去掉才會優先使用清華鏡像源進行下載

conda install pytorch torchvision torchaudio cudatoolkit=11.3

2.下載Faster-RCNN pytorch1.0并跑通VOC2007資料集

2.1下載代碼

git clone https://github.com/jwyang/faster-rcnn.pytorch.git

2.2 配置和需要修改的地方

建議直接去github下載壓縮包然后解壓下來，最近用git clone下載東西都很慢，下載好之后：

cd faster-rcnn.pytorch-pytorch-1.0 && mkdir data

cd data && mkdir pretrained_model

然后下載預訓練模型放到/data/pretrained_model中，作者給出了兩個效果比較好的特征提取網路，下載鏈接：VGG16：VT Server ResNet101：VT Server
之后回到根目錄下載依賴的python包，注意scipy版本，不能太高，1.2.1差不多

pip install -r requirements.txt 

之后

cd lib

python setup.py build develop

完事之后，下載VOC2007資料集

wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCdevkit_08-Jun-2007.tar

將這三個壓縮包解壓到/data中，并將/data/VOCdevkit改名為/data/VOCdevkit2007
之后需要安裝CoCo API，否則運行訓練代碼的時候，會報錯：

ImportError: cannot import name '_mask'

安裝CoCo API，鏈接：GitHub - cocodataset/cocoapi: COCO API - Dataset @ http://cocodataset.org/ 建議直接下載壓縮包，當然也可以試試用git clone，下載完之后呢解壓到/data下，并將其檔案夾改名為coco，即/data/coco，之后

cd coco/PythonAPI

make

完事之后，data檔案夾下面應該有三個檔案夾

?
之后需要對config.py一處地方進行修改，否則會報錯：

TypeError: load() missing 1 required positional argument: 'Loader'

在/lib/model/utils/config.py中的374行

yaml_cfg = edict(yaml.load(f))

修改為

yaml_cfg = edict(yaml.load(f, Loader=yaml.FullLoader))

2.3 訓練

作者給出了訓練的代碼

CUDA_VISIBLE_DEVICES=$GPU_ID python trainval_net.py \
                   --dataset pascal_voc --net vgg16 \
                   --bs $BATCH_SIZE --nw $WORKER_NUMBER \
                   --lr $LEARNING_RATE --lr_decay_step $DECAY_STEP \
                   --cuda

我的引數設定

CUDA_VISIBLE_DEVICES=0 python trainval_net.py  --dataset pascal_voc --net res101 --bs 4 --nw 4 --lr 0.001 --lr_decay_step 5 --cuda --use_tfb  --epochs 20

開始訓練

訓練好之后在faster-rcnn.pytorch/models/res101/pascal_voc/里面就有很多個模型，

使用tensorboardX對loss進行可視化，在faster-rcnn.pytorch下，輸入

tensorboard --logdir=logs/logs_s_1/losses/ --port=8888

之后就會有個網址給你

TensorBoard 2.6.0 at http://localhost:8888/ (Press CTRL+C to quit)

在網頁中輸入http://localhost:8888/即可看到可視化的結果

2.4 測驗

作者給出了測驗的代碼

python test_net.py --dataset pascal_voc --net vgg16 \
                   --checksession $SESSION --checkepoch $EPOCH --checkpoint $CHECKPOINT \
                   --cuda

選用剛剛訓練完的模型，選擇最后一個，如果是按著本文的流程來的話，應該是

我的代碼如下

python test_net.py --dataset pascal_voc --net res101 --checksession 1 --checkepoch 20 --checkpoint 2504 --cuda

結果

AP for aeroplane = 0.7382
AP for bicycle = 0.7671
AP for bird = 0.7674
AP for boat = 0.6232
AP for bottle = 0.5563
AP for bus = 0.7966
AP for car = 0.8373
AP for cat = 0.8748
AP for chair = 0.5078
AP for cow = 0.8198
AP for diningtable = 0.6214
AP for dog = 0.8673
AP for horse = 0.8794
AP for motorbike = 0.7613
AP for person = 0.7881
AP for pottedplant = 0.4624
AP for sheep = 0.7477
AP for sofa = 0.7411
AP for train = 0.7439
AP for tvmonitor = 0.7553
Mean AP = 0.7198

2.5 用demo.py對圖片進行檢測

將需要檢測的圖片放到faster-rcnn.pytorch/images中，然后運行

python demo.py --dataset pascal_voc --net res101  --cfg cfgs/res101.yml --load_dir models --checksession 1 --checkepoch 20 --checkpoint 2504 --image_dir images --cuda

就可以看到檢測出來的影像啦

3.訓練自己的資料集

3.1 制作資料集

首先把data/VOCdevkit2007/VOC2007/Annotations和/ImageSets/Main和/JPEGImages中的東西全部刪掉

在Main中有四種txt檔案

另外還有其他的txt檔案，不過也是這四種型別，比如我用的是鋼材的表面殘缺檢測資料集，我就需要另外多弄幾個txt檔案，我檢測的型別有三個：擦花、桔皮、碰傷，凸粉，所以我就需要分別創建出各種類別的txt檔案

這四個txt檔案跟上面四個不同的是，這四個txt存放的是某一類的圖片，我還有另外三個類，所以我還需要再多創建8個txt檔案，但是這些txt都單獨存放某一類的圖片名字，而上面四個txt，即不帶前綴的txt檔案，就需要存放所有類的圖片名字，

另外不同的是，上面存放全部圖片的txt檔案，不需要打上正負樣本標簽，就像這樣：

而其他型別型別的四個txt檔案，則需要打上正負樣本的標簽，如果是擦花型別的txt檔案，我就需要在除了擦花型別的圖片之外的圖片名字后面加上 -1 ，擦花型別的圖片名字后面加上 1，就像這樣：

以此類推，最后檔案夾里面應該有

接著，將所有的圖片都放在JPEGImages檔案夾里面，像這樣

接著就是打標簽了，用labelImage進行資料標注，安裝方法參照博客Ubuntu20.04安裝LabelImg工具--親測有效_sunchanglan151的博客-CSDN博客
安裝好之后，打開labelImage，標注的格式使用

之后就是快樂的打標簽程序，打完標簽之后，將所有標簽都丟到data/VOCdevkit2007/VOC2007/Annotations檔案夾里面，這樣資料集就做好了，

3.2 訓練

訓練之前，要把之前跑VOC2007資料集產生的快取洗掉，如果Ubuntu系統的記憶體不夠，還需要把之前生成的20個模型洗掉掉：
洗掉快取：將faster-rcnn.pytorch/data/cache檔案夾里面的東西全刪掉
洗掉模型：將faster-rcnn.pytorch/models/res101/pascal_voc檔案夾里面的東西全刪掉
之后還需要修改一下代碼，對pascal_voc.py和demo.py進行修改
pascal_voc.py 48行，修改為'__background__'和你的類，我的修改方式如下所示
demo.py修改方式同上，之后就可以快樂的進行訓練了，訓練方式還是跟之前一樣，我的訓練方式如下，因為資料集比較少，所以修改了一些引數

CUDA_VISIBLE_DEVICES=0 python trainval_net.py  --dataset pascal_voc --net res101 --bs 1 --nw 4 --lr 0.001 --lr_decay_step 3 --cuda --use_tfb  --epochs 60

可以適當調整bs和epochs和lr，之后就又是漫長的訓練程序，

3.3 測驗

還是運行之前的代碼，但是要小改，就是要改那個模型，像我的話，就是

python test_net.py --dataset pascal_voc --net res101 --checksession 1 --checkepoch 60 --checkpoint 654 --cuda

測驗結果

AP for cahua = 0.3382
AP for jupi = 0.9671
AP for pengshang = 0.2674
AP for tufen = 0.6232

結果不算很好，有待提高，

3.4 跑demo.py對圖片進行檢測

還是一樣，將需要檢測的圖片放到faster-rcnn.pytroch/images下，像這樣

然后就跑demo.py代碼

python demo.py --dataset pascal_voc --net res101  --cfg cfgs/res101.yml --load_dir models --checksession 1 --checkepoch 60 --checkpoint 654 --image_dir images --cuda

然后在 faster-rcnn.pytroch/images下就可以看到檢測到的結果

效果還不錯，都預測對了，

至此本文就結束了，第一次寫博客，寫不好望指點，謝謝！