YOLOV4垃圾檢測召回率提升

一. 目標檢測中的mAP

1. mAP相關知識

1.1 IOU(交并比)

目標檢測時，預測框和真實框的交并比，是個重要的引數，

在正負樣本的劃分和非極大抑制中起到關鍵作用

1.2 precision(準確率) / recall(召回率)

首先我們需要了解目標檢測程序中正負樣本的概念

在目標檢測中，樣本置信度大于一定閾值時，模型就認為檢測到了該目標，否則不認為檢測到目標

正樣本指的是我們真實想要檢測到的的目標(但未必檢測到了)，負樣本指的是樣本中除了正樣本之外的，即不是我們真實需求的目標

以下有四個由True/False和Positive/Negative組合而成的引數，用來代表四種不同情況：

TP(True Positive):模型檢測到且檢測正確的樣本，視為正樣本

FP(False Positive):模型檢測到但檢測錯誤的樣本，視為負樣本

TN(True Negative):模型未檢測到且確實不需要檢測到的樣本，無需考慮

FN(Fale Negative):模型未檢測到但是其實需要檢測到的樣本，視為正樣本

有了這四個引數，我們可以寫出precision和recall的計算公式

precision=TP/(TP+FP) 通俗解釋為：正確檢測到的樣本占所有被檢測到的樣本比例

recall=TP/(TP+FN) 通俗解釋為：正確檢測到的樣本占所有希望被檢測到的樣本比例

其實放到真實的演算法程序當中，每個預測框都會企圖和交并比最大的真實框進行匹配，當滿足一定條件時，它們就配對成功，配對成功了的不能和其他框再配對，這種能夠找到配對物件的預測框就屬于TP(說明真實框被檢測到了)，而找不到配對物件的預測框就屬于FP，未配對的真實框就屬于FN(說明真實框沒有被檢測到)

理解precision和recall的意義后，不難發現，他們之間其實存在著一定的制約關系，試想：當試圖提升precision時，我們會提高置信度閾值，使得識別到的目標正確概率增大，但這樣難免遺漏很多正確目標；當試圖提升recall時，我們會降低置信度閾值，使得更多的目標可以被識別到，這樣能夠將很多正確目標囊括了進來，但也會識別到很多不正確的目標，準確率就難以維持較高水準，

1.3 AP / mAP

目標檢測中，每個類別在不同的置信度閾值下，都會有不同的precision和recall，通過在坐標上刻畫precision-recall曲線，得到曲線下方的面積來刻畫模型性能的好壞，這個面積就是AP(average precision)，AP的出現是為了解決單一指標(precision或recall)對模型評估的局限性，從而能夠綜合評估模型好壞

而mAP就是對所有類的AP求平均值，作為多類別目標檢測模型性能的衡量指標，

2. yolov4中mAP的具體演算法

1. 利用get_gt_txt.py得到測驗集中真實框的種類與位置資訊

2. 通過get_dr_txt.py將測驗集傳入模型進行預測，得到各個預測框種類、置信度得分、位置等資訊，在進行mAP的計算時，我們需要產生大量的預測框，因此在這里我們需要先將生成預測框的置信度閾值設定得非常小(0.05)，就是說置信度>=0.05就可以生成預測框，這樣做的目的是允許有大量不同置信度區間的預測框產生，而mAP的預測需要在不同置信度下得到對應的precision和recall，也就是為mAP的精準計算提供了條件，

   Tip: 預測框的具體生成方式在下文detect_image中提到

3. 在get_map.py中進行具體的計算：

   1. 首先進行正負樣本的劃分，之前我們提到了IOU，現在它派上用場了，
   2. 假定現在有類別I，屬于類別I的每個預測框都去找與它IOU值最大的真實框，記錄為maxIOU，設定一個IOU_threshold門限(一般設定IOU_threshold為0.5)用于劃分正負樣本，當某個預測框的maxIOU<IOU_threshold時，判定該預測框為正樣本；當某個預測框的maxIOU>=IOU_threshold時，又要分為兩種情況，若預測框和真實框的類別也相同，那么判定該預測框為正樣本,否則會尋找其他的真實框，直到找到IOU值最大且>=IOU_threshold且類別也相同的真實框，這樣可以判定為正樣本，若找不到，判定為負樣本，最后對類別I的所有預測框按照置信度由大到小進行排序，便于取置信度閾值，
   3. 所有類別都進行2步驟，但要注意并不是一個一個類別進行的，比如并不是類別I的框篩選完了，才去篩選類別II的框，實際的邏輯應該是根據IOU由大到小進行篩選，被認定為TP的預測框會和與之匹配的真實框一起被剔除掉，不再參與和其他框的匹配程序，
   4. 對每個類別，根據已經統計好的預測框樣本，通過設定不同的置信度閾值，得到相應的precision-recall，從而刻畫各個類別的precision-recall曲線，求出各個類別的AP，再求得mAP

可以針對上面這個例子進行一下計算，如果置信度閾值設為0.95，那么precision=1/1=1,recall=1/3=0.3333

如果把置信度閾值設為0.35，那么precision=3/6=0.5，recall=3/3=1

二. yolov4的detect_image演算法

1. anchors_box錨框

1.1 引入

在眾多經典的目標檢測模型中，均有先驗框的說法，有的paper(如Faster RCNN)中稱之為anchor(錨點)，有的paper(如SSD)稱之為prior bounding box(先驗框)，實際上是一個概念，

舉個形象但不夠恰當的例子說明：

由于目前污染比較嚴重，導致海洋中漂浮著許多垃圾，這些垃圾既污染環境，又不利于魚類的生存，假設我們面前有一片海域，海域中零星地漂浮著很多不同型別的垃圾，這些垃圾有的大，有的小，有的是方形的，有的是長條形的，為了保護環境，我們需要將所有的垃圾打撈起來，還海洋生物一個美好家園，

為此，我們設計了一種打撈機器，該機器能夠在一定范圍內撒下網，進行垃圾打撈，且只有一定大小的網能夠打撈到對應一定大小的垃圾，這里我們認為當網與垃圾的IoU小于0.5時，該區域不存在垃圾；網與垃圾的IoU大于0.5時，該區域存在垃圾，當然該機器能夠對網進行后續的調整(調整網的位置，形狀)，由于該機器有些簡陋，無法智能識別該海域中哪個區域包含垃圾，為了能夠盡可能的打撈到所有的垃圾，我們需要在這片海域的不同位置下網，進行垃圾的打撈，且為了打撈不同型別的垃圾，我們需要在同一位置下多個不同形狀(不同大小，不同長寬比)的網，實際上，我們希望既能打撈到所有的垃圾，同時我們又希望能夠下最少的網，減少作業量，

總結：對應到目標檢測任務，海域相當于網路的輸入影像；不同型別的垃圾，對應不同型別的目標類別；在海域上拋下的網相當于錨框，通過錨框來判斷該區域中是否包含目標，預測框的前身就是各個錨框！

1.2 不同尺度的錨框

在引例我們說到，為了打撈不同型別的垃圾，我們需要在同一位置下多個不同形狀(不同大小，不同長寬比)的網，同樣在目標檢測中，在圖中的同一個位置，我們會設定幾個不同尺度的錨框，

1.3 先驗框與特征圖的對應

在引例我們說到，我們需要在海域的不同位置下網，進行垃圾的打撈，同樣在目標檢測中，需要在圖片的不同位置上設定錨框，

但是實際上如果遍歷原圖每個像素，設定的錨框就太多了，完全沒必要，假設一個224x224的圖片，每個位置設定3個不同尺寸的錨框，那么就有224x224x3=150528個，但是如果我們不去遍歷原圖，而是去遍歷原圖對應的feature map呢？以vgg16的backbone為例，下采樣了5次，得到7x7的feature map，那就只需要得到7x7x3=147個先驗,這樣的設定大大減少了錨框的數量，同時也能覆寫大多數情況，

2. detect_image預測框演算法

1. 首先獲得錨框尺度資訊，用于在特征圖上生成錨框

2. 將影像傳入網路模型進行預測

3. 在特征圖上生成錨框，每個錨框通過模型可以對每個類別都產生一個置信度，選擇置信度最高的類別作為該錨框的類別

4. 設定置信度閾值，保留置信度>=閾值的錨框

5. 對留下的錨框進行非極大抑制(NMS)，即需要洗掉一部分框，防止大量重疊框的出現，大致思路如下：

   從待檢測目標中先按照分類置信度，找一個最可信的框，然后判斷其他框和它的交并比(IoU),如果大于閾值TH，說明相似，抑制掉就好了，

   演算法：１．按照置信度排序　２．判斷其他框和得分最高的框的IoU，大于閾值則剔除得分較小的建議框　３．從沒有處理的框中繼續選擇一個得分最高的，重復上述程序，　４．遍歷所有的建議框，即所有物體種類都做一遍非極大值抑制，

   

6. 經過置信度閾值和NMS的雙重篩選，剩下的就是需要的預測框了，

三. 召回率提升

1. 目前問題

1. 對于各個類別，無論置信度閾值調整到什么位置都無法讓recall達到95%，分析原因有兩個方面：

   1. 預測框與真實框重合度不夠，這樣get_mAP.py就不認為檢測到了目標

   2. 存在誤檢，即識別錯了種類，把類別I識別成了類別II，那這樣類別I的recall永遠也到不到100%，因為已經有一個被識別為了其他種類，再怎么下降置信度閾值，也無法改變這個類別無法被完全正確識別的事實，

      以測驗集中betel nut bags的置信度閾值-recall曲線舉個例子，首先需要知道的是置信度閾值的設定方式，實際上這里的Score_Threhold以每個betel nut bags預測框的置信度都做一次置信度閾值，如果說這些預測框囊括了所有betel nut bags目標，那么以預測框中最低的置信度做閾值時，理論上recall將會達到100%，然而影像中并沒有呈現這樣的結果，說明這已經不是調整置信度閾值能解決的了，而是模型的性能存在問題，什么原因呢？大概就是以上兩個原因，

2. 我們需要的是整體的召回率>=95%還是每個類別的召回率都>=95%呢，相對而言整體召回率>=95%會更容易達到，而要求每個類別的召回率>=95%更加嚴苛，相信這個不難理解，因為某一個沒達到并不代表整體無法達到

2. 提升策略

1. 調整模型引數，例如Epoch/batch_size的調整，防止出現過擬合，當然也不能出現欠擬合
2. 豐富資料集，一方面是要具有特征的多樣性，另一方面是同種類別也要有足夠的數量，主要的重點類別之間數量要均衡，這樣訓練出的模型具更廣泛的檢測識別能力，且可以減少誤識類別的現象，對召回率的提升均有幫助
3. 開啟yolov4中Mosaic資料增強
4. 繼續自主的資料增強
5. 在必要情況下增多anchors錨框的種類(只在存在一些刁鉆比例垃圾時才使用)
6. 以上將決定recall召回率的上限，只有上限達到95%，才能通過調整置信度閾值來使得recall>=95%，否則再怎么降低閾值都沒用，因為上限不夠，在上限足夠的情況下，就可以通過調整判定與真實框匹配的IOU值和置信度閾值，再進一步提高recall