A 2 S-Det：航空影像定向目標檢測中的高效錨點匹配
論文地址：https://www.mdpi.com/2072-4292/13/1/73/htm
目錄
以下是翻譯部分
摘要
1. 介紹
2. 材料和方法
2.1. 資料
2.2 相關作業
2.3 方法
2.3.1 網路架構
2.3.2. 自適應錨選擇
2.3.3. 基于樣本平衡的自適應閾值
2.3.4. 相對參照的坐標回歸
2.3.5. 損失
2.3.6. 實作細節
3.結果
4. 討論
4.1. 自適應錨點選擇的有效性
4.2. CR3模塊的有效性
4.3. 優勢和局限性
5. 結論
以下是小結部分
摘要
1. 介紹
2. 材料和方法
2.1 資料
2.2 相關作業之標簽分配
2.3 方法
2.3.1 網路架構
2.3.2. 自適應錨選擇
2.3.3. 基于樣本平衡的自適應閾值
2.3.4. 相對參照的坐標回歸
4. 討論
4.1. 自適應錨點選擇的有效性
4.2. CR3模塊的有效性
4.3. 優勢和局限性
5. 結論
論文翻譯
摘要
在航拍影像中，目標的檢測是一項具有挑戰性的任務，因為許多目標具有大的寬高比和密集的排列，大多數基于錨的旋轉探測器通過固定的錨與目標之間的旋轉交叉單元(IoU)的限制為地真物體分配錨，直接跟隨水平檢測器，由于定向物件多，寬高比大，object-anchor IoU受角度影響較大，這可能會導致一些地真物件分配的錨點較少，在本研究中，我們提出了一種基于樣本平衡自適應分配錨點的錨點選擇方法，我們稱之為自適應錨點選擇(A2S-Det)方法，對于每個ground-真值物件，A2S-Det通過水平IoU選擇一組候選錨點，然后，在候選錨點集合上采用自適應閾值模塊，計算候選錨點的邊界，以保持正錨點和負錨點的平衡;此外，我們提出了相對參考坐標回歸(CR3)模塊來精確回歸旋轉包圍盒，在一個公開的航空影像資料集上進行了測驗，結果表明該方法的性能優于許多單級和兩級檢測器，實作了70.64，一種有效的錨點匹配方法可以幫助檢測器在大縱橫比的物件上獲得更好的性能，
1. 介紹
目標檢測是航拍影像資訊提取中的一項重要任務，與自然影像不同的是，航空影像中的目標可能會在任何方向上密集排列，并且具有較大的縱橫比，這使得航空影像中的目標的精確檢測非常具有挑戰性，在物體密集排列的場景中，需要探測器對每個物體進行精確的定位和識別，此外，物體可能在任何方向上，通過非最大抑制(NMS)的后處理，可能會導致稠密場景中物體丟失，大縱橫比的物件很難提取特征和預測邊界框，
對于任意方向的物體，在普通物體檢測器的基礎上，提出了許多旋轉檢測器，將物體檢測為旋轉矩形，這些檢測器來源于文本檢測，如RRPN[1]和R2CNN[2]，此外，旋轉目標檢測在一定程度上解決了航拍影像中目標密集排列導致的目標缺失問題，在常見的檢測中，檢測器分為兩級檢測器和一級檢測器，通常認為兩級檢測器性能更好，一級檢測器速度更快，RRPN[1]和R2CNN[2]都是兩級檢測器，考慮到大量的航拍影像，探測器的速度也很重要，近年來的研究表明，單級檢測器在航空影像旋轉目標檢測方面也有很大的潛力，基于錨的方法和無錨的方法是定義正樣本和負樣本的兩種主要方法，基于錨點的檢測器在每個特征點上采用預先設定的不同形狀的矩形，并按照一定的規則將這些正錨點分配到相應的地真盒中，無錨探測器通過點、網格或其他規則定義樣本，在沒有預先設定錨點的情況下，無錨點檢測器在分配標簽程序中節省了時間，但對于航空影像中密集排列的物體，錨點密集的基于錨點的檢測器可能比無錨點檢測器更好，航拍影像中物體的特征可能會導致這些挑戰:
樣本很難定義，大多數基于錨的旋轉探測器通過限制旋轉iou來分配錨，如圖1c所示，對于高寬比的物體，小的角度偏差可能會導致低iou，這可能會導致為ground-truth物體分配的錨點較少，
包圍盒很難精確回歸，大長寬比物體的敏感旋轉iou意味著使用旋轉iou作為評估方法時，與水平檢測器相比，預測的旋轉包圍盒必須非常精確，
(a)物件和選定的錨 (b)TheIoUof Object-Anchors (c)角度IoU的影響
圖1所示，在旋轉目標檢測中，縱橫比對錨點選擇有很大的影響，(a)地面真實物件和選定的錨的可視化;(b)物件錨點的iou分布和錨點選擇程序;(c)角度iou對不同長寬比物體的影響，
如圖1a所示，船舶物件根據固定約束IoU只選擇一個錨作為正錨，固定約束設定為0.5，圖1b為top-k錨的iou分布，根據其iou閾值將其分為正錨和負錨，大寬高比錨與物體之間的距離對角度偏差非常敏感，如圖1c所示，在相同的角度偏差下，高寬比較大的箱體與旋轉箱體之間的iou較小，在選擇錨點的程序中，錨點的生成遵循一定的規則，與地真物體的位置、盒大小、角度可能存在一定的偏差，在旋轉目標檢測中，由于錨點選擇困難，可能導致對大縱橫比目標的訓練不足，
（這邊分析值得學習）
在本文中，我們討論了錨點與目標之間的缺失匹配和低匹配率是影響檢測器訓練的兩個因素，特別是對于大寬高比的目標，為了解決這些問題，本文提出了一種基于樣本平衡的錨點選擇方法來改進錨點選擇程序，該方法由三個模塊組成，
- 首先，利用基于水平IoU的自適應錨點選擇模塊選擇候選錨點，并根據旋轉iou的統計閾值將錨點劃分為正負錨點;
- 對于統計閾值，設計了自適應閾值模塊，根據候選錨點集合中iou的旋轉情況確定一個正錨點和負錨點之間保持平衡的閾值，
- 最后，我們設計了相對參考模塊的坐標回歸來精確預測旋轉包圍盒，在這個模塊中，對旋轉物件的坐標回歸和角度回歸做了一些改進，
這項作業的貢獻歸納如下:
- 提出了一種結合水平特征和旋轉特征的錨點選擇方法，對于候選錨點集合，采用基于樣本平衡的自適應閾值模塊確定閾值，將候選錨點分為正錨點和負錨點，在DOTA[4]中有更大的改進與基線物件的大寬高比，
- 對于包圍盒預測，相對參考模塊的坐標回歸可以更精確地預測盒子，也有利于更嚴格的評估，如apiou =0.75，
2. 材料和方法
2.1. 資料
DOTA[4]是航空影像目標檢測的大資料集，包含2806張不同解析度、不同傳感器的航空影像，影像大小從800×800到4000×4000像素不等，本資料集包括飛機、船舶、橋梁、港口、棒球場(BD)、地面T架球場(GTF)、小型車輛(SV)、大型車輛(LV)、T ennis球場(TC)、籃球場(BC)、儲存庫(ST)、足球場(SBF)、回旋處(RA)、游泳池(SP)、直升機(HC)等15個類別，在這個資料集中有188,282個實體，它們分別由水平邊界框和旋轉邊界框標記，資料集正式分為三個部分:訓練、驗證和測驗，我們將這兩組訓練和驗證合并到官方評估服務器的測驗資料集上進行訓練和測驗，在訓練程序中，我們將這些影像分成600×600子影像，子影像的重疊部分為200像素，那些沒有任何物件的子影像將被直接丟棄，最后，有30,250個訓練子影像，
此外，如果需要資料擴充，我們采用在線資料擴充，資料增強方法包括隨機旋轉和隨機翻轉，其發生概率均為50%，對于隨機旋轉，通過15°的步長，從0到360°隨機生成旋轉角度，
2.2 相關作業
兩級探測器，R-CNN[5]將檢測程序分為區域提議階段和回歸階段，開發了兩階段檢測器，Fast R-CNN通過在特征圖中生成區域建議來解決計算量大的問題，兩級檢測器主要由Faster C-NN[6]中的區域提議網路(RPN)和卷積神經網路(CNN)組成，RPN模塊產生了許多通過分數來區分前景和背景的建議，如0.7，然后，CNN模塊以(3/1)的比例隨機選擇正面和負面建議進行訓練，在推理程序中，RPN模塊生成量化提議，CNN模塊根據這些提議預測類別和邊界框，避免了大量的視窗，減少了計算量，隨后提出了許多有價值的兩階段檢測方法，如Mask R-CNN[7]、FPN[8]、OHEM[9]、ContextAware[10]等，
單級探測器，盡管兩級探測器比以前更快了，但速度仍然較慢，無法滿足實時檢測的需要，與二級檢測器不同，一級檢測器基于特征圖中的點定義正、負樣本，推理速度更快，與YOLO[11]等兩級檢測器為每個特征點的錨點計算影像特征不同，錨點利用特征映射，根據對應的錨點計算類概率和包圍盒，缺點是負樣本遠多于正樣本，使得訓練程序困難，為了解決這一問題，RetinaNet[12]提出了focal loss，在positive loss和negative loss之間保持平衡，從而可以訓練出一種高性能的單級高檢波器，目前提出了許多單級探測器，如FCOS[13]、CenterNet[14]等，
旋轉探測器，旋轉目標檢測起源于文本檢測，RRPN[1]提出了一種基于Faster R-CNN[6]的旋轉區域提議網路來檢測具有方向的文本，rpn定義旋轉框為(x,y,w,h，θ)， Faster R-CNN[6]定義水平框為(x,y,w,h)， (x,y)表示旋轉框的質心坐標，(w,h)表示旋轉盒的寬度和高度，θ表示旋轉箱相對于水平坐標系的方向，R2CNN[2]定義旋轉框為(x1,y1,x2,y2,w,h)， (x1,y1)和(x2,y2)表示前兩點的坐標，(w,h)與RRPN中定義[1]相同，R2CNN[2]提出了一種特殊的RoI池化方法，其池化大小分別為7×7、3×11和11×3，還有許多其他優秀的旋轉檢測器應用于文本檢測，如EAST [15]， DRBOX [16]， TextBoxes++[17]等，在航空影像目標檢測中，提出了許多高性能的探測器，RoI transfromer[18]提出了一種RRoI學習器來學習水平錨點的方向資訊，與RRPN模塊相比減少了計算量，R3Det[3]提出了一個特征細化模塊來重構特征圖，達到了特征對齊的目的，在R3Det[3]中，證明了單級探測器在航空影像目標檢測方面也具有巨大的潛力，許多旋轉檢測器的目標是如何定義旋轉盒和如何定義樣品，例如，軸學習[19]基于自由錨點的思想預測旋轉物件的軸，性能好，推理速度快，O2-DNet[20]將方框定義為兩條中間線和中間線的交點，還有許多其他的高性能旋轉探測器，如SCRDet [21]， Gliding V ertex [22]， CenterMap OBB[23]等，
標簽分配，ATSS[24]討論了在樣本定義方法相似的情況下，基于錨點的方法(RetinaNet[12])與無錨點的方法(FCOS[13])的性能相同，影響性能的是定義正樣本和負樣本的方法，而不是如何回歸盒子，用錨還是用點做回歸并不重要，因此，ATSS[24]提出了一種通過動態閾值定義樣本的自適應訓練樣本選擇方法，FreeAnchor[25]提出錨的最大k個IoU為潛在的陽性樣本，在計算損失時，每個錨都有一個權重來決定回歸效果，在訓練開始時，由于回歸效果不好，所有錨點的權值相似，但隨著訓練的進行，部分錨點回歸良好，權值有所提高，在訓練結束時，只有幾個錨的重量遠遠超過其他錨，總之，FreeAnchor[25]通過預測來定義正樣本和負樣本，這是一種特殊的標簽賦值方法，MAL[26]提出了一種多錨點學習方法來評估IOU選擇的錨中的正錨點，該評價方法采用分類評分和位置評分相結合的方法，PISA[27]表明，影響成績最大的不是hard樣本，而是主要樣本，
標簽分配，
ATSS[24]：
- 在樣本定義方法相似的情況下，基于錨點的方法(RetinaNet[12])與無錨點的方法(FCOS[13])的性能相同，
- 影響性能的是定義正樣本和負樣本的方法，而不是如何回歸盒子，用錨還是用點做回歸并不重要，
- 提出了一種通過動態閾值定義樣本的自適應訓練樣本選擇方法，
FreeAnchor[25]：通過預測來定義正樣本和負樣本，這是一種特殊的標簽賦值方法，（不是很懂）
MAL[26]：提出了一種多錨點學習方法來評估IOU選擇的錨中的正錨點，該評價方法采用分類評分和位置評分相結合的方法，
PISA[27]：表明，影響成績最大的不是hard樣本，而是主要樣本，
2.3 方法
我們采用骨干網、特征金字塔網和檢測器頭作為基本結構，與RetinaNet[12]類似，feature map中的每個點都有幾個旋轉錨，它們負責預測物件，對于探測器頭部，我們提出了一個基于相對參考模塊的坐標回歸模塊，在訓練程序中，我們提出了一種自適應錨點選擇模塊來定義正錨點和負錨點，從而在正錨點和負錨點之間保持平衡，總的來說，我們的作業主要集中在訓練程序和旋轉檢測頭，
- 采用骨干網、特征金字塔網和檢測器頭作為基本結構，
- 與RetinaNet[12]類似，feature map中的每個點都有幾個旋轉錨，它們負責預測物件，對于探測器頭部，提出了一個基于相對參考模塊的坐標回歸模塊，
- 在訓練程序中，提出了一種自適應錨點選擇模塊來定義正錨點和負錨點，從而在正錨點和負錨點之間保持平衡，
- 總的來說，作業主要集中在訓練程序和旋轉檢測頭，
2.3.1 網路架構
我們的主要網路架構使用ResNet架構和特征金字塔網路骨干網，從影像中提取豐富的、多尺度的、定向的特征資訊，如圖2所示，ResNet生成C3,C4和C5，表示特征金字塔網路的p3到p7，p3到p7為預測的特征級別，特征地圖大小為輸入影像(8、16、32、64、128)倍的下采樣比，在本文中，所有輸入影像的大小都被調整為800×800，有兩個子網負責預測每個pi的類別和邊界盒，其中i=3, 4, 5, 6, 7，類別預測分支的最終特征圖預測K值表示每個特征點中的每個錨的k類別，在每個特征點中有一個區域錨，通過Sigmoid函式將預測值轉化為各類別的概率，在邊界盒預測分支中，最終的feature map預測了一個元組(δx，δy，δw，δh，δθ)表示相對于錨點的偏差，需要解碼為(x,y,w,h，θ)，另外，兩個子網共享所有特征層的引數權值，大大減少了計算量，除了使用旋轉錨點和預測邊界盒預測分支輸出特征圖中5個值的元組外，網路架構幾乎與retanet[12]相同，這些差異的實作細節在2.3.4節和2.3.6節中表示，
圖2，主要介紹了我們的探測器結構和訓練程序，
- 在這個圖中表示在每個特征點有一個旋轉錨，kmeans表示有需要預測的類別;
- 標簽映射中各點的值表示該錨點與目標點匹配的均值;
- 正錨集是通過一個固定的閾值水平IoU(簡稱H IoU)來選擇的，這是一個粗略的選擇;
- AT模塊根據旋轉IoU的分布(簡稱為RIoU)計算閾值，通過該閾值在精細選擇程序中選擇最終的正錨點;
- (δx，δy，δw，δh，δθ)為錨點與物體之間的偏差，需要進行解碼，
2.3.2. 自適應錨選擇
基線旋轉檢測器源于RetinaNet，對不同縱橫比的物體具有不平衡性能，由于錨點選擇程序不靈活，高寬比的物件匹配的訓練錨點較少，我們提出了一種自適應錨點選擇方法，該方法可以自適應地定義錨點，如圖3所示，物件有很多錨，這些錨是無序的，候選錨點由水平IoU選擇，以確保水平特征相對應，然后，通過旋轉iou，使用由AT模塊計算的自適應閾值來選擇正錨點，
圖3，描述了錨點選擇程序的可視化，H-IOU和R-IOU，AT module在2.3.3節中描述，
本節中，自適應錨點選擇方法結合了水平特征和旋轉特征，如演算法1所示，影像上有ground-truth box集合(G)，所有feature map上有錨點集合(A)，在訓練程序中，A中的每個錨點要么被分配到ground-truth box (G)中的一個，要么被定義為負錨點，首先，我們計算A和G之間的水平lou和旋轉iou，表示HD和RD，對于每個錨點，具有最大旋轉iou的ground-真值盒被分配給該錨點，確保錨點只有一個ground-truth ，其次，對每個ground-truth box(g)，用條件不等式(HDg≥0.6)選擇一組候選錨點，第三，我們根據統計方法計算一個閾值Tg來區分候選錨點，自適應計算閾值Tg的功能在第2.3.3節描述，并在第4.1節討論，對于每個候選錨框(d)，錨點被分配到ground-truth (g)，如果RIoU(d,g)≥Tg則定義為正錨點，最后，該演算法選擇一組正錨點(P)，其余錨點定義為負錨點(N)，
- 此外，我們定義了水平IOU和旋轉IOU，如圖4所示，對于水平IoU，旋轉框根據旋轉框的頂點轉換為水平框，水平框根據水平框計算，對于旋轉IOU，計算方法與通用IoU相同，使用旋轉交點區域和旋轉框區域，
2.3.3. 基于樣本平衡的自適應閾值
在2.3.2節中，我們討論了自適應錨點選擇方法的演算法流程，其中一個關鍵問題是如何自適應地計算閾值(Tg)，基于統計方法的函式是合理的，統計資料因樣本不同而不同，均值和標準差是常用的統計引數，它們的組合是描述正態分布的常用方法，在本節中，我們將討論如何正確地描述正樣本和負樣本的分布，一般來說，根據借據將錨分為積極錨和消極錨，它們可以表示為:
這里，RIoU(Ag,g)表示錨點(Ai)和物件(g)之間的旋轉iou，Tg是劃分正錨和負錨的關鍵引數，均值+標準差(Mean+Std)可能是劃分錨的有效方法，而錨和物件之間的IOU為正態分布，對于那些具有大寬高比的物件，IOU的分布可能是隨機的，自適應錨點選擇方法的目標是找到一個旋轉邊界將錨點劃分為兩組，并在正錨點和負錨點之間保持平衡，演算法可以描述為:
由式(2)(3)將該問題描述為優化問題，問題的關鍵是如何定義樣品平衡，并解決，標準差反映了資料的離散程度，在這個公式中，使用標準差來描述旋轉iou的穩定性，優化目標是最小化|Std(C1)?Std(C2)|，它表示這兩個集合(C1,C2)之間的平衡程度，如果需要精確的解，求解程序會比較復雜，考慮到速度和有效性，這部分采用估計的方法計算出一個粗略的tg:
那么，演算法可以簡化為:
2.3.4. 相對參照的坐標回歸
在普通檢測器中，框回歸方法如圖5中(a)所示，大多數旋轉探測器都采用水平探測器的這種箱形回歸方法，如圖5中(b)所示，框編碼方法可以描述為:
(x,y,w,h，θ)表示物體的邊界框，(xa,ya,wa,ha，θa)表示錨點的邊界框，對于物件，(x,y)為邊界框的質心坐標，(w,h)為寬度和高度，θ表示包圍盒的旋轉角度，(tx,ty,tw,th,tθ)是我們希望精確回歸的值，表示相對于相應錨的偏移量，
圖5 (a)公共檢測編碼方法;(b)類似于水平檢測的旋轉檢測編碼方法;(c)基于相關參考，我們提出的編碼方法，
水平檢測時，箱體邊緣平行于影像軸線;旋轉檢測時，旋轉箱體與影像軸線存在夾角，因此，水平檢測的坐標回歸方法不能很好地描述(δx，δy)與旋轉iou旋轉檢測之間的關系，為了解決這一問題，在相關文獻的基礎上，提出了一種坐標回歸方法，新的坐標編碼方法如下:
我們建立了以(xa,ya)為原點的坐標系，x軸和y軸分別平行于錨的寬度和高度，新的坐標系和(δx，δy)如圖5c所示，在推理程序中，對應的坐標譯碼方法可以描述為:
(regx,regy)表示網路輸出的坐標，需要將其解碼為(predx,predy)，旋轉箱的角度(θ)也需要預測，角度通常在[?90,90]中定義，這可能會導致邊界的模糊，例如，δ - 89°和89°之間的δ應該是2°，而不是178°，新的theta編碼方法如下所示:
結合(3)、(4)、(6)式，基于相對參考的箱形回歸方法可描述為:
2.3.5. 損失
損失函式包括分類損失和回歸損失，分類損失計算所有錨點的損失，包括正錨點和負錨點，回歸損失只計算那些正錨的損失，可以表示為:
Lcls和Lregare分類損失和回歸損失，分類損失為區域損失，回歸損失為平滑L1損失，(λ1，λ2)表示超引數Lcls和Lreg的權重，Npos是積極錨的數量，(tx,ty,tw,th,tθ)為Smooth L1的輸入引數，可以表示為:
2.3.6. 實作細節
該方法的代碼是在基于RetinaNet[12]和PyTorch[28]的基礎上實作的，對于一些旋轉模塊，我們參考RRPN[1]，在本文中，我們采用ResNet-50和ResNet-101作為骨干網，并對預訓練模型進行初始化，有兩個Nvidia GeForce RTX 2080 Ti gpu，記憶體為11G，用于實驗，我們對模型進行24 epoch的訓練，在DOTA上進行大約90k次迭代，采用隨機梯度下降法(SGD)訓練模型，學習速率初始值為0.01，在60k和82.5 k學習速率衰減步長時，衰減到當前學習速率的10%，重量衰減和動量分別為0.001和0.9，錨點生成程序中，縱橫比設為(1/ 1,3 / 1,5 /1)，錨定角度設定為(60°、30°、0、?30°、?60°、?90°)，錨定標度設定為(0.2,4)，這意味著錨定尺度為(0.21/4,0.22/4,0.23/4,0.24/4)，每個特征點有72個錨點，共960k個錨點，損失引數與RetinaNet[12]相同，包括局灶性損失和平滑L1損失，在推理評價階段，當置信度得分大于0.1時，判斷預測是正確的，此外，對每一類設定非最大抑制閾值(NMS)為0.15，
3.結果
（略，讀原文吧）
4. 討論
4.1. 自適應錨點選擇的有效性
（第一段略，讀原文吧）
由于錨點生成的隨機性，通過固定的旋轉iou限制來定義錨點，可能會導致訓練程序中的正錨點較少，在圖7中，我們比較了這三種錨點選擇方法在錨點可視化方面的差異，
- (a)中的原始錨點選擇方法通過一個fixed IoU閾值來定義陽性樣本，對于寬高比較大的物件，這種錨桿選擇方法可能會導致沒有錨桿匹配，如橋梁和港口，
- A2S-Det是一種靈活的錨點選擇方法，與原始錨點選擇方法相比，它在錨點選擇程序中表現更好，特別是對于高寬比大的物件，在A2S-Det中，水平iou選擇的一組候選錨點可以避免在某些特殊情況下不匹配錨點，
- 不帶AT模塊的A2SDet使用(mean+std)函式作為區分樣本的閾值，這是一個經驗值，
- AT模塊能夠自適應地找到正樣本集和負樣本集之間的邊界，如圖7所示，
- (c)中選擇的正錨似乎比(b)中的正錨更有規律，這在有橋梁和港口的影像中更為明顯，
- 從IOU(d)的分布來看，AT模塊可以根據IOU的特征將候選錨點劃分為正錨點和負錨點，而不是根據經驗值，
圖7，來自訓練資料集的橋梁、港口、大型車輛和船舶的影像，以及它們的地面真實情況和積極的錨點，
- (a)使用原始錨點選擇時，正向錨點的可視化;
- (b)無AT的A2S-Det中陽性錨栓的可視化;
- (c)在帶AT的a2s - det中顯示陽性錨栓;
- (d)錨點選擇程序采用(Mean+Std)和AT兩種閾值定義方法，
（這幾張統計的圖需要好好看看）
4.2. CR3模塊的有效性
章節2.3.4中提出的CR3 module解決了回歸不準確的問題，如表2所示，CR3 module有正向影響，在不使用CR3module的A2S-Det基準測驗中，如果將CR3module應用于A2S-Det，總增幅為0.39%，對于那些縱橫比大的物體，有明顯的增加，尤其是橋梁，LV,船,和Harbor，此外，橋梁增加0.55%，低壓增加0.3%，港口增加0.5%，僅從平均精度(average Precision, AP)來看，CR3module可能沒有太大的優勢，而AP的增加并不明顯，為了評估是否正確檢測到目標，在evaluate - server[4]中將旋轉iou 閾值設定為0.5，如果預測的包圍盒和地真值盒之間的旋轉iou大于閾值，則認為該目標被正確檢測到，如圖8所示，具有CR3module的A2S-Det的包圍盒回歸要好于沒有CR3module的A2S-Det的包圍盒回歸，由于旋轉iouthreshold為0.5，大多數預測框被判斷為正確，而包圍框回歸有些許偏差，如圖8所示，是否精確回歸對寬高比較大的物件(橋、港、LV)影響更大，
圖8 是否采用CR3模塊的可視化，(a)沒有CR3模塊的可視化預測;(b)通過CR3模塊可視化預測，
官方評估服務器只支持apiou =0.5，為了驗證推理，我們在訓練資料集上訓練模型，在驗證資料集上進行測驗，驗證資料集的性能評價方法使用esapiou =0.75和ap?，AP?意味著我們從mapiou =0.5 toAPIoU=0.95測驗模型，其中iou step是0.05，并計算出平均值asAP?，從表3中可以看出，當橋和港口apiou =0.5時，無CR3的A2S-Det優于有CR3的A2S-Det，但當apiou =0.75時，橋和港口A2S-Det分別增加了1.52%和1.01%，在更嚴格的評價方法上(如APIoU=0.75)， cr3模塊的影響更明顯，如lv、BC和 theSBF，
4.3. 優勢和局限性
基于錨點的旋轉探測器對錨點引數和正負閾值的依賴性較大，難以調整，錨桿引數影響錨桿生成程序，間接影響錨桿選擇程序，如長寬比、角度和尺度，錨點選擇程序直接受到正-負閾值的影響，正如在第1節中所討論的，在某些情況下，一些高寬比的物件匹配很少的錨進行訓練，從而導致訓練不足和表現不佳，A2S-Det結合水平特征和旋轉特征，完全根據旋轉iou的分布來選擇錨點，我們的方法解決了錨點與物件之間的匹配缺失和匹配率低的問題，特別是對于大寬高比的物件，如圖7中錨選擇程序的可視化顯示，A2S-Det既適用于一般情況，也適用于極端情況，為了預測旋轉包圍盒，cr3模塊有助于精確回歸旋轉包圍盒，如表1所示，我們的方法比大多數旋轉探測器有更好的性能，在那些高寬比的物體上顯示出很大的潛力，表2顯示，當章節2.3.2,2.3.3和2.3.4中提出的模塊應用于基線時(RetinaNet-R[12])，有很大的改進，
結合水平特征和旋轉特征，基于樣本平衡尋找合適的閾值，為改進錨點匹配程序提供了可能的方向，對于比例方面較大的物件，水平特征有利于分類，旋轉特征有利于箱形回歸，但旋轉的iou和水平的ou都需要大量的計算，在以后的作業中可能會進行簡化，本文探討了如何通過錨點的分布來定義正錨點和負錨點，錨點匹配程序被認為是一個優化問題，其目標是保持正錨點和負錨點之間的平衡，為了減少計算量，實作端到端的訓練，我們簡化了目標函式和求解程序，如表1和表2所示，將錨點匹配程序視為一個優化問題顯示了巨大的潛力，
這種方法也有一些局限性，首先，角度偏差對縱橫比接近1的物體影響不大，如plane、BD、ST、BC、RA、HC，因此，基于旋轉iou分布的自適應錨點選擇方法并不適用于所有類別，表2中，當A2S-Det與基線比較時，BD降低了0.51%，bc2.7%， hconapiou =0.5時降低了1.93%，受惠于大量的物體，A2S-Det的AP在planeandst上沒有下降，如果物件數量很少，這個限制可能會導致高度接近寬度的物件AP較低，此外，該方法增加了訓練時間，A2S-Det 既需要旋轉的iou，也需要水平的iou，而AT module的閾值求解程序耗費了大量的時間，A2S-Det的訓練時間幾乎是基線的兩倍，A2S-Det的推理程序幾乎不受影響，其推理時間非常接近基線，與現有的旋轉探測器相比，該方法存在一些不足之處，借據不能很好地描述正錨與物件之間的關系，我們的目標是在未來采用一種更好的方法來描述它，并改進這種方法，
5. 結論
提出了一種基于單級檢測器的自適應錨點選擇方法，針對高寬比大的目標，本文提出了3個模塊，分別是自適應錨點選擇模塊、AT module和CR3模塊，A2S-Det通過改進錨點選擇程序，提高了大縱橫比物體的預測性能，CR3有助于更精確地回歸旋轉包圍盒，在DOTA[4]資料集上設計了多個實驗，驗證了這些模塊在航拍影像目標檢測中的有效性，該方法與現有的旋轉探測器相比，具有更好的性能(tomAPIoU=0.5)，達到了70.64，與基線檢測器相比，這三個模塊的應用平均提高了1.51%，對于比例方面較大的物件，map范圍的增幅從0.09%增加到5.23%，結果表明，一種有效的錨點匹配方法可以幫助檢測器更好地學習特征資訊，并對大比例方面的物件取得更好的性能，在未來的作業中，我們將致力于改進該方法，并探索更多潛在的標簽分配方法，以提高航空影像中的檢測性能，
小結
自己注意到的一些關鍵詞：
基于樣本平衡的自適應閾值、統計、優化問題
摘要
我們提出了一種基于樣本平衡自適應分配錨點的錨點選擇方法，我們稱之為自適應錨點選擇(A2S-Det)方法，對于每個ground-真值物件，A2S-Det通過水平IoU選擇一組候選錨點，然后，在候選錨點集合上采用自適應閾值模塊，計算候選錨點的邊界，以保持正錨點和負錨點的平衡;此外，我們提出了相對參考坐標回歸(CR3)模塊來精確回歸旋轉包圍盒，
1. 介紹
在本文中，我們討論了錨點與目標之間的缺失匹配和低匹配率是影響檢測器訓練的兩個因素，特別是對于大寬高比的目標，為了解決這些問題，本文提出了一種基于樣本平衡的錨點選擇方法來改進錨點選擇程序，該方法由三個模塊組成，
- 首先，利用基于水平IoU的自適應錨點選擇模塊選擇候選錨點，并根據旋轉iou的統計閾值將錨點劃分為正負錨點;
- 對于統計閾值，設計了自適應閾值模塊，根據候選錨點集合中iou的旋轉情況確定一個正錨點和負錨點之間保持平衡的閾值，
- 最后，我們設計了相對參考模塊的坐標回歸來精確預測旋轉包圍盒，在這個模塊中，對旋轉物件的坐標回歸和角度回歸做了一些改進，
2. 材料和方法
2.1 資料
DOTA
2.2 相關作業之標簽分配
ATSS[24]：
- 在樣本定義方法相似的情況下，基于錨點的方法(RetinaNet[12])與無錨點的方法(FCOS[13])的性能相同，
- 影響性能的是定義正樣本和負樣本的方法，而不是如何回歸盒子，用錨還是用點做回歸并不重要，
- 提出了一種通過動態閾值定義樣本的自適應訓練樣本選擇方法，
FreeAnchor[25]：通過預測來定義正樣本和負樣本，這是一種特殊的標簽賦值方法，（不是很懂）
MAL[26]：提出了一種多錨點學習方法來評估IOU選擇的錨中的正錨點，該評價方法采用分類評分和位置評分相結合的方法，
PISA[27]：表明，影響成績最大的不是hard樣本，而是主要樣本，
2.3 方法
- 采用骨干網、特征金字塔網和檢測器頭作為基本結構，
- 與RetinaNet[12]類似，feature map中的每個點都有幾個旋轉錨，它們負責預測物件，對于探測器頭部，提出了一個基于相對參考模塊的坐標回歸模塊，
- 在訓練程序中，提出了一種自適應錨點選擇模塊來定義正錨點和負錨點，從而在正錨點和負錨點之間保持平衡，
- 總的來說，作業主要集中在訓練程序和旋轉檢測頭，
2.3.1 網路架構
圖2，主要介紹了我們的探測器結構和訓練程序，
- 在這個圖中表示在每個特征點有一個旋轉錨，kmeans表示有需要預測的類別;
- 標簽映射中各點的值表示該錨點與目標點匹配的均值;
- 正錨集是通過一個固定的閾值水平IoU(簡稱H IoU)來選擇的，這是一個粗略的選擇;
- AT模塊根據旋轉IoU的分布(簡稱為RIoU)計算閾值，通過該閾值在精細選擇程序中選擇最終的正錨點;
- (δx，δy，δw，δh，δθ)為錨點與物體之間的偏差，需要進行解碼，
2.3.2. 自適應錨選擇
- 基線旋轉檢測器源于RetinaNet，對不同縱橫比的物體具有不平衡性能，由于錨點選擇程序不靈活，高寬比的物件匹配的訓練錨點較少，
- 提出了一種自適應錨點選擇方法，該方法可以自適應地定義錨點，如圖3所示，物件有很多錨，這些錨是無序的，
- 候選錨點由水平IoU選擇，以確保水平特征相對應，
- 然后，通過旋轉iou，使用由AT模塊計算的自適應閾值來選擇正錨點，
圖3，描述了錨點選擇程序的可視化，H-IOU和R-IOU，AT module在2.3.3節中描述，
- 自適應錨點選擇方法結合了水平特征和旋轉特征，
- 影像上有ground-truth box集合(G)，所有feature map上有錨點集合(A)，
- 在訓練程序中，A中的每個錨點要么被分配到ground-truth box (G)中的一個，要么被定義為負錨點，
- 計算A和G之間的水平lou和旋轉iou，表示HD和RD，對于每個錨點，具有最大旋轉iou的ground-真值盒被分配給該錨點，確保錨點只有一個ground-truth ，
- 對每個ground-truth box(g)，用條件不等式(HDg≥0.6)選擇一組候選錨點，
- 根據統計方法計算一個閾值Tg來區分候選錨點，自適應計算閾值Tg的功能在第2.3.3節描述，并在第4.1節討論，對于每個候選錨框(d)，錨點被分配到ground-truth (g)，如果RIoU(d,g)≥Tg則定義為正錨點，
- 該演算法選擇一組正錨點(P)，其余錨點定義為負錨點(N)，
2.3.3. 基于樣本平衡的自適應閾值
在2.3.2節中，我們討論了自適應錨點選擇方法的演算法流程，其中一個關鍵問題是如何自適應地計算閾值(Tg)，基于統計方法的函式是合理的，統計資料因樣本不同而不同，均值和標準差是常用的統計引數，它們的組合是描述正態分布的常用方法，在本節中，我們將討論如何正確地描述正樣本和負樣本的分布，一般來說，根據借據將錨分為積極錨和消極錨，它們可以表示為:
這里，RIoU(Ag,g)表示錨點(Ai)和物件(g)之間的旋轉iou，Tg是劃分正錨和負錨的關鍵引數，均值+標準差(Mean+Std)可能是劃分錨的有效方法，而錨和物件之間的IOU為正態分布，對于那些具有大寬高比的物件，IOU的分布可能是隨機的，自適應錨點選擇方法的目標是找到一個旋轉邊界將錨點劃分為兩組，并在正錨點和負錨點之間保持平衡，演算法可以描述為:
由式(2)(3)將該問題描述為優化問題，問題的關鍵是如何定義樣品平衡，并解決，標準差反映了資料的離散程度，在這個公式中，使用標準差來描述旋轉iou的穩定性，優化目標是最小化|Std(C1)?Std(C2)|，它表示這兩個集合(C1,C2)之間的平衡程度，如果需要精確的解，求解程序會比較復雜，考慮到速度和有效性，這部分采用估計的方法計算出一個粗略的tg:
那么，演算法可以簡化為:
（關鍵是那幾個公式吧？優化問題的解決？）
2.3.4. 相對參照的坐標回歸
這部分有空手寫理解一下
4. 討論
4.1. 自適應錨點選擇的有效性
（第一段略，讀原文吧）
由于錨點生成的隨機性，通過固定的旋轉iou限制來定義錨點，可能會導致訓練程序中的正錨點較少，在圖7中，我們比較了這三種錨點選擇方法在錨點可視化方面的差異，
- (a)中的原始錨點選擇方法通過一個fixed IoU閾值來定義陽性樣本，對于寬高比較大的物件，這種錨桿選擇方法可能會導致沒有錨桿匹配，如橋梁和港口，
- A2S-Det是一種靈活的錨點選擇方法，與原始錨點選擇方法相比，它在錨點選擇程序中表現更好，特別是對于高寬比大的物件，在A2S-Det中，水平iou選擇的一組候選錨點可以避免在某些特殊情況下不匹配錨點，
- 不帶AT模塊的A2SDet使用(mean+std)函式作為區分樣本的閾值，這是一個經驗值，
- AT模塊能夠自適應地找到正樣本集和負樣本集之間的邊界，如圖7所示，
- (c)中選擇的正錨似乎比(b)中的正錨更有規律，這在有橋梁和港口的影像中更為明顯，
- 從IOU(d)的分布來看，AT模塊可以根據IOU的特征將候選錨點劃分為正錨點和負錨點，而不是根據經驗值，
- (a)使用原始錨點選擇時，正向錨點的可視化;
- (b)無AT的A2S-Det中陽性錨栓的可視化;
- (c)在帶AT的a2s - det中顯示陽性錨栓;
- (d)錨點選擇程序采用(Mean+Std)和AT兩種閾值定義方法，
（這幾張統計的圖需要好好看看，特別是第一行效果挺明顯，一行一列沒有匹配的錨框，一行三列旋轉方向上更精確了，二行二列本身方向挺準確，三行二列到三行三列肉眼看到改觀不是很大，是不是和所要檢測的目標有關系？）
4.2. CR3模塊的有效性
圖8 是否采用CR3模塊的可視化，
(a)沒有CR3模塊的可視化預測;(b)通過CR3模塊可視化預測，
這個效果也挺明顯的
4.3. 優勢和局限性
結合水平特征和旋轉特征，基于樣本平衡尋找合適的閾值，為改進錨點匹配程序提供了可能的方向，對于比例方面較大的物件，水平特征有利于分類，旋轉特征有利于箱形回歸，但旋轉的iou和水平的ou都需要大量的計算，在以后的作業中可能會進行簡化，本文探討了如何通過錨點的分布來定義正錨點和負錨點，錨點匹配程序被認為是一個優化問題，其目標是保持正錨點和負錨點之間的平衡，為了減少計算量，實作端到端的訓練，我們簡化了目標函式和求解程序，如表1和表2所示，將錨點匹配程序視為一個優化問題顯示了巨大的潛力，
這種方法也有一些局限性，首先，角度偏差對縱橫比接近1的物體影響不大，如plane、BD、ST、BC、RA、HC，因此，基于旋轉iou分布的自適應錨點選擇方法并不適用于所有類別，表2中，當A2S-Det與基線比較時，BD降低了0.51%，bc2.7%， hconapiou =0.5時降低了1.93%，受惠于大量的物體，A2S-Det的AP在planeandst上沒有下降，如果物件數量很少，這個限制可能會導致高度接近寬度的物件AP較低，此外，該方法增加了訓練時間，A2S-Det 既需要旋轉的iou，也需要水平的iou，而AT module的閾值求解程序耗費了大量的時間，A2S-Det的訓練時間幾乎是基線的兩倍，A2S-Det的推理程序幾乎不受影響，其推理時間非常接近基線，與現有的旋轉探測器相比，該方法存在一些不足之處，借據不能很好地描述正錨與物件之間的關系，我們的目標是在未來采用一種更好的方法來描述它，并改進這種方法，
這個局限性不僅僅在這篇文章中發現，
5. 結論
提出了一種基于單級檢測器的自適應錨點選擇方法，針對高寬比大的目標，本文提出了3個模塊，分別是自適應錨點選擇模塊、AT module和CR3模塊，A2S-Det通過改進錨點選擇程序，提高了大縱橫比物體的預測性能，CR3有助于更精確地回歸旋轉包圍盒，
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/404321.html
標籤：其他
上一篇：修改召喚神龍