1、為什么要做這個研究（理論走向和目前缺陷） ?
之前做3D目標檢測大多基于Anchor來做，不好表達，且不利于下游任務，如跟蹤，
2、他們怎么做這個研究 （方法，尤其是與之前不同之處） ?
本文提出將3D目標表達為一個中心點，設計了兩個模型，單階段的CenterPoint和兩階段的CenterPoint，單階段CenterPoint主干網路用VoxelNet或PointPillar,輸出的特征圖加一個2D卷積輸出目標的中心點（中心點設定及計算損失參考CornerNet），以及對每個點回歸3D框尺寸、朝向、速度（大小及方向）、高度等資訊，跟蹤的話就利用一階段預測的目標中心點及速度，將速度方向反向推斷出上一幀中此目標的位置，用貪心演算法找上一幀中最近距離的障礙物中心點進行匹配，兩階段CenterPoint的第一階段就是單階段CenterPoint，第二階段將第一階段獲取的框中心點（BEV視圖）特征及四個邊界中心點特征輸入到MLP中進行進一步分類和框回歸，
3、發現了什么（總結結果，補充和理論的關系）?
基于中心點的方法相對基于anchor的方法避免了設定大量anchor，節省了計算量，且有利于用中心點做跟蹤，效果比卡爾曼濾波的方法好，且快，
摘要：利用點云做3D目標時也是把目標表達為一個3D，這其實是源于2D目標檢測的范式，但是3D目標會有各種各樣的朝向，基于3D框的檢測器不可能列舉出所有的方向，本文提出將表達、檢測、跟蹤任務都基于點來做，即CenterPoint，CenterPoint在第一階段利用關鍵點檢測器找出所有目標中心點，并回歸出3D尺寸、3D朝向、以及速度，在第二階段，利用目標中的點特征對上述預測進一步精細化，CenterPoint把3D目標跟蹤簡化到貪心最近匹配，最終的檢測和跟蹤演算法都很簡單且高效，
1、引言
點云3D目標檢測和2D目標檢測差異：1）點云稀疏，不像影像密集，2）最終的3D框方向往往和任何坐標軸都不平行，3）3D目標尺寸、形狀、長寬比等變化劇烈，
如果用3D框作為anchor，anchor朝向會比較多，增大計算量，而CenterPoint的主干網路用的是VoxelNet或者PointPillars，將主干網路輸出的特征展成俯視圖，然后用2D卷積做關鍵點檢測找出目標中心點，基于每個中心點位置的點特征回歸出一個3D尺寸、朝向以及速度，
2、相關研究
2D檢測：RCNN系列、YOLO、SSD、RetinaNet、CenterNet、CenterrTrack等
3D檢測：Vote3Deep、VoxelNet,SECOND,PIXOR,PointPillars,MVF,Pillar-od，VoteNet，
2階段3D檢測：計算量大，而本文僅提取5個表面中心點來節約計算量，
3D跟蹤：有許多2D的跟蹤演算法都可以直接拿來做3D跟蹤，但是基于卡爾曼濾波的專用跟蹤器仍然更具優勢，而本文采用類似與CenterTrack的跟蹤演算法，利于預測的中心點和速度方向來做跟蹤，更快，而且比卡爾曼濾波更準，
3、先驗知識
2D CenterNet：簡述CenterNet原理
3D 檢測：略
4、CenterPoint
CenterPoint第一階段利用3D主干網路（VoxelNet或PointPillars）對每個點都針對每個類別做熱力圖、目標尺寸、中心點位置偏移、朝向、速度的密集預測，模型架構如下圖所示，
中心點熱力圖預測頭：熱力圖有K個通道，對應K個類別，訓練時，將3D框中心點投影到鳥瞰圖中而生成的二維搞死曲線作為gt熱力圖（參考的CornerNet），用focal loss計算損失，
回歸頭：對每個點都回歸出中心點偏移、中心點距離地面高度、3D尺寸、旋轉角（cos(theta), sin(theta)表示），訓練時，只對中心點位置計算l1損失，
速度頭和跟蹤：為了跟蹤，需要預測一個二維的速度方向，故訓練時用一個兩通道的熱力圖作為監督，也是只計算目標中心點的L1損失，
推斷階段，對每個當前幀都預測出目標的速度，故可以速度方向取反從而計算出上一幀此目標的位置，然后用貪心演算法找到上一幀中離此反推出的位置離得最近的目標點，連續3幀都沒再被跟蹤上的目標丟棄，對于每個在當前幀沒被跟蹤到的上一幀的目標，基于其預測的速度計算其在當前幀的位置，
到此，所有的3D目標的特性（大小、朝向、中心點、速度、高度等）都是用中心點特征計算的，并沒有包含足夠的資訊實作準確定位，比如，激光打到車上往往只有車的一側有點，車的中心是沒點的，故考慮在第二階段對3D框的位置精細化，
4.1 兩階段的CenterPoint
上面介紹的是單階段的CenterPoint，兩階段CenterPoint就是在第二階段提取出目標的4個邊界中心點特征，加上一個中心點特征共計5個點特征（所有的點特征都來源于第一階段的計算輸出），輸入到一個MLP中，預測各個類別的得分及邊界框精細化,類別得分計算公式：
第一階段第二階段都預測了得分，最后的得分是這兩個得分相乘然后開方，
4.2 架構
略
5、實驗
在Waymo和nuScenes兩個大型3D資料集上做了實驗，
訓練兩階段的CenterPoint時，隨機采樣128個第一階段輸出的3D框，其中正例框數和負例框數均為64，與GT框的IOU大于0.55認為是正例框，推斷階段，對第一階段輸出按得分排序取500個3D框，然后NMS后輸入到第二階段進行精細化回歸，
5.1主要實驗結果
3D檢測：見表1和表2，無論在行人還是在車輛表現都是最好的，而且很快，
3D跟蹤：見表3和表4，Waymo官方的baseline AB3D用的是卡爾曼濾波做跟蹤，本文的基于速度的最近距離匹配顯著優于AB3D，而且本文方法不需要建立運動模型，
5.2 消融研究
基于中心點的方法和基于anchor方法對比：基于anchor的方法waymo資料集上以PV-RCNN設定anchor方法為例，nuScenes上以CBGS設定Anchor的為例，僅僅替換CenterPoint的center-based部分，其余不變，實驗結果見表5和表6，表7和表8是度進一步分析anchor-based方法性能不及center-based方法的原因做的實驗，
一階段對比兩階段：
見表9，在Waymo資料上兩階段CenterPoint相對但階段CenterPoint有提升，但是在nuScenes資料上沒有提升，分析原因可能是nuScenes資料集用的32線激光雷達，單階段網路已經將其潛力榨干，
不同特征組合對第二階段提升影響：本文的第二階段網路只用了第一階段基于2D卷積輸出的特征，還可以考慮加入2D卷積之前的體素特征（參考PV-RCNN中的體素集合特征和RBF插值體素特征）進一步提升性能，實驗結果見表10，實驗結果表明提升不大，
在檢測一樣的情況下，用本文基于速度的貪心點最近距離跟蹤結果比卡爾曼濾波跟蹤結果要好，而且快非常多，見表12.
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/302597.html
標籤：其他