摘要：
- 本文說首次實作了大規模點云場景中基于點的模型的實時檢測（<30ms）;
- 首先指出FPS采樣策略進行下采樣是耗時的，尤其當點云增加的時候，計算量和推理時間快速增加；
- 本文提出IC-FPS；包含兩個模塊：local feature diffusion based background point filter (LFDBF)；Centroid Instance Sampling Strategy (CISS)；LFDBF用來排除大量的背景點，而CISS用來替代FPS；
簡介：
早期的作業將點云投影為多視圖，或體素點云，并通過3D卷積提取特征，這些方法雖然取得了很好的效果，但在將點云轉換為block等中間表示時，不可避免地會丟失資訊，導致模型性能下降，目前的方法依賴于復雜的下采樣策略和SA層提取鄰居特征；用來區分前景點背景點；這種方法是低效的；
- 首先為了提高下采樣速度，提出了CISS替代FPS；
- 其次提出質心點偏移模塊，用來恢復實體目標的原始的幾何結構；
- LFDBF可以區分前/背景點，減少計算量；
- 為了進一步提高LFDBF的性能，提出了Density-Distance Focal Loss，以確保對遠距離處稀疏的前景點進行有效采樣；
- 結合CISS和LFDBF，提出IC-FPS；
相關作業：
略
實體質心特征擴散采樣模塊：
總覽
3D檢測更加關注目標物件；通常將大量的背景點作為輸入，導致后續計算效率低下；
此外，現有的基于點的方法存在FPS等復雜的下采樣策略，增加了計算成本和推理時間；
IC-FPS結合LFDBF和CISS對前景和背景區域進行分類，并對點云進行高效下采樣；
鄰域特征擴散模塊(NFDM)進一步擴大前景塊特征的擴散范圍，減少下采樣造成的資訊損失；
IC-FPS可以插入到任何基于點的三維物體檢測模型中，進行端到端訓練；
圖2.IC-FPS框架框圖，B到P表示塊中的所有點都被選中，n、m、ms、m1、m2分別表示輸入的點云個數、有效塊個數、選中塊個數、選中質心個數、選中實體個數，橙色的塊被選為前景塊，c和c1分別表示輸入通道數和特征通道數，
LFDBF
此演算法可以有效的去除背景點；
給定一組點P={pi|i=1,...,N} ∈RN×c;N表示點的數量和c表示通道數；如圖2所示，我們將點P的集合劃分為塊，并推匯出大小為[m, s, c]的矩陣，其中m為有效塊的個數，s為塊中的點個數；
為了高效提取每個塊的區域特征，采用PointPillars方法獲取塊內的相對位置資訊；
然后將矩陣大小折疊為[m, s， (c + 6)]，其中額外的六個維度包括每個塊中點到中心點的相對距離和質心位置；{?x,?y,?z,xc,yc,zc}? 圖2中的標注和原文不一致
有效的分類前景點和背景點需要每個塊的鄰居特征，而MLP僅提取每個塊的特征；構造NFDM代替3D卷積，有效的提取塊間的鄰居資訊；
NFDM采用多尺度球查詢作為RANDLA-Net中KNN的替代，以提高處理速度；
如圖3所示，在得到每個塊的鄰域范圍后，將每個塊的鄰域特征擴散到鄰域中的其他塊；
圖3.鄰域特征擴散模塊圖，(a)表示塊特征，(b)表示第一個NFDM有效塊的特征擴散范圍，(c)表示第二個NFDM有效塊的特征擴散范圍，黃色區域為有效塊，橙色區域為特征擴散范圍，每個塊使用球查詢來獲取其鄰域，并將其特征擴散到鄰域內其他有效塊中，
使用NFDM后得到的特征來評估每個塊，采用MLP作為分類網路計算塊的置信度，置信度越高，該塊就越有可能是“前景塊”，
將置信度大于閾值α的塊視為前景塊，其特征表示為Fi∈R(ms×c1)，其中c1為通道數，ms為前景塊數，前景塊中的所有點都定義為前景點，
為了更好地對點云中距離較遠的稀疏前景區域進行采樣，我們提出了一種基于正態分布的密度-距離焦損失LDDFL，以防止距離較遠的實體被過濾掉，密度約束MDen根據塊中的點密度分配不同的權重，
其中，μ、σ為正態分布的位置引數和尺度引數，Nv和Nmax分別表示block中的有效點數和最大值，距離約束MDis對遠距離的物件賦更多的權值，表示為:
其中D為點到坐標系原點的距離，MD為最遠點到原點的距離，密度-距離焦距損耗LDDFL表示為:
CISS
CISS的目標是高效采樣中心點，并在第一層SA層中替代FPS，我們認為FPS的成功有兩個原因：1??FPS根據點密度自適應選擇中心點，即在高密度區域中選擇更多的中心點，2??FPS從原始點云中采樣樣本并保留幾何結構資訊，有利于提高后續檢測框回歸的精度，
因此，我們將部分前景點添加到中心點中，以增加實體物件的樣本密度，構造質心點偏移模塊來恢復點云原始幾何結構，
原始實體點采樣：匯出前景塊后，計算塊的質心位置，記為Di∈Rms×3，根據分類置信度從高到低對質心點進行排序，選擇最高的m1點，此外，同時選擇到原點距離最短的m2點，在后續模型中，將實體點和質心點作為第一SA層的中心點，演算法1是CISS的詳細程式，
塊質心點偏移：將原始點云的位置資訊逐層添加到之后的網路中，有利于適應原始點云結構，但質心與實際點云位置存在偏差，直接使用質心可能會丟失原始的位置資訊，模型在回歸程序中無法準確預測邊界盒的大小，因此，我們提出了質心點偏移模塊，將質心移動到最近的實體點，以有效地恢復目標的原始大小，質心點偏移損失函式LCB表示為:
其中b是質心點到最近實體點之間的預測偏移量，?b表示質心點到最近實體點的實際偏移量，??表示centroid是否出現在實體框中，
質心特征擴散采樣框架
在圖2中，我們應用另一個NFDM來擴大每個中心點特征的擴散范圍，通過疊加兩個NFDMs，IC-FPS可以有效地減少由于降采樣造成的資訊損失，并取代復雜的第一個SA層，
總損失包括密度-距離焦距損失LDDFL、質心點偏移損失LCB、分類損失Lcls和包圍盒生成損失Lbox，如式5所示，
實驗
實施細節
我們選擇3DSSD [30]/SASA [3]/IA-SSD[35]作為基線構建模型，首先對輸入點云進行塊劃分，塊大小設定為[0.075,0.075,1]，在LFDBF模塊中，點云通過類似于PointPillars的方法進行擴展，然后輸入到三個大小為(16,16,32)的MLP層，第一個NFDM的擴散半徑設定為4.0，最大擴散點個數設定為16個，置信閾值設定為0.45，我們在DDFL中設μ= 0.5和σ = 0.5(方程3)，CISS中質心偏移模塊包含兩個MLP層，其大小為(16,3)，對于第二個NFDM，擴散半徑設為[0.2,0.8]，最大擴散點數設為16，
我們在實驗中配置了三個不同數量的IC-FPS模塊，分別是IC-FPS- S /ICFPS-M/IC-FPS- L，采樣的質心點和實體點的最大個數分別為16384/2048、26000/4096和30720/8197，
我們的實驗采用了相同的訓練策略和每個基線的模型結構，只是第一個SA層被IC-FPS取代，在IA-SSD實驗中，batch size設定為8，學習率設定為0.01，使用Adam[8]優化器，weight decay設定為0.01，在3DSSD和SASA實驗中，batch size設定為2，學習率設定為0.002，實驗在NVIDIA A40 GPU和AMD EPYC 7402 CPU上進行，
本文來自博客園，作者：辭柏LNG，轉載請注明原文鏈接：https://www.cnblogs.com/ymzcch12/p/17292920.html
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/549431.html
標籤：其他