前言
點云資料由無序的資料點構成的一個集合；點與點之間是具有空間關系的；點云資料所代表的目標對某些空間轉換應該具有不變性，如旋轉和平移，
點云資料處理方式，通常有：將點云資料投影到二維平面（多視圖法）、將點云資料劃分到有空間依賴關系的voxel（體素法）、直接在點云資料上應用深度學習模型（點云法），
目錄
一、點云資料特點
1.1 無序
1.2 點與點之間的空間關系
1.3 不變性
二、點云資料處理方式
2.1 將點云資料投影到二維平面（多視圖法）
2.2 將點云資料劃分到有空間依賴關系的voxel（體素法）
2.3 直接在點云資料上應用深度學習模型（點云法）
一、點云資料特點
點云資料是在歐式空間下的點的一個子集，它具有以下三個特征：無序、點與點之間的空間關系、空間轉換不變性，
1.1 無序
點云資料是一個集合，對資料的順序是不敏感的，這使得處理點云資料的模型需要對資料的不同排列保持不變性，
為什么說點云資料是無序的？？先看下圖：
左邊有三個點云，右邊也有三個點云，雖然每個點的索引值不一樣，但是它們的分布、形狀等都是一樣的；在分類或分割模型，對左、右兩幅圖應該輸出同一個結果（看起像三角形），
再看看左邊和右邊的點云索引值不是對應的，
所以說：點云資料由無序的資料點構成一個集合來表示；分類或分割模型，不應該受點云資料集的順序影響，
1.2 點與點之間的空間關系
一個物體通常由特定空間內的一定數量的點云構成，也就是說這些點云之間存在空間關系，
1.3 不變性
點云資料所代表的目標對某些空間轉換應該具有不變性，如旋轉和平移， 如下圖所示，同一個物體，在空間經過旋轉或平移，還是原來那個物體，
二、點云資料處理方式
2.1 將點云資料投影到二維平面（多視圖法）
此種方式不直接處理三維的點云資料，而是先將點云投影到某些特定視角再處理，如前視視角和俯視角，再使用2D-CNN進行分類或分割，
同時，也可以融合使用來自相機的影像資訊，通過將這些不同視角的資料相結合，來實作點云資料的認知任務，比較典型的演算法有MV3D和AVOD，
MV3D-Net 融合了視覺影像和激光雷達點云資訊；輸入資料有三種，分別是點云俯視圖、點云前視圖和RGB影像，通過特征提取、特征整合和特征融合，最終得到類別標簽、3D邊界框，這樣的設計既能減少計算量，又保留了主要的特征資訊，
AVOD-Net算是MV3D-Net的加強版，它也融合了視覺影像和激光雷達點云資訊，但它去掉了激光點云的前視圖輸入、去掉了俯視圖中的強度資訊；輸入資料有二種，分別是點云俯視圖和RGB影像，AVOD-Net使用FPN來提取特征，同時添加邊界框的幾何約束，整體模型效果有提升，
詳細可看看這兩篇博客：
【論文解讀】MV3D-Net 用于自動駕駛的多視圖3D目標檢測網路
【論文解讀】AVOD-Net 用于自動駕駛的聚合視圖3D物件檢測網路
2.2 將點云資料劃分到有空間依賴關系的voxel（體素法）
基于3D-CNN的體素模型：先將點云映射到體素空間上，再通過3D-CNN進行分類或者分割，
體素化網格是將 3D 物件擬合到網格中的最直觀的方法，為了使其看起來像是像素影像，我們在這里將其稱為體素voxel，在這種情況下，3D 影像由（x，y，z）坐標描述，它看起來就會像樂高一樣，
此種方式通過分割三維空間，引入空間依賴關系到點云資料中，再使用3D卷積等方式來進行處理，經典的網路有：VoxNet，
缺點1：計算量受限制，目前最好的設備也大致只能處理32×32×32的體素；另外由于體素網格的立方體性質，點云表面很多特征都沒有辦法被表述出來，因此模型效果差，
缺點2：由于是三維的資料量，時間和空間復雜度都非常高，目前已經不是主流的方法了，
2.3 直接在點云資料上應用深度學習模型（點云法）
直接使用點云資料，比較經典的有PointNet、PointNet++，
F-PointNet 也是直接處理點云資料的方案，但它在進行點云處理之前，先使用影像資訊得到一些先驗搜索范圍，這樣既能提高效率，又能增加準確率，
F-PointNet的思路是：
- 基于影像2D目標檢測，
- 基于影像生成錐體區域，
- 在錐體內，使用 PointNet/PointNet++ 網路進行點云實體分割，
詳細可看看這篇博客：【論文解讀】F-PointNet 使用RGB影像和Depth點云深度 資料的3D目標檢測
特點：直接將三維點云拋入網路進行訓練，資料量小，主要任務有分類、分割以及大場景下語意分割，
參考：https://zhuanlan.zhihu.com/p/44809266
https://club.leiphone.com/page/TextTranslation/737
【論文解讀】MV3D-Net 用于自動駕駛的多視圖3D目標檢測網路
【論文解讀】AVOD-Net 用于自動駕駛的聚合視圖3D物件檢測網路
【論文解讀】F-PointNet 使用RGB影像和Depth點云深度 資料的3D目標檢測
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/290571.html
標籤：AI