一些前提知識

Monocular Depth Estimation：單目深度估計，從單張圖片中去預測每個像素點具體的深度，相當于從二維影像推測出三維空間，

ImageNet-Pretraining：基于ImageNet的預訓練模型，ImageNet是一個帶有標簽的大資料集，其中有1,000個類別的影像，CV界常在進行下游任務之前，一般會在ImageNet上進行預訓練，以學習到影像的語意資訊，便于遷移學習，

optical flow：光流，用于研究影像對齊的演算法，分為稀疏光流（一般選角點）和稠密光流，

stereo images：立體影像集，由不同角度拍攝的影像集合，

Abstract

ImageNet-pretrained networks have been widely used in transfer learning for monocular depth estimation. These pretrained networks are trained with classification losses for which only semantic information is exploited while spatial information is ignored. However, both semantic and spatial information is important for per-pixel depth estimation. In this paper, we design a novel self-supervised geometric pretraining task that is tailored for monocular depth estimation using uncalibrated videos. The designed task decouples the structure information from input videos by a simple yet effective conditional autoencoder-decoder structure. Using almost unlimited videos from the internet, networks are pretrained to capture a variety of structures of the scene and can be easily transferred to depth estimation tasks using calibrated images. Extensive experiments are used to demonstrate that the proposed geometric-pretrained networks perform better than ImageNet-pretrained networks in terms of accuracy, few-shot learning and generalization ability. Using existing learning methods, geometric-transferred networks achieve new state-of-the-art results by a large margin. The pretrained networks will be open source soon1 .

基于ImageNet的預訓練網路已經在單目深度估計的遷移學習中廣泛的使用了，這些預訓練網路都只挖掘出了影像的語意資訊而忽略了其空間資訊，但它們對于逐像素的深度預測都十分重要，本文中，我們設計了一個新奇的自監督的為單目深度估計量身定做的使用無標定視頻進行訓練的幾何預訓練任務，設計的任務通過簡單但有效的條件自編碼-解碼器架構，將結構資訊和輸入視頻解耦，使用來自互聯網的幾乎沒有限制的視頻，整個網路架構通過預訓練得到場景不同的結構資訊，并且可以使用有標注的影像輕松的遷移至單目深度估計任務中，我們做了許多的實驗去驗證我們的geometric-pretraining模型在精度、小資料學習和泛化能力上表現優于ImageNet-pretraining，使用現有的學習方法，我們的幾何遷移網路實作了新的最先進的結果，并且領先了一大截，我們的預訓練網路即將開源，

目前研究方法 + 存在的問題 + 我們提出的觀點 + 我們的優勢 + 實驗結果

1 Introduction

Estimating depth maps of images is of vital importance in computer vision and robotics. Benefiting from the development of deep learning, many methods have been proposed to estimate the depth map using a single input image. These methods can be deployed easily and used in a variety of applications such as visual odometry [1], [2], sensor fusion [3], and augmented reality [4].

Although generating impressive results, learning-based methods need a large amount of data for training. Per-pixel depth annotating of real-world images is almost impossible as LiDAR only provides sparse depth measurements, and time-of-flight (ToF) cameras have limited ranges. The KITTI stereo dataset [5] uses CAD models to densify depth measurements of cars but only contains hundreds of images. Yang et al. [6] propose DrivingStereo with more than 180k frames fused from multi-frame LiDAR measurements. Despite the high accuracy depth measurement in DrivingStereo, the density of annotated pixels is less than 15%. Recently, many self-supervised works [7]–[16] have been proposed to train networks using calibrated stereo images or monocular videos. These methods are built on the assumption that images from nearby views can be synthesized correctly if the scene geometry and camera motion are estimated correctly.

Compared with using active sensors (e.g., LiDAR and ToF), training with stereo images or monocular videos offers a number of advantages. First and foremost, training data can be captured much more easily without depth labeling, thus a larger variety of data can be used for training. Second, the depth of every pixel can be supervised by minimizing photometric errors. Despite the success of recent selfsupervised methods, the geometric view synthesize process needs camera intrinsic parameters, which requires offline calibration. Because of this, current self-supervised methods cannot utilize the almost unlimited videos from the internet and train a ‘universal’ monocular depth estimation model. To overcome the training data limitations, using networks pretrained on ImageNet [17] classification tasks as training initialization becomes a default choice.

The success of transferring ImageNet-pretrained models to other classification tasks has been widely demonstrated and studied [19], [20]. However, transferring networks trained on ImageNet classification tasks for dense depth map estimation has several potential problems. First, classification tasks emphasize semantic feature maps, while the spatial information is ignored. When transferred to spatial-sensitive tasks, e.g. keypoint detection, He et. al. [20] show that ImageNetpretrained networks have limited benefits. Secondly, images from the ImageNet dataset focus on object detection and are very different from images for depth estimation.

In this paper, we propose a novel pretraining task that uses wild videos from the internet to capture both semantic and spatial information. Based on the fact that the optical flow between two images is determined solely by the geometric structure and motions (both camera and object motion), we use a conditional encoder-decoder to separate structure information and motion information from uncalibrated videos.The structure information of the scene is encoded from a single image, and motion information is estimated from two adjacent images. The optical flow between two images is finally reconstructed by using the estimated structure information conditioned on the motion vector. Since optical flow can be supervised without camera intrinsic or extrinsic parameters, the pretraining task can utilize unlimited videos from the internet and learn a variety of structures. After the pretraining stage, the encoder network can be easily transferred to depth estimation tasks.

Extensive experiments are used to demonstrate the transferred performance of the proposed geometric-pretrained networks. In Figure 1, we show estimated depth maps of ImageNet-pretrained networks and geometric-pretrained networks. Compared with ImageNet-pretrained networks, the proposed networks generate more accuracy and sharper depth estimations and can be generalized to other scenes or datasets.

估計影像的深度圖在計算機視覺和機器人技術中至關重要，受益于深度學習的大環境，許多方法已經被提出，通過單張圖片的輸入去估計其深度圖，這些方法可以輕松部署并用于各種應用程式，例如視覺測程、傳感融合以及增強現實，

盡管產生了令人印象深刻的結果，基于學習的方法需要大量的資料用于訓練，對于現實生活中的影像的逐像素的深度標注幾乎是不可能的，現有的方法有以下問題：(1)稀疏 (2)有范圍限制，有人對車輛的深度測量進行增稠，但只有幾百張影像；有人對影像進行高精度標注，但是標注像素的稠密度低于15%，最近，研究者們提出了許多自監督的作業使用帶標注的立體影像或單目視頻去訓練網路，這些方法都建立在，如果場景幾何和相機運動都能被正確估計，那么臨近視圖的影像可以被正確估計的假定之下，

相較于使用傳感器，使用立體影像集或單目視頻提供了一些列優勢，(1) 訓練資料可以不適用深度標注就被被輕松地獲取，因此可以使用多種資料進行訓練，(2) 每個像素的深度可以通過最小化光度誤差被監督，盡管最近的自監督方法很成功，但幾何視圖合成程序需要相機內在引數，這需要離線標注，因此目前的自監督方法無法利用無限制的來自互聯網的視頻來訓練“通用”的單目深度估計模型，為了克服訓練資料的限制，使用在ImageNet分類任務上預訓練的網路作為初始化成為了大家的默認選擇，

ImageNet Pretraining針對其他分類任務的遷移學習已經被證實了是很大的成功，但是，ImageNet針對單目深度估計的遷移學習有幾個潛在的問題，(1) 分類任務強調語意特征圖，但是空間上的資訊被忽略了，針對空間敏感的任務，ImageNet的預訓練效果不顯著， (2) ImageNet上的圖片集中在物件檢測上，這和深度估計所使用的圖片非常不一樣，

本文中，我們提出了一個新奇的與訓練任務，它使用來自互聯網的視頻去抓取語意資訊和空間資訊，由于兩張圖象之間的光流僅僅由幾何結構和運動（相機運動和物件運動）決定，我們使用了一種條件編碼-解碼器來從未標注的視頻中分離結構資訊和運動資訊，結構資訊由單張圖片編碼得到，運動資訊則由兩個相鄰的影像估計得到，兩個影像之間的光流最侄訓以運動向量為條件使用估計的結構資訊去重建，由于光流可以不需要相機內置或外置的引數被監督，預訓練任務可以使用無限制的來自互聯網的視頻并且學習到多種結構型別，在預訓練階段結束后，編碼網路可以被輕松的遷移到深度估計任務中，

實驗證明，我們的模型....，我們提供了更準確、更鋒利的深度估計，并且可以泛化到其他的場景或者資料集上，

2 Related Work

2.1 Self-supervised Depth Learning

Due to the limited quantity of images with depth annotation, using stereo images or monocular videos to learn the depth map has become attractive to researchers and industry. The core concept of self-supervised learning is that with accurate geometric prediction and poses from calibration or estimation, images from nearby views can be correctly reconstructed. Garg et. al. [7] propose a pioneering method that minimizes the photometric error between reconstructed images and the second view image. Subsequent works [21]– [23] improve the depth quality by incorporating discriminating losses and improving the depth resolution. Compared with rectified and synchronized stereo images, calibrated monocular videos are easier to capture. SfMLearner [8] extends the self-supervised method from synchronized stereo images to calibrated monocular videos by estimating the camera motion between two frames by a deep network. However, in monocular cases. pixels of dynamic objects cannot be reconstructed correctly using only the camera motion. A number of works [15], [18], [24] have been proposed to mask dynamic objects or explicitly estimate the motion of each rigid dynamic object using semantic masks. GLNet [25] further estimates intrinsic parameters such that it can be trained on uncalibrated pinhole images.

由于帶深度標注的圖片數量有限，人們常使用立體影像或單目視頻來學習深度圖，自監督學習的核心概念是，使用從標注或估計中得到的精準的幾何預測和機位，來正確重建影像的鄰近視圖，XXX提出一種先進的方法最小化重構影像和第二視角影像之間的光度誤差，后續作業通過結合判別損失和提高深度解析度來提高深度估計質量，相較于帶有校正和同步的立體影像，帶標注的單目視頻更容易捕捉，XXX通過深度網路估計兩個影像幀之間的相機運動，從而將自監督方法從同步的立體影像集推廣到帶標注的單目視頻上，但是，在單目的情況下，僅使用相機運動資訊，動態物件的像素無法被正確重建，許多作業已經提出屏蔽動態物件，或者使用語意掩碼精確估計每個剛性動態物件的運動，XXX進一步估計了相機內在引數，使得它可以在未標注的的針孔影像上進行訓練，

2.2 Transfer Learning

遷移學習，這一部分在BERT中也介紹過了，這里就簡述一下內容，

遷移學習可以加快訓練程序，提高模型精確度，ImageNet-Pretaining在遷移至小規模訓練資料的下游任務時，在分類任務中取得了很好的效果，但在空間資訊上效果不明顯，有研究證明，深度估計學習與正則估計、閉塞估計關系更加緊密，而和語意分割、物件分類關系不大，（然后介紹了一系列預訓練任務...存在一些缺點，模型復雜、效率低、精度不夠等等...）接下來明確作業，提出幾何預訓練任務，（把上面提到的模型的優點又敘述了一遍）

3 Geometric Pretraining

$D$	source frame（源幀）的深度圖
$K$	相機的內置引數
$T$	用于表示相機運動和物件運動的齊次坐標矩陣
$^{C}T_{t}^{t+1}$	相機在第 $t$ 幀和第 $t+1$ 幀間的運動齊次坐標
$^{O}T_{t}^{t+1}$	物件在第 $t$ 幀和第 $t+1$ 幀間的運動齊次坐標
$P$	像素點
$I_{t}$	第 $t$ 幀影像

用于表示相機和物件運動地齊次坐標矩陣 $T$ ：

$T=\begin{bmatrix} R & t\\ 0^{T} & 1 \end{bmatrix}$

其中， $R$ 是旋轉矩陣， $t$ 是平移矢量， $^{C}T_{t}^{t+1}$ 代表相機的運動， $^{O}T_{t}^{t+1}$ 代表物件的運動，

像素點 $P$ 從 $I_{t}$ 到 $I_{t+1}$ 的光流可以如下計算得到：

$f_{P}=\lambda (K[0]^{C}T_{t}^{t+1O}T_{t}^{t+1}\begin{bmatrix}K^{-1}P\cdot D(P)\\1 \end{bmatrix})-P$

其中 $\lambda(\cdot )$ 是歸一化函式，對于靜態物件的像素點， $^{O}T_{t}^{t+1}$ 是一個相同的矩陣，相較于和影像一樣大小的稠密的深度圖 $D$ ，運動矩陣 $T$ 可以只由6個引數構成，在動態環境中，不同的運動矩陣 $^{O}T_{t}^{t+1}$ 的個數即為獨立運動物件的個數，遠少于影像中的像素點個數，

幾何預訓練任務的核心是將結構資訊與光流分離，使用條件編碼-解碼器，光流以兩個影像間的運動資訊為條件，使用來自單張圖片的結構資訊被重構，通過低維瓶頸壓縮運動資訊，結構編碼器被迫捕捉以運動資訊的定量的結構資訊，所以光流可以被正確估計，

3.1 Framework

3.1.1 Structure Encoder

結構編碼器使用source image作為輸入，并且輸出特征圖作為光流解碼器的輸入，因此訓練好的結構編碼器將會作為深度估計的主干網路使用，而不需要其他的架構，在這次的作業中，我們使用標準的ResNet-18進行絕大多數的實驗，來和monodepth2保持一致，（這里的monodepth2我也不清楚具體細節，但是是一種經典的單目深度估計自監督學習模型，）

3.1.2 Motion Encoder

運動編碼器使用兩張鄰近影像作為輸入，并且輸出一個小規模的動作向量，動作編碼器的目的和GeoNet中pose networks相似，是為了估計運動資訊，與其不同的是，我們提出的動作編碼器使用特征向量生成運動資訊，我們和monodepth2一樣，使用一個調整過帶有bottleneck layer(一個 $1\times 1$ 的卷積層，先降維，進行卷積計算后，再把維度升回去)的ResNet網路去生成僅有128維的特征運動向量，相較于光流的維度 $640\times 192\times 2$ ，運動向量僅占總資料量的不到0.1%，因此運動向量只會編碼必要的運動資訊，

3.1.3 Flow Decoder

光流解碼器用于融合結構編碼器和運動編碼器的資訊，運動向量經過上采樣然后與結構編碼器的特征圖級聯，解碼器由幾個最近鄰插值上采樣層nearest-upsample layer和殘差連接構成，去重構 $I_{t}$ 到 $I_{t+1}$ 間的光流資訊，我們的光流解碼器包含14層，相較于一般的解碼器網路規模較小，為了加速訓練收斂，光流 $f$ 以由粗到細的粒度被估計，

總之，我們提出的架構和單目監督深度學習很像，但我們的與訓練結構目的是續寫到整體的結構心兒，因此不會精確地預測深度和機位資訊，

補充資訊：

nearest-upsample，采用最近鄰插值的上采樣方法，具體流程如下：

$\left\{\begin{matrix} srcX=distX(srcWidth/distWidth)) \\srcY=distY(srcHeight/distHeight) \end{matrix}\right.$

3.2 Loss Function

兩幀間的光流可基于光度一致性假設計算，在預訓練程序中，損失函式由光度損失photometric term和一個平滑損失smoothness term組成：

$L=L_{pho}+\alpha L_{smooth}$

其中， $\alpha$ 是平滑項的學習率，

光度誤差測量的是，源影像 $I_{t}$ 和經過變形的影像 $\hat{I_{t}}$ ，其中 $\hat{I_{t}}(P)=I_{t+1}(f_{P}+P)$ ，有研究表明L1 loss和ssim loss結合在一起可以得到鋒利的深度圖，我們使用了他們的想法：

平滑損失表示如下：

與前人的作業類似，我們選取 $\alpha =0.001, \beta =0.85$ 來平衡誤差項，

補充資訊：

simm loss，原像質量損失函式，把圖的相似性分為三部分比較，亮度 $l(x,y)$ ，對比度 $c(x,y)$ 和結構 $s(x,y)$ ，SSIM的值介于0到1之間，SIMM值越大，影像相似度越接近，

L1 loss，相較于L2 loss對例外點不太敏感（L2 對例外點存在放大效果），

smoothness loss，在沒有紋理的區域產生精確一直的注意力機制，從而實作水平和垂直方向的注意力一致，

3.3 Pretraining Dataset

三個資料集：KITTI（平均光流小于 1 個像素的靜態幀被洗掉），CityScapes（多了很多動態物件），Driving Videos（無標注、體量大）

3.4 Training Details

使用ImageNet-prectrained網路作為初始化 --> geometric-pretraining --> 遷移學習至depth-learning

使用Adam優化器，學習率選擇0.0001，

4 Depth Learning Fine-tune

使用monodepth2框架進行depth-learning，因為它簡單、有效，可以很好的體現到預訓練網路的有效性，

單目監督學習中，影像三元組 $\{I_{t-1},I_{t},I_{T+1}\}$ 作為輸入，估計相鄰幀的機位和深度圖????? ?? $^{C}T_{t-1}^{t}$ 和 $^{C}T_{t}^{t+1}$ ，從而計算出光流（monodepth2中忽略 $^{O}T$ ），對應的參考影像將被重建為 $I'_{t}$ (使用 $I_{t-1}$ )) 和 $I''_{t}$ (使用 $I_{t+1}$ )) ，不同于應用于預訓練中的光度損失的是，monodepth2用過逐像素地優化最小光度誤差來處理遮擋的和動態的物件，

$L_{pho}=min(L_{pho}(I'_{t},I_{t}),L_{pho}(I_{t-1},I_{t}),L_{pho}(I''_{t},I_{t}),L_{pho}(I_{t+1},I_{t}))$

5 Experiments

實驗效果見原文，這里略

6 Conclusion

We propose a simple but effective pretraining task, called geometric pretraining, that is designed for monocular depth learning. The pretraining task only requires uncalibrated monocular image sequences and thus can utilize unlimited resources from the Internet. Extensive experiments are used to prove that, in terms of depth transfer learning, the proposed geometric pretrained model performs better in accuracy, few-short learning, and generalization ability compared to ImageNet-pretrained networks. The pretraining task can also be used to generalize depth learning into specific scenes without the calibration or synchronization of cameras.

In the future, we plan to improve the pretraining tasks that can further decouple each independent moving object. The driving videos dataset will also be further expanded due to the observation that a larger dataset benefits the performance of transferred models.

我們為單目深度學習提出了而一個簡單但有效的預訓練任務，稱為Geometric Pretraining，預訓練任務只需要未標注的彈幕影像序列，因此可以利用無限制的來自于互聯網的資源，大量的實驗已經證明了我們提出的幾何預訓練模型，在深度估計遷移學習中，在精確度、小樣本學習、泛化能力上相較于ImageNet Pretraining表現的更好，這個預訓練任務還可以將深度學習泛化到具體的場景，而不需要相機的校準和同步，

未來，我們計劃改進這個預訓練任務去進一步將每個獨立的移動物件解耦，行車記錄視頻資料集也將被進一步擴大，因為更大的資料集會帶來更好的遷移學習效果，

結束！

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/390518.html

標籤：其他

上一篇：Android音視頻開發 -＞搭建開發環境

下一篇：《CSDN》Redis快取學習

面向單目深度估計的基于幾何的預訓練方式 -- Geometric Pretraining for Monocular Depth Estimation