基于稠密連接網絡的單目深度估計

張順然， 吳克偉， 洪 炎

（合肥工業大學 計算機與信息學院， 合肥230601）

0 引 言

單目深度估計作為計算機視覺領域中一個基本問題，可以從一個簡單RGB 圖像中估計場景深度信息。 獲得的深度信息為推動其他任務的發展提供了重要的線索，如語義分割［1］，三維重建［2］，人體姿態估計［3］，目標檢測［4］，和即時定位與 地 圖構建［5］。隨著深度傳感技術的不斷發展，構建出更具精確性的RGBD 數據集，拓展了深度估計的研究領域。 但是，由于圖像場景的復雜性，場景物體的多樣性和大量的視覺干擾等因素，使得對深度估計的研究仍具有挑戰性。

隨著深度學習的發展，深度神經網絡通過端到端多層連接的方式，集成不同尺寸、不同級別的特征來學習新的深度估計模式。 深度神經網絡中不同層次的特征存在于不同的下采樣層，通過卷積和池化操作來學習。 然而，由于連續的卷積操作，使得特征的分辨率不斷降低。 在不斷的池化過程中，這些需要被學習的特征在生成的過程中又不斷的丟失所含的信息，這就導致了在接下來的訓練中很難獲得更好的結果。 針對這個問題，深度估計網絡引入了空洞卷積，來產生具有更大接受域的特征，同時不犧牲空間分辨率。 而在眾多網絡結構中，具有多個空洞卷積［6］的ASPP［7］（Atrous Spatial Pyramid Pooling），在某種程度上有效的緩解了這一問題，該網絡結構將多個具有不同擴張率的空洞卷積的輸出特征連接為最終的特征表示，從而匯集具有不同尺度的優勢的特征。 雖然，ASPP 能夠生成多尺度特征，但是尺度軸上的分辨率并不足以滿足更多復雜場景深度估計的需求。 為此，在ASPP 的基礎上衍生了更為有效 的DenseASPP［8］（Dense Atrous Spatial Pyramid Pooling）網絡結構。 DenseASPP 同樣使用不同擴張率的空洞卷積，但在特征匯集方式上不同于ASPP，采用了類似Densenet［9］的密集連接的方式，使得不同尺度的特征重用性更強，從而提高不同尺度物體的深度估計精度。

目前常見的深度學習模型主要是采用ASPP 結構，促使發掘出一種采用DenseASPP 模塊的網絡模型來進行深度估計任務。 在這種模型訓練中，不僅可以獲得多尺度的信息，還可以覆蓋更大尺度范圍，沒有顯著增加模型的大小，而且可以獲得更好的估計結果。 其中本文的主要貢獻如下：

（1）提出了一種結合DesenASPP 網絡結構的新型網絡模型，解決了目前大多神經網絡模型對多尺度場景進行深度預測過程中的不同尺度分辨率不足和對不同尺寸物體估計精度不足的問題。

（2）將DenseASPP 結構融入并構造出不同的網絡模型，以發現DenseASPP 結構和不同網絡結構的相適性，探尋出最佳的網絡模型結構。

（3）提出的網絡模型經過實驗證明，可以有效的提高含有多尺度物體圖像的深度估計精度，并在NYU-V2 數據集上進行測試，效果比當前最佳方法高1%。

1 場景深度估計現狀

在過去十年中，單目深度估計問題引起了廣泛的關注。 盡管早期的方法主要基于手工制作的特征［10］，但是受到深度學習在各種視覺任務中成功的啟發，深度卷積神經網絡已經廣泛應用于各主流的深度估計方法中。 對于單幅圖像的單目場景深度估計，其神經網絡模型對特征的處理方法起著至關重要的作用，而不同的網絡具有各自的特點。

最早期的出現的深度估計網絡模型為全卷積無多尺度的深度模型。 Shir Gur 等人在一項開創性的工作中，通過應用新的點擴散函數卷基層，根據每個圖片產生特定的內核去學習深度，并取得很好的效果。 在卷積神經網絡對場景估計深度描繪的基礎上，提高預測深度圖質量的另一個方向是將卷積神經網絡與條件隨機場相結合。 Liu 等人使用CNN 和CRF 簡單融合的方式獲得深度估計網絡模型；Lee等人提出了一種新的損失函數，并對單圖像深度估計問題進行傅里葉分析的研究；Yan 等人利用CRF模型加入物體表面法向量的約束條件，在超像素級和像素級上估計多層次場景的深度；Liu 等人在超像素基礎上，使用卷積神經網絡提取場景深度特征，構建像素池化的CRF 模型，來進行場景深度估計；Wang 等人在全局布局指導下，將圖像分解為局部區域，以卷積神經網絡為基礎，構建層次CRF 模型，進行場景深度和語義預測；Li 等人進行深度估計的同時，添加了曲面法線的約束條件，對深度圖進行細化；Laina 等人提出并采用一種上采樣策略，通過新的上采樣方式來增加還原分辨率時的精度；Cao 等人在使用全卷積殘差網絡的基礎上，把深度估計視為一個像素級的分類任務。

但在應用全卷積網絡進行深度估計時，會出現物體邊緣混淆、層次不明顯、目標深度與背景融合等問題。 在處理圖像時，可以利用圖像分割獲得多個場景塊，利用分割信息優化估計結果。 在處理視頻的深度估計中，引入了光流線索，并結合多個線索來估計圖像的深度。 Yang Wang 等人使用UnOS（Unsupervised optical - flow and Stereo - Depth Estimation）來估計圖像深度，這是一種針對光流線索的無監督三維深度估計模型。 Eddy Ilg 等人提出光流線索結合遮擋、視差，光流多線索聯合估計場景深度。

隨著對多尺度信息關注的增多和ASPP 模塊的提出，由于ASPP 采用不同擴張率的空洞卷積來解決信息提取中不同尺度特征信息問題極具優勢，使得帶有多尺度模塊的全卷積深度模型成為深度估計領域的主流。 其中，Xu 等人構建深度估計模型，采用多尺度策略，并對每層多尺度進行CRF 平滑操作；Eigen 等人提出了一種多尺度的神經網絡結構來獲取多尺度信息，從而精確多尺度物體的深度估計結果；Lee 等人結合多尺度相對圖與分解-融合策略進行深度估計任務；Chen， L.C 等人構建模型，并使用ASPP 采取多尺度特征集合；Fu 等人使用ASPP和跨通道的方法學習多尺度信息，使用逐像素有序回歸損失函數完成深度估計任務。

然而，在全卷積的多尺度深度模型中，ASPP 的局限性阻礙了深度估計精度的提升。 當增加網絡深度時，還存在嚴重的梯度退化問題。 分析了一些解決辦法，深度卷積模型的密集卷積模型DenseNet 解決了消失梯度問題，在此基礎上還加強了信息傳遞，鼓勵特征重用，大大減少了訓練參數的規模；Gao Huang 等人引入了稠密卷積網絡（DenseNet），該網絡以前饋方式將每一層與每一層連接起來；Fu 等利用多尺度級聯CNN 將深度估計的RCCN 模型訓練為離散深度分類任務；Simon Jégou 等人將DenseNet的密集級聯網絡向下采樣、向上采樣應用于分割任務；Maoke Yang 等人將ASPP 與稠密級聯方法結合，構建出DenseASPP 模塊，利用該模塊進行多尺度采樣，可以獲取更多的特征信息。

通過上述試驗分析，帶多尺度的全卷積網絡可以獲得比不帶多尺度的全卷積網絡有更好的效果，ASPP 和DenseNet 模塊能有效的獲取不同優勢的特征信息，DenseNet 可解決梯度消失問題。 現有方法雖然已經研究了很多方法結合的網絡結構，但是并沒有探究ASPP 和DenseNet 結合網絡DenseASPP來完成深度估計任務，受此問題啟發，本文提出一種采用DenseASPP 結構的網絡模型DCDN（Deep Convolution DenseASPP Network）。

2 模型框架

從單目RGB 圖像中預測深度的DCDN 模型結構，如圖1 所示。 模型框架主要有兩個部分組成（編碼器和解碼器），其中編碼器部分（如圖1 中（a）部分）主要功能為特征提取；而解碼器部分（如圖1中（b）部分）主要功能為逐步回復空間信息，得到與RGB 圖像等大的深度估計結果圖。 在基礎模型中擴展了空洞卷積的使用，通過應用不同擴張率的空洞卷積，對圖像級特征進行多尺度的卷積特征探測，引入DenseASPP 處理特征，得到更為精確的多尺度信息。

2.1 編解碼器

采用含有空洞卷積的主干網絡ResNet-101 來提取圖片的基礎特征作為基礎特征，將基礎特征作為解碼器的一類輸入。 另外，在編碼器部分增加DenseASPP 模塊，利用圖像級特征，通過不同速率的卷積對卷積特征進行多尺度的探測，在DenseASPP模塊中的Bottleneck 為多個卷積、池化組合。 使用DensASPP 的最后一個特征圖作為編碼器-解碼器結構中的編碼器另一類輸出，編碼器輸出特征圖包含256 個通道和豐富的信息。

圖1 模型的整體框架Fig. 1 The overall framework of the model

編碼器特性通常用輸出步長為16 來計算。Upsample 將特征向上采樣16 倍，可以認為是一個樸素的解碼器模塊。 而這個簡單的解碼器模塊可能無法成功地恢復深度估計細節。 因此，采用一個簡單而有效的解碼器模塊（如圖1 中（b）部分）。 編碼器的特征首先被上采樣4 倍，然后與來自具有相同空間分辨率的網絡主干的相應一類輸入特征連接起來。 應用另一個1×1 卷積來減少通道數，因為相應的低級特征通常包含大量的通道（例如，256 或512）。 將上述的兩類輸入進行連接操作，應用幾個3×3 的卷積來細化連接得到的特征，再進行一個簡單的雙線性上采樣，采樣倍數為4。 編碼器模塊使用輸出步長為16 在速度和精度之間取得了最好的平衡。 當編碼器模塊使用輸出步長為8 時，性能略有提高，但代價是增加了額外的計算復雜度。

本文設計了3 種不同編碼器構成的網絡模型結構，（1）下采樣采用Resnet 提取特征的RD 網絡模型，如圖2（a）所示。 （2）下采樣采用Densenet 的DD 網絡模型，如圖2（b）所示。

圖2 不同下采樣結構網絡示意圖Fig. 2 The network structure of the different down-sampling

2.2 空洞卷積

深度卷積神經網絡（Deep Convolutional Neural Networks， DCNNs）以全卷積方式部署，在深度估計和分割任務中表現出良好的效果。 然而，在這些網絡的連續層上重復組合最大池化和步長會顯著降低最終得到的特征圖的空間分辨率，在最近的DCNNs中，通常每個方向的分辨率會降低32 倍。 空洞卷積是一個強大的工具，它允許顯式地控制深度卷積神經網絡計算的特征的分辨率，在不改變特征圖分辨率的情況下，利用空洞卷積來增加接受域。 通過控制深度卷積神經網絡計算特征的分辨率，調整接受域來獲取多尺度信息。 在一維情況下，考慮二維信號，對于輸出特征圖上的每個位置i，用y [i ] 表示輸出信號，用x [i ] 表示輸入信號，空洞卷積操作可以表示為公式（1）：

其中，d 為擴張率，決定采樣輸入的步長，w [k ]為濾波器的第k 個參數，K 為濾波器的大小。 當d ＝1 時，方程簡化為標準卷積。 空洞卷積相當于將輸入x 與上采樣濾波器進行卷積，上采樣濾波器是在兩個連續的濾波器值之間插入d - 1 個0 產生的。因此，更大的擴張率意味著更大的接受域。 而對于一個空洞卷積層，它的接受域大小R 可以通過公式（2）計算：

在不同的場景中，對象通常有很多不同的大小。為了處理這種情況，所得的特征圖必須能夠覆蓋不同規模的接受域。 針對這問題，有兩種策略可以應對，即使用不同擴張率空洞卷積的并行或級聯的多層空洞卷積層。 在級聯模式下，由于上一層接受下一層的輸出，可以有效的產生大量的接受域。 在并行模式下，由于多個空洞卷積層接受相同的輸入，并且它們的輸出連接在一起，因此得到的輸出實際上是輸入的一個采樣，具有不同的接受域尺度。 這種并行模式的正式名稱為ASPP， （Atrous Spatial Pyramid Pooling）。

2.3 DenseASPP

DenseASPP 的結構如圖1 中的（c）部分所示。與ASPP 相比，DenseASPP 形成了一個更為密集的特征金字塔。 這個結構不僅可以得到更好的尺度多樣性，其中卷積操作也會涉及更多的像素。 這主要是由于DenseASPP 中不同擴張率和不同層位空洞卷積的密集卷積結果。 DenseASPP 將所有的空洞卷積層堆疊在一起，并將它們緊密地連接在一起，以獲得更大的接受域和更多尺度的特征圖。 在這個過程中，卷基層的連接會促使接受域增大。 例如：有兩個卷積核，它們擁有不同的大小（K1和K2），則疊加之后的新的接受域為公式（3）：

對于DenseASPP 的結構，它是以帶有不同擴張率的空洞卷積層以級聯方式組織，每一層的擴張率逐層增加（3，6，12，18，24）。 輸入來自ResNet 的2048 維特征圖，每一層的輸出是一個64 維和等大小的特性。 將前層的輸入和輸出與后層的輸入聯合起來為下一層的輸入。 而DenseASPP 最后結果是由具有多尺度和不同擴張率的卷積核進行卷積操作得到的新特征。 為了可以直觀的表達DenseASPP中各層的功能，給出表達式（4）如下：

式中，dl為第l 層的擴張率，［…］ 為級聯操作。［yl-1，yl-2，…，y0］ 表示將所有前一層的輸出連接起來形成的特征圖。 比較原始的ASPP，DenseASPP堆疊所有的空洞卷積，以一個密集連接的方式將它們聯合起來。 這種變化帶來兩個好處： 增大接受域和增強多尺度信息的匯集。

2.4 損失函數

對于回歸類型的任務，一個常見且默認的損失函數選擇是均方誤差（ L2）。 L2對訓練數據中的異常值很敏感，因為對較大的錯誤懲罰更重。 其極大降低了估計值y～和真實值y 之間的歐幾里德范數的平方，公式（5）：

在實驗中，使用L2為訓練的默認損失函數。

3 實驗

為了證明深度估計模型的有效性，提供了具有挑戰性的戶外數據集NYU Depth v2 的實驗結果，以與最先進的作品進行比較。

3.1 NYU Depth V2 數據集

在室內場景數據集之一的NYU Depth v2 上進行評估，原始數據集由464 個場景構成，由Microsoft Kinect 捕捉，其中數據集中249 個被用于訓練，215個被用于測試。 在實驗中，考慮了1449 對RGB-D的子集，其中795 對用于訓練，其余用于測試。 特別地，實驗還進行了數據擴充（縮放，旋轉，顏色變換，翻轉）來擴大訓練集，共得到了87 000 對訓練數據。利用下采樣操作將原始圖像的像素由640×480 變換為原來一半，經過中心裁剪為304×228 像素，圖像輸入到網絡中進行訓練。

3.2 實現細節

實驗使用開放的深度學習框架Pytorch 框架，實驗工作站配置為CoreX i7-6800k 6 核，3.4GHz CPU，兩塊NVIDIA 1080 8GB 顯卡和16GB 內存。作為特征提取的編碼器，使用了ResNet-101，并使用ILSVRC 數據集對經過預處理的權值進行分類［11］。 隨機梯度下降（SGD）算法開始時學習率為0.001，每隔6 個epoch 下降10 倍。 進行24 個epoch的訓練。 動量衰減和重量衰減分別設置為0.9 和0.000 5。批量大小的數量設置為8。 在NYU Depth v2 數據集上訓練網絡（DCDN）花費了大約14 個小時。 為了避免過擬合，在輸入到網絡之前，使用隨機水平翻轉、隨機對比度、亮度和顏色調整［0.6，1.4］的范圍內增加圖像，其中每個操作有50%的幾率實施。 還使用了在弧度［- 5，5］的范圍中，對輸入進行隨機旋轉的方法。 在規模為304×228 的紐約大學深度V2 數據集的隨機作物上訓練網絡。

3.3 評價標準

對于定量評估，使用以下錯誤度量得到的錯誤，這些錯誤已經被廣泛使用。g 為地面真值深度，g～為估計深度，T 為圖像中所有點的集合。 本文使用評價標準［12］體包括包括：

其中，card 是集合的基數，而δi的值越高，則表示結果越好，本文中閾值參數設置為δ1＜ 1.25，δ2＜1.252，δ3＜1.253。

3.4 實驗結果及分析

3.4.1 對比方法

本文所述實驗的訓練是基于整幅圖像對網絡進行有監督的指導，對圖像的每個像素點進行回歸處理。 將對NYU Depth v2 數據集評估本文的方法。為驗證所提框架的有效性，將其與現有的方法進行比較，并對所提出的方法展開分析，對其精度和計算效率進行評價。

表1 顯示了本文模型方法與當前最佳方法就NYU Depth V2 數據集比較的結果。 從表中可以看出，與最先進的方法相比，DCDN 網絡在閾值精度和rmse 方面獲得了更好的深度估計性能。 Xu 等人在log10 和AbsRel 擁有更好的結果，這主要是因為其使用了連續條件隨機場優化，對整體的場景分布會有更好的效果，而不是反應局部區域的特性，對小目標的估計參考價值有限。 本文模型在NYUv2 數據集上的準確率達到了82.3%（閾值小于1.25），優于最先進的方法。 采用帶空洞卷積的殘差網絡做為主干網絡，在訓練過程中為淺層網絡提供更多的信息，學習多種模式，并與密集連接方式的DenseASPP 相結合，使深度網絡具有更多的特性來彌補過程的損耗。 同時，該方法也有效地緩解了梯度消失問題，獲得了更好的效果。

表1 不同方法識別性能對比Tab. 1 Comparison of recognition performance of different methods

3.4.2 消融實驗

分析消融實驗的結果見表2。 分析表2 發現：（1）本文提出的關于深度估計的網絡模塊在多個基礎網絡上進行實驗，試驗效果較好的RD（下采樣模塊采用Resnet）和DD（下采樣模塊Densenet），對其進行相同的上采樣操作，在相同的位置添加DenseASPP 模塊，其實驗結果對比DCDN 具有更為優異的效果。 （2）對添加DenseASPP 是否有效果進行了實驗。 對比的消融實驗結果如表2 中DeeplabV3 和DCDN 所示。 DeeplabV3 是空白對照組，對比具有ASPP 的DeeplabV3，從表2 中數據可以得知，添加DenseASPP 的結構比ASPP 略高一個百分比，效果對比如圖3 所示。 說明本文網絡模型的具有優異性。

圖3 消融實驗效果圖Fig. 3 The figures of ablation studies

4 結束語

針對目前大多神經網絡模型對多尺度場景進行深度預測過程中的不同尺度分辨率不足和對不同尺寸物體估計精度不足的問題，本文提出一種結合DenseASPP 的新型網絡模型。 通過一系列的消融實驗，展示出了該模型的優異性和合理性。 對比基礎網絡，模型不僅僅覆蓋了更多的尺度范圍，獲得更多的多尺度信息，而且通過連接不同尺度下的諸多特征，使得不同尺度特征有更高的重用性。 通過利用NYU-Depth V2 公認數據集對該模型進行驗證，實驗結果表明其高于現有的大部分深度估計方法。