基于自監督深度學習的全景圖像深度估計研究

陳思喜，張延吉，李建微

（福州大學 物理與信息工程學院，福建 福州 350116）

0 引言

隨著消費級全景相機的普及，獲取全景圖像變得更加便捷。全景圖像相較于透視圖像具有更廣闊的視野，因此其深度估計研究逐漸成為熱點。使用全景相機獲取深度數據是一項費時且勞動密集型的任務[1]。自監督深度學習方法利用無標注深度的數據圖像進行訓練，降低了數據標注成本，成為完成全景圖像深度估計任務的重要趨勢和低成本解決方案。

OmniDepth是由Zioulis等率先提出的基于學習的全景圖像密集深度估計工作，驗證了將全景圖像的等矩形投影（Equirectangular Projection，ERP）作為直接學習內容的必要性。SVS公司提出室內環境的立體全景數據集3D60，并利用幾何模型推導球面視差模型，使用基于深度圖像的渲染（Depth Image Based Rendering，DIBR）繪制方法合成垂直基線上的全景視圖作為監督信號。HoHoNet將二維特征映射壓縮到水平特征來表示，加快了訓練速度，但是空間上下文的感知能力仍然存在不足。360-SelfNet將全景圖像進行立方體投影轉換成多個透視圖像，利用視頻的圖像幀序列和相機位姿合成新的全景圖像。OlaNet在Zioulis的框架基礎上進行改進，引入空間金字塔和L1范數正則化以獲得更具有健壯性的結果，但是其預測結果精度提升有限。StructReg同樣遵循上述框架，利用消失點檢測計算主導方向法向約束和平面一致的深度約束，不過也未解決全景圖像畸變的問題。

基于此，為提升卷積神經網絡遠距離特征提取能力并解決圖像畸變的問題，在CoordNet基礎上加入跳躍連接，引入球面極地畸變補償層，并設計通道優化多空間融合模塊和全景感受野塊。實驗結果表明，此方法在多個數據集上領先之前的自監督算法。

1 相關工作

1.1 理論模型

總體網絡架構如圖1所示。基于球面視差模型，以球面視圖重建方法合成的圖像作為監督信號。將CoordNet作為主干網絡，結合畸變補償、注意力機制和全景感受野等模塊，提升對全景圖像的特征提取能力。

圖1 總體網絡架構

1.1.1 球面視差模型

三維空間中，球坐標系ρ=（r，φ，θ）與笛卡爾坐標系λ=（x，y，z）為一一映射關系。通過ERP定義球面圖像，其像素坐標（u，v）對應角球坐標（?，θ），當分辨率設為W×H時，可得到?=2πu/W，θ=πv/H。全景圖像的深度采用球心到球面坐標的歐氏距離r作為度量。鑒于垂直放置不受水平失真影響，視差模型將基線設置為垂直方向[2]。基于上述條件，可得球面坐標相對笛卡爾坐標的偏導數，公式為

視差γ=（γ?，γθ）與角球面坐標的角度差σ=（θ，?）相對應，垂直方向基線b=Pt-Pb，其中Pt和Pb分別表示目標物體在上、下視圖中的位置，由此可推導出球面視差公式為

式中：dy為在笛卡爾坐標系下沿垂直基線y方向求解微分。

1.1.2 球面視圖重建

文章采用DIBR進行球面視圖重建，將每個源像素的貢獻分散到目標畫布中，通過雙線性散射保證局部可微性[3]。對最終的渲染結果進行歸一化，并應用軟Z緩沖算法合成目標視圖，這種方法能夠適應多對一映射并有效處理遮擋。

1.1.3 球面總損失函數

球面總損失函數由光度圖像重建損失Lrecon和深平滑度先驗損失Lsmooth構成，計算公式為

式中：權重系數λrecon和λsmooth的和為1。

光度損失像素加權后的平均重建誤差公式為

式中：A(p)為球面注意力矩陣，用于均勻聚合誤差和梯度，Lphoto(p)為光度損失，Mt(p)為二進制掩碼，p為像素坐標索引。

光度損失公式為

式中：η為相對權重因子，LD為結構差異項，ItM中的上標M表示目標幀It與M t的乘法，表示合成視圖。

球面注意力矩陣公式為

深平滑度先驗損失公式為

式中：?Is(p)為對源圖像像素進行均勻梯度計算，下標u、v分別為ERP圖像中的橫縱坐標，由于文章采用垂直基線，故對像素的v坐標進行在u、v方向的均勻梯度計算。

1.2 球面極地畸變補償層

ERP圖像緯度越高，畸變越嚴重，尤其是在兩極地區畸變最嚴重。為此，引入極地畸變補償模塊，使用多個卷積層來提取高緯度區域特征，將輸出映射輸入至主干網絡，以減輕局部畸變造成的影響[4]。

1.3 通道優化多空間融合注意力模塊

鑒于卷積神經網絡在遠距離特征提取方面存在不足，有效融合3種注意力機制，構建了通道優化多空間融合模塊（Channel-Optimized Multi-Spatial Fusion，COMSF），如圖2所示。位置注意力機制被用來捕獲同一特征圖中兩個像素之間的空間關聯性和相似性，空間注意力機制用于強調空間位置的重要性，通道注意力機制則將二者融合，抑制噪聲和冗余信息，以增強通道特征的表達能力和效率。通過引入通道優化多空間融合模塊，強化像素之間的對比學習，增強類內的聚合性，使模型更好地提取遠距離特征，從而有效利用上下文信息進行推斷和預測[5]。

圖2 通道優化多空間融合注意力模塊的實現細節

1.4 全景感受野塊

全景圖像相比透視圖像包含更為豐富的空間尺度信息。受人類視覺系統和感受野塊啟發，提出全景感受野塊，如圖3所示。它包含具有不同卷積核尺寸的多分支卷積層和不同擴張率的空洞卷積層。多分支卷積層的設計旨在通過使用不同內核大小的卷積層獲得不同范圍的感受野[6-7]。空洞卷積層的引入旨在充分利用上下文以獲取更廣泛的信息。針對全景圖像的畸變和信息壓縮，設置了精細的擴張卷積層，擴張率為[1，2，3，5]，從而在特征提取過程中涵蓋多樣且更為精細的空間尺度。此外，將擠壓激勵（Squeeze and Excitation，SE）模塊引入每個分支，使模型自適應調整每個分支通道，突出關鍵的特征信息。最后，在每個分支末端添加串聯的1×1卷積層，生成多個特征映射，再連接合并成卷積數組。通過以上改進和擴展措施，使模型能夠更好地適應全景圖像任務，從全景圖像中提取多尺度特征，加強模型對復雜場景的理解，并獲得更準確的預測結果。

圖3 全景感受野塊的實現細節

2 實驗與分析

2.1 數據集、評價指標和實驗環境

在實驗中采用在3D60進行訓練，并分別在3D60、Matterport3D以及Stanford 2D-3D數據集上進行測試。使用的評價指標有均方根誤差（Root Mean Squared Error，RMSE）、對數均方根誤差（Logarithmic Root Mean Squared Error，Log-RMSE）、絕對相對誤差（Absolute Relative Error，AbsRel）、平方相對誤差（Square Relative Error，SqRel）以及閾值精度δ。實驗基于PyTorch框架，在顯卡RTX 3080上進行訓練，輸入圖像大小為256×512。模型采用Xavier初始化和Adam優化器，（β1，β2）=（0.9，0.999）。學習率設置為0.000 1，權重（λrecon，λsmooth）設置為（0.95，0.05），α設置為0.85。

2.2 實驗結果

在3種數據集上分別進行對比驗證，結果如表1所示，其中箭頭朝下表示數值越低越好，向上表示越高越好。文章提出的模型所有指標的性能均獲得顯著提升，且優于之前提出的自監督算法。同時，其與有監督算法相比，超越了SVS_SV算法，與HoHoNet算法表現接近，進一步縮小了與有監督算法之間的差距。

表1 對比實驗的定量評估結果比較

在相同的實驗環境下，對兩個主要改進模塊進行消融實驗，詳見表2。通過實驗發現，兩個模塊均能夠提升性能，其中PanoRFB算法的作用尤為明顯。

表2 消融實驗

預測實驗如圖4所示。觀察發現，模型能夠學習到物體的空間相對位置信息，從而準確預測房間布局、陳列物品的輪廓。相較于SVS算法，文章算法預測結果輪廓清晰，即使在最遠處有一塊無標注區域，模型仍能預測出較為準確的細節，這也體現出自監督算法的優勢。

圖4 3D60數據集對比預測實驗

3 結語

文章提出一種全新的全景圖像單目自監督深度估計方法，結合卷積神經網絡和通道優化多空間融合注意力機制，解決了卷積神經網絡遠距離特征提取能力不足的問題。此外，設計全景感受野塊，以捕捉多尺度上下文信息，在畸變的區域擴充感知范圍，解決畸變帶來的影響，提升了預測準確度。在公開數據集上的大量實驗證明，文章方法在全景圖像深度估計方面具備先進的性能。