基于HSM- deep 模型的高分衛星影像密集匹配

田生輝

（中鐵第一勘察設計院集團有限公司,陜西 西安 710043）

1 概述

相比經典的半全局匹配算法（SGM[1]）,深度學習立體匹配模型可以計算更為魯棒的匹配代價,并具有強大的代價體（cost volume）正則化能力,因此在計算機視覺研究領域,深度學習立體匹配模型的匹配精度已經遠遠超過了SGM算法。目前,已經涌現出了各種各樣的深度學習立體匹配模型,在kitti 立體基準排行榜上出現的更先進的立體匹配模型,很少有學者嘗試將其應用于衛星影像密集匹配。鑒于高分衛星影像分辨率高、數據量大等特點,將采用了由粗到精的策略、運行速度極快、適用于高分辨率影像的HSM（Hierarchical Stereo Matching[2]）模型應用于衛星影像密集匹配。

HSM模型為高分辨影像設計,參數量較少、運行輕便、可以按需輸出不同尺度下的視差圖。本文在詳細了解該模型結構的前提下,依據衛星影像的特點對該模型進行了改進,設計了新模型HSM-deep。

2 HSM-deep 模型的結構

為了提高HSM模型的精度,避免忽略高分影像中的細小地物,輸出分辨率更高的視差圖,對HSM模型進行了改進,提出了HSM-deep 模型。具體改進如下：

2.1 在特征提取模塊中增加更精細的特征提取層

原特征提取模塊將原始圖像輸入3 層卷積塊后會將圖像的尺寸降采樣為原尺寸的1/4。鑒于高分辨率衛星影像地物細節豐富的特點,本文提出的HSM-deep 的特征提取模塊將原始圖像輸入4 層卷積塊,未采用步幅為2 的卷積層,因此輸出的初始特征的長寬尺寸為原圖像的1/2。

原特征提取模塊設計了4 個殘差塊以生成多尺度的圖像特征,這將會使圖像尺寸依次縮小1/2。因此,最終得到長寬尺寸分別為原始圖像1/8、1/16、1/32、1/64 的多尺度特征,改進后的特征提取模塊增加了一個殘差塊,生成分辨率更高的特征,最終得到了長寬尺寸分別為原始圖像1/4、1/8、1/16、1/32、1/64 的多尺度特征。

2.2 在特征提取模塊增加更多的空間金字塔池化層

原始的特征提取模塊只在最粗略的特征圖上添加了金字塔池化層,為了捕獲更為廣泛的全局上下文信息,改進后的模型在三個尺度的特征圖上都增加了金字塔池化層。

最終改進的特征提取模塊的結構如圖1 所示,圖中所示的結構類似于U-Net 結構,下采樣之后再逐層上采樣恢復原來的尺寸,上采樣層與下采樣層之間具有跳躍連接,即某一尺度的特征上采樣與更精細尺度的特征級聯作為下次上采樣的輸入。立方體表示特征,越高表示通道數越多,標簽中帶有“res_block”字樣的方塊為殘差塊,將對特征進行下采樣,標簽中帶有“upconv”字樣的方塊會對特征進行上采樣,標簽中帶有“proj”字樣的方塊使用1×1 卷積壓縮特征通道數。

圖1 HSM-deep 模型特征提取模塊

2.3 加深金字塔解碼器

由于HSM-deep 模型增加了代價體,因此代價體解碼器的數量也相應地增加到5 個,代價體空間分辨率和視差分辨率依次增加。改進后的金字塔代價體解碼器可以正則化更高分辨率的代價體,將經過正則化的更高分辨率的3D 代價體輸入視差回歸模塊可以得到更高分辨率的視差圖,這種更高分辨率的視差圖更為“清晰”,能更有效地保留細小結構。

HSM-deep 模型中的金字塔代價體解碼器如圖2 所示（改動的部分在底部由方框標出）,圖中每個解碼器處理不同尺度的代價體,從上到下,代價體逐漸精細。除了decoder1,每個解碼器具有兩個輸出,分別是上采樣后的代價體和壓縮為1 維的3D 代價體,將3D 代價體輸入視差回歸模塊即可輸出視差圖。decoder1中具有5 個conv3D,其余decoder 中具有6 個conv3D。

圖2 HSM-deep 模型中的金字塔代價體解碼器結構

2.4 視差回歸模塊的改進

HSM 模型采用softmax 函數歸一化代價體,導致該模型只能輸出正視差值。而衛星影像立體匹配生成的視差圖包括負 值, 因 此 HSM-deep 模 型 使 用Normalize 函數將3D 代價體進行歸一化,使得每個像素在視差搜索空間上的所有代價值在[-1,1]之間,這樣得到的歸一化代價體盡管不能從概率的角度解釋,但是可以使視差回歸模塊輸出負視差值。

3 實驗結果與分析

3.1 實驗數據

實驗采用“大范圍語義3D 重建比賽[3]”第二組挑戰賽的數據,包含3000 多對已經核線校正過的立體像對。每個圖塊均為全色融合影像,尺寸為1024×1024。

3.2 實驗環境

實驗在深度學習服務器中進行,CPU為 Inter （R）Xeon （R）E5-2640 v4 2.40GHz,內存為128G,GPU 為NVIDIA Tesla P40,顯存為24G。所有深度學習模型都基于pytorch 深度學習框架實現,采用python 作為主要編程語言。模型運行在CentOS 系統下。

3.3 評價指標

使用測試集上所有樣本的平均端點誤差（EPE）、三像素誤差（3PE）、一像素誤差（1PE）、均方根誤差（RMSE）對模型（或算法）的精度進行定量評估。其中EPE 是指預測視差與真實視差的平均絕對差值（計算公式見式（1））,3PE 是預測視差與真實視差的差值小于3 的像素百分比,1PE 是預測視差與真實視差的差值小于1 的像素百分比（計算公式見式（2））,RMSE 是預測視差與真實視差的均方根誤差（計算公式見式（3））,這些評價標準只在樣本的有效視差處計算。此外,本文還對各個算法處理一對立體像對的時間進行了統計。

上式中,d（p）表示像素p 的預測視差,dgt（p）表示像素p 的真實視差,A 表示有效像素的集和,δ 可取1 或3。

3.4 實驗結果及分析

3.4.1 模型的訓練

為了進行對比分析,除對HSM-deep 模型進行訓練和評估外,還將該模型與原HSM 模型、GA-Net[5]模型以及PSMNet[5]模型進行了對比。

深度學習立體匹配模型均采用Adam 進行優化（β1=0.9,β2=0.999）。所有模型的訓練整體上可以分為兩個階段：先以較大的學習率使模型快速收斂,之后降低學習率,并且更改其他參數對模型進行微調。

3.4.2 立體匹配結果的定性和定量評估

相對于原始HSM 模型和GA-Net 模型,HSM-deep模型在可視效果和精度兩方面有所提升。下文選擇一個典型場景進行定性分析,具體可視效果見圖3,該場景中存在大量的樹木和小型建筑物,這是一種最為考驗立體匹配算法的場景,HSM 模型明顯優于GA-Net 模型和PSMNet 模型的結果,在HSM模型的結果中,地面與地物有著明顯的反差,說明HSM 模型區分“前景- 背景”的能力更強。局部細節圖中包含一個細小的建筑物,相比其他兩種模型,HSM-deep 模型最有效地恢復了該建筑物的輪廓。

圖3 GA-Net 模型、原HSM 模型、HSM-deep 模型立體匹配結果的局部對比

從定量評估結果（見表1）分析,HSM系列模型的各項指標優于其他模型。HSM-deep 模型各項精度指標相比原HSM模型均有所提升,受益于HSM-deep 模型增加了一個更精細的尺度,該模型的1PE 精度相比原模型提升明顯,盡管HSM-deep 模型相比原HSM模型運行時間有所下降,但仍舊比其他深度學習立體匹配模型更快。

表1 各模型/算法在測試集上的定量評估結果

4 結論

將多個深度學習立體匹配模型應用于衛星影像密集匹配,對HSM模型進行改進,在特征提取模塊增加了一個更高分辨率的特征提取層和更多的空間金字塔池化層,由于增加了更高分辨率的特征提取層,相應地,需要在金字塔代價體解碼器中增加分辨率更高的代價體解碼器,從而構建了新模型HSM-deep。HSM-deep 模型中新增的更精細的尺度用于輸出更高分辨率的視差圖,避免忽略細小地物。相比原HSM模型,HSM-deep 模型生成的視差圖的各項精度評價指標都有所提高,且能夠有效地保留許多細小結構,在視差邊緣處的可視效果超越了GA-Net 模型。