無監督單目圖像深度和位姿估計算法優化*

羅志斌, 項志宇, 劉 磊

(浙江大學 信息與電子工程學院,浙江 杭州 310007)

0 引 言

從圖像估計場景深度和相機位姿信息在自主導航、3D重建、增強和虛擬現實等中具有廣泛的應用。傳統方法主要是基于圖像匹配原理,利用匹配的特征點來計算場景深度和相機位姿。該類傳統方法對相機參數較為敏感,在部分場景如弱紋理、運動模糊以及光照變化的情況下魯棒性較低。

近年來,隨著深度學習在計算機視覺領域的巨大成功,使用深度學習的方法來實現單目圖像深度與位姿估計問題也逐步受到關注,主要出現了有監督和無監督兩類方法。有監督的方法直接利用深度和位姿真值擬合回歸模型,訓練需要大量深度和位姿真值,往往是難以獲得的。無監督方法將深度和位姿估計問題轉化為視圖重建問題,訓練不需要深度和位姿真值,克服了訓練真值難以獲得的問題。2018年,Babuv M等人[1]提出的UnDEMoN模型是無監督方法的典型代表,并且取得了該類方法當時最好的效果。

本文在UnDEMoN模型的基礎上,保持其基本網絡模型不變,提出了三種優化改進措施：一是低尺度視差上采樣重建；二是增加前后幀深度一致性約束；三是引入多種掩模。實驗效果顯示,通過這些優化改進措施,模型預測的精度得到了有效提升。

1 基本框架

1.1 網絡結構框架

優化模型以UnDEMoN為基本框架,框架如圖1,包含深度預測網絡DispNet(圖2 上)和位姿預測網絡PoseNet(圖2)兩個子網絡。深度預測子網絡輸入左視圖,輸出左右視圖相對視差圖,進而可以分別重構出左右視圖。位姿預測子網絡輸入左視圖序列,輸出相鄰視圖之間的相對位姿,結合深度預測網絡預測的視差圖,可以實現前后視圖間的重構。框架同時利用左右和前后的視圖重構誤差作為約束訓練網絡。模型訓練時兩個網絡耦合訓練,但預測時可以單獨使用。模型使用立體圖像對序列進行訓練,訓練好的模型預測的深度和位姿是具有尺度的。

圖1 UnDEMoN框架

圖2 網絡結構[1]

1.2 損失函數

UnDEMoN的損失函數主要包括視圖重建損失、視差圖平滑損失和左右視差一致性損失三部分,三分部損失按一定權重相加。

1)視圖重建損失定義為結構相似性和光度誤差的加權組合形式

(1)

式中Iij,ij分別為原視圖和重構的視圖,SSIM為結構相似性函數,是一種度量圖像之間相似度的方法。是Babuv M等人[1]引入的一個Charbonnier penalty目標函數,是絕對值范數的一個可微變體,這個目標函數對異常值和噪聲具有較強的魯棒性。總的視圖重建損失同時包括左右圖像重建損失和前后圖像重建損失,按一定權重相加。

2)具有邊緣感知的視差圖平滑損失

(2)

式中Iij為原視圖,dij為相應視差圖,i,j為視圖的某一像素坐標,N為像素總數。

3)左右視差一致性損失

(3)

1.3 視圖重建方法

以視圖重建損失作為約束訓練網絡是無監督訓練的核心思想,視圖重建主要分為像素坐標投影和雙線性圖片采樣兩個步驟完成。

1)基于視差的左右幀像素坐標投影的投影關系為

(4)

2)基于深度和位姿的前后幀像素坐標投影關系為

(5)

(6)

圖3 雙線性插值圖像采樣

2 基于UnDEMoN模型的優化改進

2.1 視差上采樣重建

由于雙線性圖片采樣具有梯度局部性,為了防止訓練目標陷入局部極小點,UnDEMoN模型采用多尺度視差預測和圖像重建,在計算重建誤差時將各個尺度上的重建誤差相加求平均值。這樣低尺度的視圖重建在場景有大面積平滑區域時容易造成視差圖“孔洞”問題。為此,借鑒Godard等人[2]的方法將低尺度的視差上采樣到原始圖片大小,然后進行原始尺寸的視圖重建和計算損失。

2.2 深度一致性約束

由于UnDEMoN模型主要依靠重建光度損失約束訓練網絡,要求場景具有光度不變性。在光照變化的情況下,魯棒性變差。為此,受文獻[3]的啟發,通過約束前后幀之間深度的一致性來增加幾何空間一致性約束。如圖4所示。

圖4 深度一致性約束和掩模[3]

(7)

2.3 掩模優化

在計算重建誤差時,一些像素的重建誤差可能不利于模型的訓練,如投影越界,場景不符合靜態假設等像素。通過掩模優化來屏蔽或減小這些像素對模型訓練的影響。

2.3.1 投影有效性掩模

由于相機自運動,相鄰幀之間進行投影重建時,有些像素投影的坐標可能超過了視圖的坐標范圍。采用一個投影有效性掩模Mp來標記每一個像素坐標。當某像素投影坐標在視圖范圍內時,標記Mp的值為1,否則為0。利用這個投影掩模Mp,在計算重建誤差時,可以屏蔽掉投影越界的像素的重建誤差。

2.3.2 靜態像素掩模

自監督訓練的前提假設是相機運動和場景靜態。當這一假設被打破時,例如相機靜態或場景中有動態物體,模型效果會受到很大影響。觀察發現,相鄰幀之間同一位置像素值保持不變的情況,通常可能有三種情況造成：1)相機本身靜止；2)物體與相機保持相對靜止運動；3)像素處于弱紋理區域。這三種情況都不利于網絡的訓練。為此,設計了一個掩模Ms將前后幀中像素值沒有明顯變化的像素在計算重建誤差時屏蔽掉。主要的做法是如果前后幀經過重投影的光度誤差小于前后幀直接計算的光度誤差,則該像素的Ms的值為1,反之為0。Ms的元素取值μ定義如下

在華山醫院的努力和支持下，上海市腦卒中臨床救治網絡的建設有效地推進了腦卒中救治工作，也進一步推動了全市腦卒中救治能力的整體攀升。

μ=[pe(It,It′→t)

(8)

式中 []為艾佛森括號,如果方括號內的條件滿足則為1,不滿足則為0。

2.3.3 深度一致掩模

增加深度一致性約束后,通過實驗發現Ddiff值比較大往往出現在三種情況下：1)場景中有動態物體；2)場景中存在遮擋；3)困難區域的錯誤預測,這三種情況都不利于網絡的訓練。為此,基于Ddiff設計了一個深度不一致掩模Mdiff。定義Mdiff=1-Ddiff,Mdiff每一個元素的取值范圍在[0,1]之間。當Ddiff很大時,Mdiff權重則很小,從而減少上述三種不利情況對重建誤差的影響。

3 實驗與評估

3.1 實驗設置

本文模型基于Tensorflow框架進行實現,總共有大約3 500萬個參數,使用一塊GeForce GTX顯卡,訓練3萬張圖片,經過20萬次訓練迭代,大約35 h達到基本收斂。使用Adam優化器進行訓練,設置參數β1=0.9,β2=0.99。初始化學習速率為0.000 1,經過3/5的迭代后,學習速率降低了50 %并且在下一個4/5的迭代之后進一步減少50 %。

3.2 KITTI原始數據集

本文采用KITTI原始數據集進行訓練,數據集采用Eigen等人[4]的方法進行分割。訓練集包括21 055張圖片,驗證集包括2 123張圖片。在訓練集圖像上應用不同類型的數據增強,隨機概率為0.5,提高訓練集圖像的多樣性。數據增強主要包括圖像翻轉和色彩增強。顏色增強包括在[0.5,2.0]范圍內應用隨機亮度采樣,在[0.8,1.2]范圍內應用隨機伽馬和改變顏色。

3.3 在KITTI數據集上的深度評估

本文采用文獻[4]中所提的指標對深度預測進行評估。為了驗證各項優化措施的有效性,進行了剝離實驗,在基本框架UnDEMoN的基礎上,逐步加入各項優化改進措施,實驗結果見表1。從表中可以看出各項優化改進措施對模型都有一定的提升。

表1 剝離實驗誤差比較

表2是與當前主要方法比較的結果,其中,單/雙表示訓練過程中用了單目還是雙目圖像。從表2可以看出,優化模型精度大幅超越當前主要方法的精度。

表2 深度評估性能

為了直觀地顯示深度網絡的效果,將網絡預測的視差進行可視化,如圖5,從視差圖的顯示效果來看,本文的方法顯示的視差圖細節表現更好,預測的物體邊緣更鋒銳。

圖5 視差圖可視化

3.4 在KITTI數據集上的位姿評估

本文模型是在KITTI數據集Eigen分割[4]上進行深度估計訓練的,發現具有真值的4個視覺里程計序列沒有包含在訓練集中,因此可以用來測試位姿估計性能。位姿估計采用絕對軌跡誤差(ATE)來量化姿態估計的性能。表3為本文模型、UnDEMoN[1]、SfMLearner[5]和一種傳統的位姿估計方法VISO[6]的性能比較。由于SfMLearner是基于單目視頻數據訓練的模型,網絡預測的結果是缺少尺度的,需要經過后處理恢復尺度。在表3中,SfMLearner_PP是經過尺度后處理的結果,SfMLearner_noPP是沒有經過尺度后處理的結果。VISO_S是雙目版本的結果,VISO_M是單目版本的結果。表格顯示的結果表現超過了UnDEMoN,SfMLearner_noPP和VISO_M,并且可以和SfMLearner_PP和VISO_S 使用立體圖像進行位姿估計的方法相媲美。由于KITTI訓練數據集具有旋轉變化的場景非常少,深度網絡不能很好地學習旋轉變量,導致長距離積累較大的位姿誤差,如圖6所示。

表3 位姿性能

圖6 位姿預測軌跡

4 結束語

本文對無監督單目圖像的深度和位姿估計問題進行了深入研究。在模型UnDEMoN的基礎上,通過優化損失函數,增加約束條件,引入多種掩模等手段,進行集成優化,有效提高了模型預測效果。雖然引入掩模在一定程度上緩解了場景不滿足靜態假設的問題,但要完全解決場景中動態物體對模型的影響,還需要進一步做深入的研究。此外,由于KITTI數據集旋轉變化并不多,本文模型在姿態的估計方面效果還并不是很好。分析是通過對具有更多旋轉變化的數據集進行訓練,可以進一步提高網絡的姿態估計性能。下一步考慮利用單目圖像和有噪聲的IMU數據來訓練深度網絡,以消除網絡目前需要的立體圖像對的需要,這些問題將指導今后的研究方向。