基于聚合全局流嵌入的場景流估計網絡

黃梓鈞 李 東

(廣東工業大學 自動化學院,廣東 廣州 510006)

場景流定義了兩幀三維數據中源點云中的每個點到目標點云的三維運動,是理解環境變化的低級特征。場景流可以用于機器人、自動駕駛、人機交互,動作識別等領域,是目前計算機視覺中一項關鍵性任務。近年來,隨著雷達技術和點云神經網絡[1,2]的發展,直接利用神經網絡從點云中估計場景流成為當前的研究熱點。

FlowNet3D[3]是第一個直接從點云中估計場景流的神經網絡,其通過PointNet++[2]分別提取兩幀點云的深度特征,再通過流嵌入層融合兩幀點云的特征得到流嵌入,將流嵌入經過Set Conv 下采樣和Set UpConv 上采樣進行特征傳遞,最后估計出場景流。但其只在一個尺度上進行了特征融合,難以學習到不同大小的運動。Wu 等[4]提出PointPWC-Net,用金字塔結構的網絡提取兩幀點云不同尺度的特征并計算出匹配代價,逐層向上傳播估計出場景流,允許網絡學習到不同大小的運動,但是相比FlowNet3D 參數增加了一倍。Puy 等[5]提出了FLOT,將場景流估計問題轉換為最優傳輸問題,通過深度特征建立點云間的密集匹配關系,減少了網絡的參數量,然而在大規模的點云數據上,最優傳輸問題的求解會消耗大量計算資源。Wang 等[6]在FlowNet3D 的基礎上提出了FESTA, 其使用注意力機制調整由最遠點采樣(FPS)得到的下采樣點,緩解了下采樣的不穩定性,并迭代運行網絡逐步優化預測值,使網絡可以精確估計不同大小的運動,但仍然使用最大池化來融合兩幀點云的特征,損失了很多運動信息。以上工作說明,如何有效地融合兩幀點云不同尺度的特征來學習不同大小的運動仍是一個需要重點研究的方向。

針對上述問題,本文在FESTA 的基礎上設計了基于聚合全局流嵌入(Global Flow Embedding Aggregation,GFEA)的場景流估計網絡,如圖1 所示。提出的GFEA 模塊通過學習源點云的自注意力來加權流特征,使得網絡可以自適應的學習全局運動信息。為了進一步提高網絡性能,在流嵌入層中引入平均池化來減少運動信息的損失。基于上述的模塊,本文提出的場景流估計網絡在FlyingThings3D[7]數據集上獲得了超過當前最先進方法的結果。

圖1 本文網絡結構

1 本文方法

1.1 整體結構

本文在FESTA 網絡的基礎上將改進了流嵌入模塊和引入了GFEA 模塊,如圖1 所示。網絡輸入為源點云S={X,Fx|X∈Rn1×3,Fx∈Rn1×c}和目標點云T={Y,Fy|Y∈Rn2×3,Fy∈Rn2×c},其中X 和Y 表示點云坐標,Fx和Fy表示點云的特征(法向量,顏色等),輸出為源點云對應的場景流F∈Rn1×3,和遮擋掩膜M∈Rn1。源點云和目標點云首先通過兩層Set Conv 層對點云下采樣并學習其局部特征,接著通過流嵌入層融合點云特征得到流嵌入,然后流嵌入再通過兩層Set Conv 提取深層信息。其中GFEA 模塊通過源點云的深度特征學習自注意力來加權流嵌入以學習全局運動信息。最后通過Set UpConv 層將點云上采樣回原始分辨率,估計出場景流和遮擋掩膜。根據場景流預測值移動源點云,重新計算流嵌入及后面步驟,估計出最終的結果。

為了證明本文方法的有效性,采用與FEST 相同的損失函數,即使用平方差損失計算場景流預測值的損失,使用交叉熵計算遮擋掩膜的損失。

1.2 流嵌入層

本文提出結合平均池化和最大池化的流嵌入層(Average-Maximum Flow Embedding, AMFE)。該層使用下采樣后的源點云S'={xi,fi|i=1,…,n'1}和目標點云T'={yi,gi|j=1,…,n'2}作為輸入,為源點云中的每個點學習流嵌入ei∈Rd。具體而言,以源點云的點xi為圓心,使用k 近鄰(KNN)在目標點云中搜索前k 近的點云,結合坐標差和兩點云特征,使用多層感知機(MLP)進一步學習,分別通過最大池化和平均池化聚合該點和k 個鄰近點的特征,最后通過線性層融合得到流嵌入:

1.3 全局流嵌入聚合層

平坦的區域中各個部分特征相似,僅靠局部特征學習的流嵌入難以估計出精確的場景流。解決上述問題的核心思想是相似結構的點云大概率有相似的運動。因此可以利用注意力矩陣聚合全局相似的運動特征,通過統計信息來優化該點的流嵌入。

基于這一思想,本文提出基于注意力機制的全局流嵌入聚合模塊(圖2)。將下采樣3 次得到的源點云特征f∈RNxC1和流表示e∈RNxC2作為輸入,其中N 為點云個數,C 表示特征的長度,通過以下方式學習全局流表示:

圖2 全局流嵌入聚合層

其中Wq,Wk∈Rc1xCe,Wv∈RC2xC2對每個點共享參數,Ce是查詢向量和關鍵向量的長度。h 用于計算注意力矩陣:

由于點云特征自身包含相對位置關系,因此沒有引入額外的位置編碼。

2 實驗分析

2.1 數據集與評價指標

以往的場景流估計任務中主要采用了 FlyingThings3D作為實驗數據集。本文采用與FESTA 相同的數據處理和劃分方式。處理后的FlyingThings3D 數據集中包含20000 對訓練數據和2000 對測試數據。 除了點云坐標外,FlyingThing3D 中還提供了顏色信息和遮擋掩膜。本文在兩種輸入情況下進行訓練,一種是僅使用點云坐標作為輸入,另一種是使用坐標和顏色信息作為輸入。訓練時隨機采樣2048 個點作為輸入,測試時使用全部點云作為輸入。為了公平比較,訓練參數設置與FESTA 相同。

網絡性能的評價指標有三個:EPE3D,Acc Strict 和Acc Relax。EPE3D 表示場景流預測值與真實值間差值的歐式距離。Acc Strict 和Acc Relax 表示不同閾值下的準確率,其中Acc Strict 表示EPE3D＜0.05m 或者預測值與真實值的相對誤差小于5%,Acc Relax 表示EPE3D＜0.1m 或者相對誤差小于10%。

2.2 結果分析

表1 展示了在FlyingThings3D 數據集上各個評價指標的結果,兩種輸入條件下,本文提出的網絡都取得了最優的結果。兩種輸入情況在Acc Strict 標準下,本文方法相比FESTA 分別提升了5.1%和4.5%。另外,只使用坐標作為輸入時,本文網絡在Acc Strict 和Acc Relax 標準上都超過了其他方法使用額外的顏色信息作為輸入時的結果,證明了本文方法的有效性。

表1 在FlyingThings3D 上的性能

2.3 消融實驗分析

為了驗證本文提出的兩個模塊的有效性,本文進行了消融實驗,比較了有無改進流嵌入層,有無全局流嵌入聚合模塊,以及兩模塊共同作用的結果。實驗結果如表2 所示,打勾表示用了該模塊。

從表2 中可以看到,兩個模塊單獨使用時,在測試集上的性能都獲得了提升,但是單獨使用AMFE 的效果更好一些。這是由于原始流嵌入層中的最大池化造成了運動信息的損失,影響了GFEA 模塊的注意力學習過程。使用AMFE 減少了最大池化造成的信息損失,讓流嵌入保存了更豐富的運動特征,有利于后續網絡的學習。將兩模塊同時使用時,AMFE 保留了更多的運動信息,GFEA 以此更好地估計平滑區域的場景流,使得Acc Strict 獲得了2%的提升。

表2 消融實驗結果

3 結論

本文提出了基于全局流嵌入聚合的場景流估計網絡,進一步提升了場景流估計網絡的性能。該網絡利用源點云的自注意力加權學習到的流嵌入,使得網絡能夠通過全局信息自適應地調整流嵌入,更精確地預測場景流。另外,通過引進平均池化改進了流嵌入層,從而進一步提升了網絡的性能。通過實驗發現,上述兩個模塊能夠相互促進,結合使用可以獲得更加明顯的提升。隨著輸入點云數量的增長,全局流聚合模塊的復雜度以平方的速度增長,帶來較大的計算量,因此在未來的工作中,將進一步思考如何降低注意力模塊的計算復雜度。