基于鄰域一致性的點云場景流傳播更新方法

鄭 晗 王 寧 馬新柱 張 宏 王智慧 李豪杰

1（大連理工大學-立命館大學國際信息與軟件學院 遼寧大連 116000）

2（悉尼大學電氣與信息工程系 澳大利亞悉尼 2006）

場景流（scene flow,SF）是定義在2 個連續場景中表面點的3D 運動場，是一個感知動態場景的基本工具.隨著自動駕駛、人機交互等應用的大規模商業落地，感知系統需要精確感知環境中的動態運動物體[1-2]，因此精確估計場景流成為近年來的研究熱點.由LiDAR 等3D 傳感器直接獲得的點云數據可以得到場景中點的精確位置信息，因此點云數據被廣泛應用于場景流估計任務中.點云數據僅包含3D 點坐標，因此在稀疏點、邊緣點處會出現特征信息不足的現象，在這些點上的匹配會更加困難，這些匹配困難點嚴重影響場景流估計的整體準確度.

近幾年的方法都是關注2 個連續點云間對應的匹配關系來優化場景流的估計精度，FlowNet3D[3]在單尺度上獲取匹配關系；HPLFlowNet[4]使用雙邊卷積 層（bilateral convolutional layer,BCL），在多個尺度上聯合計算匹配關系[5]；PointPWC-Net[6]在多個尺度上建立用于匹配的代價體（cost volume,CV）和重投影（warping）模塊.但這些方法僅考慮了點云間的匹配關系，缺少優化匹配困難點的方式.如圖1(a)所示，圖片中的點為場景的一部分，其中紅色代表該點的端點誤差（end point error,EPE）小于0.05 m；綠色代表該點的端點誤差大于等于0.05 m 且小于0.3 m；藍色代表該點的端點誤差大于等于0.3 m.在圖1(a)虛線框中，PointPWC-Net 在一個局部鄰域內（一個汽車整體）同時有匹配準確的紅色點和匹配困難的藍色點.本文提出的基于鄰域一致性的點云場景流傳播更新方法（neighborhood consistency propagation update method，NCPUM）方法根據點云相鄰點的相關性，即屬于源點云的場景流在足夠小的鄰域內很大程度上存在一致性，將局部鄰域中的準確場景流傳播到匹配困難點上.可以有效地減少匹配困難點場景流的誤差，提升整體準確度.圖1(b)為經過NCPUM 方法優化后的效果，可以看到在虛線框內的汽車點和匹配困難的藍色點消失，匹配較差的綠色點明顯減少，匹配準確的紅色點明顯增多.

Fig.1 Visual comparison of the two methods圖1 2 種方法的可視化對比

具體來說，NCPUM 假設利用點云內相鄰點的相關性使場景流估計具有鄰域一致性，通過置信度圖傳播更新提升整體場景流估計的準確度.基于該假設，NCPUM 設計了置信度預測模塊和場景流傳播模塊，對骨干網絡輸出的初始場景流預測置信度圖，經過場景流傳播模塊在具有一致性的鄰域內將場景流從高置信度點集向低置信度點集傳播，改善鄰域內匹配困難點的準確度.本文的貢獻有2 方面：

1）根據場景流的鄰域一致性設計了場景流傳播優化方法NCPUM.該方法使用場景流在局部鄰域內傳播的方式，改善估計效果.NCPUM 的評估結果優于之前的工作，證明了該方法的有效性.

2）NCPUM 在Flyingthings3D 和KITTI 數據集 上的測試結果在準確度上達到國際先進水平，并更換不同的骨干網絡進行了測試，驗證了NCPUM 對于不同的骨干網絡都能明顯提升其估計準確度.

1 相關工作

1.1 場景流估計

在Vedula 等人[7]工作中，定義和介紹了場景流的概念，之后許多工作[8-12]在多種類型的數據集上進行場景流的估計，隨著最近幾年基于點云的深度學習方法[13-15]的發展，可以在點云上直接估計場景流.其中一個使用可學習的深度網絡來估計點云上的場景流的方法是FlowNet3D[3]，它將下采樣的特征進行嵌入，得到點云間的運動信息，通過上采樣方法回歸得到對應點的場景流.FlowNet3D 只在單一尺度上進行了特征的嵌入，單一尺度的感受野無法在大尺度和小尺度運動上同時獲得精確的估計結果.HPLFlowNet[4]使用雙邊卷積在多個尺度上聯合計算匹配度，但限于內存使用限制無法在上采樣過程中細化場景流.而PointPWC-Net[6]遵循了光流估計的“由粗到細”（coarse to fine,CTF）的范式，在多個尺度的局部范圍內使用PointConv[13]建立用于匹配的代價體和重投影的模塊.FLOT[16]通過最優傳輸（optimal transport），優化源點云和目標點云的匹配關系.這些關注于匹配關系的方法得到了很好的場景流估計結果.HALFlow[17]使用注意力機制，嵌入更多的位置信息，獲得更準確的場景流估計結果.

文獻[3?4,6,13,16?17]都是通過匹配連續點云間的特征回歸出對應源點云的場景流，在匹配困難點處沒有額外的優化措施.本文方法在源點云中根據相鄰點的相關性，在鄰域內改善匹配困難點的場景流，獲得優于匹配方法的估計準確度.

1.2 鄰域一致性

之前的場景流估計工作中都會注重在鄰域內提取特征，根據提取到的特征來進行連續點云間的匹配[3-4,6,17-19]，回歸出點云間的場景流.但這只是在提取的特征上包含了鄰域信息，在鄰域特征信息不足的點上會出現匹配困難的情況.在同樣使用鄰域信息進行匹配的任務中[20-21]，LiteFlowNet3[20]根據局部光流一致性，在代價體上對鄰域內的點進行優化，獲得了相對于匹配方法更好的光流估計精度.受該想法的啟發，我們合理假設在2 個連續場景中，一個合適的鄰域內的點共享相同的運動模式，因此在鄰域內的場景流具有一致性.NCPUM 根據初始場景流顯式的估計置信度，在鄰域內的高置信度點向低置信度點進行傳播更新.與現有方法不同的是，NCPUM 的更新操作是在場景流上而非在特征上，所依賴的也不是特征上的相關或者相似，而是點云鄰域內場景流的一致性.

2 傳播優化方法

NCPUM 從場景流鄰域一致性假設出發，構建了一種對場景流在鄰域內傳播更新的優化方法.具體網絡框架如圖2 所示，分別構建置信度預測模塊和場景流傳播模塊實現NCPUM 優化方法.首先是估計初始場景流的骨干網絡，在得到初始場景流以及對應特征之后，送入置信度預測模塊；然后在置信度預測模塊中使用編碼器-解碼器（encoder-decoder）的網絡結構，對輸入的場景流進行置信度圖的預測，置信度圖用來表示各個場景流估計是否準確；最后在場景流傳播模塊中，根據預測得到的置信度圖將場景流從高置信度點集向低置信度點集傳播，更新低置信度點的場景流，降低匹配困難點對準確度的影響.

2.1 問題定義

Fig.2 Network structure圖2 網絡結構圖

場景流估計任務的最終目標是估計2 個連續點云之間的運動矢量，因此定義2 個連續的3D 點云場景：源點云P={xi|i=1,2,…,n1}，和目標點云Q=1,2,…,n2}，其中xi,yi∈R3，并且i并不必須與j相等.源點云P中的點運動到目標點云Q中的對應點的運動矢量場為F=(f1…fn1)，該運動矢量場即為最終估計的場景流.估計的場景流是基于源點云P的，因此場景流與源點云中的點一一對應.

2.2 估計初始場景流

在估計初始場景流時，使用的是PointPWC-Net作為骨干網絡，該方法使用2 個連續的點云作為輸入，使用特征金字塔的結構，在每個分辨率尺度上都進行一次源點云P到目標點云Q的重投影，之后進行匹配度代價體的計算，代價體定義了逐點的匹配程度，PointPWC-Net 對代價體進行回歸得到逐點的場景流.

在PointPWC-Net 中，構建了4 個尺度的特征金字塔，在得到4 個尺度的點特征后，場景流的估計會從較粗的尺度進行，遵循由粗到細的規范.估計了當前尺度的場景流后，會上采樣到更精細的尺度，將上采樣的場景流對源點云進行重投影，在當前尺度上對重投影后的點云和對目標點云估計一個相對于上一個尺度場景流的殘差，以完成對估計場景流的精細化.將整個重投影過程進行公式化定義：

其中P為源點云，Pw為重投影后的點云，Fup為從上一個尺度上采樣的場景流.

在PointPWC-Net 中，對2 個點云以及對應的特征進行了代價體的構建.假設gi∈RC是對應目標點云點pi∈P的特征，hj∈RC是對應目標點云點qi∈Q的特征，那么對應2 個點之間的匹配度定義為：

使用多層感知機（multilayer perceptron）M將2 點之間的潛在關系和點與點之間的距離串聯后進行學習.在有了點對點的匹配度之后，將其組成當前尺度的代價體，PointPWC-Net 根據源點云點到目標點云鄰域點的距離對代價體加權，即對于1 個源點云的點pi∈P，得到它在目標點云Q上的1 個鄰域NQ(pi)，再根據目標點云鄰域中的每個點到源點云點的距離得到權重C.

使用PointPWC-Net 估計初始場景流時，沿用了多尺度監督損失，對應估計得到4 個尺度的場景流，對場景流真實值采樣到同樣的尺度，在對應的尺度上做不同權重 α的2 范數監督.

2.3 場景流置信度預測模塊

在骨干網絡輸出初始場景流后，會經過置信度預測模塊對初始場景流預測置信度圖.該置信度定義為初始場景流相對于真實值的誤差，即預測的誤差值越小，表示該點在骨干網絡中估計的初始場景流越準確，置信度值越高.置信度預測模塊首先使用“編碼器?解碼器”的構造，以初始場景流的3D 矢量信息作為輸入，在編碼器過程中進行點的下采樣，可以擴大置信度預測模塊的感受野，參考更多的相鄰場景流推斷置信度；然后在解碼器的上采樣過程中使用跳躍鏈接，串聯編碼過程中對應尺度的特征信息，為上采樣提供更多精細尺度的特征，獲得更精細的上采樣結果，并且考慮骨干網絡中輸出的場景流特征；最后使用sigmoid 函數輸出1 個（0-1）分布的置信度圖，并將該置信度圖用于之后的場景流傳播模塊中.

置信度預測模塊使用的是有監督的訓練方式，監督信息是初始場景流與場景流真實值的2 范數二值化得到的先驗分布圖，該分布圖為初始場景流相對于真實值的先驗誤差分布.設定閾值θ，當初始場景流與真實值的2 范數小于θ 時，設定為0，否則設定為1.由此得到的分布圖為場景流先驗的二分類分布圖，用來監督置信度預測模塊的輸出.

其中confmap是置信度預測模塊得到的置信圖.GTconf是場景流先驗分布圖，在式（6）中由初始場景流F和真實值GTsf處理得到.估計置信度圖的最后一層使用sigmoid 函數將其轉換為0～1 之間的分布，因此就可以使用二分類交叉熵（binary cross entropy,BCE）進行監督.

2.4 場景流傳播模塊

經過場景流置信度圖的預測，根據場景流置信度得到源點云中的高置信度點集和低置信度點集，由高置信度點集向低置信度點集進行限制半徑的傳播；根據鄰域一致性的假設，如果高置信度點與低置信度點的傳播半徑不大于傳播半徑閾值，可以認為兩點的場景流擁有一致性，可以使用高置信度點的場景流更新低置信度點的場景流.

p1和p2都屬于源點云P，因為鄰域一致性依賴于點云內相鄰點的相關性，所以距離最近的點最有可能存在場景流的鄰域一致性，式 (8)中KNN為K 最近鄰（Knearest neighbor）方法采樣低置信度點p1在源點云的最近點.

其中p1和p2分別為低置信度點和高置信度點，β為傳播半徑閾值，當兩點的距離不大于傳播半徑時傳播更新低置信度點的場景流.這里傳播半徑閾值非常重要，點云中的相鄰點只有空間距離在一定閾值內才會具有相關性，在點密度足夠的情況下，對于小鄰域內的點的場景流具有一致性，這個鄰域的半徑閾值設置不同的數值會影響到優化結果.

NCPUM 在優化初始場景流時，會將反傳的梯度在初始場景流處截斷，即訓練置信度預測模塊時不會影響到骨干網絡PointPWC-Net.

3 實驗與結果分析

與之前的工作的訓練過程[4,6,16]類似，NCPUM 在合成數據集Flyingthings3D[22]上訓練模型，然后在Flyingthings3D 和真實場景數據集KITTI[23]兩個數據集上進行測試，將測試結果與其他方法的結果在表1中進行對比.之所以使用這樣的訓練策略是因為很難在真實場景中確定出來一個場景流真實值，這里使用的KITTI 數據集只有142 個場景，而合成數據集有更大的數據量可供訓練，如Flyingthings3D 數據集有19 640 對點云可以進行訓練.在訓練之前，遵循HPLFlowNet 和PointPWC-Net 的方式對數據進行了預處理，點云場景中沒有被遮擋的點.

Table 1 Comparison of NCPUM and Other Methods表1 NCPUM 與其他方法的對比

在接下來的內容中，將介紹NCPUM 實現的細節，然后將測試結果與之前的方法進行對比，證明了NCPUM 的有效性.并且我們認為Flyingthings3D 數據集與KITTI 數據集差異較大，將NCPUM 在KITTI 數據集前100 對數據上進行微調，在后42 對數據上進行了測試，更換不同骨干網絡微調的測試結果在表3中展示，證明NCPUM 基于鄰域一致性假設的傳播更新方法更適用于真實場景，并進行了消融實驗，對傳播半徑閾值進行更多的對比實驗.

3.1 網絡實現細節

NCPUM 的訓練設置與骨干網絡PointPWC-Net相同，對輸入的點云采樣到8 192 個點，為其構建4層的特征金字塔，每一層的損失權重α設置為α0=0.02，α1=0.04，α2=0.08，α3=0.16，訓練時的初始學習率設置為0.001，訓練800 個周期，每80 個周期學習率減少一半.在對KITTI 進行微調時，參數設置與NCPUM 設置一致，只是將訓練周期減少為400 個，并且學習率每40 個周期減少一半.

置信度預測模塊設置了3 個尺度，分別為2048，512，256 個點，特征通道數都為64.在經過3 次下采樣的特征提取之后得到了3 個尺度的場景流特征，再經過3 次上采樣將特征傳播到原尺度.前2 個尺度的上采樣都同時考慮了前一尺度的特征和下采樣時對應的特征；后1 個尺度的上采樣考慮原尺度的場景流，在上采樣到原尺度之后，與骨干網絡輸出的場景流特征串聯在一起，經過2 個1D 卷積，再經過sigmoid得到0～1 分布的置信度.

3.2 評價標準

本文沿用了場景流估計任務一直以來的評價標準[3-4,6,18]，假設F代表場景流估值，FGT代表場景流真實值，各個評價標準的定義為：

1）EPE3D.||F?FGT||2表示點云上的逐點誤差平均值.

2）Acc3DS.EPE3D<0.05 m或者相對誤差<5%的點占比.

3）Acc3DR.EPE3D<0.1 m或者相 對誤差<10%的點占比.

4）utlier3D.EPE3D>0.3 m或者相對誤差>10%的點占比.

3.3 在Flyingthings3D 上的訓練和測試

Flyingthings3D 可用于訓練的數據集共有19 640對點云，可用于測試的數據集有3 824 對點云.與FlowNet3D、PointPWC-Net 模型方法的設置相同，本文只使用深度小于35 m 的點，大部分的前景物體都能包含在這個范圍內.對每個點云采樣得到8 192 個點用于訓練和測試，訓練設置參數在3.1 節網絡實現細節中進行了介紹.

表1 展示了在Flyingthings3D 數據集上NCPUM在2 個準確度指標和離群值占比指標上均優于骨干網絡PointPWC-Net.尤其是Acc3DS 指標，對比PointPWCNet 有2.3%的提升.但在EPE 指標上略低于PointPWC-Net.其原因是在場景流傳播模塊中會使低置信度點的場景流與高置信度點的場景流相等，對于估計偏差大的點，會傳播更新一個準確的場景流，對于估計誤差小的低置信度點，傳播更新操作反而帶來了精度上的擾動.但是準確度是統計EPE3D<0.05 m 或者相對誤差<5%的點占比，所以我們的方法能夠優化估計偏差大的匹配困難點，提升準確度.本文在表2 中整理出更新點的統計信息(圖2 中與F的比較），其中包含更新點占全部點的比例（更新點占比）、更新點中精度提升的占比（改進點占比）、更新點中精度下降的占比（擾動點占比）、精度提升的平均值（改進均值）、精度下降的平均值（擾動均值）.可以看到，有一半以上的點其實是產生了擾動，并且產生擾動的均值大于改進的均值，因此在精度上NCPUM 確實會產生一定的擾動，但是在準確度指標和離群值占比指標上有大幅提升.

Table 2 Statistical Information of Update Points on Flyingthings3D Dataset表2 Flyingthings3D 數據集更新點統計信息

3.4 在KITTI 上測試和微調

KITTI Scene Flow 2015 數據集包括200 個訓練場景和200 個測試場景，遵循之前工作的方法，在具有真實值并且可用的142 對點云數據集上進行測試，并且與之前的方法保持一致[4,6]，刪除了點云中高度小于0.3 m 的地面 點.在KITTI 數據集 上，先使用 在Flyingthings3D 數據集上訓練的模型直接對KITTI 數據集進行測試而不經過任何微調，以評估NCPUM 的泛化能力.從表1 中可以看到NCPUM 在Acc3DS 和Acc3DR 評價指標上優于PointPWC-Net，在Acc3DS指標上有5.3%的提升，在Acc3DR 指標上有2.7%的提升，提升幅度大于Flyingthings3D 數據集，表現出優秀的泛化性能.不經過微調而在真實數據集上表現更加優秀的原因在于真實數據集KITTI 的點云數據物體之間的距離大于Flyingthings3D 數據集中物體之間的距離，NCPUM 的鄰域一致性假設更適用于這種數據特性，所以NCPUM 在真實場景上會有更加優秀的表現.本文統計了表1 中FLOT 和NCPUM 的場景流估計時間，FLOT 在一秒鐘內可以處理2.15 對連續點云，而NCPUM 在一秒鐘內可以處理5.09 對連續點云，NCPUM 處理速度約是FLOT 的2.37 倍.在真實使用場景中，準確場景流在總體場景流中的占比比場景流的絕對平均誤差值更有意義，擁有更多的準確場景流代表該方法為真實應用帶來更好的穩定性.NCPUM 在Acc3DS 和Acc3DR 準確度指標上都有可觀的提升，尤其在真實數據集上的場景流Acc3DS 指標超過PointPwc 的Acc3DS 指標7.28%，超過HALFlow的Acc3DS 最佳結果2.09%，對比之前的方法，NCPUM的處理速度和準確度表現出更大的應用潛力.

因為Flyingthings3D 數據集和KITTI 數據集存在較大的差異，直接使用在Flyingthings3D 數據集上預訓練的模型在KITTI 數據集上測試并不能完全展示NCPUM 在KITTI 數據集上的性能.所以本文將KITTI數據集拆分，使用前100 對場景微調NCPUM，并在剩余的42 對場景上進行測試.分別將FlowNet3D，PointPWC-Net,FLOT 3 種骨干網絡在KITTI 數據集上進行微調，然后進行NCPUM 的微調，將微調后的3種骨干網絡做對比.在微調之后，3 種骨干網絡的NCPUM 可以獲得更好的效果，如表3 所示，微調后的NCPUM 對比微調后對應的骨干網絡，在4 個評價標準上都有提升，與泛化能力測試結果不同的是，NCPUM 在EPE 指標上也有了一定的提升，我們認為，Flyingthings3D 是虛擬數據集，場景中物體間的距離較小，對某一物體邊緣的低置信度點傳播更新，可能采樣到距離較近的其他物體上的準確點，而不是同一物體中距離較遠的準確點，例如圖3 所示，綠色點為更新場景流的低置信度點，紅色的點是傳播場景流的高置信度點，黃色的連線為傳播更新關系.在圖3（a）和圖3（b）中都出現了采樣到其他物體的現象；KITTI是真實數據集，物體之間的距離較大，如圖3（c）所示，不容易出現采樣錯誤的情況，只有在如圖3（d）中的遠端離群點上可能出現采樣不準確的情況，因此KITTI相較于Flyingthings3D 數據集更容易符合鄰域一致性的假設.

Fig.3 Comparison of Flyingthings3D and KITTI on replacement details圖3 Flyingthings3D 與KITTI 替換細節對比

Table 3 Fine Tuning and Testing on KITTI Dataset表3 在KITTI 數據集上微調測試

3.5 傳播半徑閾值設置的影響

因為NCPUM 是基于鄰域一致性假設進行構建的，因此傳播半徑閾值設置十分重要，不同的半徑閾值設置帶來的效果是不一樣的，甚至不合適的半徑閾值會降低NCPUM 優化效果.當半徑閾值設置過大時，高置信度點的場景流會傳播到不具有一致性的低置信度點上，出現擾動；當半徑設置過小時，只會有少部分低置信度點會被更新.數據集的不同也會影響到傳播半徑的設置，對比虛擬數據集，真實數據集因為物體間的距離更大，更容易設置一個合適的傳播半徑進行傳播，這也是NCPUM 泛化到真實數據集表現更好的原因.表4 對2 個數據集上設置的不同傳播半徑進行對比，NCPUM 在Flyingthings3D 數據集上的半徑設置為0.4 時達到最好效果，而在KITTI 數據集上的半徑設置為3.0 時達到最好效果.這個數據的差異表現出在真實場景上對傳播的約束更加小，傳播更新可以影響到更多的點，從而帶來更好的改進效果.

Table 4 NCPUM Tested with Different Radius Threshold表4 NCPUM 在不同半徑閾值下的測試

3.6 在不同骨干網絡上測試

為了證明NCPUM 方法的泛化性能，本文嘗試在不同的骨干網絡上進行優化.我們分別以FlowNet3D，PointPWC-Net，FLOT 為骨干網絡構建使用置信度預測模塊和場景流傳播模塊，在KITTI 數據集上進行微調和使用NCPUM 優化方法改進.測試結果如表3 所示，在對FlowNet3D,PointPWC-Net,FLOT 方法使 用NCPUM 優化方法后，4 個指標上都有明顯的提升，展示了NCPUM 優化方法對不同骨干網絡的泛化性.

在圖4 中可視化了NCPUM 的傳播更新過程，綠色點為更新場景流的低置信度點，紅色點是傳播場景流的高置信度點，黃色的連線為傳播更新關系.可以看到KITTI 數據集中具有一致性的汽車表面會出現估計不準確的綠色低置信度點，這些點更多是位于距離激光雷達更遠的低密度點和鄰域信息單一的邊緣點上，若只關注連續點云間匹配的方法容易在這些點上出現較大的誤差，NCPUM 對匹配困難點尋找一個匹配準確點進行更新，和相鄰的準確點保持一致，從而提高整體的估計準確度；同時傳播過程要限制傳播半徑閾值，避免引入擾動.

Fig.4 Visualization of replacemental details圖4 替換細節可視

4 結論

本文提出了一種根據鄰域一致性的傳播更新方法NCPUM 來優化估計場景流的精度.該方法通過置信度預測模塊對骨干網絡估計出的初始場景流預測置信度圖來判斷場景流準確度；然后通過場景流傳播模塊在有限制的傳播半徑內從匹配困難點尋找匹配準確點，將匹配準確點的場景流傳播到匹配困難點上，以提高場景流的估計精度.NCPUM 在不同的數據集Flyingthings3D 和KITTI 上都體現出了優于之前工作的性能.并且通過在真實數據集上的微調實驗和不同傳播半徑的實驗展現出NCPUM 在真實場景數據有更加優秀的表現.

作者貢獻聲明：鄭晗負責提出模型、編寫代碼、實施實驗過程和論文撰寫；王寧負責修訂和完善論文；馬新柱負責數據分析和數據解釋；張宏負責理論和實驗設計；王智慧負責理論設計；李豪杰提供論文寫作指導.