學習點云鄰域信息的三維物體形狀補全

摘 要： 在現實世界中，點云數據的采集方式有激光雷達、雙目相機和深度相機，但是在機器人采集過程中由于設備分辨率、周圍環境等因素的影響，收集到的點云數據通常是非完整的。為了解決物體形狀缺失的問題，提出了一種使用局部鄰域信息的三維物體形狀自動補全的網絡架構。該架構包括點云特征提取網絡模塊和點云生成網絡模塊，輸入為缺失的點云形狀，輸出為缺失部分的點云形狀，將輸入與輸出點云形狀進行合并完成物體的形狀補全。采用倒角距離和測地距離進行評估，實驗結果表明，在ShapeNet數據集上，平均倒角距離和平均測地距離均小于多層感知機特征提取網絡與PCN網絡的值，兩值分別為0.000 84和0.028。對于現實中掃描的點云數據進行補全處理也達到了預期效果，說明該網絡有較強的泛化性，可以修復不同類別的物體。

關鍵詞： 計算機視覺； 深度學習； 點云數據； 物體補全

中圖分類號： TP389.1"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-052-1586-04

doi：10.19734/j.issn.1001-3695.2021.09.0383

3D object shape completion under learning point cloud neighborhood information

Zhang Jingjun， Zheng Can， Gao Ruizhen

（School of Mechanical amp; Equipment Engineering， Hebei University of Engineering， Handan Hebei 056000， China）

Abstract： In the real world，point cloud data collection methods include LiDAR，binocular cameras，and depth cameras，but due to factors such as device resolution and surrounding environment during robot collection，the collected point cloud data is usually incomplete.In order to solve the problem of missing object shape，this paper proposed a 3D point cloud object shape auto-completion network that learnt local neighborhood information.The network consisted of a point cloud feature extraction network and a point cloud generation network.It took missing point cloud shape as input，missing part of the point cloud shape as output，and merged the input and output point cloud shape to complete the shape of the object.The experimental results show that on the ShapeNet dataset，the average chamfer distance and the average earth mover’s distance are smaller than the value of the multi-layer perceptron feature extraction network and PCN network，and the two values are 0.000 84 and 0.028，respectively.Complementing the point cloud data scanned in reality also achieves the expected results，this paper indicates that the network has strong generalization and can repair different types of objects.

Key words： computer vision； deep learning； point cloud data； object completion

0 引言

在現實世界中，人類可以從有限的信息中推斷出場景的結構和其中物體的形狀，即使對高遮擋區域也能夠猜測出物體合理的形狀［1］。這種能力源于人類擁有強大的先驗知識，先驗知識是人們成長過程中對周圍環境的學習與感知到的知識。將這種能力擴展到機器人，從非完整的三維物體推斷出完整形狀，在機器人學和感知領域具有廣泛的應用，例如機器人抓取、機器人運動規劃等任務［2］。隨著深度神經網絡在二維圖像上取得了巨大的成就，近些年，許多科學研究者探索深度神經網絡在三維點云［3］、三維體素［4］等數據上的應用。

三維點云是由激光雷達、雙目相機和深度相機等傳感器收集的數據。然而由于傳感器分辨率、人員操作不當或物體自身遮擋，導致了三維點云數據點的稀疏和缺失，從而使物體丟失了幾何和語義信息［5，6］。通常情況下，傳感器獲取的三維點云大多數是非完整的數據。研究的主要任務是在三維點云下的物體形狀補全，以缺失的三維點云形狀的坐標數組作為輸入，輸出為補全缺失部分的三維點云形狀的坐標數組，最后將輸入點云形狀和輸出點云形狀進行合并，獲得完整的點云形狀。本文提出一種學習局部鄰域信息的編碼器網絡，在ShapeNet數據集上進行定量和定性分析，并對修復補全后的結果進行可視化。

1 相關點云工作

在三維數據的物體分類任務中，PointNet［6］開創了以三維點云的坐標（x，y，z）作為輸入來訓練神經網絡的先河。點云數據是一個無序的集合，這意味著無論點如何排序，都不會更改點云的幾何形狀，所以PointNet設計了一種置換不變的特征提取器。首先將三維點云通過多層感知機映射到每個點特征上，然后使用最大池化層提取每個點的最大特征，生成全局特征向量。PointNet++［7］從每個點的鄰域中捕獲點與點之間的幾何關系，核心結構是抽象層，由采樣層、分組層和PointNet層組成。為了更好地學習點云數據，PointNet++疊加了幾個抽象層，從局部幾何關系中學習特征，并逐層提取局部特征。PointConv［8］是一種直接對三維點云進行卷積操作的深度卷積網絡，為了使點云保持置換不變和平移不變，以局部點坐標訓練多層感知機來近似卷積濾波器的權重和密度函數。

在三維點云物體補全任務中，三維點云采集過程中，由于設備受到天氣、物體自遮擋等因素的影響，采集到的點云數據通常是非完整的，需要修復缺失的點云數據。PCN［9］是一種由稀疏到稠密的三維點云補全網絡。受到PointNet的啟發，PCN疊加兩次PointNet層來提取點云數據的特征向量；結合了全連接解碼器和基于折疊解碼器的優點，首先將點云數據特征向量輸入全連接解碼器中生成稀疏的完整點云，然后將稀疏點云輸入到折疊解碼器中生成稠密的完整點云。為了獲得高保真的密集三維點云，Liu等人［10］提出了密集點云補全網絡，主要分為兩個階段。第一階段，參數化表面的元素集合來預測完整但稀疏的三維點云；第二階段，采樣網絡將稀疏預測點云與輸入點云進行融合，獲得稠密三維點云。TopNet［11］是一種新穎的三維點云解碼器，它可以生成一個結構化的三維點云，無須在底層點集上假設任何特定的結果或拓撲。PCN和TopNet使用多層感知機直接處理點云，由于沒有充分考慮點云之間的幾何關系，可能會導致細節的丟失。GRNet［12］是一種點云網格化網絡，首先該網絡將點云轉換為等間距的體素網格，使用三維卷積層對網格進行提取特征，然后將提取后的三維特征向量輸入到去網格化層生成預測點云。

4 實驗

所設計的網絡方法在Ubuntu18.04系統下得到了實現，硬件設備是一臺搭載Intel Core主頻3.80 GHz的i7-10700K處理器、顯存為8 GB的NVIDIA GeForce RTX 2070 圖形處理器以及 16 GB 內存的計算機。

4.1 訓練過程

網絡采用ShapeNet16公共數據集，并按照8：2的比例分為訓練集和測試集，在Python3.6和PyTorch1.4.0的深度學習環境下進行訓練；訓練時采用Adam優化器，初始學習率設置為0.000 1，批量為12次，共迭代101 200步幅，步幅每增加1 000，學習率會減少一倍。隨著步幅的增加，損失函數值下降（圖6），預測點云與真實點云之間的倒角距離減小，說明預測點云更接近于真實點云。

4.2 實驗分析

利用ShapeNet16公共數據集對該網絡進行驗證與評估，并采用倒角距離與測距距離這兩種評估度量對兩個特征提取網絡的點云補全結果進行分析。為了方便進行對比，將倒角距離數值乘以1 000，測地距離的數值乘以100，數值越小，補全物體的三維點云越接近真實點云。

所提出的點鄰域特征提取網絡的參數接近多層感知機特征提取網絡參數的四分之一，如表1所示。點鄰域特征提取網絡所修補物體的三維點云與真實點云在倒角距離與測地距離的數值均小于多層感知機提取網絡所獲得的補全點云，并且兩個網絡的評估度量均小于PCN的評估度量，如表2所示。在網絡參數少的情況下，所提出的點鄰域特征提取網絡補全的三維點云更接近于真實點云。

兩個特征提取網絡與PCN在補全后物體的三維點云與真實點云之間倒角距離的值，如表3所示。在測試數據集上，點鄰域特征網絡與多層感知機特征網絡的倒角距離均小于PCN，并且在包、帽子和水杯這三種類別的倒角距離，點鄰域特征提取網絡所修復物體點云的值略大于多層感知機特征提取網絡的值。

兩個特征提取網絡與PCN在補全后物體的三維點云與真實點云之間的測地距離的值，如表4所示。兩個提取網絡的測地距離均小于PCN的測地距離評估度量，并且多層感知機特征網絡所補全物體點云的值在帽子這種類別上略小于點鄰域特征網絡的值，汽車、電腦和滑板這三種類別的測地距離在這兩個特征提取網絡上持平。

所提出的學習點鄰域信息的三維點云物體補全網絡對非完整處理后的ShapeNet數據集中的物體對象進行修復補全，可視化結果如表5所示。該方法將缺失部分進行恢復，不會改變其他位置的點云，但是PCN是將整個點云重新排列來獲取完整的點云。在表5中，PCN雖然學習出了完整的椅子，但是與真實點云相差太大，PCN對于圓桌的細節學習不到位。

對現實中的物體進行掃描，獲得點云數據輸入到所提出的學習點云鄰域信息的三維點云物體補全網絡中，可視化結果如表6所示。首先，利用手持激光三維掃描儀FreeScan X5對凳子進行掃描，然后將獲取的點云輸入到學習點鄰域信息補全網絡和PCN中進行修復補全工作。在表6中可以觀察到，所提出的網絡完成對點云的補全，而PCN所學習到的點云沒有凳子之間的橫梁。

5 結束語

設計一種學習局部鄰域信息的三維點云的物體形狀自動補全網絡架構，并獲得補全后的完整點云。與其他點云形狀補全網絡相比，該網絡考慮了點與點之間的幾何結構和局部鄰域信息。實驗結果表明，在ShapeNet數據集中，平均倒角距離和平均測地距離均小于多層感知機特征提取網絡和PCN的值，兩值分別為0.000 84和0.028，并且對實際掃描的點云數據進行補全處理，達到了預期效果。該網絡在物體形狀補全上應用廣泛，在后續的研究中，將該網絡應用于移動機器人的感知，識別重建補全的三維物體。

參考文獻：

［1］Mandikal P，Radhakrishnan V B.Dense 3D point cloud reconstruction using a deep pyramid network［C］//Proc of IEEE Winter Conference on Applications of Computer Vision.Piscataway，NJ：IEEE Press，2019：1052-1060.

［2］Mandikal P，Navaneet K L，Agarwal M，et al.3D-LMNet：latent embedding matching for accurate and diverse 3D point cloud reconstruction from a single image［EB/OL］.（2019-03-26）.https：//arxiv.org/abs/1807.07796.

［3］Gadelha M，Wang Rui，Maji S.Multiresolution tree networks for 3D point cloud processing［C］//Proc of European Conference on Compu-ter Vision.Cham：Springer，2018：105-122.

［4］Wang Weiyun，Huang Qiangui，You Suya，et al.Shape inpainting using 3D generative adversarial network and recurrent convolutional networks［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：2317-2325.

［5］羅開乾，朱江平，周佩，等.基于多分支結構的點云補全網絡［J］.激光與光電子學進展，2020，57（24）：209-216.（Luo Kaiqian，Zhu Jiangping，Zhou Pei，et al.Point cloud completion network based on multi-branch structure［J］.Progress in Laser and Optoelectro-nics，2020，57（24）：209-216.）

［6］Qi C R，Su Hao，Mo Kaichun，et al.PointNet：deep learning on point sets for 3D classification and segmentation［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition.2017：652-660.

［7］Qi C R，Yi Li，Su Hao，et al.PointNet++：deep hierarchical feature learning on point sets in a metric space［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：5105-5114.

［8］Wu Wenxuan，Qi Zhongang，Li Funxin.PointConv：deep convolutional networks on 3D point clouds［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：9613-9622.

［9］Yuan Wentao，Khot T，Held D，et al.PCN：point completion network［C］//Proc of International Conference on 3D Vision.Piscataway，NJ：IEEE Press，2018：728-737.

［10］Liu Minghua，Sheng Lu，Yang Sheng，et al.Morphing and sampling network for dense point cloud completion［C］//Proc of AAAI Confe-rence on Artificial Intelligence.2020：11596-11603.

［11］Tchapmi L P，Kosaraju V，Rezatofighi H，et al.TopNet：structural point cloud decoder［C］//Proc of IEEE/CVF Conference on Compu-ter Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：383-392.

［12］Xie Haozhe，Yao Hongxun，Zhou Shangchen，et al.GRNet：gridding residual network for dense point cloud completion［C］//Proc of European Conference on Computer Vision.Cham：Springer，2020：365-381.

［13］Wang Yue，Sun Yongbin，Liu Ziwei，et al.Dynamic graph CNN for learning on point clouds［J］.ACM Trans on Graphics，2019，38（5）：1-12.

［14］Fan Haoqiang，Su Hao，Guibas L J.A point set generation network for 3D object reconstruction from a single image［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：2463-2471.

［15］Savva M，Yu F，Su Hao，et al.SHREC16 track：largescale 3D shape retrieval from ShapeNet core55［C］//Proc of Eurographics Workshop on 3D Object Retrieval.［S.l.］：The Eurographics Association，2016.