基于深度學習的三維點云重建

摘 要：三維點云重建技術在眾多領域中有著廣泛的應用，作為二維點云重建技術的改進版，它能夠輸出更豐富的信息，但同時，三維點云技術還有很大的發展空間。而深度學習是人工智能技術的核心，基于深度學習的三維點云重建技術則更加智能，配合神經網絡模型性和PointNet網絡結構，能夠準確高效地提取處理點云信息，精準輸出目標特征，本文就將對其進行探究。

關鍵詞：機器學習;點云重建;卷積神經網絡

引言：

人工智能是目前我國計算機技術發展的重要分支，基于深度學習的人工智能讓很多基于計算機技術的設想成為現實，如無人機、無人駕駛、人臉識別都已經是人們熟知的應用成果。深度學習作為人工智能的核心，與三維點云重建技術相結合也產生不同凡響的效果。

一、深度學習技術概述

（一）人工智能與機器學習

人工智能的概念在20世紀50年代被提出，經過數十年的研究才發展到今天的水平。盡管目前人工智能？已經取得了突破性成就，但不久前還存在的技術障壁問題任然被質疑。直到2012年之后，人工智能技術才在世界頻繁地出現在人們的視野。人工智能技術開始爆發式進步的關鍵就是機器學習新算法的出現，機器學習是一門多領域交叉的學科，主要研究計算機模擬或實現人類的學習行為的原理。

（二）卷積神經網絡的組成與訓練

卷積神經網絡是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的算法之一。輸入層作為處理多維數據的結構，可以接受一維、二維或三維數據，這取決于卷積神經網絡的維度。隱含層又包含卷積層、池化層和全連接層這三類常見構筑，其中卷積層主要負責對數據進行特征提取，池化層在卷積層工作后過濾輸出的特征圖，全連接層的作用只有一個，就是向其他全連接層傳遞信號。輸出層是全連接層的下游結構，主要輸出分類標簽或者分類結果。卷積神經網絡的訓練過程分為兩個階段：數據由低層次向高層次傳播階段和將誤差向底層傳播階段，即向前傳播和向后傳播兩個階段。

（三）深度學習的邏輯原理

深度學習的優勢在于讓機器也能具有學習、思考的能力，簡單來說，借助數據的形式錄入圖像與聲音等信息，讓機器能夠根據之前的圖像或聲音進行判斷，使得機器能夠獲得一定的思考能力。因此，深度學習項目必須要先有圖片或聲音的“基礎”，不同的“基礎”會促使機器開展不同方向的研究。

二、基于三維點云的深度學習算法

（一）3DCNN

3DCNN可以從卷積過程中提取單一類型的特征，這是由于在整個卷積股過程中卷積核的權值都一致，相當于共享權值，也就是屬于同一種卷積核，因此需要采用多種卷積核才能提取多種特征， 例如人臉檢測算法就是使用了這樣的信息輸入方法，具體來說，很多高精度制造都應用了這一技術，例如車輛重建、輔助醫學診斷、測量大范圍地貌、三維數字化城市、三維地圖、VR&AR游戲等等。

（二）PointNet

PointNet的關鍵在于權重共享的卷及操作，這是一種將數據等信息載體轉化為其他信息形式。由于點云的無序性特征增加了數據處理的難度，針對無序點云數據深度學習的發法研究進展緩慢。PointNet網絡模型的出現解決了這一問題，它允許直接輸入點云進行處理，在這之后，依照所有點的特征生成全面的點云特征，不需要增加額外的規整點云的操作。不過PointNet也有不足之處，其一是提取特征的過程缺少對局部特征的處理及提取，對點云空間的鄰近點沒有區分，其二是均勻采樣的點云訓練忽視了現實中點云的疏密變化。

（三）PointNet++

PointNet++是對PointNet進行了改進的版本，解決了PointNet存在的問題。PointNet++可以實現對點云的局部劃分，從而準確處理和提取局部特征，點云密度不均時的處理學習實際上和局部處理的問題存在關聯，在對點云進行局部特征提取后，按照局部點的密度去組合它們。

三、基于深度學習的三維點云重建

（一）點云尺度空間

點云的概念是指某個坐標系下的點集合，包含豐富的數據信息，在逆向工程中通過測量儀器得到的產品外觀表面的點數據集合也可以被稱為點云，根據點數量與點間距的差別可以將其分為稀疏點云和密集點云。尺度空間即觀測、獲取或者處理信息的不同尺度的一種數學集合，也可以理解為一種在多個尺度下觀察目標然后加以綜合的分析和理解的技術。尺度空間的主要思路是，在處理模型中首先引入一個可以被視為尺度的參數，其次不斷變化尺度參數捕捉并提取不同尺度下對應的模型特征信息，最后綜合這些相互補充的信息，完整地還原模型的本質特征。

（二）MSS-PointNet結構設計

點云數據是多種信息的載體表現形式，其中3D voxel grids或圖片的集合是點云數據的常見表現形式，點云數據具有不規則性，這意味著點云數據必須先轉化為其他形式的信息表達方式才能被處理。網絡直接處理場景的點云數據較少，但是能夠極大提高點云數據處理效率，PointNet網絡結構設計并不復雜，卻能夠高效準確的處理數據。要直接使用原始點云數據輸入，在進行空間網絡設計需要考慮到點云只是一系列點的集合，所以需要額外進行一些操作。

（三）多尺度結構

多尺度方法實際上就是對信息的多尺度特征進行采樣，在不同的尺度下捕捉到不同的特征，并提取這些特征。一般來說尺度越小粒度越小，采樣的密度更高，能夠得到更精密的特征信息，尺度越大粒度越大，采樣點精確性就越低，對信息的捕捉就更粗糙。在未來市場中，人工智能的應用必然集中在輕工業或精細化研究中，代替傳統人力完成復雜、精細或勞累的工作，人工智能具備的觀察和感知的能力，可以使得其做到簡單理解和推理，代替人力完成一些較為淺顯的邏輯任務，而強人工技能具有的自適應能力（即機器學習），更是使得其能夠獨立分析解決遇到過的問題。目前，三維重建技術已在醫療、安保、娛樂、城市建設等多個領域得到了廣泛的應用，具體來說，很多高精度制造都應用了這一技術，例如車輛重建、輔助醫學診斷、測量大范圍地貌、三維數字化城市、三維地圖、VR&AR游戲等等。面對不斷增長的3D技術需求，未來還會有更多領域引入三維點云重建技術，并反推其發展進步。

四、結束語

綜上，三維點云重建技術是二維點云重建技術的進一步發展，深度學習是人工智能的重要算法，兩種技術結合帶來了更高效的工作效率。基于深度學習的三維點云重建算法研究已經取得了一定成就，但是還有很多問題待解決。技術和領域的交叉已經成為科技發展的趨勢，未來三維點云重建技術會越來會成熟。

參考文獻：

[1]孔德慧，劉彩霞，王少帆，李敬華，王立春. 一種基于深度學習的三維重建方法[P]. 北京市：CN109993825A，2019-07-09.

[2]白靜， 司慶龍， 秦飛巍. 輕量級實時點云分類網絡LightPointNet[J]. 計算機輔助設計與圖形學學報， 2019， 31（04）：102-111.

[3]邵昀岑. 基于深度學習的三維目標檢測算法綜述[J]. 信息與電腦（理論版）， 2019（23）.

[4]肖仕華， 桑楠， 王旭鵬. 基于深度學習的三維點云頭部姿態估計[J]. 計算機應用， 2020， 40（4）：996-1001.

[5]馮智鍵， 周燕， 曾凡智，等. 基于深度學習的三維模型重建檢索算法研究[J]. 福建電腦， 2017， 033（011）：9-10，53.

作者簡介：

楊學偉（1983—），男，漢族，籍貫：河北遷安，學歷：本科，職稱：工程師 ，單位：上海商湯智能科技有限公司，研究方向：三維重建及應用。