基于TOF相機的機械部件快速重建與測量方法

王 濤，薛少辰，梁 梓

（中國人民解放軍陸軍裝甲兵學院車輛工程系，北京 100072）

基于TOF相機的機械部件快速重建與測量方法

王 濤，薛少辰，梁 梓

（中國人民解放軍陸軍裝甲兵學院車輛工程系，北京 100072）

針對機械類裝備教學工作開發的維修訓練增強輔助系統，為修理人員訓練提供了與指導人員實現多維信息交換的交互平臺。基于TOF相機的深度圖增強算法原理，基于Kinect的旋轉剛體三維重建方法，通過對機械部件三維點的云獲取以及線、面、體的幾何測量，完成對整個部件的三維重構建模，以應用于機械維修訓練增強輔助系統中。

TOF深度圖像；三維重建；點云計算；配準

10.16621/j.cnki.issn1001-0599.2017.12.55

0 前言

機械類裝備功能的多樣性需求使得安裝在其上的設備在結構上和原理上復雜多樣，對維修人員的知識廣度和深度要求較高，多數維修保障人員的能力還不能滿足現實維修保證需求。隨著科學技術水平的不斷發展，20世紀90年代初，增強實現技術應運而生，該技術英文簡稱為Augmented Reality，此時該技術成為相關學者研究熱點。這一技術實際應用中，主要通過虛實結合實現零件模型的有效組合，同時，優化裝配真實空間，進而有利于優化裝配效果，有利于營造良好的裝配環境，此外，交互方式能夠具體應用[1]。一套行之有效的對機械類裝備各部件進行快速三維重構和測量，從而建立虛擬三維模型的方法是必要的。

1 研究現狀

1.1 TOF相機原理

TOF（Time of Flight）相機以微軟公司的價格低廉的Kinect為媒介，包含彩色攝像頭、深度（紅外）攝像頭、紅外線投影機以及4個麥克風[2]。其中彩色攝像頭用于拍攝彩色視頻圖像；紅外投影機投射近紅外光譜，接受前方不光滑的物體或毛玻璃產生的扭曲散斑，處理反射信息，獲取物體成像像素的深度值，生成深度圖像。4個麥克風組成四元線性麥克風陣列，處理聲音信號，過濾背景噪聲，定位發生源方向。由于在深度圖像中，場景中物體到相機的距離可以其深度值表示，因此場景中物體的三維結構信息可以通過深度值體現。與傳統的彩色圖像相比，深度圖像在人體姿態估計、目標檢測等領域都有著更為廣泛的應用前景[3]。

1.2 國內外研究現狀

目前，國內學者以及其他外國學者在探究三維重建技術的過程中，適當應用Kinect于其中，主要有4種方式。

（1）保持被研究對象以及所在場景于靜止狀態，與此同時，適度改變Kinect位置，完成深度圖像的有效收集，最終完成重建任務[4]。

（2）站在特定角度實施相關深度圖像獲取活動，在此期間，提高Kinect的應用率，基于此，在短時間內高效重建，某大學著名研究學家對此從不同角度進行信息收集和整理，以便為重建工作提供有力數據支持[5]。

（3）這種方式不同于上述兩種，它主要變動物體位置，此時Kinect處于靜止狀態，以此獲取深度圖像，完成最終的重建任務，文獻[6]中提出了具體的重建方法。

（4）在非勻速非定軸條件下，通過固定位置Kinect采集二維深度圖像，并通過點云計算和配準完成全局三維坐標下所有點的表示[7]。裝甲車輛部件工作時相互間運動復雜，同時一般屬于剛性物體不存在尺度變換，適用于非勻速非定軸剛體條件下的三維重建算法。

2 三維重構

2.1 重構流程

針對三維重建法進行重構流程分析時，將分析條件設定為非勻速非定軸旋轉，與此同時，應用Kinect，具體步驟主要有[10]：深度圖像獲取，固定Kinect獲取部件非勻速非定軸旋轉中深度圖像；事先處理，深度圖像獲得后，需要進行預處理操作，處理內容分別為去背景、降噪處理；點云計算。計算各點的三維坐標和法向量，由以上6個值組成點云；配準，表示坐標點的過程中，應做好矩陣變換、坐標系轉換等工作；映射，求TSDF（Truncated Signed Distance Function，截斷符號距離函數）值的過程中，常用加權平均法完成求值工作[11]，實現物體各點從全局三維坐標系到各個體素上的映射；修正，為了提高數據處理源質量，增加數據處理源的準確性，務必實施映射、加權平均法，針對所獲得的體素值合理調整、有效修正，最終獲取點云數據[12]；表面生成，由于立方體體素數量相對較多，針對等值面獲取的過程中，適當應用移動立方體算法[13]，以此生成整體表面。

2.2 三維點云獲取

Kinect通過Depth Generate（r深度發生器）得到實際的深度值，單位是mm。即該點與Kinect所在呈90°角。確定世界坐標系，即[R，t]=[I，0]，深度圖像上的值即為世界坐標系下的值ZW，對應相應的圖像平面的點（u，v），由相機成像原理及投影方程得式（1）。

由于相機內參K以及u，v，ZW己知，可得世界坐標系下坐標為式（2）。

XW，YW，ZW，即點（u，v）對應的世界坐標系下的坐標。通過計算各點、在世界坐標系下的坐標，獲得深度圖像。

2.3 點云ICP精確配準

采用基于迭代的ICP精確配準算法[14]，對于數據集P中的每個數據點，在目標數據集中找到相應的最近點集Q，該過程記為Q=c（P，T），己知控制點集P，Q，變換矩陣參數的估計記為（H，d）=q（P，Q）。對數據集中的每個點，經過變換矩陣H更新后記為H（P）=R（P）+T。設S為源數據集，設T為目標數據集，初始令 P0=S，R0=I，T0=0，k=0，則 ICP 算法迭代步驟如下。

（1）計算最近點。對Pk的每個數據點，估計目標數據集T中最近點集Qk。

（2）估計配準參數。使目標函數最小化，估計配準參數式（3），計算估計誤差 dk。

（3）更新源集，用得到的配準參數Hk，對數據集進行更新，其中 Pk+1=H（kP0）=R（kP0）+Tk；重復迭代：當閾值 ε＞兩次估計得到的誤差變化時，即||dk-dk+1||＜ε時，迭代停止。

在目標數據集中找出源數據集P中每個點的對應點，對剛體的運動參數進行估計。尋求對應點的方法有最近點匹配、法向投影匹配和相機投影匹配。采用不同的匹配方法通常依賴于數據的幾何模型和數據集之間的重疊情況。

2.4 模型表面構建

采用TSDF點云融合和移動立方體算法（Marching Cubes）完成模型表面的構建[15]。根據配準變換參數，與此同時，實現世界坐標的有效轉化，數據立方體相應體素內具體投射世界坐標。數據加入模型時，按照式4和式5融合處理，式中di+1表示加入新點云的數據后當前點云對應的SDF（Signed Distance Functions）值，Di表示原有的TSDF加權值。通過權重W 進行融合，新的權重為兩權重之和，在KinectFusion算法中當前點的云權重為1。

移動立方體算法是一種基于體素（voxel）的表面構建方法。該方法應用的過程中，字母V代表等值面值，同時，假設立方體的棱上值線性變化。如果8個頂點TSDF值均＞或＜V，則等值面重合于該立方體；反之不重合。對于棱，如果兩個端點值均＞或＜V，則該棱與等值面不相交；反之有交點，對于棱與等值面的交點，常用線性插值法予以獲取。通過組合三角片法實現相同立方體的交點連接，最終形成的面能夠代表等值面。

3 幾何測量

3.1 對兩點間表面距離的測量

本文使用帶約束條件的特殊二叉查找樹kd-tree（kdimensional tree）算法[16]，采用FLANK，快速最近鄰點檢索庫搜索每個頂點半徑為r的鄰域的鄰接點集合，計算其與頂點間的距離。從點云中構建圖結構，每個頂點與其鄰接點相連構成圖的邊，歐式距離作為該邊權值。

圖中兩點之間的最短距離由單源最短路徑算法Dijkstra[17]算法得到。設G=（V，E）是一個帶權無向圖，V和E分別為圖中所有頂點集合和所有邊集合，假設源點為V0，針對最短路徑查找所應用的算法主要有：將頂點集合V分成包含所有己計算出源點到該頂點最短距離的頂點集合S和包含所有未計算出源點到該頂點最短距離的頂點集合U；初始狀態，S中只有源點，即S=｛V0｝，U包含了V中除V0外的所有其他頂點。V0到U中任意頂點u的初始距離為：如果存在邊＜V0，u＞，邊上的權值由兩頂點間初始距離表示；如果不存在邊＜V0，u＞，

則兩頂點間初始距離為無窮大；在u中選擇與V0距離最小的頂點k，把k從U移除并添加到S中，更新U中所有頂點到V0的距離：如果從源點V0經k到U中任意點u的距離比原先的距離（即不經過k）短，則更新＜V0，u＞的距離值，新的值為源點到 k 的距離與邊＜k，u＞的權值之和，同時，把＜V0，u＞加入源點 V0到u的最短路徑中。重復（3），在U中選擇與k距離最小的頂點，直到U為空，S中包含所有頂點。

3.2 基于三角網格模型對封閉區域體積的測量

通過構建三角網格模型，指定投影平面，計算三角面片及其在投影平面上的投影三角形圍成凸五面體的帶符號體積，整個模型體積即其代數和。

與所有三角面片均不相交的任意平面均可作為投影平面，設其z=zmin，其中zmin為三角網格模型頂點Z坐標的最小值。若投影平面不平行于XOY平面，可通過適當的三維旋轉變換使投影平面與XOY平面平行。

任意三角面片t和投影平面圍成的凸五面體Pt可分為一個三棱柱和2個四面體，其體積和即為凸五面體體積Vt。4個頂點坐標分別為（x1，y1，z1）（，x2，y2，z2），（x3，y3，z3）和（x4，y4，z4）的四面體體積，見式（6）.

需確定各三角面片投影體積的符號：正號在計算時加上該四面體體積，負號則減去。判斷符號依據如下[18]：

對于所有三角面片圍成的封閉三角網格模型，令三角面片集合為T，其中任意三角面片t在投影平面的投影三角形為tD，計算三角面片集合見式（7）。若集合 At中任意 t和 t′均有 tD?tD′或 tD∩tD′=?，則 t投影符號為（-1）|At|+1。At計算方法如下。

（1）計算t與投影三角形tp，判斷兩三角面片的投影三角形的包圍矩陣是否有交集，若無交集則兩投影三角形無交集。

（2）若滿足（1），繼續判斷兩投影三角形各邊是否有交集，若是，則相交；若不滿足（1），判斷兩投影三角形是否相互包含，如果不相互包含，那么兩投影三角形不相交，反之，則相交

3.3 基于三角網格模型對表面積的測量

同樣指定一個平行于XOY平面的投影平面z，通過At和三角面片的方向矢量（x0，y0，z0），可計算出每個三角面片的面積A見式（8），部件的表面積可以簡單的用這些三角面片面積之和表示。

4 結論

通過TOF相機獲取深度圖像，在非勻速非定軸旋轉條件下，對獲取的點云數據進行精確配準和修正，根據數據進行線、面、體的幾何測量，并最終形成基于TOF相機的機械類裝備的三維重建方法和測量方法，以應用于機械類裝備維修訓練增強輔助系統中，為機械類裝備維修和教學工作提供了有效支撐，同時為增強現實技術在維修領域的應用研究提供參考。

［1］李陽.基于NyARToolkit的實時增強現實動員仿真系統開發研究［D］.北京：北京交通大學，2015.

［2］鄔冠上.基于Kinect的交互式健身游戲的設計與實現［D］.中國科學院大學，2014.

［3］陳理.Kinect深度圖像增強算法研究［D］.長沙：湖南大學，2013.

［4］劉金榮，李淳亢，歐陽建權，等.基于聯合雙邊濾波的深度圖像增強算法［J］.計算機工程，2014，40（3）:249-252.

［5］劉俊毅.彩色圖像引導的深度圖像增強［D］.浙江大學，2014.

［6］Kopf J，Cohen M F，Lischinski D，et al.Joint bilateral upsampling［J］.Acm Transactions on Graphics，2007，26（3）:96.

［7］Yang Q，Yang R，Davis J，et al.Spatial-Depth Super Resolution for Range Images.［C］.//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society，2007:1-8.

［8］Paris S，Durand F.A Fast Approximation of the Bilateral Filter Approach［J］.International Journal of Imaging Systems&Technology，Using a Signal Processing2008，18（2-3）:124-136.

［9］NasonovA V，KrylovA S.FastSuper-Resolution Using Weighted Median Filtering［C］.//on Pattern Recognition.IEEE Computer Society，2010:2230-2233.

［10］韋羽棉，尚趙緯.基于Kinect的旋轉剛體三維重建方法［J］.計算機與現代化，2014.5

［11］NewcombeR A，IzadiS，Hilliges，etal.KinentFusion:Realimedense surfane mapping and tracking［C］.//Pro-needings of the 2011 IEEE International Symposium Mixed and Augmented Reality.2011:127336.

［12］IzadiS，Kim D，Hilliges0，etal.KinectFusion:Real-time 3D reconstruction and interaction using a moving depth camera//Proceedingsofthe 24th AnnualACM Symposium on User Interface Software and Technology.2011:559-68.

［13］Curless B，Levoy M. A volumetric method for building complex modelsfrom rangeimages［C］.//ProneedingsofSIGGRAPH 1996.1996:303-12.

［14］Besl P J，McKay H.D.A method for registration of 3-D shapes.IEEE.Transactions on Pattern Analysis and Machine Intelligence，1992，14（2）239-256

［15］Lorensen W E，Cline H E.Marching cubes:a high resolution 3D surfacealgorithm［C］.ACM Siggraph ComputerGraphics.ACM，1987，21（4）:163-169.

［16］劉艷豐.基于kd-tree的點云數據空間管理理論與方法［D］.長沙：中南大學，2009.

［17］嚴蔚敏，吳偉民.數據結構（C語言版）［M］.北京:清華大學出版社，2007.

TP75

B

〔編輯 凌 瑞〕