基于數字孿生的生產線三維檢測與交互算法研究

陳末然，鄧昌義，張 健，郭銳鋒

1(北京航空航天大學 儀器科學與光電工程學院，北京 100191)

2(國家工業信息安全發展研究中心，北京 100040)

3(中國科學院 沈陽計算技術研究所，沈陽 110168)

E-mail:dengchangyi@sict.ac.cn

1 引 言

隨著自動化技術的發展，視覺檢測算法被廣泛應用于智能化生產線以提高自動化水平，可用于生產線異常檢測、機械臂加工，質量分揀等環節中.近年來，視覺檢測技術在圖像領域有著極大的發展[1，2].但是由于二維目標檢測方法僅可以分類目標的像素坐標，缺乏物理世界參數信息，所以在三維場景的實際應用中存在一定的局限性[3].

三維目標檢測方法，旨在識別三維場景中的目標物體，并且獲取目標物體的位置以及姿態等幾何信息，目前算法大致分為兩類：基于神經網絡的方法和基于特征描述的方法.基于神經網絡的方法在檢測準確性和實時性方面有待進一步發展，以DSS[4]、3D-SSD[5]為代表的三維空間卷積的方法，將三維空間柵格化，利用圖像卷積的思想完成網絡的搭建，但是三維卷積產生了大量的空卷積計算量，并且點云自身的缺陷也導致在精度上不及圖像檢測.以F-PointNet[6]為代表的基于彩色圖像和點云的雙通道卷積網絡融合的方法，將2D檢測網絡的結果通過2D-3D的對應關系確定點云目標區域，雖然提高了檢測精度和效率，但網絡結構復雜，且超參數類似于“黑箱”，人工很難解析高維參數的作用并針對專用場景的約束進行優化.基于特征描述的方法應用較為廣泛，旨在尋找模型點云和場景點云中特征點的對應關系，常用的FPFH[7]等算法，但是在雜亂背景和噪聲的環境中，仍有抗干擾能力不強的問題，表現在傳統的特征匹配方法往往存在大量偽對應關系.Linemod算法[8]綜合二維RGB梯度與三維法向量特征，但在實際應用中仍需要精細配準.生產線是專用化的機械、微電子、傳感器系統，但往往檢測算法相對獨立，不利于指導工件檢測環節的約束與優化.隨著生產各環節之間的內在關聯與約束在生產任務中的地位越發突出，亟需結合設計環節中已有先驗信息的檢測分析算法，將算法的通用性轉化為特定產線的專用性.

以數字孿生[9]驅動的檢測算法相對于傳統方法有以下的優勢：一方面可利用工件數據庫、傳感器標定數據、產線結構等信息作為指導，促進檢測算法和設備的匹配，改進設計缺陷，降低設計冗余，減少偽對應關系等.并且反饋回的信息可以通過產線數字孿生平臺呈現，不再是抽象的數據而是可讀性強的直觀數據或影像，進一步作用于產線的控制.

本文提取被測工件數字模型的特征描述構建數字孿生體，在特征描述的基礎上優化傳統的最近鄰特征匹配算法，引入霍夫投票機制在產線孿生空間中尋找標志點位置，以篩選剔除特征匹配后的偽對應關系，提高工件類別、位置、姿態等狀態變量的檢測準確率與魯棒性，實現算法與檢測設備、工件模型和產線環境的融合，改善產品生產質量管控過程.

2 問題描述與方案

目前基于三維特征描述的方法，需要從大量點云數據中提取物體的局部特征.三維檢測技術一般分為兩個環節.首先在場景中識別被測物的類別標簽，再定量計算被測物體的位置姿態矩陣.

所以檢測任務是兩個任務模塊，第一個是獲取場景S(P1,P2,P3,…，Pi)中可能存在的候選模型M(p1,p2,p3,…pj)，二是獲得每個候選模型可能的姿態假設H(h1,h2,h3,…hk).若只采用關鍵點的位置，則需要至少三個特征對(δm,δs)、(εm,εs)、(θm,θs)，能計算場景與一個候選模型之間的變換關系,其中δm,δs,εm,εs,θm,θs表達式為三組分別在模型中和在場景中的對應點坐標.若同時采用關鍵點的位置和法向量δm,δs,Nm,Ns，則至少需要兩個特征對才能計算一個變換關系，Nm,Ns為點對的法向量.如采用局部坐標系，則只需一個特征對vm,vs即可實現變換關系計算，vm,vs為局部坐標系相對于標志點的向量.

在生產線中存在機械臂與裝配運輸操作，使得工業檢測從3個自由度擴展到6個自由度.由于三維場景中包含大量的局部特征，每個局部特征對應一個高維描述向量，一個確定的位置姿態需要確定六維向量(x,y,z,α,β,γ)，其中有三個平移自由度，三個旋轉自由度，構造多維的參數空間進行廣義霍夫變換計算存在效率低下的問題.需要指出的是，特征對應關系既包含正確的，也包含錯誤的.為精確計算假設，需要采用有效的方法從包含錯誤特征點對的集合中盡可能準確的獲取場景與模型之間的變換關系.因此需要從模版數據中提取描述性強的特征，并構建向量投票空間.使用上述局部坐標系的方法，可以減少傳統算法的特征維度、計算量，提高匹配精確性.

本文針對傳統檢測方法中特征匹配存在大量偽對應關系和參數空間維度高計算量大的問題，引入數字孿生技術建立特征描述的物理模型：在靜態的離線環節提取工件點云SHOT(signatures histogram of orientations)[10]特征和局部坐標系，將工件的數字模型質心作為標志點，計算投票向量作為特征描述模型.在動態在線環節中構造孿生的霍夫投票空間，通過投票機制在投孿生空間中計算出局部極大值位置.再由絕對定向等后處理，得出位置姿態的平移旋轉向量.并且數字孿生平臺可以虛擬現實技術呈現生產線實時物理狀態，這種轉化方式使得生產過程更加直觀.

3 數字孿生模型

數字孿生模型是被測物理實體中局部坐標特征描述和生產線實體物理環境的數字孿生體，被測物抽象成數字模型為檢測環節提供所需的先驗信息，基于產線實體環境的孿生空間為檢測添加約束.數字孿生模型由圖1中三部分組成：

1)離線模型：特征提取的環節總結為靜態性能的物理模型.通過工件點云模型提取SHOT特征點，建立基于局部坐標系的特征描述，作為檢測模版內置于數據庫中.

2)在線模型：檢測階段霍夫投票機制為動態模型.傳感器深度數據通過標定參數進行點云轉化，提取場景點云的特征描述，與模版數據匹配檢測.

3)在后處理和假設驗證階段，對投票空間進行非極大值抑制，投票點極大值對應的點對進行最小二乘法計算絕對定向，ICP精確迭代后提高平移旋轉計算準確性.

圖1 數字孿生模型的設計框架

3.1 離線靜態模型

在三維目標檢測中，點云的特征描述占據著重要地位，特征點可進行匹配以達到物體檢測的目的，此過程需借助特征描述.選取特征點的魯棒性、描述性、旋轉不變性等能力將決定檢測算法是否能準確完成識別匹配等任務.其中研究表明[11]，局部特征描述與全局描述相比，具有旋轉不變性，尺度不變性，更能準確的檢測目標物體.

3.1.1 特征選擇與初始匹配

特征類型及其作用如表1所示.局部坐標系LRF(Local reference frame)對于一個特征描述符至關重要，本文選取SHOT(Signatures histogram of orientations)特征，充分結合了直方圖(Histogram)和標簽(Signature)兩種特征的優勢，并具有獨特唯一的局部坐標系，有良好的噪聲魯棒性、尺度不變性、旋轉不變性等.

SHOT特征構造過程是在法向量與局部坐標系建立后，對球形支持域結構內形狀信息和紋理信息進行統計.首先在特征點處建立一個半徑為R的球形領域，在球形領域中分別將高度二平分、經線二平分、方位角八平分，離散化成32個等分球殼.在每個球殼內劃分11個單元的Histogram直方圖，各Histogram內統計單元值是特征點處法向量與鄰域點法向量夾角的余弦值.

表1 特征類型及作用對比

Table 1 Type and effect comparison of key points

MethodCategoryUnique LRFTexture3D-SURF[12]SignatureYesNoPFH[13]HistogramRANoFPFHHistogramRANoSHOTHybridYesYes

(1)

在得到點云模型與場景的描述子后，通過初始特征點匹配方法獲取在兩者之間特征點對應關系.常采用基于KdTree搜索的FLANN[14]算法，并有較快的匹配速度，再通過匹配閾值篩選得到模型與場景的初始對應集合.但是場景中有與目標物體特征描述近似的特征時，初始對應點集合存在大量偽對應關系.

如表2的匹配結果中，正確的匹配比例遠小于偽對應關系，所以針對該問題將工件的特征描述存儲為靜態物理模型，在動態檢測環節中引入三維霍夫投票機制，減少偽對應關系.

表2 傳統檢測算法正確匹配關系占比

Table 2 Proportion of correct matches of traditional detection algorithm

點云數量特征提取數量正確匹配占比(%)目標537928819.5場景966822503

3.1.2 局部特征描述

在目標物體模板的SHOT特征點上建立局部坐標系，計算每個特征點到標志點的局部坐標作為投票向量，標志點取模板點云的質心.

(2)

3.2 在線動態投票環節

3.2.1 構造投票空間

深度傳感器獲得的空間點云三維坐標值是由深度圖像素值根據標定轉換模型計算得到，所以首先建立量值傳遞模型[15].

(3)

利用相機量值傳遞模型可以將深度圖中的點映射到三維空間中，通過遍歷的方式計算所有目標對應的深度圖上的坐標值，將每個坐標值轉換成三維空間坐標，最終組合成點云文件.以點云場景的范圍建立柵格化的孿生空間確定投票空間范圍，柵格分辨率決定位置姿態計算的量化誤差與復雜度.

3.2.2霍夫投票機制

針對上節中匹配出現偽對應關系的問題，引入3D霍夫投票機制[16]，完成點云場景多目標的識別.如果要確定場景中目標物體的位姿，就要確定六個參數，即6DoF(平移參數和旋轉參數)，所以理論需要構造兩個三維霍夫空間，計算量會隨著維度的上升而指數增長.但是借助局部坐標系唯一的特性，只引用一個三維投票空間即可完成目標的識別與姿態估計.

圖2 離線階段和在線階段關系圖

如圖2的離線和在線階段的關系圖，兩者是通過霍夫投票機制關聯的，即在獲得了模型和場景之間的大量對應關系后，對場景中的標志點的位置進行投票.由于投票向量是局部坐標系計算的，此特征也具有平移和旋轉不變性.投票后取得標志位置極大值后再將局部坐標轉換到全局坐標系.

圖3 標志點投票與坐標轉化

圖3表示將孿生模型中的投票向量按照初始匹配的結果，在孿生空間中進行投票，每一匹配關系對應一次投票.

(4)

即可在孿生空間中得到標志點可能存在的位置分布，投票分數較高的位置標志點的確信度越高.

3.3 后處理環節

后處理部分，在孿生投票空間尋找極大值點，應用快速排序方法尋找最大極值點.若實際空間中存在多個目標，則在投票空間中，就會對應有多少個極大值點存在.位置姿態矩陣由絕對定向法求解，通過精確配準與假設驗證定量評價檢測結果.

1)非極大值抑制

對于投票空間中極值不集中或多個實例混疊的情況，需要對投票空間進行高斯濾波，匯聚鄰域內的票數更為準確.并且設定分數閾值，當分數大于特定閾值的位置作為對象的質心.

2)絕對定向

對給定的一組對應關系，需要確定模型和場景之間的6DoF變換.給定這個假設，問題可以通過絕對方向在封閉解決方案中結算旋轉平移矩陣.給定一組n個精確對應關系c1={p1,m，p1,s}，…，cn={pn,m，pn,s}，得到旋轉矩陣R和平移向量T為：

(5)

向量的推導由最小二乘估計得到最優解.

3)ICP精確配準姿態

精細配準一般指ICP(Iterative Closest Point，ICP)注冊方法[17]，主要用于已經初始匹配的點云，需要提升注冊精度的情況.ICP方法是三維到三維常見的位姿估計算法，但是其對初始姿態的要求很高，否則很容易陷入局部最優解，所以需要借助全局的初始點云配準注冊方式.

迭代最近點算法原理為以下流程：

1.由初始匹配后的場景和模型點云P′和Q，作為精確注冊的初始點集；

2.對模型點云P′中的每一點pi，在場景點云Q中尋找距離最近的對應點qi，作為該點在模型中的對應點，建立一組初始對應關系；

3.使用方向向量閾值拒絕錯誤點對；

4.優化旋轉矩陣R和平移向量T，使各對應點對之間的歐式均方誤差最??；

5.將源點云P′點乘上一步得到的旋轉和平移矩陣得到轉換后的點云P″，計算歐式距離誤差.設定某一閾值ε和最大迭代次數Nmax，如果迭代次數大于Nmax或者誤差小于閾值ε則迭代結束，否則繼續重復上述步驟，直至滿足收斂條件.

最大迭代次數、收斂條件是均方誤差小于閾值、兩次變化矩陣之間的差值、對應點對之間的最大距離.在PCL庫中的registration模塊可實現ICP算法.

4)全局假設驗證

假設驗證是在特征描述匹配之后剔除位置姿態假設中的FPs(false Positive)保留TPs(true positive)的過程，全局假設驗證算法[18]使用模擬退火法求解優化聚集點對集合，確定場景中對象假設的實例，減少誤報的數量.

3.4 算法實現

算法實現流程如圖4所示，將前臺和檢測算法與后臺的模版數據結合起來，在虛擬的空間中進行目標位置的投票和姿態的計算.在離線階段提取模型文件的SHOT特征點，根據局部坐標系計算特征描述，存儲為靜態的特征孿生模型.動態環節在孿生的空間中進行投票，可以檢測模版在場景中的模版標志位置.通過最小二乘法計算絕對定向，最后利用ICP迭代的結果驗證姿態的假設.

圖4 算法實現流程

4 實驗與驗證

4.1 實驗平臺

生產線硬件平臺主要包括立體倉庫區域、自動化生產線區域及設備區域.自動化生產線區的末端是成品檢測環節.檢測環節對加工完成的產品進行類別與位置姿態檢測，包括是否有漏裝錯裝及各部件的相對位置姿態是否正確.產品經過檢測工位檢測后，根據不同的檢測結果及下線需求，分為三種結果：

1)合格成品直接送出：六軸機器人抓取合格成品放置于出料輸送線上，經出料窗口送予訪客.

2)合格成品入庫：六軸機器人從緩存工作臺上將合格成品的托盤搬下，放置于AGV上，由AGV送至立體倉庫進行入庫.

3)不合格品回收：六軸機器人從托盤上抓取不合格品，放置于不合格料箱內，待全部生產完成后，由人工統一回收處理.

圖5 模型在場景中的檢測結果

過程中，數字大屏中可實時顯示檢測數據.軟件主體為基于Unity3D的三維可視化方案，可以綜合三維建模、虛擬現實、編程控制等，內置生產線的設計參數與生產狀態數據，為孿生模型提供編程接口，并可有效的反饋檢測的結果，轉化為產線控制信號.

4.2 實驗結果與分析

實驗中深度傳感器采用微軟Kinect2[19]設備，其獲取的深度圖分辨率為512×424pix，對模型和場景點云首先進行降采樣，根據重建點云的分辨率，分別設置局部坐標系計算半徑、SHOT特征計算半徑，匹配群集大小和霍夫變換閾值.

在檢測平臺上放置隨機數目和種類的不同工藝品，檢測目標類別與擺放姿態.實驗中將模型物體附加上平移與旋轉，定量測試正確的特征匹配占比與檢測準確率.

圖5為場景中多目標三維檢測的結果.圖6為模版工藝品中關鍵點提取和關鍵點匹配情況.

從表3可以看出相同條件下，本文方法在特征點匹配的精確性和檢測識別率方面優于其他方法，傳統方法表現在偽對應關系過多，導致識別率較低，而改進的方法在離線和在線環節通過廣義霍夫投票進一步篩選出正確的匹配關系，有效的提高了識別率.

從平移與旋轉的魯棒性分析特征點匹配的正確占比，將模型模板圍繞Z軸旋轉不同的角度，從0°到180°，測試引入霍夫投票機制后，各算法結果正確對應關系占比.

由圖7結果可以得出結論，引入霍夫投票環節后，相對于直接使用傳統的匹配算法，偽對應關系下降明顯，正確的對應關系占據大多數匹配關系，并且算法對于角度的變化有更加穩定的表現，故檢測算法在6DoF檢測中有良好的旋轉不變性表現.

表3 三維檢測實驗結果

Table 3 Three-dimensional detection experiment results

目標點云SHOT+FLANN正確匹配占比識別率LineMod+ICP 正確匹配占比識別率FPFH+RANSAC正確匹配占比識別率SHOT+3D HoughVoting正確匹配占比識別率142.54946.85276.08189.897241.44553.65879.68889.296347.15354.66477.78288.396449.25445.25377.48189.495549.65845.74879.48093.493641.24254.86279.88491.497749.25250.35178.78588.696840.64146.85575.87791.394均值45.149.249.755.378.082.290.195.5

圖7 附加旋轉角度檢測結果

5 結束語

本文基于數字孿生技術改進檢測算法并應用于生產線檢測環節中，建立數字模型連接物理實體與虛擬數字空間，使實時數據結合先驗信息進行合作性的檢測.檢測模型分為離線環節和在線環節.在離線環節中提取模型點云的SHOT特征點，建立局部坐標系，將相對于標志點的局部投票向量作為模版.之后動態在線檢測環節僅采用單獨的孿生三維投票空間，利用局部特征描述唯一的性質降低了計算維度，并且投票結果極大值點的確定排除了其他偽對應關系，提高了檢測算法的準確性.在搭建數字孿生的產線中重復實驗，特征點的正確匹配占比方面有大幅度的提升，并且匹配準確率不隨實驗附加平移旋轉向量的增加而有明顯變化，說明了方法對三維檢測具有較好的準確性和穩定性.

下一步將充分利用數字孿生平臺驅動服務系統和物理設備的能力，提升交互控制效果，探索數字孿生技術在產品全生命周期中落地應用.