基于邊緣提取與多項式擬合的三維位姿解算方法

朱 騰，郭曉瑩，閻漢生2,，梁劍斌，舒 彬

（1.廣東工貿職業技術學院測繪遙感信息學院，廣州 510550；2.廣東工貿職業技術學院測繪地理信息技術虛擬仿真實訓基地，廣州 510510；3.廣東工貿職業技術學院機電工程學院，廣州 510510；4.廣東工業大學機電工程學院，廣州 510039）

0 引言

現代的工業體系愈發復雜化、精細化，在產品裝配、電路板布線等操作要求復雜的生產需求中，由于操作工藝自由度大，邏輯要求較高，難以實現全自動化生產，必須引入人工操作，這就對生產裝配的指引系統提出了更高的要求。

增強現實（AR）是一種利用計算機和相關顯示設備將虛擬信息疊加到用戶視覺中來增強真實場景信息的技術。與早期的文本信息疊加相比，目前AR的研究主要集中在如何準確、穩定地將三維虛擬模型“放置”在真實世界中。要想獲得目標在虛擬場景中的位置信息，就必須計算出目標在虛擬場景中的位置，從而將二維投影無偏差地顯示出來，然后將三維虛擬對象無縫地添加到真實環境中。

目前，目標姿態檢測是計算機視覺領域的一個研究熱點。在硬件系統上，主要有兩種方法：基于雙目視覺結合深度信息的目標重建與匹配，以及基于單目攝像機與圖像邊緣、紋理或特征點的特征匹配。其中，雙目視覺方法能有效地恢復深度信息，但需要的計算量大，難以滿足實時跟蹤需要。而實際生產環境對實時性和經濟性的要求使得單目視覺方法成為了更受關注的研究方向。

針對經典實驗算法與應用要求不匹配的問題，本文提出了一種基于直線特征和多項式擬合的平板目標三維位置和方向解算方法。實驗表明，該算法能克服實際生產環境下的光照不穩定、自然特性易被遮擋、金屬表面材料等問題。

1 理論基礎

1.1 研究場景

本文研究對象為大型基站天線板布線過程中的AR輔助系統。其主體架構包括AR眼鏡、圖形處理終端、場景監控攝像頭、工作臺及目標工件。其中，出于成本控制及實際工作需要，在天線板、工作臺等監測場景中均不允許出現人工標記，同時場景監控采用一個普通光學攝像頭，如圖1所示。

圖1 實驗工作場景（a）與系統架構（b）

在該研究環境下，頭頂攝像機是主要的信息采集設備，它利用全局監控的攝像設備獲取目標天線板的位置和姿態變換信息，并控制AR場景中的虛擬模型完成相應的運動。

1.2 單目位姿跟蹤原理

單目視覺監測雖然難以獲得深度信息，但具有成本低、計算速度快、精度適中等綜合優勢。單眼透視成像模型如圖2所示，它定義了世界坐標系-xyz和相機坐標系-xyz。

圖2 單目視覺位姿檢測模型

其中表示成像矩陣，包括相機內參、畸變系數等參數，可通過棋盤標定法求解，在固定系統中為定值。姿態矩陣和位置向量共同構成外參矩陣，及世界坐標系到相機坐標系的變換矩陣，為求解和，至少需要4對同名點帶入式（1）。其中，姿態矩陣又可以分解為繞、、三個方向的旋轉角，由于基站天線板呈長條狀，其軸翻轉角度可限制在（-20 °，20 °）之間，而本文算法即研究單目攝像頭下天線板二維圖像與其姿態角、位移量的解算關系，如圖3所示。

圖3 天線板三個方向的旋轉及位移示意圖

2 基于線特征的三維天線板位姿檢測

2.1 基于神經網絡的邊緣直線提取

天線板表面零件及布線情況將隨著工序的進展而不斷變化，故本文主要采用天線板邊緣直線作為匹配特征，邊緣線段的提取方法則借用Mask-RCNN神經網絡出色的目標識別及分割能力來完成。邊緣提取的流程包括訓練集選取、特征提取、SVM分類、參數訓練、神經網絡分割、邊緣擬合，如圖4所示。

圖4 Mask-RCNN邊緣提取過程

2.2 基于多項式的翻轉角擬合方法

提取得到天線板邊緣的三根直線后，即可模擬天線板位姿與邊緣直線的對應關系。其中位移向量，平面旋轉角均可通過邊緣直線快速求得，而對于軸翻轉角度，本文提出使用多項式擬合方法求解：

記一組天線板邊緣直線的夾角和與之對應的翻轉角度滿足多項式（3）：

則可以得到懲罰函數：

由上述兩式即可根據給定步長擬合翻轉角與邊緣夾角在任意角度的對應關系。

3 實驗結果

實驗部分主要測試算法在實際生產環境下的魯棒性，同時與Holcon的局域模板匹配方法對比了擬合精度與解算速度。在本文研究的智能生產案例中，采樣選取了［-15 °，15 °］間共7組采樣數據作為多項式擬合參考，如表1所示。

表1 采樣數據表

帶入懲罰函數式（4）后，解得擬合次數最優值為3。位姿解算方法測試部分主要測試了遮擋、光照、翻轉三種干擾因素下的魯棒性，結果如圖5所示。

圖5 不同工作環境下的形狀匹配結果

從圖5可以看到，本文采用的神經網絡邊緣提取與多項式擬合位姿求解算法對于不同的光照和遮擋干擾都有較好的適應能力。同時，為驗證本文算法在位姿跟蹤過程中的精度，根據［-15°，15°］間的7組采樣數據進行了擬合結果與真實值的對比分析，結果如圖6所示。

圖6 位姿變化量實驗數據與真實數據對比

其中為樣本真實值，為Holcon局部輪廓模板匹配方法解算出的翻轉角，為基于邊緣直線與多項式擬合求解出來的結果。對比結果表明，本文的位姿求解方法在方向的誤差不超過5個像素，方向不超過2個像素，旋轉角擬合精度可達1°，翻轉角度可達2°，且與真實值誤差均小于Holcon局部輪廓模板匹配方法。對于位姿解算速度，局部輪廓模板匹配方法平均耗時864 ms，邊緣直線多項式擬合方法平均耗時643 ms，效率提高25%以上。

圖7展示了AR布線輔助系統視角下的虛實融合場景。從圖7可以看到，由于目標板材屬于大型目標，多項式擬合算法的誤差對人眼產生的視覺上的影響難以察覺，完全不影響操作人員進行布線操作。

圖7 AR眼鏡端場景展示

4 結語

本文主要利用天線板的邊緣直線進行目標工件的三維位姿解算，結合實際生產環境下的位姿變化量分析，通過降維、減小搜索空間方法提高位姿解算速度，利用Mask-RCNN神經網絡的抗干擾性完成天線板邊緣的快速魯棒提取，最后通過多項式擬合的方法求出目標的位姿變化量，并用于天線板AR布線輔助系統的虛實融合指引。實驗結果表明，結合直線特征與多項式擬合的位姿解算方法精度可達2～5像素，旋轉角擬合精度小于1°，均超過商業軟件Holcon的局部模板匹配算法，關鍵幀重定位效率提高25%以上。

基于結線特征與多項式擬合的位姿解算方法最終應用于大型天線板智能生產試驗線路，生產實測結果表明，經過解空間優化后的單目三維注冊方法在實時性、準確性、魯棒性等方面均能夠滿足實際生產需求。在后續研究中，本團隊將繼續結合企業一線生產需求，從經濟性、便攜性、魯棒性等方面進一步優化面向智能生產的AR裝配指引系統。