基于視覺的大尺度部件相對位姿實時測量方法研究*

（北京航空航天大學機械工程及自動化學院，北京 100191）

飛機、船舶、衛星等大尺度機械產品，由于其結構復雜，幾何尺度較大，大多采用分段分艙制造的方式，最終將各分段對接裝配而成[1]。在裝配過程的最終階段，各部件尺度大，同時要求較高的對接精度，工藝難度大，是大尺度機械產品裝配過程中的關鍵環節。在大尺度產品的最終對接過程中，相對位姿是一個重要的監控項，可為部段對接提供有效的數據支撐，輔助裝配作業的進行。因此，高精度的實時相對位姿測量方法在大尺度裝配這一工業場景具有重要意義。

目前常用的大尺度位姿測量設備包括全站儀、激光跟蹤儀、iGPS、三坐標測量機和視覺測量系統等。全站儀、激光跟蹤儀[2]、iGPS[3]等測量設備具有測量范圍大、測量精度高等優點，但在位姿測量時需逐一獲取各測點坐標，測量效率相對較低，并且在大尺度部件裝配的場景下，需通過轉站以覆蓋完整測量場。三坐標測量機[4]結構穩定，具有很高的測量精度和重復性，但其測量范圍有限，不適用于大尺度裝配場景。

基于視覺的相對位姿測量方法結構簡單，裝置安裝方便靈活，測量精度高，同時具有較好的實時性。中國科學院的趙汝進等[5]提出了一種基于直線特征的單目視覺位姿測量方法，利用新穎的匹配評價函數，提高了位姿解算的精度和魯棒性。北京理工大學的蔡晗[6]提出了基于雙目視覺的非合作目標相對測量方法，利用綜合匹配的方法解算相對位姿。哈爾濱工業大學的劉俊[7]利用物體的CAD模型，通過圖像金字塔和層次聚類結合的方法實現基于單目視覺的目標識別與位姿估計。中國科學院大學的王煜睿[8]提出了基于比例預測的精度提升網絡模型，通過比較物體三維模型渲染圖像和真實圖像的差異優化位姿估計結果，提升了算法的魯棒性和泛化能力。Kehl等[9]在快速物體檢測網絡架構（Single shot multiple–box detector，SSD）的基礎之上，進一步完善了目標位姿的損失函數，同時在訓練數據中增加了虛擬樣本，在PASCAL數據集上得到了較高的位姿估計精度。Li等[10]提出了迭代匹配深度神經網絡（Deep iterative matching，DeepIM）用于解算物體的位姿，該方法需要首先獲得一個目標位姿的初始估計，通過匹配虛擬空間圖像與實物圖像優化位姿估計結果。

針對大尺度裝配的具體工業場景，本文提出了一種基于單目視覺的相對位姿實時測量方法。采用基于合作目標的位姿測量方法，保證測量系統的精度和穩定性。設計了一套可獨立工作的視覺測量系統，包含若干對視覺測量單元和合作靶標，視覺測量單元固定在調整部段上，合作靶標固定在基準部段上，視覺系統采集靶標圖像，實時解算部段間的相對位姿，并通過無線傳輸的方式將測量數據返回。后端接收各測量單元的位姿測量結果，通過多源數據融合算法，解算大尺度部件的實時相對位姿。在實驗室環境下對相對位姿實時測量系統進行測試，驗證其精度和實時性。

相對位姿實時測量系統構建

基于視覺的大尺度部件相對位姿實時測量系統框架如圖 1所示。系統可分為應用層、算法層、信息層與物理層4個層次。應用層將測量過程分為相機參數標定、安裝參數標定、實時位姿測量和系統精度評價4部分。算法層給出了位姿測量系統涉及的所有算法。信息層包含了整個系統所涉及的數據，包括標定參數、實時采集圖像信息和實時解算的位姿結果等。物理層為測量系統所包含的硬件，包括視覺測量單元、合作靶標和上位機。其中，視覺測量單元安裝在調整部段上，合作靶標安裝在基準部段上，上位機以無線通信的方式調度視覺測量單元工作，接收實時測量數據。

基于視覺的大尺度部件相對位姿實時測量系統由合作靶標和視覺測量單元共同組成。其中，合作靶標固定在基準部段上，視覺測量單元固定在調整部段上。視覺測量單元與合作靶標對應布置，保證合作靶標在視覺測量單元的視場范圍內。對于剛性較好的部件，滿足剛體假設，利用一組視覺測量單元即可滿足位姿測量需求。對于剛性稍差的大尺度部件，無法滿足剛體假設，則可采用多組視覺測量單元聯合測量的方法。如圖 2所示，在調整部段上設置3組視覺測量單元，兩組視覺測量單元布置在對接端面上，一組視覺測量單元布置在調整部段尾端底面的中心線上，完整覆蓋整個測量場。

圖1 基于視覺的大尺度部件相對位姿實時測量系統框架Fig.1 Vision–based real-time measurement system framework for relative pose of large–scale components

圖2 相對位姿實時測量系統的組成Fig.2 Composition of real-time relative pose measurement system

視覺測量單元結構如圖 3所示，硬件組成包括工業相機、處理器、無線通信模塊等。工業相機是前端的傳感單元，實時采集圖像，并傳輸至處理器。處理器接收來自工業相機的圖像，實時解算相對位姿，并通過無線通信模塊將位姿解算結果傳輸至上位機。處理器具有獨立的供電模塊，因此視覺測量單元可獨立工作，無需額外的線纜，安裝靈活，具有較強的便攜性。視覺測量單元底板上具有4個定位孔，方便安裝在待測部段上；同時具有4個標定孔，便于標定視覺測量單元的安裝位置。圖4為視覺測量單元實物圖。

視覺測量單元的數據處理單元是嵌入式開發板，搭載四核Cortex–A57處理器，128核Maxwell GPU及4GB LPDDR內存，能夠為位姿解算提供足夠的算力。工業相機辨率為2592×1944，幀率為14fps，采用1/2.5’CMOS傳感器，像素尺寸為2.2μm×2.2μm，滿足位姿解算的精度要求。

系統標定與位姿解算

1 系統標定方法

1.1 相機內參數標定

相機內參數標定是一切視覺測量系統的基礎。

針孔相機模型是最常見的表示相機成像原理的數學模型，如圖 5所示。二維像點p（x,y）與對應的三維物點P（XW，YW，ZW）之間關系滿足以下關系式：

圖3 視覺測量單元組成Fig.3 Composition of visual measurement unit

圖4 視覺測量單元實物圖Fig.4 Physical image of visual measurement unit

其中，Mc為相機內參數矩陣，表征相機坐標系到像素坐標系的轉換關系；而（R | T）為相機外參數齊次矩陣，即相機位姿，表征相機坐標系相對于世界坐標系的轉換關系。在已知相機內參數矩陣的前提下，通過采集已知目標的圖像，建立若干特征點的三維空間坐標及其對應的二維像素坐標的映射，即可求解得到相機位姿。因此，相機標定將直接影響位姿測量的精度。

利用張正友相機標定法[11]，通過在不同姿態下采集已知尺寸標定板的圖像，能夠快速準確地實現工業相機內參數矩陣的標定。

1.2 手眼參數標定

為確定相機坐標系與相機基座坐標系之間的轉換關系，還需要進行手眼標定的工作。

手眼標定常用于機器人視覺，是為了確定相機（眼）相對于機械臂（手）的位姿轉換關系，本文利用同樣的方法確定相機坐標系與相機基座坐標系的位姿轉換關系。

手眼標定可以用式（3）簡潔地表示：

圖5 相機標定中的針孔相機模型Fig.5 Pinhole camera model in camera calibration

其中，A表示相機移動前后位姿變換矩陣；B表示機器人移動前后的機器人末端執行機構坐標系的變換關系；X表示機器人末端執行機構坐標系到相機坐標系地轉換矩陣。

設相機在兩個不同位置時，pc1、pc2分別表示兩相機坐標系下的點，pe1、pe2分別表示兩機器人末端坐標系下的點，則有如下關系：

相機坐標系到標定物坐標系的轉換關系可由PnP算法計算得到，設N1、N2分別為相機在兩個位置相對標定物的外參數矩陣（標定物固定），po標定物坐標系下的點，則有

機器人末端執行機構坐標系與機器人基座坐標系的轉換關系可以由機器人系統的控制面板讀取，設E1、E2分別為機器人末端執行機構在兩個位置機器人基座的坐標轉換關系（機器人基座固定），pb為基座坐標系下的點，有

由式（10）、（11）可以得到

將相機固定于機械臂執行機構的末端，在場景中固定一個標定板，控制機器人使相機在不同位姿采集標定板圖像，同時記錄該位置下機器人面板的示數。為了取得更好的標定結果，數據采集過程視點需分布在以標定板為中心的半球上。在每個位置，由視覺系統可求取相機相對于標定板的相對位姿，由機器人面板可知相機基座相對于機器人坐標系的相對位姿，采集若干圖像，可將該問題轉化為AX=XB的最優化問題，綜合求解得到相機坐標系與相機基座坐標系之間的轉換關系。

2 相對位姿實時解算方法

2.1 圖像靶點提取

視覺單元實時采集合作靶標圖像，為求取位姿，首先應提取靶點，即合作靶標上6組同心幾何圖形的中心。

合作靶標如圖 6所示。該靶標包含5組同心圓環和一組同心正方形。靶標呈不對稱式分布，避免位姿解算出現多解的情況。同心幾何圖形的設計使合作目標與環境中的其他幾何特征區分，并且可通過多次測量取平均值的方法提高靶標提取的精度。

視覺測量系統采集到靶標圖像之后，首先需要提取靶標上的6個靶點坐標。

圖像靶點提取算法如下：

（1）圖像預處理操作，通過濾波算法去除圖像的噪聲；

（2）對圖像進行二值化處理；

（3）提取所有輪廓，并按其包含關系將其存儲為樹形結構；

（4）以深度遍歷方式檢索存在連續4層輪廓的輪廓組，同時按照輪廓兩兩面積比進行二次篩選；

（5）提取輪廓求取重心，得到6個靶標中心點的像素坐標。

提取得到6個靶點的像素坐標后，需將6個靶點按照預先設計好的規則進行排序。稱圓形靶標點為普通靶標點，正方形靶標點為特殊靶標點。規定靶點排列順序如下：以特殊靶標點為起始，按逆時針方向排列各個靶標點坐標。靶點排序算法的主要步驟如下：

（2）計算Pc到特殊靶標點Ps的向量，以此作為參照，根據所有普通靶標點Pi（i=2，3，…，N）到Ps的向量，求出PcPs與夾角θi=cos-1（i=2，3，…，N）；

（4）根據θi從小到大對點Pi（i=2，3，…，N）進行排序，最后將點Ps合并入Pi，得到與三維坐標點順序一致的二維坐標點序列。

2.2 相對位姿解算

根據空間三維點與成像平面二維點的對應關系求解相機的位置與姿態（即相機的外參數）的問題，被稱為透視n點投影問題，也就是人們所熟知的PnP（Perspective–n–points）問題[12]。PnP問題討論的是，基于待測物的n個在三維空間坐標系內相對位置關系確定的點，根據相機采集到的待測物的圖像信息，計算相機相對于待測物的相對位置與姿態。PnP模型是在已知相機內參的情況下討論的問題，給定條件是空間內的n個已知坐標系的點與其對應的圖像坐標系下的投影點，求解目標是相機的外參數矩陣M，包含一個旋轉矩陣R與平移矩陣T。

圖6 合作靶標設計Fig.6 Cooperative target design

相對位姿解算流程如圖 7所示。PnP算法需要的內參數包括相機內參數和靶標點在世界坐標系下的三維坐標，可分別通過相機標定與靶標點標定得到。相機實時采集圖像，通過靶標提取算法得到各靶點在像素坐標系下的二維坐標，將靶點在像素坐標系下的二維坐標與其在靶標坐標系下的三維坐標一一對應，建立PnP模型，利用EPnP方法求解，由此得到相機坐標系相對靶標坐標系的相對位姿。

3 多源數據融合方法

若大尺度部件在對接過程中具有較好的剛性，可視為一個剛體，那么一組視覺測量單元和靶標即可滿足對接過程中的位姿測量需求。但在實際對接過程中，由于部件尺度較大，僅能滿足局部剛體假設，因此需要多對視覺測量單元與靶標聯合測量，以完整覆蓋測量域，得到更為準確的實時位姿測量結果。

大尺度部件裝配的視覺測量場景中，包含多個坐標轉換關系。以3組視覺測量單元、靶標的情況為例，詳細說明測量場景的坐標轉換關系，其他情況同理。

定義如下6個坐標系：調整部段坐標系、基準部段坐標系、相機基座坐標系、相機坐標系、靶標基座坐標系、靶標坐標系。如圖 8所示，其中實線表示兩個坐標系固連，虛線表示兩個坐標系無相對約束。

基準部段坐標系與調整部段坐標系是兩個對接部段的坐標系，它們之間的相對位姿轉換關系是測量系統的目標輸出量。

圖7 相對位姿解算算法流程Fig.7 Relative pose calculation algorithm flow

視覺測量單元安裝在調整部段上，因此相機坐標系、相機基座坐標系、調整部段坐標系彼此之間的轉換關系在對接過程是保持不變的，它們之間的坐標轉換關系可以通過預先的標定工作確定。其中，相機坐標系和相機基座坐標系之間的轉換關系可以通過手眼標定方法解算得到，而相機基座坐標系和調整部段坐標系之間的轉換關系可以利用激光跟蹤儀等高精度測量設備標定。

同理，靶標坐標系、靶標基座坐標系和基準部段坐標系三者之間的轉換關系也是固定不變的。定義靶標坐標系和靶標基座坐標系重合，靶標基座坐標系與基準部段坐標系之間的轉換關系同樣可通過激光跟蹤儀等設備進行標定。

因此，在基準部段與調準部段之間的位姿鏈中，僅有相機坐標系與靶標坐標系之間的轉換關系是未知的。在對接過程中，相機與靶標的相對位姿在不斷變化，相機采集靶標圖像，按照相對位姿實時解算方法，可實時解算靶標坐標系相對相機坐標系的相對位姿。

得到3組視覺測量單元返回的位姿測量結果后，選取全局特征點，對各視覺測量單元的測量結果進行融合，得到相對位姿。一般選取全局特征點為各靶標上的靶標點。通過靶標坐標系–靶標基座坐標系–基準部段坐標系的位姿鏈，可將所有靶標點坐標轉換到基準部段坐標系下，通過靶標坐標系–相機坐標系–相機基座坐標系–待裝部段坐標系的位姿鏈，可將所有靶標點坐標轉換到調整部段坐標系下。由此，得到了靶標點在基準部段坐標系與調整部段坐標系下的坐標，利用最小二乘法即可求解調整部段相對于基準部段的相對位姿。

試驗與分析

1 系統標定

任何測量系統在使用之前都需要進行標定，標定精度將直接影響測量系統的整體精度。

采用張正友標定法對相機進行標定。固定相機，將標定板置于相機視場內，變換標定板的姿態采集多張圖像，綜合求解得到相機內參數矩陣和畸變系數：手眼標定試驗場景如圖 9所示。將測量單元固定在KUKA機器人的執行機構末端，在環境中固定一個標定板，控制KUKA機器人在不同視點下采集靶標板的圖像，同時記錄機器人當前的位姿。試驗過程中，保證相機視點大致分布在以標定板為球心的半球上。

圖8 相對位姿測量系統坐標關系Fig.8 Coordinate relation of relative pose measurement system

手眼標定試驗結果如下：

x=20.539mm

y=–7.830mm

z=184.978mm

Rx=–0.020°

Ry=0.001°

Rz=–1.582°

2 單測量單元試驗結果分析

在實驗室環境下搭建模擬裝配場景，如圖 10所示。其中，視覺測量單元固定在KUKA機器人執行機構的末端，模擬調整部段；靶標固定在基準部段上。

在某個固定位置，利用視覺測量單元多次采集位姿數據，分析相對位姿測量系統的重復精度。

對場景中的多個不同測點，分別進行多次數據采集，求取位姿解算結果各平移分量的標準差，如表1所示。隨著序號的增大，合作靶標從相機視場的一側移動至視場的另一側。從結果可知，4~7組的樣本標準差s較小，而其余幾組稍大，這是因為視覺測量系統在視場中央精度較高，而視場邊緣由于存在一定的畸變，降低了測量精度。

對位姿測量結果各分量求取均值，得到位姿各平移分量的重復精度，如表2所示。可知，位姿測量系統在垂直于光軸方向（X與Y方向）的平移分量重復精度可達0.02mm，在沿光軸方向的測量重復精度優于0.2mm。這是因為單目視覺系統對于深度信息不敏感，所以垂直于光軸方向的測量精度優于沿光軸方向的測量精度。

視覺測量單元測量得到一個位姿測量結果平均用時為0.282s，可實現大尺度部件裝配過程中的實時位姿測量。激光跟蹤儀、全站儀、iGPS等傳統方法，需逐點測量再擬合位姿，而本文所提出的方法可以直接由圖像求解得到位姿，在位姿測量實時性上具有顯著的優勢。

圖9 手眼標定試驗Fig.9 Hand–eye calibration experiment

圖10 相對位姿測量系統實驗室驗證場景Fig.10 Laboratory verification scene of relative pose measurement system

表1 相對位姿各平移分量在各測點的標準差Table 1 Standard deviation of each translation component of relative pose at each measuring point mm

表2 單測量單元相對位姿各平移分量的重復精度Table 2 Repeatability of each translation component of relative pose of a single measurement unit mm

3 多測量單元仿真結果分析

在MATLAB平臺以仿真計算的方法測試多視覺融合方法的性能。按照圖 2所示設置3組視覺測量單元，其中兩個固定于調整部段對接端面，光軸方向垂直于端面，指向基準部段；另一個視覺測量單元固定于調整部段末端底面中心，光軸方向垂直于地面，指向地面。基準部段與調整部段的尺寸均為25m×20m×15m。

按照單測量單元試驗結果設定各測量單元位姿測量結果的不確定度，仿真次數1000次，用蒙特卡洛法計算系統整體的測量重復精度。結果如表3所示。3個平移分量的重復精度相較于單測量單元的重復精度均有所下降，但垂直于光軸方向的平移分量均優于0.1mm，沿光軸方向平移分量優于0.2mm。

多源協同測量過程包含各測量單元獲取位姿、測量數據無線傳輸與位姿融合解算3個環節。其中，視覺測量單元獲取位姿環節用時0.282s，如前文所述；測量數據無線傳輸環節指上位機獲取各測量單元的測量數據過程，在實驗室環境下測試該環節用時優于1s；位姿融合解算過程數據量較小，根據仿真計算結果，該環節用時優于0.01s。因此，多源協同測量過程實際用時優于1.3s，可以滿足大尺度部件相對位姿實時測量的要求。

結論

（1）本文提出了一種基于視覺的大尺度部件相對位姿實時測量方法。設計視覺測量單元與合作靶標，通過圖像信息實時解算基準部段與調整部段的相對位姿，精度滿足大尺度部件裝配過程的位姿測量需求。

表3 多測量單元相對位姿各平移分量的重復精度Table 3 Repeatability of each translation component of relative pose of multiple measurement units mm

（2）本文所提出的方法具有很好的實時性。根據實驗室下的測試結果，算法輸出一次位姿測量結果耗時0.3s，能夠實現大尺度部件對接過程的實時位姿監控。

（3）本文所提出的視覺測量單元體積較小，安裝和使用過程簡單，可多臺設備組網工作，能夠完整覆蓋大尺度部件裝配的測量場，具有很強的工業應用價值。