設備主動視覺的模板匹配自標定

粟明 李迪 李松 東梁

(華南理工大學機械與汽車工程學院，廣東 廣州 510640)

設備主動視覺的模板匹配自標定

粟明 李迪 李松 東梁

(華南理工大學機械與汽車工程學院，廣東 廣州 510640)

為簡化自動化設備視覺定位平臺的標定流程，減少對標準塊的依賴并實現標定自動化，本文提出了基于模板匹配的主動視覺自標定方法，依靠平臺運動時拍攝到的圖片，實現任意場景目標的識別，然后建立模型對運動位置進行標定；給出了視覺自標定的原理、流程和容錯方法，適用于多目標的情形；整個過程由粗到精分3圈進行，根據匹配位置自動計算標定結果，使標定更加實用化與通用化。所提方法成功應用于LED平面固晶機中，結果表明該方法精度可達13．947μm，能滿相關自動化設備的視覺標定要求。

模板匹配；主動視覺；自標定；固晶機；定位精度

1 引言

鑒于計算機視覺系統的非接觸、速度快、精度高、成本下降等優點，自動化設備整合視覺系統提升設備的智能化水平已是必然趨勢。視覺標定技術作為設備精定位及其離線編程的基礎，是融合視覺的自動化設備中不可或缺的關鍵技術。視覺標定的目的是確定三維空間與二維圖像之間的映射關系，基于這種映射關系，可獲得二維圖像中的機構精確運動的位置信息。視覺標定有三種不同形式：傳統標定方法、自標定方法和基于主動視覺的標定方法。傳統標定利用加工精度很高的已知標定塊作為參照物，通過空間點和圖像之間的對應關系來建立標定模型，采用優化算法提取參數，典型的方法有Tsai的方法[1,2]、Weng的迭代法[3]以及簡易標定法[4,5]等，傳統法可使用任意攝像機模型、精度高，但過程復雜且需標定塊，視覺定位平臺的場景、位姿和光學參數等易變動，要經常標定，若每次都用標定塊，費時且不方便。自標定技術則直接利用多幅場景圖像特征信息進行標定，無需標定塊、靈活性強，但魯棒性差[6]。主動視覺的自標定是已知某些運動信息的條件下的視覺標定方法，基于運動信息，可以線性求解模型參數，魯棒性更高[7]。

2 基于視覺的平面定位系統

考慮一種典型的由一個相機和2個電機組成的平面定位系統，如圖1所示。平臺負責物料運載，相機則進行識別，相機固定在機架且靜止不動，平臺做運動定位。

運動平臺的精確位置通過目標在圖像中的位置運算得出，圖像運算的坐標都基于圖像坐標系，考慮到像素陣列精度高，且不同品牌相機內部參數不同，實際計算時，忽略相機內部誤差，主要考慮外部位姿誤差。假設平臺運動是基于電機脈沖的，那么需將圖像位置轉化成對電機控制的脈沖值，即計算像素的脈沖當量。對于圖1所示的平面定位系統，圖像坐標系至電機坐標系的轉換主要考慮以下問題：①旋轉，相機的安裝位置和電機的安裝位置的角度偏差；②平移，圖像原點和電機坐標系原點平移偏差；③縮放，兩個坐標系物理尺度不一致。④軸夾角，電機坐標系的雙軸安裝垂直度偏差；⑤仿射，相機投射平面和電機平臺平面的平行度偏差。

圖1 視覺平面定位系統圖

3 模板匹配技術

圖像識別技術是主動視覺的自標定的基礎，利用模板匹配技術，可實現自標定的任意場景目標識別。模板匹配就是模板在搜索圖中進行滑動，對滑動的點進行相似度運算，當模板在搜索圖目標區內的匹配度大于預設值時，可判定為匹配[8]。設搜索圖S大小為M×N，模板圖T為m×n，NCC算法作為基于灰度的典型模板匹配方法，其在滑動位置（i，j）的相似度可定義為：

圖2 多目標處理前識別結果

圖3 多目標處理后識別結果

圖4 最優位置

針對模板匹配速度慢的問題，采用快速歸一化相關性、積分圖像和快速傅里葉變換等[9-12]方法對模板識別速度進行優化，采用曲面擬合[8,13]方法對匹配結果進行亞像素定位。

單目標模板匹配預知搜索圖中最多1個目標，只需在搜索圖中找到大于相似度閾值Q的最高相似度的匹配點，就可確定目標的有無及其位置。當視野內有多個目標，則不一定得出正確的結果。相似度為0.8的LED晶元的實際匹配結果如圖2所示，可以看出，結果把最佳區域鄰域都囊括進來了，相似度閾值Q越低，鄰域越多，如果只取最高匹配，則只能找到一個目標。為此，對算法稍加改進，自標定的多目標識別分4步進行。

第1步：按照相似度閾值Q尋找符合要求的所有點。

第2步：分割目標，根據幾何特征對所得的點進行分類與分割。幾何特征是指歐式距離，設第1步獲得k個點，第i點設置歸類標記hi，初始值hi=0。用x表示橫向位置，y表示縱向位置，q表示相似度，則對于搜索圖S大小為M×N，模板圖T為m×n的匹配，點(xi，yi，qi)和點(xj，yj，qj)的像素距離為

其中i，j=1，2，…，k；i≠j。若L(i，j)＜min(m，n)，則將i，j點歸為同類，已經歸類的點其標記置為1，即hi=1，hj=1。設分割后的總類數為Tn，則第i類的點集為

第3步：取最大相似度的點作為每類最終識別目標。即

改進后的多目標識別結果如圖3所示，不再如圖2那樣有很多白色堆疊框，目標被準確識別出來，不存在鄰域匹配的現象。

第4步：自標定由粗到精分3圈進行，根據自標定的初步結果獲取目標的理論位置，取距離理論位置最近目標為最終識別對象。假定目標的理論位置為(xThe，yThe)，則最優目標位置

其中i，j=1，2，…，n。最優位置和理論位置如圖4所示。

4 視覺自標定

視覺自標定通過運動到不同位置自動求取向量之間的關系來反應圖像坐標系和電機坐標系的映射關系，實際應用中需從圖像確定平臺的目標位置，也需從平臺確定圖像的目標位置。定義脈沖當量表示為圖像移動1個像素對應的平臺運動脈沖移動數，定義像素當量表示為平臺運動1個脈沖對應的像素移動數。建立標定模型如圖5所示，XOY為電機坐標系，SOT為圖像坐標系，假定二者單位向量的映射為

圖5 視覺標定運動位置

式中X、Y表示電機坐標系的單位向量，S、T表示圖像坐標系的單位向量，Rxs、Rxt表示電機X方向的像素當量，Rys、Ryt表示電機Y方向的像素當量，Rsx、Rsy表示圖像S方向的脈沖當量，Rtx、Rty表示圖像T方向的脈沖當量。根據公式（6）求取當量之間的關系，可得

標定時，中心實線框做成模板，確保在中心開始移動。然后分別沿著X-、X+、Y-和Y+這4個方向移動一個步長，對每次移動做圖像識別，計算移動后的模板位置偏移。用A(tai, sai)，B(tbi,sbi)，C(tci,sci)，D(tdi,sdi)，表示這4個位置，其中i=1，2，3。可得脈沖像素當量

按照公式（7）和（8）可求得像素當量Rxs、Rxt和Rys、Ryt。自標定遵循先粗后精的過程，運動流程如圖6所示，全過程分成3圈進行，每一圈都有4個方向的移動，最后進行自動驗證，防止得到錯誤結果。整個自標定需要設定的參數有：①P0-第1圈的起始微脈沖；②L1-第2圈的像素距離；③L2-第3圈的像素距離；④W-模板的寬；⑤H-模板的高；⑥K0-匹配相似度；⑦Le-自動校驗的脈沖數。其中，W、H和K0是用戶設置參數，W、H的值只能取偶數，K0能準確而快速識別目標即可，其余參數都是調試獲得；P0在多目標情形時，保證第1圈不超過模板大小；L1、L2和Le不能使模板目標走出視野范圍，L2越大越好。

圖6 視覺標定流程圖

為保證視覺自標定算法成功，必須有容錯處理：①用戶選擇的模板區無特征導致識別失敗時的處理；②工業PC控制系統中常用的PCI或USB相機易受帶寬影響，會偶爾丟幀，必須進行丟幀處理；③進行圖像計算位置的超行程報警處理；④標定速度不宜過大，定位延時不能太短。

5 標定實驗驗證

基于模板匹配的主動視覺自標定算法，是針對自動化設備的視覺平面定位系統的標定，標定實驗在深圳某自動化設備有限公司的LED固晶機結構平臺基礎上進行，平臺采用2個德國Imaging Source黑白USB相機，分辨率640×480，采用廣州某公司的12軸高性能運動控制卡進行運動控制，試驗平臺機械結構如圖7所示和視覺控制系統如圖8所示。

圖7 固晶平臺視覺控制系統

圖8 固晶平臺控制方法

按照上文標定方法，視覺平面定位系統的重復定位精度尤為關鍵，因此依據工業機器人性能及相關測試方法的國家標準GB-T12642-2001所提供的位置準確度和重復性測試方法，對平臺重復精度進行測試。首先測試模板匹配的圖像識別精度，按照不同模板大小，在不同光照強度條件下，拍照間隔1秒，重復識別30次，測得圖像重復識別精度為0.05像素且具備抗光照能力，表明圖像識別精度對標定誤差的影響非常小。為驗證辨識參數的有效性和準確性，采用圖像識別的像素位置和平臺直線電機的光柵尺讀數作為基準進行誤差測量，平臺的光柵尺精度為1μm。試驗平臺視野行程小于10mm，測試動作不超出視野內，運動時采用標準規定的低速250mm/s。位置穩定性延時根據平臺結構的不同而選擇設定，本測試平臺的定位后延時為300ms。對平臺單向和多向的不同位置重復定位30次，按照標準規定的方法計算偏差，結果如表1所示。

表1 自標定重復定位精度

由結果可知，標定算法在固晶平面定位系統中的重復定位精度為13.947μm，能滿足設備的精度要求。系統辨識結果如表2所示。

表2 系統辨識結果

6 結論

本文基于圖像模板匹配技術，介紹了設備主動視覺自標定的原理，給出了整個標定的運動過程和注意事項，適用于多目標的情形，并在LED固晶機的視覺平臺上進行驗證。結果表明，基于模板匹配的主動視覺自標定算法精度達到13.947μm，僅需辨識幾個參數，避免了傳統采用標定塊的方法或者手動輸入標定參數試驗等復雜過程。一旦算法標定工藝參數調試通過，對于最終設備用戶而言只需要設置模板大小和相似度即可一鍵標定，對模板要求低，大大簡化標定過程。

[1]Tsai R Y．An efficient and accurate camera calibration technique for 3D machine vision[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Miami Beach,Florida,June 22-26,1986．Washington:IEEE Comput．Soc．Press,1986:364-374．

[2]Tsai R Y,Lenz R K．A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]．IEEE Transactions on Robotics and Automation(1042-296X),1989,5(3):345-358．

[3]Weng J,Cohen P,Herniou M．Camera calibration with distortion models and accuracy evaluation[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence(0162-8828),1992,14(10):965-980．

[4]Zhang Y Z．Flexible camera calibration by viewing a plane from unknown orientations[C]//the Seventh IEEE International Conference on Computer Vision,Kerkyra,Greece,September 20-27,1999．Los Alamitos: IEEE Comput．Soc．,1999:666-673．

[5]Meng X Q,Li H,Hu Z Y．A new easy camera calibration technique based on circular points[C]//the 11th British Machine Vision Conference,Bristol,United Kindom,September 11-14,2000．Bristol:Univ．Bristol,2000:496-505．

[6]雷成,吳福朝,胡占義．Kruppa方程與攝像機自定標[J]．自動化學報,2001,27(5):621-630．

[7]胡占義,吳福朝．基于主動視覺攝像機標定方法[J]．計算機學報, 2002,25(11):1149-1156．

[8]鄒廣華．基于幾何特征的快速模板匹配算法[D]．哈爾濱：哈爾濱工業大學,2010：50-58．

[9]Di Stefano L,Mattoccia S．Fast template matching using bounded partial correlation[J]．Machine Vision and Applications(0932-8092), 2003,13(4):213-221．

[10]Wei S D,Lai S H．Fast Template Matching Based on Normalized Cross Correlation With Adaptive Multilevel Winner Update[J]．IEEE Transations on Image Processing(1057-7149),2008,17(11):2227-2235．

[11]Kawanishi T,Kurozumi T,Kashino K,et al．A fast template matching algorithm with adaptive skipping using inner-subtem-plates'distances[C]//The 17th International Conference on Pattern Recognition．Cambridge,England,Augest 23-26,2004．Los Alamitos:IEEE Computer Soc．,2004:654-657．

[12]Briechle K,Hanebeck U D．Template Matching using Fast Normalized Cross Correlation[C]//Conference on Optical Pattern Recognition XII,Orlando,Florida,April 19,2001．Bellingham:Spie-int Soc Optical Engineering,2001:95-102．

[13]李帥,盧榮勝,史艷瓊,等．基于高斯曲面擬合的亞像素邊緣檢測算法[J]．工具技術,2011,45(7):79-82．

Self-calibration of EquipmentActive Vision Using Template Matching

Su Ming Li DiLi Song Dong Liang
(College of Mechanical Engineering,South China Univ.of Tech.,Guangzhou 510641,Guangdong)

act】To simplify the visual positioning platform calibration process of automation equipment,reduce the reliance on the standard block and realize the automatic calibration,this paper presents a visual self-calibration method based on template matching, relying on the platform motion captured images to recognize the target of any scene,and then builds a mathematical model to calculate the calibration results;Gives the principle,process,and fault tolerance method of self-calibration,suitable for multi-objective situation.The whole process calculates the calibration results from coarse to fine points with 3 laps automatically,making calibration more practical and generalization.The proposed method is successfully applied to the LED die bonder.The results show that positioning accuracy can reach 13.947 um based on the method,which can meet the calibration requirements of the relevant equipment.

template matching;active vision;self-calibration;LED die bonder;positioning accuracy

TH744.1

：A

1008-6609(2015)03-0025-04

粟明，男，湖南懷化人，碩士研究生，研究方向：機器人及先進運動控制。

廣東省科技計劃項目，項目編號：2012A090100012；廣東省戰略性新興產業核心技術攻關專項資金項目，項目編號：2012A010702004。