采用輪廓向量特征的嵌入式圖像匹配方法

倪健，白瑞林，李英，吉峰，李杜

1.江南大學輕工過程先進控制教育部重點實驗室，江蘇無錫214122

2.無錫信捷電氣有限公司，江蘇無錫214072

1 引言

圖像匹配技術是機器視覺必不可少的一部分，在醫學、交通、遙感監測、工農業檢測等諸多領域內有著廣泛的應用，尤其是工業流水線上的產品定位檢測，要求圖像匹配具有優秀的魯棒性、實時性。

目前圖像匹配仍是一個熱點和難點問題。Zitova等[1]直接利用圖像灰度信息進行相似度度量以定位目標。Low e[2]提出SIFT算法，利用尺度空間性質，以梯度方向的直方圖為基礎，給出了一種尺度不變關鍵點的檢測方法。Bay等[3]提出一種新的特征提取算法SURF，它通過快速Hessian矩陣，非極大值抑制得到特征點，計算特征描述向量則通過計算區域Harr響應獲得。U lrich等[4]提出一種分級廣義Hough變換，將圖像的空間域變換到參數空間，可以檢測任意形狀物體。另外還有諸多實例利用不變矩[5]、像素灰度值[6]、互信息量[7]或特征點[8]等特征，并基于神經網絡、遺傳算法、動態規劃或松弛匹配等搜索策略進行圖像匹配工作。

本文針對工業流水線上工件的圖像匹配定位問題，且相機與流水線相對位置固定，考慮目標的平移、旋轉、縮放、遮擋、光照變化、極性反轉、聚焦不準、對比度低等問題，提出了一種基于關鍵輪廓向量特征，根據模板信息自動確定圖像金字塔分層數、旋轉角度步長和縮放步長，圖像金字塔最高層二級篩選策略，以及非最高層同步局部搜索區域構建和匹配的實時圖像匹配方法。

2 基于輪廓向量特征的圖像匹配原理

輪廓特征相比較于點、面、統計量等特征，具有計算量小，抗噪能力強等特點，使圖像匹配的魯棒性、實時性得到提高[9]。同時，由于在待測圖中目標坐標、方向角度和縮放大小均未知，模板需要進行圖像變換以與某位姿上的對象進行相似度計算，通常將這種變換定義為包含旋轉、平移和縮放的仿射變換，又因平移分量可由模板在待測圖中的游走匹配代替，因而這種變換可表示為：

式（1）為坐標點逆時針旋轉變換，其中(x0y0)T，(x1y1)T為點旋轉前后的坐標，a為縮放系數，θ為旋轉角度[10]。然后利用經式（1）變換過的多角度模板在待測圖中進行遍歷搜索匹配，當游走到某一位姿時，則利用式（2）基于模板和待測圖輪廓點方向向量的相似度量法則，進行二者匹配判斷：

K為模板輪廓點總個數；di=(ai，bi)為模板輪廓點上X、Y方向向量；ei=(wi，ri)為與di相關聯模板坐標對應到待測圖中輪廓點的X、Y方向向量組成；分別為方向向量對應的梯度強度值；s表示模板與待測圖的相似度，取值范圍為0～1，s越大相似度越高[11]。

式（2）相似度量不受遮擋、混亂影響，如果在模板或待測圖中某個特征丟失，噪聲將產生一個隨機方向向量，這些方向向量平均起來將不會對總和造成影響。對于各向同性像素點，可以設置其方向向量為0，這樣遮擋和混亂構成的特征就不會對這個總和造成影響。方向向量的長短又取決于圖像的亮度，式（2）相似度量把所有的方向向量都變為1，相似度量就不會受任意光照變化影響。在分子部分取絕對值，可以保證在模板與目標明暗變換顛倒的情況下也能找到目標。

3 基于關鍵輪廓向量特征的圖像金字塔匹配算法設計與實現

3.1 關鍵輪廓向量特征提取

現有輪廓檢測方法雖能較好提取圖像輪廓，但直接用于圖像匹配之中，仍不能達到理想效果。

本文采用圖像的關鍵輪廓特征，并以輪廓的X、Y方向的梯度向量作為特征描述。所謂關鍵輪廓特征應滿足以下兩點：滿足輪廓單像素化；僅保留目標主體輪廓。既能減少相似度計算的輸入量以及減少運算時間，又可提高存在遮擋、模糊聚焦等情況時的目標識別率。針對工業現場環境，本文改進現有輪廓檢測方法，提出如下方法提取特征：

（1）對灰度圖利用均值濾波去噪、Sobel算子提取輪廓點的X、Y方向向量及對應的梯度值。

（2）對梯度圖進行非極大值抑制細化輪廓，達到單像素化目的。

（3）對經處理的梯度圖利用Otsu和高低閾值處理，提取目標的單像素主體輪廓。

（4）應用最小輪廓尺寸剔除法，篩除梯度圖中小于某一尺寸的輪廓，以去除細小瑣碎輪廓。

此時，細小、瑣碎輪廓已去除，基本僅存單像素寬度的主體輪廓，且如圖1（c）所示。

圖1 關鍵輪廓提取

3.2 構建圖像金字塔及自動分層

若直接將模板與待測圖進行特征匹配，算法的復雜度將為O(whnm)，w和h是待測圖的寬和高，n是模板的輪廓點數，m是模板搜索角度范圍。面對如此高的復雜度，無法滿足工業實時性要求。

為此提出利用2×2均值法構建圖像金字塔，進行多分辨率圖像搜索策略，并根據模板輪廓像素點數自動確定其構建層數。依據大量現場樣本測試概率統計分析，對于大多數輪廓簡潔且紋理較少的幾何工件而言，當其圖像金字塔在某層輪廓點數剛好大于20～30個，再高一層則小于此值時，則工件圖像在該層仍能保持良好可分辨的外輪廓，可將該層定為圖像金字塔最高層。

同時，為保證目標存在縮放情況時，也能正確構建金字塔，需保證最高層模板輪廓圖縮小設定的最小縮小系數時，其輪廓像素點數仍大于20～30個像素。

3.3 自動確定模板旋轉角度步長

因待測圖中的目標角度具有隨機性，在給出模板搜索角度范圍后，需確定合適的匹配旋轉角度步長。避免過度旋轉致使丟失目標，或欠旋轉造成重復匹配。因此，提出基于余弦定理和模板輪廓點分布情況自動計算模板旋轉角度步長的方法。

（1）根據模板輪廓圖計算其質心坐標(XC，YC)及輪廓總點數K，以下為質心點求解公式：

式中xiyi為輪廓點X、Y方向坐標值。

（2）根據余弦定理求解距質心最遠輪廓點繞質心旋轉過的角度以求旋轉角度步長。點L、p為模板質心點、最遠輪廓點，點w為點p旋轉后的點，設邊長為pw=1，Lp=Lw=a，由余弦定理求∠w Lp：

∠w Lp為可保證模板旋轉后至少有輪廓點旋轉出原坐標所對應的角度，但旋轉角度步長需保證模板旋轉前后能夠區分開來。因此針對某些模板，點p需旋轉大于1個像素距離。統計分析知，當pw在1～2之間取值時，可滿足各種情況模板。

3.4 自動確定模板縮放步長

由于目標實際尺寸、目標與相機距離的隨機性，導致模板和實際目標存在一定的縮放比例，為避免過縮放或欠縮放，需確定模板縮放步長。本文根據模板具體信息，自動計算出模板縮放步長：

（1）計算模板圖金字塔某一層輪廓圖質心點c和距質心點歐式距離最遠輪廓點p的坐標。

（2）根據圖像縮放性質，當點p以質心c為基準點，縮放1個像素單位，能保證模板輪廓上至少有1個像素移動出原來的坐標，據統計可知，當點p坐標縮放1～2個像素單位，即可滿足各種情況，作為該模板的縮放步長。當點p縮放1個像素單位時對應的縮放步長s為：

減少環境應激原，以保持寶寶良好的穩定情緒，去除誘發因素，如花粉、灰塵、纖維、寵物、動物皮屑、室外污染物如汽車尾氣，經常打掃暗角，曬洗被褥。

式中，pc為點p和點c之間的歐式距離。

3.5 圖像金字塔最高層二級篩選匹配

雖然圖像金字塔已極大降低了算法復雜度，但在最高層匹配時仍為傳統的窮舉遍歷法搜索，計算量較大。因此，減少整體方法耗時的關鍵在于圖像金字塔最高層的目標快速匹配定位。

為此提出在圖像金字塔最高層，基于搜索框優先剔除目標非潛在位置區域，再進行匹配的二級篩選快速匹配策略。具體操作為：

（1）構建搜索框。根據給出的縮放范圍和縮放步長，在逐步遞增的每一個模板縮放系數下，以最高層的模板質心為旋轉基準點，構建包圍全旋轉角度范圍下模板的最小外接矩形，并使該矩形4條邊與坐標軸平行，即為搜索框，質心為其基準點。如圖2所示，為三角形efg為模板，點N為質心，矩形abcd為模板，360°角度范圍旋轉構建的搜索框。

圖2 搜索框構建示意圖

（2）待測圖目標非潛在位置區域篩選。設最高層模板輪廓總點數為K，相似度閾值為S，搜索框在待測圖中遍歷移動，判斷搜索框所覆蓋待測圖范圍內輪廓點數，若點數大于K×S，則標記搜索框基準點此時對應待測圖中的點坐標，認為可能存在以它為質心的某角度目標；否則不予標記。

（3）基于關鍵輪廓向量特征的匹配判斷。僅對待測圖經上一步標記的位置，利用預先經旋轉處理并存儲的多角度模板進行全角度范圍匹配。同時，改進式（2）的運算，先對模板和待測圖的輪廓點方向向量歸一化，再進行匹配判斷，這樣對每個輪廓點的判斷可減少一次乘法和除法運算，改進公式如下：

為提高計算判斷速度，設立終止條件，當計算了待測圖與模板對應的T個輪廓點后，所得點相似度和值為

即使剩余的K-T個點完全匹配也不可能達到相似度閾值S，因此結束本次相似度計算。

3.6 圖像金字塔非最高層快速匹配

（1）同步圖像金字塔構建與目標匹配。改變原有預先建立圖像金字塔進而匹配方法，實行在某一層定位到目標后，再構建其下一層圖像金字塔，進行目標匹配的方案。據此可節省待測圖像金字塔預先完整建立所占內存空間，也可避免待測圖中目標不存在時，金字塔完整預建立所耗費的時間。

（2）局部待測圖像區域金字塔構建。為節省內存空間，在建立待測圖像金字塔非最高層圖像時，利用其上一層定位出的目標信息，僅構建對應到該層的目標所在局部圖像區域，從而節約本層非目標存在圖像區域構建所浪費的時間和空間。

4 實驗測試與分析

本測試實驗均在W in7系統的MATLAB 2009a平臺上完成，電腦硬件配置為奔騰雙核CPU（主頻2.2GHz），圖片由實驗室自主研發640像素×480像素分辨率的30萬黑白相機拍攝。

本文主要從兩個方面測試算法的優劣程度，即魯棒性和實時性，認為滿足此二者條件的算法可應用于工業現場生產。

4.1 魯棒性測試

魯棒性即指當待測圖中目標存在遮擋，光照不均，圖像噪聲，灰度值屬性變化，模糊聚焦成像等外界環境干擾時，仍能對其進行準確匹配定位，即識別率測試。

圖3～圖5分別為洗發水瓶蓋、十字箭頭型工件、文字在各種情況下的定位效果圖，圖中紅色線為定位目標輪廓，藍色點為目標質心點。

圖3 洗發水瓶蓋定位

圖4 十字箭頭型工件定位

圖5 文字縮放定位

為驗證算法識別率，對液晶屏標記、洗發水瓶蓋、萬字字符、十字工件、鋰電池定位孔各自進行500張樣品魯棒性定位測試。如圖6所示，為本文算法、Halcon軟件和PatM ax軟件進行的識別率比對分析，可以看出本文算法與兩軟件定位識別率相比，部分樣品的識別率更高。

圖6 識別率對比圖

相似度閾值一般為人為設定，取值在0.6～0.8之間較宜，具體應根據現場目標可能受到的干擾而定。如圖7所示，為識別率、漏檢率和誤檢率隨相似度閾值遞增的變化趨勢示意圖。

圖7 識別率、誤檢率和漏檢率隨相似度閾值變化趨勢圖

4.2 實時性測試

實時性即為算法在規定時間內是否能完成給定的工作，當然算法運算時間越短越好。針對此目的，由于圖像匹配工作的部分參數需人為設定，在實際操作時還應注意以下幾個方面：

（1）相似度閾值。該值過小會造成誤檢目標，圖像金字塔向下層精定位時運算量會過大，該值過大則會使漏檢率增加、識別率降低。

（2）搜索區域。應根據目標在待測圖中可能出現的區域，盡量規定較小的搜索區域。

（3）搜索角度范圍。應根據目標實際可能出現的最大角度范圍設定，較小該值可提速算法，對于幾何對稱的目標，更應根據其對稱特性設置該值。

（4）目標縮放范圍。根據目標可能出現的縮放大小情況，盡可能確定一個較小的縮放范圍。

（5）圖像金字塔分層數，分層越多，算法耗時越少，但是當層數達到一定值時，模板圖的信息量就會較少，可能會造成誤檢、漏檢的發生。

如圖8所示，對液晶屏標記、洗發水瓶蓋、十字箭頭型工件分別進行50張圖片定位的耗時統計圖。為獲取算法最大耗時，除十字箭頭型工件搜索角度范圍設為0°～90°，其余工件為0°～360°，縮放系數為0.8～1.2，未設置搜索個數上限，搜索區域為640像素×480像素全圖，相似度閾值在0.6～0.8之間浮動，金字塔自動分層，分別為5、5、6層。

圖8 目標耗時統計

由圖8看出，雖然耗時在100～180ms之間，但適當設置影響耗時的幾個方面，將算法用C語言實現，嵌入實驗室開發的軟硬件平臺后，可控制耗時在100m s以內甚至更少，可工業現場實時性要求。

5 結論

本文針對工業現場工件快速、準確定位問題，提出一種采用關鍵輪廓向量特征的實時圖像匹配方法。主要特點是：

（1）提取基于X、Y方向向量的關鍵輪廓特征，能表達主要輪廓信息，并保證輪廓點數盡量精簡，極大減少運算時間。

（2）提出根據模板圖像具體信息，自動計算出合適的金字塔分層數、每層金字塔模板匹配旋轉角度步長和縮放步長，確保識別率和耗時的均衡。

（3）利用圖像金字塔搜索策略，并創新采用圖像金字塔最高層二級篩選策略，根據待測圖具體內容優先剔除目標非潛在位置區域，然后僅對剩余的少量區域進行匹配，同時預存多角度模板和設置相似度截止條件，能大大提高匹配速度。

（4）在圖像金字塔非最高層進行局部待測圖區域構建，同步圖像金字塔構建和目標匹配的方法，節省內存空間和減少計算時間。

實際測試表明，本文方法魯棒性好，抗圖像畸變、噪聲、遮擋、光照變化、極性反轉、聚焦不準、對比度低等能力強，耗時為毫秒數量級，可實現任意角度、坐標、縮放下的目標匹配定位，正確率達97%以上，滿足了工業現場應用要求。

[1]Zitova B，Flusser J.Image registration methods：a survey[J].Image and Vision Computing，2003，21（11）：977-1000.

[2]Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[3]Bay H，Ess A，Tuytelaars T.Surf：speeded up robust features[J].Computer Vision and Image Understanding，2008，110（3）：346-359.

[4]Ulrich M，Steger C，Baumgartner A.Real-time object recognition using a modified generalized hough transform[J].Pattern Recognition，2003，36（11）：2557-2570.

[5]Singh C，Walia E.Fast and numerically stable methods for the computation of zernike moments[J].Pattern Recognition，2010，43（7）：2497-2506.

[6]Kim H Y.Rotation-discriminating template matching based on Fourier coefficients of radial projections with robustness to scaling and partial occlusion[J].Pattern Recognition，2010，43（3）：859-872.

[7]Rajwade A，Banerjee A，Rangarajan A.Probability density estimation using isocontours and isosurfaces：applications to information-theoretic image registration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31（3）：475-491.

[8]Teke M，Tem izel A.Muti-spectral Satellite Image Registration Using Scale-restricted Surf[C]//Proceedings of International Conference on Pattern Recognition，Istanbul，2010：2310-2313.

[9]Tuytelaars T，M ikolajczyk K.Local invariant feature detectors：a survey[J].Computer Graphics and Vision，2008，3（3）：177-280.

[10]Steger C，U lrich M，W iedemann C.機器視覺算法與應用[M].楊少榮，吳迪靖，段德山，譯.北京：清華大學出版社，2008：238-345.

[11]鄒廣華.基于幾何特征的快速模板匹配算法[D].哈爾濱：哈爾濱工業大學，2008.