基于機器視覺的齒輪圖像拼接方法研究

黃 曉，楊 炯，張愛梅

（鄭州大學機械工程學院，河南 鄭州 450001）

1 引言

基于機器視覺的測量是近些年興起的一種非接觸式測量方法，在利用機器視覺進行零件測量時對測量精度影響最大的是圖像的分辨率。圖像的分辨率與設備的質量有直接關系，具有高分辨率與解析力的工業相機拍出的圖片質量更高，但是隨著設備的質量的提高相應的預算也就提高了。另外，測量精度還與焦距和物距有關。隨著物距的增加，工業相機能夠拍攝的零件的范圍也就隨之增加，但是當物距超出了一定范圍，盡管得到了被測件的全貌，但是這時的圖像已經變得相對模糊，相應的零件的邊界也就不能夠精確的被提取。基于以上問題提出對被測工件采用多次部分采樣，最后應用圖像拼接得到被測工件的完整圖像。圖像拼接就是將有重疊的多幅圖像拼接成一幅高分辨率圖像[1]，實驗將要進行圖像拼接的工件是齒輪，將齒輪固定到水平的旋轉平臺上，控制相機依次拍攝出一組齒輪圖像的局部圖，并使每兩個相鄰的局部圖之間有重疊的區域。將重疊區域控制在1/3 左右，并對這些圖片按照順序編上編號，最先拍攝的為1。采用基于特征點的圖像拼接方法，通過特征識別找出每幅圖片的重疊區域，最終得到完整的齒輪圖像。

2 圖像采集

圖像采集是圖像拼接的第一步，相機、轉臺、電腦設備的安裝擺放，如圖1 所示。相機采用的是COMS 面陣彩色相機，由MindVision 提供的MV-UB500C，有效像素為500 萬。光源為環形光源，固定在鏡頭上，采用正面打光。為使后續圖像拼接時拼接處較為自然，齒輪放置在由步進電機組成的旋轉平臺上，每次旋轉相同的角度，使每張圖片的重疊區域具有相同的大小，電機的步距角為1.8°，扭矩為1.3N.m，電流為3.5A。在進行圖像采集時采取的方案是相機Z 軸始終與拼接面垂直，齒輪跟隨步進電機每次旋轉相同的角度，按照逆時針旋轉，步進電機每旋轉一個角度相機進行一次拍攝，最終得到一系列具有拍攝順序的照片，并為這些照片按照所拍攝的先后順序重新命名，為后續的拼接做準備。相機所采集到的一組照片，照片統一按照BMP 格式進行存儲，如圖2 所示。

圖1 設備安放位置圖Fig.1 Equipment Placement Map

圖2 多次齒輪采樣圖像Fig.2 Multiple Gear Sampling Images

3 圖像拼接

3.1 拼接方法選擇的依據

目前常用的圖像拼接方法主要有基于灰度信息的拼接、基于變換域的拼接及基于特征點的拼接。其中基于灰度信息的拼接方法是根據兩幅圖之間灰度度量的相似性，以圖像內部信息為依據，查找相似度最大或者最小的點，計算出參考圖像與待匹配圖像之間的變換參數。基于灰度信息的拼接方法實現簡單，不需要對圖像進行復雜的預處理；但其缺點是運算量較大，不能直接用于矯正圖像的非線性變換。基于變換域的拼接方法計算量較大，對噪聲較為敏感，且不能處理旋轉的情況，由圖2 可知每兩幅圖片間都有較大的轉角，因此這種方法也無法實現預期的目的。SURF（Speeded Up Robust Features）是一種基于特征點的圖像拼接[2]，其具有旋轉和尺度不變性，且對噪聲和光照的抗干擾能力更強，能夠提取更加穩定的特征點，為后續特征匹配提供更加有效的特征點，因此最終選用基于特征點的圖像拼接方法。在進行特征點描述時采用FREAK 描述子，這是一種基于二進制編碼的圖像特征描述子，具有計算速度快，噪聲魯棒性好的特點，與SURF特征點檢測相結合能夠提高圖像拼接效率。

3.2 拼接原理

通過幾種方法的比對最終選取SURF 進行特征點檢測，使用FREAK[3]特征描述子對特征點進行描述，采用暴力匹配法BFMatcher[4]選取最優匹配點對，通過像素的平移完成圖像拼接，具體的拼接流程，如圖3 所示。

圖3 算法流程圖Fig.3 Algorithm Flow Chart

由圖3 可知，在進行圖像拼接時主要包括三個重要步驟，圖像匹配與匹配點篩選、生成并修改變換矩陣、圖像變換及圖像融合，下面對這三個步驟進行詳細的描述。

3.2.1 圖像匹配與匹配點篩選

采用基于特征點的圖像拼接，圖像匹配是圖像拼接的第一步，圖像匹配由三部分組成，特征點檢測、構造特征描述子、特征匹配。特征點的穩定性對圖像拼接效果影響較大，因此實驗中選用具有旋轉不變性和尺度不變性的且對光照差異及透視變換魯棒性較好的SURF 算法作為特征點檢測的方法。SURF 特征點檢測算法主要包括三個部分，即Hessian 矩陣[5]的特征點檢測、尺度空間表示及特征點定位，下面對SURF 特征點檢測的三個部分的原理進行介紹：

（1）Hessian 矩陣的特征點檢測。通過計算圖像的每個像素的Hessian 矩陣的行列式的值，尋找極值點，并使用積分圖在計算灰度值之和時，無論矩陣面積多大，所需要的運算量都是相同的原理簡化計算過程，提高效率。連續函數f（x，y）的二階微分Hessian 矩陣表達式（1）：

采用標準二階高斯核對圖像進行卷積，圖像中一點x（x，y），在尺度σ 下的Hessian 矩陣定義，如式（2）所示。

式中：Lxx（x，σ）—高斯的二階微分G（x，y，σ）=?2g（x，y，σ）/σx2在點x（x，y）處與圖像I 的卷積Lxx=G（x，y，σ）?I（x，y），其余兩項與Lxx（x，σ）的含義相同。為了加速計算速度，當σ=1.2在x、y 和xy 三個方向的模板Lxx、Lyy、Lxy使用加權后的9×9盒狀濾波器Dxx、Dyy、Dxy模板代替，則極值點判斷的公式（3）變為以下形式：

式中：w—使用盒裝濾波器進行代替的權值系數，取0.9。

（2）尺度空間表示。SURF 是通過改變盒裝濾波器的大小得到一系列的尺度逐漸增加，但尺寸相同的圖像，將其稱為圖像堆。圖像堆可分為若干組，每組分為若干層，每層都是由輸入圖像與不同尺寸大小的濾波器卷積得到，將圖像的尺度s 與盒狀濾波器的尺度σ 等同。每組內的尺度變化范圍為兩倍左右，SURF 算法中最小尺度的圖像是由9×9 盒狀濾波器卷積得到，由于最小尺度σ0=1.2 所以s0=1.2，這個濾波器被稱為基準濾波器，其他圖像都是由這個基準濾波器推導得到的，如式（4）所示。

（3）特征點定位。首先要通過閾值篩選出響應值最強的像素，然后通過非極大值抑制，去掉那些鄰域內不是最大值的像素，為了保證尺度不變性，在進行非極大值抑制時，要同時與被檢測像素所在尺度及相鄰尺度的鄰域像素值比較，被檢測像素所在尺度的鄰域為8 鄰域，而上下相鄰尺度圖像各有九個像素值，即被檢測像素值在3×3×3 的鄰域內，與其他26 個像素值比較，為了保證檢測到特征點的位置精度，對標記為極大值的像素點進行插值處理，以保證找到的特征點的位置為亞像素級別的。

上面介紹了特征點的檢測，下面需要對被檢測到的特征點進行描述，實驗中將FREAK 描述子作為特征描述子，FREAK 是一種二值位字符串形式的描述符，其具有內存占用小計算速度快的特點，FREAK 描述符的編碼特征，如式（5）、式（6）所示。

通過SURF 與FREAK 相結合得到了特征點，為了完成圖像拼接，應將圖像中重疊部分特征點匹配起來，并剔除誤匹的特征點，實驗中采用的是多重約束篩選法，具體步驟如下：

采用暴力匹配法BFMatcher 進行特征點的匹配，暴力匹配總是嘗試所有匹配可能，從而找出最佳的匹配，盡管會使程序運行的效率較低但是卻能夠得到最佳的匹配點，這對圖像拼接的精確性是非常重要的。

暴力匹配以匹配點之間的歐式距離為基礎，使用快速鄰近匹配方法knnMatche 計算模板圖像到目標圖像的最鄰近及次臨近距離，并計算出目標圖像到模板圖像的最鄰近及次臨近距離，當最鄰近距離與次臨近距離滿足式（7）時剔除匹配點：

模板圖像到目標圖像及目標圖像到模板圖像，都經過匹配點剔除后，驗證模板圖像到目標圖像剔除的誤匹配與目標圖像到模板圖像剔除的誤匹配是否相同，即對稱性驗證，若雙向剔除滿足要求則繼續往下進行。經過第一次特征點剔除后還是有很多誤匹配未被剔除，如圖4 所示。

圖4 第一次剔除誤匹配Fig.4 Shows the First Mismatch

由于經過一次剔除還是會有誤匹配未被剔除，所以還要對匹配點進行二次剔除，二次剔除應用密度聚類原理[6]，從圖4 中可以看出正確的匹配點分布相對較為集中，誤匹配分布相對較為散亂，因此可以將分布相對較為集中的匹配點對提取出來，從而達到剔除誤匹配的目的。以匹配點對在目標圖像上的特征點為圓心，以給定的長度為半徑，計算出目標圖像所有特征點到選中特征點的距離，在模板圖像上進行相同操作，若模板圖像與目標圖像上，兩點之間的直線距離都小于給定的半徑，則在在累加器上加一作為記錄，當累加器大于3 時將匹配點輸出保存，這個特征點就是滿足要求的特征點，篩選結果，如圖5 所示。

圖5 第二次剔除誤匹配Fig.5 The Second Rejection of Mismatch

從圖5 可以看出經過兩次篩選，誤匹點已經基本上被剔除干凈，但是為了保證拼接的精度還要再進行一次匹配點檢驗，檢驗的方法是使用RANSC[7-8]的方法對剩余匹配點進行模型驗證，看剩余匹配點是否都為滿足要求的內點，如果滿足RANSC 算法的要求就將匹配點保存，標記為內點，如果不滿足則把匹配點標記為野點，將其剔除，剩余匹配點用于后續的特征矩陣生成。

3.2.2 生成并修改變換矩陣

由于在后續的實驗中還要進行齒輪的尺寸測量，所以應該保證目標圖像在經過變換矩陣變換時應為剛性變換，因此選用estimateRigidTransform 方法生成變換矩陣T 矩陣，T 為2×3 的矩陣，如式（8）所示。

式中：c 與f—平移變換；a、b、d、e—旋轉與縮放變換。

因此T 矩陣可以等效為式（9）形式：

式中：R 矩陣—旋轉矩陣；S 矩陣—縮放矩陣；t 矩陣—平移矩陣。

通過式（8）、式（9）、式（10）與式（11）可以列出關于計算縮放因子的方程，式（12）、式（13）、式（14）與式（15）為求取變換矩陣縮放因子的方程組，其中a 與b 為已知的。

為了保證剛性變換應該將T 矩陣剝離縮放因子對T 矩陣進行修改，修改之后，如式（16）所示。

圖6 圖像缺失情況Fig.6 Image Missing

對目標圖像的四個頂點所構成的矩形框進行透視變換，變換矩陣為T 矩陣，但是經過T 矩陣變換后可能出現圖像缺失的情況，無法保證圖像的完整性，因此需要對變換后的位置進行調整使其位于變換后的圖像中心。位置調整應遵循以下原則，比較四個頂點的橫坐標，將最小橫坐標與Y 軸對齊，比較四個頂點的縱坐標將最小的縱坐標與X 軸對齊，下面給出兩種圖像缺失的示例，如圖6 所示。

經過位置調整以后，原本經過透視變換后的坐標位置會發生移動，因此需要重新計算變換矩陣。使用計算透視變化矩陣的函數對位置變換后的矩形框反求變換矩陣H，使用變換矩陣H對圖像進行變換。

3.2.3 圖像變換及圖像融合

使用變換矩陣H 對目標圖像進行透視變換，圖像的大小由經過變換后的矩形框的四個頂點的橫縱左邊的插值的絕對值確定，這樣可以保證目標圖像能夠完整的顯示在變換后的圖像中。經過透視變換后，目標圖像經過了旋轉平移等操作，所以目標圖像中的特征點位置也發生了變化，在進行圖像融合時需要目標圖像內特征點與模板圖像內特征點正確匹配，因此需要使用透視變換的方法對目標圖像內的特征點進行變換，使目標圖像與模板圖像內的特征點一一對應。因為經過透視變換目標圖像與模板圖像已經變換到同一坐標系下，將匹配點兩兩連線，求出連線的斜率，理論上通過特征點進行圖像拼接匹配點之間的連線斜率應該是相同的，但由于提取到的特征點可能存在一定的誤差，致使連線的斜率可能也會存在一定的誤差，因此要對剩余的特征點再進行篩選，用于圖像融合。進行兩次斜率篩選，第一次運用密度聚類的思想進行篩選，選出斜率誤差之間為0.01 的匹配點，第二次將所有匹配點連線的斜率與第一次篩選出的斜率的均值進行比較，將誤差為0.005 的匹配點保留下來用于圖像融合。進行圖像融合時，當兩幅圖像的大小不同時，無法進行對應位置像素的融合，因此首先要對模板圖像進行邊界補齊，補齊方式和補齊結果，如圖7、圖8 所示。

圖7 邊界拓充原理圖Fig.7 Boundary Extension Schematic

圖8 邊緣填充后模板圖像Fig.8 Template Image After Edge Filling

在圖7 中，R_img 為模板圖像，L_img 為目標圖像，當ppl.y大于ppr.y 時圖像向上拓展的距離為ppl.y-ppr.y，即圖8 中所延伸出的黑色區域，反之向上拓展距離為0，即黑色區域不延伸，其他三個方向的拓展方式與向上拓展相同不再累述。

實驗中對圖像進行融合采取的是對應像素值相融合，因為模板圖像已經經過邊界拓展，所以再進行圖像融合時只需要將相同位置處的像素點相融合就完成了圖像拼接。再進行圖像融合時，將兩幅圖像對應位置處的像素值相比較，共有四種可能性，模板像素值不為0，目標像素值為0；模板像素值為0 目標像素值不為0；模板像素值與目標像素值均不為0；模板像素值目標像素值均為0。對于前兩種可能性用不為0 的像素值代表此處像素值，對于均為0 的情況則此處像素值為0；對于均不為0 的情況，使用加權融合的方式，將模板像素值與目標像素值加權融合[9-10]后代替此處像素值。拼接結果，如圖9 所示。

圖9 完整拼接圖像Fig.9 Complete Stitching Image

從圖中可以看到拼接效果達到預期目標且拼接縫隙處理的也較為理想，下面將對拼接結果進行誤差分析。

4 實驗分析

通過單幅圖像變換前后的變換情況對實驗中所使用的方法進行分析，記錄目標圖像變換前四個頂點的坐標位置以此計算出變換前圖像的面積，記錄四個頂點所對應的角度，變換前四個頂點所對應的角度均為九十度。記錄變換后四個頂點的坐標，及變換后四個頂點的角度，以此來精確計算出變換后圖像的面積，通過比較變換前后圖像的面積及頂點夾角對實驗進行誤差分析。對圖1 中2.BMP、4.BMP、6.BMP、8.BMP 幾張目標圖像變換前后的數據統計，如表1 所示。

表1 目標圖像變換前后數據對比Tab.1 Comparison of Target Images Before and After Transformation

通過對這四個目標圖像變換之后的圖像進行分析可知，通過多次特征點篩選后的特征點匹配度較高且通過對特征矩陣進行修改使目標圖像向模板圖像進行變換時誤差較小。通過對目標圖像的誤差控制，在后續的齒輪尺寸測量中能夠得到較為準確的測量數據。

5 結論

所使用的拼接方法是在已有拼接方法的基礎上，將FREAK特征描述子與SURF 特征點檢測相結合提高了特征匹配的速度；使用BFMatcher（暴力匹配）的方法將目標圖像到模板圖像的特征點及模板圖像到目標圖像的特征點進行一一匹配；使用knn－Match 方法對兩次暴力匹配的結果進行搜索，剔除不符合條件的匹配點，并對經過剔除的兩次暴力匹配結果進行對稱性驗證，確定兩次剔除的誤匹點是否相同，所保留的匹配點是否相同，減少誤刪現象，使用多次篩選尋找到最佳的匹配點，生成變換矩陣并對變換矩陣進行修改，使圖像變換為剛性變換。最后通過特征點連線的斜率尋找最佳的匹配點用于圖像的融合，融合結果較為理想，實現了無縫融合。通過實驗分析驗證，使用的方法在進行圖像拼接時，速度快、精度高，因此工程實際中，對精度要求較高且個體較大的工業零件的測量有著重要的意義。