基于小波圖像金字塔的工件目標檢測與定位研究

李增祥 漆志亮 賈楠 吳建華

摘 ?要： 在工業生產線上的產品加工或質量視覺檢測的過程中，經常要完成待加工工件的目標圖像匹配或產品的視覺定位，為此，提出一種基于小波圖像金字塔的相關匹配方法。基于特征的匹配方法如SIFT和HOG特征方法，雖然有很好的匹配精度和穩健性，但其計算量相對較大，通常不易滿足現場實時應用需求。而提出的基于小波圖像金字塔的工件目標檢測與定位方法，先從低分辨率圖像進行粗匹配，再在高分辨率圖像上進行精確匹配，從而在基本不降低匹配精度的前提下，大大提高了匹配速度。多圖像的目標檢測實驗以及在點膠機上的應用實踐均表明文中所提算法優于傳統基于模型的目標定位和識別方法，能滿足更多的現場實時應用要求。

關鍵詞： 工件目標檢測; 圖像匹配; 目標定位; 圖像金字塔; 相關匹配; 檢測實驗

中圖分類號： TN911.73?34; TP75 ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）15?0033?05

Workpiece object detection and localization based on wavelet image pyramid

LI Zengxiang1， QI Zhiliang2， JIA Nan2， WU Jianhua2

（1. Gongqing College， Nanchang University， Jiujiang 332020， China; 2. School of Information Engineering， Nanchang University， Nanchang 330031， China）

Abstract： During the product processing or visual inspection in industry， there are often needs for object image matching or visual localization for workpiece and products. Hence， a new correlation matching method based on wavelet image pyramid is proposed. Although features based matching methods such as SIFT and HOG features matching methods have a good matching precision and robustness， they ordinarily cannot meet the real?time requirements on the spot owing to a large amount of computation. The proposed workpiece detection and positioning method based on wavelet image pyramid carries out a coarse matching in low?resolution images first， and then conducts an accurate matching in high?resolution images. Thereby， the matching speed is improved a lot under the precondition of keeping the matching accuracy. The results of the object detection experiment on multiple images and application practice in gluing machine show the feasibility and effectiveness of the proposed method， it is superior to the traditional object localization and identification methods based on model， and it can meet requirements of more real?time site applications.

Keywords： wavelet transform; image pyramid; correlation and matching; object detection; object localization; gluing machine

0 ?引 ?言

在目標檢測領域，特征選擇與提取是目標檢測成功和準確與否的重要前提。Lowe提出高效的尺度不變特征變換（Scale Invariant Feature Transform，SIFT）[1?2]，是局部特征研究過程中的里程碑式的工作，后來許多新的特征提取算法或多或少地均是基于SIFT特征的基礎或思路發展起來的。例如，文獻[3]提出方向梯度直方圖（HOG）用于行人檢測，對1 800個包括不同姿勢和背景的行人的檢測結果優于當時的許多特征，如小波特征、形狀上下文、邊緣方向直方圖等。文獻[4?5]在SIFT特征的啟發下，沿著Lowe的思路，提出了加速的魯棒特征（Speed Up Robust Features，SURF）。SURF在生成特征矢量時使用的是積分圖像，而不像SIFT特征描述子使用的是高斯圖像，避免了重復計算，因此，SURF提高了檢測速度。近年來，圖像局部不變特征的研究不斷取得了一些新的進展，且很多都是基于SIFT，HOG，SURF或它們的改進算法。在文獻[6?7]中介紹了SIFT和SURF特征以及其他特征描述子（如PCA?SIFT）。文獻[8]將基于SIFT的增強匹配方案用于車輛標志的識別，相比于標準的SIFT特征識別率得到了很大的提高。文獻[9]提出對于每一個SIFT特征使用特定的尺度、方向和位置，以剔除邊緣關鍵點從而改進總體匹配性能，并應用于遙感圖像的亞像素級配準。

上述這些特征描述子均具有很好的匹配性能，例如尺度不變和旋轉不變性等，并成功應用于許多領域。但標準的SIFT及其很多改進算法均存在計算量大的缺點，難以滿足很多應用場合的實時性要求。為此，學者們和業界提出了一些快速算法，在保持或略微損失特征描述子的優越性能前提下提高匹配速度。文獻[10]提出多層SIFT匹配并應用于大尺寸高分辨率圖像配準，減少了由于重復性結構引起的錯誤匹配，并借助于由粗到細的策略解決了內存需求過大和計算復雜性的問題。文獻[11]提出一種超短二進制描述子（Ultrashort Binary Descriptor，USB）并應用視覺匹配和圖像檢索，表現了優越的性能，且速度比SIFT提高了一個數量級。

本文針對點膠機的工業應用，提出一種基于小波圖像金字塔和SIFT匹配方案，以適應很多情況下的實時應用需求。此前，文獻[12]將SIFT特征結合仿射變換用于點膠機的工件檢測與定位，得到了很好的效果，且增加了匹配的仿射不變性，以適應環境條件的變化，如光照不均勻、工件形狀形變等不穩定因素。但文獻[12]的方法與上述大多基于SIFT的方法一樣，計算量仍然偏大。本文基于小波金字塔算法，采用從低分辨率開始由粗到細、由上到下、由低到高并結合局部搜索，大大減少了匹配所需時間，實驗表明本文算法能基本滿足實時應用需求。

1 ?有關的基礎性工作

1.1 ?SIFT特征

Lowe首先在希臘科孚島召開的計算機視覺國際會議（ICCV）上提出SIFT特征[1]，引起了機器視覺和圖像處理與識別等領域學者的強烈反響。隨后，Lowe及其團隊對SIFT特征提取算法進行完善[2]，很多學者也提出了多種圖像特征提取算法，包括較著名的HOG和SURF特征[3?4]，均具有和SIFT類似的性能。

基于圖像塊的改進的SIFT特征描述符的生成步驟如下[12?13]：

1） 選取適當的尺度[σ]，將圖像塊[I]與高斯濾波器函數[G]進行卷積得到這一尺度的高斯圖像塊：

2） 對高斯圖像塊進行縮放，使圖像塊的尺寸為18×18，再對該尺度的高斯圖像塊進行差分運算，忽略邊緣效應，只取中心位置上的16×16的高斯差分（Difference of Gaussians，DOG）響應圖像：

3） 基于上述結果計算圖像梯度，包括幅值[m]和相角[θ]：

4） 將16×16的圖像塊再均勻分成如圖1所示的16個4×4的圖像子塊，根據每個圖像子塊的梯度幅度和方向計算梯度方向直方圖，相位的分辨率為45°，形成4×4×8=128維的SIFT特征向量，如圖2所示。每個箭頭所指的方向是這個像素的梯度方向，箭頭的長度表示在4×4的圖像字塊中的像素梯度幅度的相對大小。

圖1 ?16×16的圖像塊及其劃分

圖2 ?128維的梯度方向直方圖

5） 直方圖的峰值對應圖像塊梯度的主方向。這也是構成旋轉不變特征描述子的旋轉角。對特征向量進行循環移位，使特征具有旋轉不變性，然后再進行[L2]范數規范化處理，以去除光照變化的影響并改善特征的區分度。

1.2 ?小波圖像金字塔

圖像金字塔是一個簡單而有效的多分辨率圖像描述結構[12?13]，起源于機器視覺和圖像壓縮的應用。一個圖像金字塔是按金字塔形狀排列的一個個分辨率下降的圖像集合，如圖3所示。金字塔的基（塔底）包含待處理的高分辨率圖像，塔頂包含圖像的低分辨率近似。沿著塔底往上到塔頂，圖像的大小和分辨率均逐層下降。如果圖像的大小為[N×N]，則[J=log2N]。第[j]層的大小為[2j×2j]，[0≤j≤J]。

圖3 ?圖像金字塔

構造一個圖像金字塔的步驟如下：

1） 計算第[j]層輸入圖像的縮減分辨率的近似圖像，可以通過低通濾波和[12×12]下采樣得到。

2） 從步驟1）得到縮減分辨率的近似圖像，建立一個第[j]層輸入圖像的估計，這可以通過2×2的上采樣和另一個低通濾波器得到，產生的預測圖像與第[j]層輸入圖像大小相同。

3） 計算步驟2）得到的預測圖像與第[j]層輸入圖像的差。

4） 將步驟1）得到的縮減分辨率的近似圖像放在概略圖像金字塔的第[j-1]層，將步驟3）得到的差值圖像放到細節圖像金字塔的第[j]層，步驟1）中的第[j]層輸入圖像已經位于概略圖像金字塔的第[j]層。

5） [j=j-1]，重復步驟1）～步驟4），得到兩個相聯系的圖像金字塔——概略圖像金字塔和細節圖像金字塔。

當采用小波變換，即步驟1）和步驟2）的低通濾波器分別采用小波分解的分析低通濾波器和合成低通濾波器時，得到的金字塔稱為小波圖像金字塔，此時，圖像的細節金字塔有3個，它們分別是水平細節金字塔、垂直細節金字塔和對角線細節金字塔。用上述步驟得到的Lena圖像的4層概略圖像金字塔和3個細節圖像金字塔分別如圖4和圖5所示。

2 ?基于小波圖像金字塔的工件目標檢測

在光照穩定的情況下，傳統的模板匹配方法能夠在一幅包含一個或若干個目標的圖像中將目標檢測出來，但是傳統模板匹配算法耗時長，不能滿足實時檢測與定位的需求。針對電子元器件的自動焊接或自動點膠等應用場合，本文提出一種基于小波圖像金字塔的工件目標檢測算法。

圖4 ?概略圖像金字塔

圖5 ?細節圖像金字塔

工件目標檢測算法的具體步驟如下：

1） 假設待匹配圖像[P]大小為[P1×P2]，模板圖像[Q]大小為[Q1×Q2]，利用Haar小波分別構建待匹配圖像（[P12×P22]），（[P14×P24]），（[P18×P28]）和模板圖像（[Q12×Q22]），（[Q14×Q24]），（[Q18×Q28]）的三層圖像金字塔。待匹配圖像的概略圖像金字塔的分層圖像用[P1a]，[P2a]，[P3a]表示，水平細節圖像金字塔的分層圖像用[P1h]，[P2h]，[P3h]表示，垂直細節圖像金字塔的分層圖像用[P1v]，[P2v]，[P3v]表示，對角細節圖像金字塔的分層圖像用[P1d]，[P2d]，[P3d]表示;模板圖像的概略圖像金字塔的分層圖像用[Q1a]，[Q2a]，[Q3a]表示，水平細節圖像金字塔的分層圖像用[Q1h]，[Q2h]，[Q3h]表示，垂直細節圖像金字塔的分層圖像用[Q1v]，[Q2v]，[Q3v]表示，對角細節圖像金字塔的分層圖像用[Q1d]，[Q2d]，[Q3d]表示。

2） 取模板圖像金字塔中的第二層細節圖像[Q2h]和Q2v，分別代替SIFT特征計算時要用到的水平和垂直梯度圖像，將它們縮放為18×18像素的圖像塊。忽略邊界上的輸出，按式（3）和式（4）求取16×16的梯度幅度和梯度相位響應，再分為4×4=16個子塊，相位的分辨率為45°，形成4×4×8=128維的SIFT特征向量。

3） 設定門限值[T1]。遍歷搜索待匹配圖像生成的第二層細節圖像[P2h]和[P2v]，以類似于步驟2）的方式求取每個圖像子塊的128維SIFT特征向量，同時計算它與步驟2）生成的SIFT特征向量的內積。若內積值大于[T1]，則認為在低分辨率層上檢測一個目標;若相鄰的位置上檢測到[N]個有效目標時，則判定這[N]個相鄰的目標是同一個目標，該目標位置由這些候選目標位置的加權平均值決定。

4） 設定門限值[T2]。通過Haar小波圖像金字塔的分解層數和低分辨率細節圖像上的匹配結果推算待匹配圖像中的位置。根據步驟2）和步驟3）計算模板[Q]的SIFT特征與圖像[P]在該位置上16×16圖像塊的SIFT特征的匹配內積值。若該內積值大于[T2]，則匹配成功，該位置是目標位置;反之，匹配不成功，該位置不是目標位置。

3 ?實驗分析及結果

本文對部分點膠工件進行目標檢測實驗分析，運行硬件環境為Intel[?] CoreTM 2 Duo CPU E7500 @ 2.93 GHz，內存為2 GB，軟件環境為Microsoft Windows7，實驗工具為Visual Studio 2010和OpenCV 2.4.0，上述步驟3）和步驟4）的門限值[T1]，[T2]分別設定為0.73，0.8。圖6～圖8給出了部分實驗結果。

圖6 ?工件A

其中，圖6的待匹配圖像大小為1 280×1 024，模板圖像大小為258×236;圖7的待匹配圖像大小為1 280×1 024，模板圖像大小為158×92;圖8的待匹配圖像大小為1 280×1 024，模板圖像大小為56×936。從實驗結果上分析，本文提出的算法可以無誤地檢測出目標。

圖7 ?工件B

圖8 ?工件C

表1 ?Haar小波圖像金字塔不同層數的實驗結果

從表1可知，小波圖像金字塔層數在一定范圍內，基于圖像金字塔的目標檢測方法能夠找到圖像中的目標，并隨著金字塔層數增加，目標檢測的速度會加快，然而當圖像金字塔層數超過2層以后，目標檢測的準確率有所下降。此外，本文提出的算法利用了梯度圖像和內積規范化處理方法，在一定程度上去除了光照變化的影響，增強了目標檢測算法的魯棒性。

4 ?結 ?論

本文提出的基于小波圖像金字塔的工件目標檢測方法，相比于傳統的目標檢測方法有如下兩個優點：

1） 小波圖像金字塔方法不需要在待匹配圖像上進行圖像遍歷搜索，而是在構建的低分辨率圖像上先進行粗匹配，再在高分辨率圖像上進行精確匹配，節省了圖像處理運算量，加快了目標檢測速度。

2） 針對工件目標檢測問題，本文提出的圖像目標檢測算法是以圖像塊為基本單位，將以關鍵點為基礎的SIFT特征計算改進為以圖像塊為基礎的特征計算，改進的算法既提高了計算效率，又保持了SIFT特征的特點和優勢，如對光照變化不敏感等特點。

今后的研究方向為：采用并行運算（即利用CPU的多核）和GPU編程，進一步減小算法的運行時間;如果有足夠多的正負樣品，可考慮采用機器學習的算法。例如，可以選擇Haar?like特征或采用級聯Adaboosted分類器使算法可以很容易地移植到各種類型的檢測目標。

注：本文通訊作者為吳建華。

參考文獻

[1] LOWE D G. Object recognition from local scale?invariant features [C]// IEEE International Conference on Computer Vision. Kerkyra， Greece： IEEE， 1999： 1150?1157.

[2] LOWE D G. SIFT distinctive image features from scale?invariant key?points [J]. International journal of computer vision， 2004， 60（2）： 91?110.

[3] DALAL N， TRIGGS B. Histograms of oriented gradients for human detection [C]// IEEE International Conference on Computer Vision & Pattern Recognition. San Diego， USA： IEEE， 2005： 886?893.

[4] BAY H， TUYTELAARS T， GOOL L V. SURF： speeded up robust features [C]// European Conference on Computer Vision （ECCV）. Graz， Austria： [s.n.]， 2006： 404?417.

[5] BAY H， ESS A， TUYTELAARS T， et al. Speeded?up robust features [J]. Computer vision & image understanding， 2008， 110（3）： 346?359.

[6] 王永明，王貴錦.圖像局部不變性特征與描述[M].北京：國防工業出版社，2010.

WANG Y M， WANG G J. Image local invariant features and descriptors [M]. Beijing： National Defense Industry Press， 2010.

[7] 楊化超.圖像局部不變性特征及其匹配問題研究與應用[M].北京：測繪出版社，2013.

YANG H C. Research and application of local invariant image features and matching problems [M]. Beijing： Surveying and Mapping Press， 2013.

[8] PSYLLOS A P， KAYAFAS E. Vehicle logo recognition using a SIFT?based enhanced matching scheme [J]. IEEE transactions on intelligent transportation systems， 2010， 11（2）： 322?328.

[9] KUPFER B， NETANYAHU N S， Shimshoni I. An efficient SIFT?based mode?seeking algorithm for sub?pixel registration of remotely sensed images [J]. IEEE geoscience & remote sensing letters， 2014， 12（2）： 379?383.

[10] HUO C L， PAN C H， HUO L G， et al. Multilevel SIFT matching for large?size VHR image registration [J]. IEEE geoscience & remote sensing letters， 2012， 9（2）： 171?175.

[11] ZHANG S L， TIAN Q， HUANG Q M， et al. USB： ultrashort binary descriptor for fast visual matching and retrieval [J]. IEEE transactions on image processing， 2014， 23（8）： 3671?3683.

[12] 漆志亮，賈楠，張燁，等.基于M?Sift特征的元器件目標檢測及其在點膠機中的應用[J].現代電子技術，2018，41（23）：161?164.

QI Z L， JIA N， ZHANG Y， et al. A new object detection and localization method based on modified sift features [J]. Modern electronics technique， 2018， 41（23）： 161?164.

[13] GONZALEZ R C， WOODS R E. Digital image processing ?[M]. 3rd ed. New Jersey， USA： Prentice Hall， 2008.