一種改進的管路焊縫自動檢測算法

李曉陽，孟冬輝，竇 威，閆榮鑫，孫立臣

（北京衛星環境工程研究所，北京 100094）

0 引言

在航天史上發生過多起由燃料泄漏引起的航天器失效事故，燃料泄漏主要發生在管路系統的閥門、焊縫或管路連接處[1-2]。為了保證管路系統的密封性，工程師需要依次對各類管路系統中數量眾多的焊縫進行單點漏率測量[3]，整個過程耗費大量的人力和時間，容易引起由人員疲勞導致的漏檢。隨著自動化技術和機器人技術的發展成熟，視覺伺服機器人已廣泛應用于汽車、電子和食品加工等領域，極大地提升了生產效率[4]。應用計算機視覺的自動化檢漏技術也得到了重視和發展。

在自動化檢漏技術中，目標的自動檢測與識別是關鍵技術之一，而其穩健性仍然是計算機視覺領域亟待解決的一個基本問題。Viola等[5-6]于2001年提出了一種基于 Adaboost的人臉檢測算法，通過對大量人臉數據庫的訓練獲得分類器。該算法檢測速度快，但需要前期準備大量的正樣本（目標圖像）及負樣本（可能存在的背景圖像）數據進行訓練，并且當訓練的正樣本中包含目標旋轉時，訓練得到的分類器性能會受到很大的影響。為了解決非剛體目標的檢測，Felzenszwalb等[7]提出了一種基于可分割零件模型的目標檢測算法（DPM），將待檢測的一類物體分割成零件，建立零件之間的彈性能量模型，并通過大量樣本的學習，獲得一類物體的分類器。該算法同樣需要大量的目標樣本進行訓練，檢測周期長。模板匹配算法[8-12]則是通過對一個目標模板特征與待檢測圖像上的特征進行匹配，實現對目標的檢測識別。該方法對處于簡單背景中且特征單一的剛體目標，能夠實現快速準確的識別。本文中所要檢測的管路焊縫是一種特征單一的目標，通過一個模板即可表示焊縫這一類物體，因此適用模板匹配算法進行檢測。但在進行模板匹配時，若目標在圖像中有旋轉或者尺度縮放，需要通過窮舉法（模板在 360°范圍內旋轉和一些特定尺度的縮放）計算每個模板與待檢測圖像的相關度，計算量巨大，無法滿足快速檢測的需求。

為解決上述問題，本文提出了一種新的自動檢測方法：通過梯度?方向直方圖[13-14]計算管路圖像的主方向（并為提高算法穩定性引入了次方向），將焊縫模板旋轉到主方向后再進行模板匹配，省去了旋轉窮舉法中遍歷每一個角度所需的計算量，最后通過 HSV顏色空間轉換提取特征明顯的飽和度信息進行互相關匹配，從而提高焊縫檢測準確率。

1 互相關匹配原理

模板匹配算法是通過一個已知的模板在目標圖像中進行搜索，找出相似度最高位置的過程。在一維信號處理中，通常采用相關（cross correlation,CC）法計算兩個信號的相關程度[15]，

其中：f(x)為模板信號；g(x)為待匹配信號。對于二維離散的圖像信號，互相關度為

其中：I1(x, y)為模板圖像；I2(x, y)為待匹配圖像；W為模板窗口大小。匹配過程中，從圖像中截取 W大小的窗口與模板進行互相關系數計算，采用滑動窗口的方式遍歷整幅圖像，獲得整個待檢圖像的互相關系數，并找到全局極大值作為目標的匹配位置。該算法對圖像灰度變化較為敏感，為了提高算法的魯棒性，在相關法之后又提出了歸一化灰度互相關（normalized cross correlation, NCC）算法，其中、I2分別表示I1、I2在窗口W內的平均灰度值。該算法能夠很好地解決灰度變化及背景噪聲帶來的問題，但是只適用于平移變換或者小角度變換和縮放變換。

對模板進行窮舉匹配的步驟如下：

1）在2π角度范圍內對模板進行均勻的n次旋轉，每次旋轉角度2π/n；對于軸對稱模板可在π角度范圍內旋轉，每次旋轉角度π/n。

2）對旋轉得到的n個模板進行m次尺度變換，例如0.7、0.8、0.9、1.0、1.1、1.2、1.3等。

3）對得到的m×n個模板依次計算與待檢圖像的互相關系數。

4）找出所有互相關系數中的最大值，其所對應位置則為目標所在的位置。

該算法需要進行 m×n次模板的互相關匹配，且在每次匹配過程中均對待檢圖像的所有像素進行遍歷，運算量巨大，當待檢圖像較大時將需要長時間的運算才能完成目標檢測。

2 焊縫主方向計算

為了計算具有旋轉不變性的局部特征，Lowe[16]在2004年提出了SIFT算法。SIFT算法首先提取圖像中穩定的特征點，然后生成具有旋轉不變性的描述向量。在進行特征點描述向量計算時，為了實現旋轉不變性，首先在特征點鄰域16×16的像素范圍內計算梯度?方向直方圖，并將直方圖上的峰值作為主方向。然后將16×16的窗口旋轉到主方向上，同時區域內的梯度方向根據主方向進行旋轉，最后生成具有旋轉不變性的局部描述向量，如圖1所示。

圖1 SIFT算法中的主方向與局部描述向量Fig. 1 Main orientation and local descriptor of SIFT

本文借鑒SIFT描述向量的計算方法，對管路圖像進行主方向計算。首先構造梯度?方向直方圖，圖像梯度計算如式(4)所示，方向計算如式(5)所示，

其中：g(x, y)為圖像的梯度值；Im(x, y)為輸入圖像；θ(x, y)為梯度的方向。式(5)中，如果分子、分母都加絕對值，則計算的是梯度的絕對方向；如果都不加絕對值，則可計算實際坐標系下的梯度方向。由于本文涉及的管路是軸對稱的，因此在計算梯度方向時，僅計算[0, π)內的方向角，故分子取絕對值。如圖2所示，為了簡略將0到π量化成8個方向，實際計算過程中通常量化為 18個方向，即每 10°為1個量化方向。圖3為真實焊縫圖像的梯度?方向示意圖，紅色箭頭表示梯度的方向，箭頭長度表示梯度值大小（圖中越亮的地方梯度值越大）。為了提高算法對噪聲的魯棒性，對輸入圖像首先通過高斯低通濾波器進行預處理。

圖2 簡略的量化方向（8個方向）Fig. 2 Directions after quantitative calculations with 8 bins

圖3 焊縫圖像中的梯度和方向Fig. 3 Gradient magnitude and direction in a weld seam image

通常情況下，彎管由1根完整的管路構成，不存在焊縫。在焊縫檢測的管路圖像中包含1條或者多條直線管路。若只提取1個主方向，則在進行焊縫模板匹配時，只能將焊縫模板旋轉到主方向管路上，而不能旋轉到其他方向管路上，造成其他管路的漏檢。為此，本文引入次方向的識別，先確定次方向的識別閾值，當梯度?方向直方圖中第一峰值N1與第二峰值N2的比值（N1/N2）小于該閾值時，則認為該管路圖像中存在2個管路，并將第二個峰值作為次方向（如圖4所示）；否則只考慮1個主方向即可。

圖4 存在次方向的梯度?方向直方圖Fig. 4 Gradient-direction histogram with multiple orientations

3 基于HSV顏色空間的焊縫識別

在光學理論中，紅（R）、綠（G）和藍（B）三原色混合可以得到所有的顏色，因此，在彩色圖像中通常采用 RGB表示顏色空間。RGB顏色空間對于物體彩色圖像的獲取和計算機存儲處理很理想，但是不能很好地反應出人眼對顏色的感觀。當人眼觀察一幅彩色圖像時，通常用色度（Hue, H）、飽和度（Saturation, S）和亮度（Value,V），即 HSV 顏色空間進行描述[17]。用色度描述純色的屬性（例如純紅色，純黃色等），用飽和度給出純彩色被白光沖淡的程度，亮度則是用灰度等級描述物體的明度。由 RGB顏色空間到 HSV顏色空間的轉換如下：

其中，R、G、B顏色分量被轉化為[0, 1]范圍內的浮點數；當H＜0時，令H=H+360。

在互相關算法中只能對單通道進行匹配，因此傳統的方法是將彩色圖像轉化成灰度圖后進行匹配。而在灰度圖中，焊縫模板與管路其他部分的灰度值差別較小，當遇到管路上有亮度不均勻的位置時，容易形成相關系數的峰值，造成定位錯誤。為了解決該問題，本文將圖像從RGB顏色空間轉換到HSV顏色空間，并觀察提取H、S、V的特征值。從式(7)可以看出，S值是R、G、B顏色分量中最大值與最小值的差與V值的比。在普通管路中，R、G、B顏色分量的值接近，故S值小；而在焊縫位置出現氧化的顏色，R、G、B顏色分量的差值較大，計算獲得的S值較大。因此，模板匹配時使用S值進行比對。實驗驗證也證明，焊縫在飽和度層上具有較明顯的特征。圖5顯示了焊縫灰度與焊縫飽和度的特征區別，圖5(a)灰度圖中的紅色框內為在灰度空間上容易誤匹配的位置，而在圖5(b)飽和度圖中的相應位置則可以明顯看出焊縫與非焊縫的特征區別。

圖5 焊縫的灰度圖和飽和度圖Fig. 5 Gray image and saturation image of weld seam

4 算法檢驗及結果分析

本文使用MATLAB（R2009）進行算法編寫，搭建的試驗平臺采用Windows XP操作系統，CPU為Core i5，3.2 GHz。

本文采用2組測試圖像集，第一組為航天器推進管路焊縫，共50幅圖像，管路直徑有2種（φ6和φ4），焊縫模板如圖6(a)所示；第二組為地面工藝管路，共50幅圖像，焊縫模板如圖6(b)所示。這2組測試圖像中均包含了焊縫的平移、旋轉、縮放以及光照變化，甚至包含一定程度的仿射變換，能夠真實反應現實情況，充分測試算法的性能。

圖6 焊縫模板Fig. 6 Templates for matching

本文算法中，次方向選取的閾值為 2.5；旋轉角度(0, π)量化為18個方向，每10°為1個方向；縮放尺度變化范圍量化為7個值，分別是[0.7, 0.8,0.9, 1.0, 1.1, 1.2, 1.3]；模板是大小為90×90像素的彩色圖像；測試圖像是大小為 375×500的彩色圖像。通過MATLAB進行仿真，平均每幅圖像的檢測時間為1.3 s（量化為18個方向），相比傳統的旋轉角度窮舉法提高了17倍（如果存在次方向，則提高8倍）。

航天器推進管路焊縫檢測結果如圖 7～圖 10所示，圖 7(a)為對原圖進行梯度?方向計算得到的直方圖，可以看出該圖像中包含1個主方向。根據主方向對模板進行旋轉，并在HSV顏色空間進行匹配，得到檢測結果如圖7(b)所示，圖中用綠色框標注出焊縫位置。圖8中包含兩根管路，得到的梯度?方向直方圖包含主、次2個方向，如圖8(a)所示。將模板旋轉到這2個方向后分別進行匹配，得到檢測結果如圖8(b)所示，在主方向管路上有1處焊縫。圖9、圖 10的焊縫檢測過程包含旋轉、縮放和一定程度的仿射變換，其中圖9的焊縫圖像包含亮度變化，圖 10中的管路直徑為φ4。地面工藝管路檢測結果如圖11～圖13所示，3組圖片包含了旋轉、平移、縮放和仿射變換。

圖7 φ6推進管路焊縫檢測結果Fig. 7 Matching results of one φ6 tube

圖8 φ6和φ4雙管路焊縫檢測結果（雙管路）Fig. 8 Matching results of two tubes(φ6 andφ4)

圖9 φ6推進管路焊縫檢測結果（旋轉、縮放、視角變換、亮度變化）Fig. 9 Matching results of φ6 tube with affine transform and illumination change

圖10 φ4推進管路焊縫檢測結果（旋轉、縮放）Fig. 10 Matching result of φ4 tube with rotation and scale transform

圖11 地面工藝管路焊縫檢測結果Fig. 11 Matching results of ground pipeline

圖12 地面工藝管路焊縫檢測結果（旋轉、縮放）Fig. 12 Matching result of ground pipeline with rotation and scale transform

通過以上的測試結果可以看出，本文提出的焊縫檢測算法對焊縫的平移、旋轉、縮放以及仿射變換具有適應性，能夠準確識別并精確定位焊縫的位置。實驗中對所有圖像樣本進行測試，并對比了采用本文所提的HSV顏色空間變換后的飽和度進行互相關匹配以及采用灰度互相關進行匹配的算法性能，最后得到的檢測準確率如表1所示。

圖13 地面工藝管路焊縫檢測結果（旋轉、縮放、亮度變化）Fig. 13 Matching result of ground pipeline with rotation,scale transform and light change

表1 不同算法對焊縫識別檢測準確率對比Table 1 Comparison of accuracy between our algorithm and the algorithm based on gray cross correlation

5 結束語

本文提出了一種基于梯度?方向直方圖和HSV顏色空間的焊縫檢測算法，通過梯度?方向直方圖計算獲得管路的主方向，根據主方向將模板旋轉對準后再進行互相關匹配，從而避免了傳統方向窮舉法帶來的巨大計算量，提升檢測算法的處理速度。根據人眼對顏色的辨別方法，引入了HSV顏色空間變換，在飽和度上獲得較明顯的焊縫特征。實驗結果表明，本文提出的算法能夠實現快速準確的焊縫檢測和定位，且較傳統的灰度互相關匹配算法在檢測準確率上有極大提升。

（References）

[1]Roth, Gilbert L. Propulsion safety almost equals mission safety[C]//AIAA 24thJoint Propulsion Conference.Boston, 1988

[2]王淵. 航天器化學推進系統故障分析與對策[C]//第二十三屆全國空間探測學術交流會. 廈門, 2010

[3]吳孝儉, 閆榮鑫. 泄漏檢測[M]. 北京: 機械工業出版社, 2005: 200-203

[4]徐德, 譚民, 李原. 機器人視覺測量與控制[M]. 北京:國防工業出版社, 2011: 1-34

[5]Viola P, Jones M. Rapid object detection using a boosted cascade of simple features[C]//Conference on Computer Vision and Pattern Recognition (CVPR 2001). Hawaii,2001: 511-518

[6]Viola P, Jones M. Robust real-time face detection[J].International Journal of Computer Vision, 2004, 57(2):137-154

[7]Felzenszwalb P, Girshick R, McAllester D, et al. Visual object detection with deformable part models[J].Communications of the ACM, 2013, 56(9): 97-105

[8]Cuevas E, Echavarría A, Zaldívar D, et al. A novel evolutionary algorithm inspired by the states of matter for template matching[J]. Expert Systems with Applications, 2013, 40(15): 6359-6373

[9]于娜. 工件檢測中圖像模板匹配的研究[D]. 石家莊:河北工業大學, 2010

[10]姜映映, 田豐. 基于模板匹配和 SVM 的草圖符號自適應識別方法[J]. 計算機學報, 2009, 32(2): 252-260 Jiang Yingying, Tian Feng. Adaptive symbol recognition for sketch-based interfaces based on template matching and SVM[J]. Chinese Journal of Computers, 2009, 32(2): 252-260

[11]王培容, 陳鴻雁, 李嬌軍. 一種快速的具有旋轉不變性的模板匹配方法[J]. 計算機工程與設計, 2006, 27(14):2667-2672 Wang Peirong, Chen Hongyan, Li Jiaojun. Fast template matching method for rotation invariance[J]. Computer Engineering and Design, 2006, 27(14): 2667-2672

[12]謝志江, 呂波, 劉琴. 旋轉不變性圖像模板匹配快速算法[J]. 吉林大學學報: 科技版, 2013, 43(3): 711-717 Xie Zhijiang, Lü Bo, Liu Qin. Rotation-invariant and fast image template matching algorithm[J]. Journal of Jilin University: Engineering and Technology Edition,2013, 43(3): 711-717

[13]劉志強, 翟營, 秦洪懋. 梯度向量直方圖的行人檢測[J].機械設計與制造, 2011(11): 245-247 Liu Zhiqiang, Zhai Ying, Qin Hongmao. Gradient direction histogram of the pedestrian detection[J].Machinery Design & Manufacture, 2011(11): 245-247

[14]王宇新, 唐琳, 郭禾. 基于金字塔梯度方向直方圖的分層投票方法[J]. 計算機工程, 2012, 38(8): 156-158 Wang Yuxin, Tang Lin, Guo He. Layered vote method based on pyramid histogram of oriented gradient[J].Computer Engineering, 2012, 38(8): 156-158

[15]楊占龍. 基于特征點的圖像配準和拼接技術[D]. 西安: 西安電子科技大學, 2008

[16]Lowe D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110

[17]Gonzalez R C. 數字圖像處理(MATLAB版)[M]. 阮秋琦, 譯. 北京: 電子工業出版社, 2005: 152-160