基于立體視覺的橋梁裂縫自動檢測系統研究

張開洪，羅 林，顏 禹

(重慶交通大學 信息科學與工程學院，重慶 400074)

隨著橋梁工程建設的發展，橋梁已經成為交通基礎設施的重要組成部分。鋼筋混泥土橋梁在橋梁建設中占據重要地位，而橋梁裂縫病害是影響橋梁安全和壽命的重要因素。因此，橋梁裂縫是評價橋梁安全性的重要指標之一[1,2]。

基于立體視覺的橋梁裂縫自動檢測系統(以下簡稱“裂縫檢測系統”)結合了數字圖像處理技術和雙目測距原理，能夠快速、準確、便捷地測量出可視范圍內裂縫的相關參數，包括裂縫的長度、寬度和深度；同時，裂縫檢測系統克服了傳統人工測量橋梁裂縫存在的人為誤差大、漏檢率高和實時性差等問題。

1 系統組成

裂縫檢測系統結合圖像處理技術，通過設置特征點，采用非接觸雙目立體視覺測量方法獲取特征點的三維坐標信息，從而計算裂縫深度；并通過對裂縫像素點的統計計算出橋梁裂縫的寬度和長度。裂縫檢測系統組成如圖1。該系統包括：①圖像采集傳感器：左右兩個CCD傳感器和圖像采集卡；②攝像機標定模塊[3]：攝像機標定板；③特征點設定模塊：兩個激光發射器；④數據處理模塊：PC機。

圖1 系統組成Fig.1 System composition

2 裂縫深度測量

裂縫檢測系統基于立體視差原理，由三角法獲取公共視場內任意點的三維信息，在已知兩個攝像機之間的位置后，便可獲取兩個攝像機公共視場內特征點的三維坐標[4]，測量橋梁裂縫深度。

2.1 針孔攝像機模型

圖2為針孔攝像機模型。

圖2 針孔攝像機模型Fig.2 Pinhole camera model

如圖2，該模型是由實際針孔攝像機模型交換投影中心O和圖像平面I得來，其目的是讓目標圖像不再倒立[5]。從物體的某點P出發的光線，到達投影中心O，在圖像平面I上的投影點為P1。

2.2 攝像機標定

攝像機標定是由二維圖像獲取三維立體視覺信息的關鍵步驟，用于重構三維真實的世界模型，其目的是確定攝像機的內部參數和外部參數[3]，參數的精度直接影響三維重構結果的準確性[6]。

裂縫檢測系統的攝像機標定參照了張正友的平面標定方法[7]，通過設定標定板，獲取標定圖像以及標定圖像特征點，計算出攝像機的內部參數和外部參數，最終實現攝像機的自動標定，攝像機標定是實現裂縫深度精確測量的關鍵步驟。

2.3 特征點物理坐標計算原理

裂縫檢測系統通過攝像機采集的二維圖像獲取已設置特征點的三維坐標，根據三維坐標信息求出裂縫的深度。

2.3.1 特征點設置方案

如圖3，平面I1為目標平面，即：橋梁裂縫平面，兩條彎曲線之間的部分表示裂縫，P，Q點是待測點，平面I2是左攝像機的成像平面，平面I3是右攝像機的成像平面，平面I1和平面I2是兩個相互平行的平面。

在左、右攝像頭上分別安裝兩個可以旋轉激光源，編號為1,2；激光源1在平面I1上成像光斑為P點，P點位置在裂縫內部，稱為目標點，激光光源2在平面I1上成像光斑為Q點，Q點位置在裂縫邊沿附近，Q為參考點。激光光斑P點，Q點坐標是測試點，P、Q點為特征點。

圖3 特征點的三維重建Fig.3 3D model reconstruction of the feature points

2.3.2 特征點像素坐標計算

激光光斑中心坐標的精確提取過程，是裂縫深度計算的關鍵步驟，當前主要的檢測算法有灰度重心法、中值法及Hough變換法[8]，每種方法各有優缺點，由于裂縫檢測系統的激光源近距離垂直打在目標板上，激光源受散射、衍射和光線等干擾因素的作用較小，激光光斑圖像分布較均勻和信號強度高，在此情況下，重心法能精確提取激光光斑中心坐標。

灰度重心法[9]是激光光斑圖像經過預處理轉換為灰度圖像，通過相應的算法求出激光光斑重心坐標的過程。具體過程如下：

在攝像機成像平面下，攝像機采集的圖像經圖像處理為二值圖像，大小為M×N，其表達式：

(1)

式中：1表示二值圖像中的光斑；0表示背景。

對于激光光斑重心坐標(x0,y0)計算式：

(2)

由于激光源近距離垂直打在目標板上，獲取的圖像中光斑分布比較均勻，對稱，通過灰度重心法可以快速，精確計算出激光光斑重心像素坐標(x0，y0)，即為特征點像素坐標。

2.3.3 像素坐標系與攝像機坐標系之間的轉換

在成像平面I上建立圖像像素坐標系Ouv-UV；以投影中心O為坐標原點，X，Y軸分別平行于圖像像素坐標系Ouv-UV中的U，V軸，Z軸于光軸重合，建立攝像機坐標系O-XYZ；攝像機的光軸與成像平面I相交于主點O1，則|OO1|為攝像機的焦距f；以O1為坐標原點，X，Y軸分別平行于圖像像素坐標系Ouv-UV中的U，V軸，建立圖像的物理坐標系O1-XY。

設P1是攝像機坐標系O-XYZ中任意一點，其坐標為(X,Y,Z),通過投影變換[5]，將P1映射到成像平面，其物理坐標為(x,y)。

運用透視幾何和三角形相似相關知識可得：

(3)

齊次坐標形式：

(4)

在圖像像素坐標系Ouv-UV中，假設O1(u0,v0),P1(u1,v1)，dx和dy分別表示在x和y上，單個像素所占據的物理長度(單位：mm/像素)。由幾何關系得：

(5)

齊次坐標形式：

(6)

將式(2)帶入式(4)可得：

(7)

對于式(7)的推導，其目的是將圖像像素坐標系Ouv-UV下的P1(u1,v1)轉換為攝像機坐標系下的P1(X,Y,Z)。M為3×3 維矩陣,只與攝像機的內部結構有關，稱為攝像機的內參數矩陣。

2.3.4 攝像機坐標系與世界坐標系之間的轉換

裂縫檢測系統中攝像機可安放在環境中的任何位置，選取一個基準坐標系來描述攝像機的位置，并用它描述環境中任何物體的位置。該坐標系稱為世界坐標系[3](圖2)，它由Xw,Yw和Zw軸組成。

攝像機坐標系與世界坐標系之間的關系可以用旋轉矩陣R與平移向量T來描述[3]，則有：

(8)

結合式 (7)和式(8)，可以得出P1點在世界坐標系與圖像像素坐標系之間的關系為：

(9)

R是3×3維攝像機坐標系與世界坐標系之間的旋轉矩陣，T則是3×1維的平移矩陣，R和T完全由攝像機相對于世界坐標系的方位決定，稱為攝像機外部參數。

裂縫檢測系統選取左攝像機坐標系O-XYZ作為世界坐標系Ow-XwYwZw，即坐標系O-XYZ與Ow-XwYwZw重合。

2.4 裂縫深度計算

裂縫檢測系統通過灰度重心法獲取激光光斑在圖像像素坐標系下特征點P，Q的像素坐標分別為(UP，VP)，(UQ，VQ)；將P，Q的像素坐標帶入式 (9)，獲得激光光斑三維坐標，即：目標點P(XP，YP，ZP)，參考點Q(XQ，YQ，ZQ)。

由于目標平面I1和左攝像機的成像平面I2是兩個相互平行的平面，所以P和Q在左攝像機成像平面I2上的垂直投影是相互平行且垂直于平面I1和平面I2，則裂縫深度D=ZP-ZQ。

2.5 系統適用范圍

根據系統檢測原理和實驗分析，當特征點P在可視范圍內裂縫末端的情況下，裂縫檢測系統能快速、準確、便捷地測量裂縫的深度。

當特征點P點不在裂縫末端，或攝像機不能拍到P點的情況，可以利用數字圖像處理技術，將待測裂縫縮小到一個矩形框內，利用激光，按一定距離，以垂直于裂縫的方向掃描整條裂縫，獲取橋梁裂縫深度值，選取最大深度值為測量值。

3 裂縫長度和寬度測量

裂縫的長度和寬度是橋梁裂縫測量中兩個重要的參數，也是橋梁安全性評估的重要參考指標。

3.1 像素標定

計算機對圖像以像素為單位進行處理，為得到以毫米為單位的裂縫相關參數的物理值，需對圖像中的像素標定[10]，找出兩種單位之間的對應關系。

像素標定步驟比較簡單，將一張已知長度的白紙條放在攝像機拍攝范圍內，通過讀取白紙條上對應長度的像素之和，即可找出一幅圖像中單位毫米所包含的像素點的個數，其值為Δ，單位為像素點個數/mm。

3.2 裂縫長度和寬度計算

裂縫長度L和寬度W測量的基本原理為：對二值圖像細化，對細化后的圖像中亮度值為1的像素點進行統計，像素個數n1，由像素標定實驗得出Δ(單位為像素點個數/mm)。裂縫的長度L=n1/Δ(mm)；對二值圖像中亮度值為1的像素點進行統計，像素個數為n2，裂縫的寬度W=n2/(n1×/Δ)(mm)。

4 裂縫圖像預處理

裂縫檢測系統通過攝像機標定，確定了左右攝像機的相對位置，使用左右攝像機采集裂縫圖片，但獲取的裂縫圖像是RGB模型的彩色圖像，對于裂縫相關參數的測量帶來一定難度，為了方便測量，對彩色圖像預處理，將彩色圖像轉化為二值圖像，獲取裂縫的深度、長度以及寬度的數據信息。

4.1 彩色圖像轉灰度圖像

裂縫檢測系統中裂縫的相關參數的測量，首先要對裂縫圖像的提取和識別，一幅圖像中不同區域的亮度是不相同的，因此，通過亮度參數處理，對裂縫圖像提取和識別。

裂縫檢測系統通過CCD獲取裂縫彩色圖像，一幅彩色圖像由紅(r)、綠(g)、藍(b)三基色組成，通過3種顏色的不同比例組合，可以形成各種各樣的顏色[11]。 因此，一幅彩色圖像是代表紅、綠、藍三幅灰度圖像的疊加，每一幅灰度圖像只有亮度的差別[11]，用Y代表灰度圖像的亮度，彩色圖像轉灰度圖像如式(10)：

Y=0.30r+0.59g+0.11b

(10)

通過式(10)變換，得到的灰度圖像的亮度Y需確定一個等級范圍，最好為2n，該系統對Y的等級為28，即256級。

4.2 灰度圖像二值化

裂縫檢測系統獲得的灰度圖像的亮度為256級，為了能夠更好地獲取所得圖像中的裂縫信息，需將灰度圖像二值化。

當灰度圖像只有0，1兩個等級時，被稱為二值圖像[12]，在進行劃分的時，對于閾值的選取是至關重要的。通過裂縫的亮度與背景亮度的不同，提取圖像中的裂縫信息，對裂縫進行識別。

4.3 二值圖像去噪

裂縫檢測系統獲得的二值圖像含以黑白點形式疊加在圖像上的椒鹽噪聲[12]。為抑制椒鹽噪聲的影響，選取中值濾波器去噪，其具體描述如下：

中值濾波器[12]是以濾波模板所覆蓋的圖像區域中像素點的像素值統計排序為基礎，按統計結果所得的中值代替中心像素點的像素值，中值濾波對一定類型的隨機噪聲具有優秀的去噪能力。為去除椒鹽噪聲的干擾，采用3×3領域模板的中值濾波器濾波去噪。

5 實驗及誤差分析

裂縫檢測系統所測試的裂縫是一個用紙板制作的槽模擬橋梁裂縫，對模擬的橋梁裂縫的深度、長度以及寬度進行測量，并與實際值進行比較分析。

5.1 攝像機標定實驗

裂縫檢測系統對攝像機標定選用40 mm×40 mm的小方格(7×9)棋盤，通過攝像機標定得左、右攝像機內參矩陣：

畸變系數矩陣：

KL= [-0.063 91 0.103 00 -0.001 14 0.002 18 0.000 00]，

KR= [-0.058 90 -0.086 47 -0.000 86 0.005 48 0.000 00 ]。

右攝像機相對左攝像機的外部參數旋轉矩陣：

旋轉矩陣平移向量：

T=[-84.091 20 -1.878 45 -3.377 42]。

5.2 裂縫深度測量實驗

實驗對50～80 cm之間的不同位置測量模擬裂縫的深度值，設定的模擬裂縫深度的精確值為40.0 mm，測量的總次數為10次，實驗所測裂縫深度值如表1。

表1 圖像傳感器位置與裂縫深度值

為更加直觀的反應實驗測得的裂縫深度值隨圖像傳感器位置的變化情況，以圖像傳感器與裂縫的距離為橫坐標，實驗測得的裂縫深度值為縱坐標，得到如圖4的坐標系。

圖4 裂縫深度值Fig.4 Crack depth

根據表1和圖4可知：①實驗測得裂縫深度的平均值接近精確值，平均相對誤差在3%以內；②裂縫的深度值始終穩定在40 mm±3 mm范圍內，系統能夠穩定、精確的測量出可視范圍內裂縫的深度值。

5.3 裂縫寬度和長度測量實驗

實驗選取10個不同的地方采集模擬裂縫圖像，設定的裂縫寬度精確值為11.7 mm，裂縫長度精確值為163.0 mm，實驗測得裂縫的長度值L、寬度值W以及像素標定值Δ，如表2、表3。

表2 裂縫長度值

表3 裂縫寬度值

同樣，以圖像傳感器與裂縫的距離為橫坐標，實驗測得的裂縫寬度值和長度值為縱坐標，得到如圖5的坐標系。

圖5 裂縫長度、寬度值Fig.5 Crack length and width

根據實驗數據和圖5可知：①實驗測得裂縫的寬度和寬度平均值非常接近精確值，裂縫的寬度、長度平均相對誤差在3%以內；②實驗測得裂縫的長度在165 mm±5 mm范圍內，寬度在11.7 mm±1 mm范圍內，系統能夠穩定、精確的測量出裂縫的寬度值和長度值。

6 結 語

橋梁裂縫是評價橋梁安全性的重要指標之一。裂縫檢測系統結合數字圖像處理技術，設置特征點，利用雙目測距原理，求出特征點的三維坐標，由特征點坐標計算出裂縫的深度；并通過像素標定和相應的圖像處理算法，求出裂縫的長度和寬度。實驗數據表明，當特征點P在可視范圍內裂縫末端的情況下，裂縫檢測系統能夠穩定、準確、快速地測量出裂縫的相關參數。對于特征點P不在裂縫末端、攝像機不能拍到P點或裂縫彎曲程度很大的情況，需要作進一步的研究。

應用該成果對橋梁裂縫參數進行檢測，有利于相關技術部門評估橋梁的安全性，了解橋梁裂縫的發展變化趨勢，采取相應措施對橋梁進行維護。

[1] 張旭,張奔牛.基于機敏網裂縫監測技術的實驗研究[J].重慶交通大學學報:自然科學版,2013,32(1):18-22.

Zhang xu,Zhang Benniu.Experimental research on monitoring technology of incisive network [J].Journal of Chongqing Jiaotong University:Natural Science,2013,32(1):18-22.

[2] 宋軍,周建庭,王楊.橋臺裂縫的溫度場效應研究[J].重慶交通大學學報:自然科學版,2013,32(2):190-193.

Song Jun,Zhou Jianting,Wang Yang.Temperature effect of abutment crack [J].Journal of Chongqing Jiaotong University:Natural Science,2013,32(2):190-193.

[3] 伍雪冬,蔣新華,李建興,等.計算機視覺中傳統攝像機定標方法綜述[J].福建工程學院學報,2007,5(1):57-60.

Wu Xuedong,Jiang Xinhua,Li Jianxing,et al.Review of traditional camera calibration methods in computer vision [J].Journal of Fujian University of Technology,2007,5(1):57-60.

[4] 謝飛,張旭蘋,張益昕,等.基于機器視覺的貨物列車超限檢測中基準面獲取方法[J].鐵道學報,2012,34(10):72-77.

Xie Fei,Zhang Xuping,Zhang Yixin,et al.Exterior orientation calibration method for freight train gauge-exceeding detection based on computer vision [J].Journal of the China Railway Society,2012,34(10):72-77.

[5] Bradski G,Kaehle A.學習OpenCV[M].于仕琪,劉瑞禎,譯.北京:清華大學出版社,2009:406-497 .

Bradski G,Kaehle A.Learning OpenCV [M].Yu Shiqi,Liu Ruizhen,translation.Beijing:Tsinghua University Press,2009:409-497.

[6] 張巖,臧珠萍,曾培峰.一種基于雙平面鏡的攝像機標定算法[J].東華大學學報:自然科學版,2012,38(1):93-98.

Zhang Yan,Zang Zhuping,Zeng Peifeng.A camera calibration algo

rithm based on two-mirror set [J].Journal of Donghua University:Natural Science,2012,38(1):93-98.

[7] Zhang Zhengyou.Flexible Camera Calibration By Viewing a Plane From Unknown Orientations[C]//Proceedings of the 7thIEEE International Conference on Computer Vision.Corfu,Greece:[s.n.],1999:666-673.

[8] 孔兵,王昭,譚玉山.基于圓擬合的激光光斑中心檢測算法[J].紅外與激光工程,2002,31(3):276-279.

Kong Bing,Wang Zhao,Tan Yushan.Algorithm of laser spot detection based on circle fitting [J].Infrared and Laser Engineering,2002,31(3):276-279.

[9] 唐冠群.幾種激光光斑中心定位算法的比較[J].北京機械工業學院學報,2009,24(1):61-64.

Tang Guanqun.Analysis and comparison of several calculation methods of beam spot center [J].Journal of Beijing Institute of Machinery,2009,24(1):61-64.

[10] 查旭東,王文強.基于圖像處理技術的連續配筋混凝土路面裂縫寬度檢測方法[J].長沙理工大學學報:自然科學版,2007,4(1):13-17.

Zha Xudong,Wang Wenqiang.The testing method of crack width for continuously reinforced concrete pavement based on image processing technique [J].Journal of Changsha University of Science and Technology:Natural Science,2007,4(1):13-17.

[11] 藍章禮,李益才,李艾星.數字圖像處理與圖像通信[M].北京:清華大學出版社,2009.

Lan Zhangli,Li Yicai,Li Aixing.Digital Image Processing and Image Communication [M].Beijing:Tsinghua University Press,2009.

[12] 王偉,何小元,楊福俊,等.基于數字光測的表面裂縫寬度圖像分析法[J].測控技術,2006,25(7):23-25.

Wang Wei,He Xiaoyuan,Yang Fujun,et al.Image analysis method on surface cracking width based on digital optical test [J].Measurement & Control Technology,2006,25(7):23-25.

[13] 胡志萍,歐宗瑛,李云峰.海上工作平臺固定用導管架下水運動參數立體視覺測定[J].儀器儀表學報,2003,24(4):496-501.

Hu Zhiping,Ou Zongying,Li Yunfeng.Measuring of kinematics parameters of offshore platform jacket launch based on stereo-motion analysis [J].Chinese Journal of Scientific Instrument,2003,24(4):496-501.

[14] Rafael C G,Richard E W.數字圖像處理[M].阮秋琦,阮宇智,譯.北京:電子工業出版社,2011:62-190.

Rafael C G,Richard E W.Digital Image Processing [M].Ruan Qiuqi,Ruan Yuzhi,translation.Beijing:Publishing House of Electronics Industry,2011:62-190.