基于卷積神經網絡的橋梁裂縫檢測與識別

劉洪公, 王學軍, 李冰瑩, 孟 潔

(石家莊鐵道大學信息科學與技術學院，河北石家莊 050043)

?

基于卷積神經網絡的橋梁裂縫檢測與識別

劉洪公, 王學軍, 李冰瑩, 孟 潔

(石家莊鐵道大學信息科學與技術學院，河北石家莊 050043)

針對當前中國檢測橋梁裂縫依賴人工目測，危險系數極大的落后現狀，研究了一種基于數字化和智能化的檢測方法，以提高橋梁安全診斷效率，降低危險系數。結合機器視覺和卷積神經網絡技術，利用Raspberry Pi處理器采集和預處理圖像，分析裂縫圖像的特點，選取效果檢測和識別裂縫效果最佳處理算法，改進裂縫分類的卷積神經網絡模型(CNN)，最終提出一種新的智能裂縫檢測方案。實驗結果顯示：該方案能夠找到超出橋梁裂縫最大限值的所有裂縫，并可以有效識別裂縫類型，識別率達90%以上，能夠為橋梁裂縫檢測提供參考數據。

圖像處理；橋梁裂縫； Raspberry Pi；卷積神經網絡；檢測

裂縫是橋梁安全最普遍的威脅因素，相關歷史數據表明，由裂縫引起的橋梁安全事故占橋梁總體災害的90%以上[1]。經過長時間的工程實踐和嚴格的理論分析，人們發現0.3 mm是橋梁裂縫允許的最大限度，若寬度超限將破壞橋梁的整體性，甚至引發垮塌事故，因此安全維護需要保證探測超過此限度的所有裂縫信息[2]。目前基于數字圖像處理技術的裂縫測量系統在橋梁診斷中已得到一定的應用；文獻[3]應用小波變換理論對圖像分解和重構實現了裂縫的檢測與識別；文獻[4—5]采用支持向量機對圖像裂縫進行檢測和識別；文獻[6—7]分別提出了基于BP神經網絡的圖像裂縫檢查與分類自動識別方法。本文通過Raspberry Pi處理器采集圖像，通過3G無線網絡傳輸圖像數據，利用服務器運用圖像處理技術對釆集到的圖像進行分析處理[8]，最后使用卷積神經網絡技術(CNN)對裂縫進行分類，實驗證明該方法可以有效識別裂縫類型。

1 橋梁裂縫識別系統設計

橋梁裂縫識別系統包括2部分：裂縫圖像采集系統及圖像處理與識別系統。其中圖像采集系統由Raspberry Pi處理器、網絡攝像頭、GPS定位模塊、GPRS/3G模塊及GPIO云臺升降控制塊組成，負責裂縫圖像的采集、定位，并通過有線或無線網絡將采集的圖像或視頻傳到服務器。圖像處理與識別系統位于服務器端，主要功能包括：圖像的預處理(灰度變換、圖像增強)、圖像分割、CNN分類。系統的總體設計框圖如圖1所示。

圖1 橋梁裂縫識別系統總體設計框圖 Fig.1 Overall design block diagram of bridge crack identification system

2 裂縫圖像處理

裂縫圖像處理是裂縫檢測與識別的關鍵部分。圖像預處理的效果一定程度上可以決定裂縫識別的準確度。裂縫識別中的圖像處理主要包括：裂縫圖像的灰度化、圖像增強、圖像去噪、圖像邊緣檢測、閾值分割算法[9]。

2.1 圖像增強

本文采用分段線性函數增加圖片的對比度，公式如式(1)所示。

(1)

式中：f(x,y)為輸出點的灰度值；g(x,y)為輸入點的灰度值；x1，x2為2個橫軸的轉折點；k值決定著幾段變換區間函數的斜率。本系統根據裂縫圖片的特點，將0.3～0.7之間的灰度值拉伸到0～1之間，其效果如圖2所示。

圖2 圖像增強效果圖Fig.2 Image enhancement effect chart

2.2 圖像去噪

本文針對裂縫圖像的特征，選擇小波軟閾值法進行圖像濾波處理。裂縫圖像經過小波變換，信號的能量主要集中于少數系數幅值較大的小波系數上。噪聲對所有的小波系數都會有影響，變換后數量很多但幅值較小的小波系數認為是單純由噪聲產生的。小波軟閾值法將小于閾值T的小波系數置零[10]。即：

(2)

閾值選擇依據式(3)[11]：

(3)

式中：σ是噪聲標準方差，σ=MAD/0.674 5(MAD是全部高頻子帶小波系數幅度中值);M，N為圖像的行數和列數[12]。

本系統采用2層DB3小波分解加噪圖像，利用文獻[13]進行小波軟閾值去噪，原始圖像、噪聲圖像、去噪后圖像分別如圖3a)、圖3b)、圖3c)所示。

圖3 裂縫圖像去噪圖Fig.3 Crack image denoising

2.3 圖像分割

橋梁裂縫圖像二值化處理閾值采用OTSU算法。設圖片有L個灰度級，灰度值為i的像素數為ni，各灰度像素出現的頻率為Pi，設圖像被閾值T分為2部分(前景a與后景b)，其出現的頻率分別為Pa和Pb，則前景、后景的灰度均值分別為

(4)

(5)

圖像的灰度均值為

(6)

前景與背景的類間方差為

(7)

(8)

圖4 裂縫圖像預處理圖Fig.4 Crack image pretreatment

處理后的圖像如圖4所示。

3 基于CNN的裂縫分類

卷積神經網絡(CNN)逐漸成為計算機視覺研究領域的熱點，其被廣泛的應用于圖像分類、對象的監測與識別中，并取得了很好的效果。本文利用CNN對橫向裂縫、縱向裂縫、塊狀裂縫和網狀裂縫4類進行識別及分類[14]。

3.1 CNN結構

卷積神經網絡構建是CNN識別中的關鍵問題，LeNet-5是一個典型的卷積神經網絡結構，被廣泛的應用于手寫數字的識別中。本文根據裂縫圖像的具體特征，通過實驗分析，采用了4c-2s-6c-2s-4o的結構，如圖5所示。

圖5 裂縫分類CNN結構圖Fig.5 Crack classification CNN structure diagram

本網絡結構的卷積層C1包含4張特征圖，C3包含6張特征圖，卷積核大小為5*5。輸出結果為4類。 在對樣本進行訓練之前，需將經過處理的裂縫圖片調整為32*32像素大小，并將其轉換為二維矩陣。

3.2 卷積神經網絡的訓練

CNN訓練分2個階段。向前傳播階段，取樣本集的1個樣本(X,YP)，將X輸入網絡計算相應的實際輸出OP；向后傳播階段，計算實際輸出OP與相應的理想輸出YP的差，按極小化誤差方法反向傳播調整權矩陣[15]。

設單元數目：輸入層N、中間層L和輸出層M。卷積神經網絡訓練步驟如下。

1)由裂縫采集視頻中隨機選取特定數目的幀圖像作為訓練組。

2) 設置Vij和Wjk為接近于0的隨機值，并將精度控制參數ε和學習率α初始化。

3) 由訓練組取1組輸入X加至網絡，再計算其目標輸出向量d。

4) 運用式(9)計算1個中間層輸出向量h，再根據式(10)計算出網絡的實際輸出向量y：

(9)

(10)

5) 運用式(11)計算M個輸出向量與目標向量的輸出誤差:

δk=(dk-yk)yk(1-yk)。

(11)

運用式(12)計算L個中間層隱式單元誤差:

(12)

6) 運用式(13)和式(14)順序算出各個權值調整量：

(13)

(14)

運用式(15)和式(16)計算閾值的調整量:

(15)

(16)

7) 運用式(17)和式(18)微調權值：

(17)

(18)

運用式(19)和式(20)調整閾值：

(19)

(20)

圖6 迭代次數與均方誤差關系圖Fig.6 Number of iterations and the mean square error relation diagram

8)每當k經過1到M后，判定指標是否達到精度：E<ε，若不滿足要求，則回退到步驟3)，進行循環；若滿足則進入下一步。其中E為總誤差函數，見式(21)：

(21)

3.3 實驗結果分析

實驗環境為Matlab2014，Intel Core CPU，主頻2.60 GHz、內存8 GB。所用圖像均為自采集圖像，共4類，其中每類400張，隨機選取其中的300張作為訓練樣本，100張作為測試樣本，系統采用每30個樣本更新一次權值，單次迭代時間平均為7 s，迭代200次，均方誤差小于0.1，如圖6所示。

總體正確率大于90%，實驗結果如表1所示。

表1 裂縫自動分類統計

從表1中的結果可看出，基于卷積神經網絡的自動分類方法對橫向裂縫，縱向裂縫，塊狀裂縫的分類準確率均達到90%以上，對網狀裂縫的分類準確率也達到85%，比傳統的分類方法正確率明顯提高。

4 結 語

本文提出了一種基于CNN的橋梁檢測識別算法，通過分析比較多種不同神經網絡的結構特點，對卷積神經網絡模型結構進行了改進。通過Matlab搭建的模型仿真實驗，驗證了所提方案的可行性和有效性。該方法可以有效解決國內裂縫診斷效率低、危險系數高等問題，有利于橋梁安全檢測向自動化、智能化的方向發展。但該文中的實驗結果未能達到預期效果，主要是由于所選裂縫圖像的光照不均、裂縫個數過多、傾斜角度過大等。未來的研究重點在于處理好外部影響因素，進一步提高橋梁裂縫檢測與識別的正確率。

[1] 張登峰．基于圖像處理的鐵路混凝土橋梁裂縫探測和信息獲取[D]． 北京：北京交通大學， 2014．

ZHANG Dengfeng. Crack Detection and Information Acquisition of Railway Concrete Bridges Based on Image Processing[D]. Beijing：Beijing Jiaotong University, 2014.

[2] 周傳林．圖像處理技術在混凝土橋梁裂縫檢測中的應用研究[J]．筑路機械與施工機械化，2014，31(2)：74-77．

ZHOU Chuanlin. Research on the application of image processing technology in crack detection of concrete bridges[J]. Road Machinery & Construction Mechanization, 2014, 31(2): 74-77.

[3] 孫波成, 邱延峻, 梁世慶. 基于小波的路面裂縫識別研究[J]. 重慶交通大學學報(自然科學版), 2010, 29(1):69-72.

SUN Bocheng, QIU Yanjun, LIANG Shiqing. Research on pavement crack identification based on wavelet transform[J]. Journal of Chongqing Jiaotong University(Natural Science Edition), 2010, 29(1):69-72.

[4] 丁愛玲, 焦李成. 基于支撐矢量機的路面破損識別[J]. 長安大學學報(自然科學版), 2007, 27(2):34-37.

DING Ailing, JIAO Licheng. Pavement distress recognition based on support vector machine[J]. Journal of Chang’an University(Natural Science Edition), 2007, 27(2):34-37.

[5] YAN H S, XU D. An approach to estimating product design time based on Fuzzy -Support Vector Machine[J]. Neural Networks IEEE Transactions, 2007, 18(3):721-731.

[6] DONG C, CHEN C L, HE K, et al. Learning a deep convolutional network for image super-resolution[C]//European Conference on Computer Vision.[S.l.]:[s.n.],2014:184-199.

[7] ZEILER M D, FERGUS R. Visualizing and understanding convolutional neural networks[J].CoRR, 2013, abs/1311.2901.

[8] 張國旗. 基于圖像處理的混凝土橋梁底面裂縫檢測方法的研究[D].北京： 北京交通大學, 2010.

ZHANG Guoqi. Research on Crack Detection Method of Concrete Bridge Bottom Surface Based on Image Processing[D]. Beijing ：Beijing Jiaotong University, 2010.

[9] 黃科軍. 基于車牌自動識別數據的車輛行為跟蹤檢測分析[D]. 長沙：湖南大學, 2013.

HUANG Kejun. Vehicle Behavior Tracking Detection Analysis based on Vehicle License Plate Automatic Recognition Data [D]. Changsha:Hunan University, 2013.

[10] 段青, 李鳳祥, 田兆壘. 一種改進的小波閾值信號去噪方法[J]. 計算機仿真, 2009, 26(4):348-351.

DUAN Qing, LI Fengxiang, TIAN Zhaolei. An improved wavelet threshold denoising method[J]. Computer Simulation, 2009, 26(4):348-351.

[11]路陽. 多尺度改進非局部平均圖像去噪算法[D]. 西安：西安電子科技大學, 2012.

LU Yang. Multi Scale Improved non Local Average Image Denoising Algorithm[D]. Xi’an:Xidian University, 2012.

[12]李天翼, 王明輝, 常化文,等. 基于熵檢測的圖像噪聲方差小波域估計[J]. 北京郵電大學學報, 2011, 34(5):1-5.

LI Tianyi, WANG Minghui, CHANG Huawen, et al. Wavelet domain estimation of image noise variance based on entropy detection[J]. Journal of Beijing University of Posts and Telecommunications, 2011, 34(5):1-5.

[13]高文仲, 陳志云, 曾秋梅. 小波閾值圖像去噪算法改進[J]. 華東師范大學學報(自然科學版), 2013(6):83-92.

GAO Wenzhong, CHEN Zhiyun, ZENG Qiumei. Improvement of wavelet threshold image denoising algorithm[J]. Journal of East China Normal University(Natural Science Edition), 2013(6):83-92.

[14]嚴萍.汽車車牌自動識別技術的研究[D].南京：南京理工大學，2008.

YAN Ping.Research on Study on the Vehicle License Plate Recognition Technology[D].Nanjing:Nanjing University of Science and Technology,2008.

[15]楊心. 基于卷積神經網絡的交通標識識別研究與應用[D]. 大連：大連理工大學, 2014.

YANG Xin. Research and Application of Traffic Sign Recognition Based on Convolutional Neural Network[D]. Dalian: Dalian University of Technology, 2014.

Detection and recognition of bridge crack based on convolutional neural network

LIU Honggong , WANG Xuejun, LI Bingying, MENG Jie

(School of Information Science and Technology, Shijiazhuang Tiedao University, Shijiazhang, Hebei 050043, China)

Aiming at the backward artificial visual detection status of bridge crack in China, which has a great danger coefficient, a digital and intelligent detection method of improving the diagnostic efficiency and reducing the risk coefficient is studied. Combing with machine vision and convolutional neural network technology, Raspberry Pi is used to acquire and pre-process image, and the crack image is analyzed; the processing algorithm which has the best effect in detecting and recognizing is selected; the convolutional neural network(CNN) for crack classification is optimized; finally, a new intelligent crack detection method is put forward. The experimental result shows that the system can find all cracks beyond the maximum limit, and effectively identify the type of fracture, and the recognition rate is above 90%. The study provides reference data for engineering detection.

image processing; bridge crack; Raspberry Pi; convolutional neural network； detection

1008-1542(2016)05-0485-06

10.7535/hbkd.2016yx05009

2016-04-27；

2016-07-01；責任編輯：李 穆

河北省教育廳重點項目(ZD2016052)

劉洪公(1990—)，男，河北滄州人，碩士研究生，主要從事機器視覺和計算機控制方面的研究。

王學軍教授。E-mail:wangxj@stdu.edu.cn

TP183

A

劉洪公，王學軍，李冰瑩，等.基于卷積神經網絡的橋梁裂縫檢測與識別[J].河北科技大學學報,2016,37(5):485-490.

LIU Honggong，WANG Xuejun，LI Bingying，et al. Detection and recognition of bridge crack based on convolutional neural network[J].Journal of Hebei University of Science and Technology,2016,37(5):485-490.