基于改進YOLOV3算法的斜拉橋拉索表面缺陷檢測方法*

李運堂謝夢鳴王鵬峰李孝祿

(1.中國計量大學機電工程學院，浙江 杭州 310018；2.中國計量大學現代科技學院，浙江 杭州 310017)

近年來，大跨度橋梁在國家和地區經濟發展中的作用越來越重要。斜拉橋作為現代大跨度橋梁的重要結構形式，因優越的跨越能力在跨河、跨海大橋中得到廣泛應用[1-3]。斜拉橋主要由索塔、拉索和梁三部分構成。其中，拉索為主要受力部件，由外部保護套和內部鋼絲束組成[4]。由于拉索長期暴露于外部環境，日曬雨淋等環境因素容易引起保護套破損，外部腐蝕性物質由破損處侵入拉索內部，極易導致鋼絲束銹蝕甚至斷裂，嚴重威脅橋梁安全[5-7]。因此，拉索表面缺陷檢測極為重要[8]。

常見的拉索表面缺陷檢測方法有三種:一是目測，檢測人員手持望遠鏡觀察拉索表面是否存在缺陷，效率低、準確性差；二是采用拉索檢測車[9]，檢測人員乘坐吊籃升至高空檢查拉索，危險性高、檢測結果主觀性強；三是視頻檢測，機器人搭載攝像頭沿拉索爬升，拍攝和存儲拉索表面視頻數據，設備返回后，檢測人員通過觀看視頻檢查索體，實時性差、人工判斷費時費力。因此，拉索表面缺陷檢測的自動化水平亟待提高。

韓國世宗大學Ho等[10]提出拉索表面缺陷位置檢測算法，通過濾波降噪和圖像增強去除圖片中無關干擾并將結果投射到PCA空間完成缺陷識別和分類。李新科等[11]設計了拉索表面缺陷分布式視覺檢測系統，采用中值濾波降噪，通過改進Sobel算子提取邊緣特征，利用形態學中的開操作對缺陷區域進行分割處理，并對處理后的區域進行像素點統計，根據像素點聚合數目完成決策判別，算法簡單、執行效率高，但形態學算子需手動調整。Hou等[12]采用Cascade Mask RCNN算法進行缺陷分割提取，針對拉索表面缺陷數據集稀少問題，利用遷移學習的思想，將混凝土縫隙數據集訓練模型權重參數遷移至拉索表面缺陷數據集訓練，雖然模型分割效果較好，但是Cascade Mask RCNN為二階段算法，模型分割效率低。李鑫[13]選用PVC管材模擬橋梁拉索并將缺陷分為片狀缺陷和條狀缺陷，針對條狀缺陷誤檢率較高的問題，引入PCA算法配合圖像旋轉進行二次判定，提高了準確率，但效率偏低，關鍵變量需手動賦值。可見，傳統圖像處理技術拉索表面缺陷檢測的自動化程度不高。

目標檢測為深度學習應用領域之一，相對于傳統圖像處理技術，物體識別更精確，效率更高。Ren[14]等提出的Faster R-CNN為最具代表性的二階段目標檢測算法，識別效果好，但算法處理速度較慢。Redmon等[15]針對此問題提出快速物體識別算法:You Only Look Once，簡稱YOLO。YOLO屬于端對端模型，以整幅圖片輸入，采用回歸機制，直接輸出預測框以及框內目標種類。在YOLO基礎上，2018年升級的YOLOV3引入殘差結構加深主干特征提取網絡，并利用多尺度預測增強中小目標檢測能力。相對于Faster R-CNN，YOLOV3速度更快。

1 拉索表面缺陷特征分析

根據拉索保護套破損程度，可將表面缺陷分為穿透性缺陷和損傷性缺陷。穿透性缺陷屬于嚴重缺陷，根據形狀可細分為孔洞和縫隙。損傷性缺陷危害程度相對較低，外部腐蝕性物質無法直接作用于內部鋼絲束，但如果不及時檢測并維護，在外部環境催化下，損傷性缺陷可能轉變為穿透性缺陷。

不同拉索表面缺陷特征各異。孔洞缺陷尺度不一，較小的孔洞甚至難以肉眼識別，檢測難度大；縫隙缺陷與損傷缺陷中的條狀損傷外觀非常相似，極易混淆，但前者屬于穿透性缺陷，危害大，后者屬于損傷性缺陷，危害較小。傳統圖像處理技術側重于特征提取，適用于背景簡單和實時性要求不高的場合。拉索表面缺陷檢測實時性和檢測精度要求較高，并且缺陷類別分辨困難，傳統圖像處理方法無法滿足要求。YOLOV3算法作為優秀的一階段目標檢測模型，融入了多尺度特征融合結構，兼顧了檢測精度和速度，適合拉索表面缺陷自動化檢測。

2 YOLOV3算法原理

2.1 網絡結構

YOLOV3網絡結構包括主干特征提取網絡DarkNet53和多尺度融合特征金字塔結構，如圖1所示。

圖1 YOLOV3網絡結構

其中，虛線框部分為DarkNet53主干特征提取網絡，Y1、Y2、Y3為不同尺寸特征圖，DBL由相應的卷積層(Conv)、批量歸一化層(BN)和Leaky ReLu激活函數組成。

DarkNet53為卷積層和5個殘差模塊串聯構成的殘差網絡，每個殘差模塊中堆疊不同數量的殘差元，殘差元由快捷鏈路和兩個DBL模塊構成[16]。可通過增加網絡深度提高特征學習率，內部殘差元的快捷鏈路緩解了過度增加網絡深度導致的梯度消失問題。特征金字塔結構對DarkNet53第五個殘差塊輸出結果進行五次卷積運算，卷積結果一部分輸出大尺寸目標預測結果，另一部分通過卷積和上采樣與DarkNet53第四個殘差模塊的輸出進行通道上堆疊，堆疊后的輸出再進行五次卷積處理，處理結果一部分輸出中等尺寸目標預測結果，另一部分與DarkNet53第三個殘差模塊輸出再進行通道上堆疊，最后將堆疊后的特征圖進行五次卷積輸出小尺寸目標預測結果。YOLOV3網絡通過多尺度特征融合，可同時學習淺層與深層特征層語義信息，提高網絡模型細粒度，泛化目標檢測能力。

2.2 網絡預測

YOLOV3算法將輸入圖片劃分為不同尺度網格，實現大、中、小三種尺度目標預測。以輸入416×416圖片為例，經過DarkNet53和特征金字塔結構后，輸出13×13、26×26、52×52三種特征圖，相當于將輸入圖片分別劃分為169、676和2704個網格，每個網格負責對應像素區域的預測結果，每種尺度網格均含有大、中、小三種尺寸的先驗框。常規YOLOV3算法先驗框尺寸如表1所示。

表1 常規YOLOV3算法先驗框尺寸

YOLOV3預測為先驗框調整過程，每個先驗框有5+c個參數，分別為:中心坐標(t x，t y)，尺寸系數t w、t h，置信度分數P以及分類總數c。圖2(a)為預測框調整示意圖。(c x，c y，c w，c h)為最終得到的預測框參數值，采用式(1)計算。σ(t x)、σ(t y)為Sigmoid函數歸一化坐標偏移量，(b x，b y)為每個劃分的1×1網格左上角坐標，p w、p h分別為先驗框的寬和高在當前特征圖的映射。

置信度分數P由預測框是否包含目標物體、物體屬于某類的概率以及預測框和真實框的交并比(IOU)決定，采用式(2)計算。P r(c)表示目標框是否包含目標物體，包含置1，不包含置0。P r(obj)為目標屬于某類的概率。

IOU示意圖如圖2(b)所示，采用式(3)計算。其中，S A∩B表示真實框A與預測框B交集的面積，S A∪B表示真實框A與預測框B并集的面積。IOU越大表明網絡預測效果越好，最大值為1。

圖2 預測框調整和IOU示意圖

特征層中一個目標區域可生成多個預測框，需采用非極大值抑制進行篩選，篩選方式如式(4)，具體步驟為:將預測框按屬于某類的置信度得分排序；選擇排序靠前的框作為目標預測框；設定概率閾值T；去除與目標預測框重疊較多的預測框。

式中:I為真正預測框，IOU(G，E i)為目標預測框G和其余框E i的交并比，T c為概率閾值。

2.3 常規YOLOV3算法的不足

常規YOLOV3先驗框尺寸針對COCO數據集，不符合拉索表面缺陷特征；拉索表面缺陷尺度多變、類別較少，且與顏色無關，常規YOLOV3的DarkNet53網絡層數冗余較大，特征金字塔結構多尺度信息學習能力不足；縫隙缺陷與損傷缺陷中的條狀損傷類似，缺陷尺度多變，預測框回歸位置不精確，常規YOLOV3分辨效果不好。

因此，需對常規YOLOV3先驗框選取，網絡框架結構以及損失函數進行改進，從而滿足拉索表面缺陷檢測要求。

3 YOLOV3算法改進

3.1 先驗框選取

先驗框尺寸影響模型訓練的預測效率和準確率。YOLOV3引入了Faster R-CNN的先驗框機制，但常規YOLOV3算法先驗框尺寸針對COCO數據集，見表1，不符合拉索表面缺陷特征。通過分析數據集圖像中各缺陷尺寸特點，以平均交并比(Avg_IOU)作為評價標準，從數據集中隨機抽取數據樣本，采用K-Means[17]聚類算法對樣本數據進行聚類分析，獲得更符合缺陷特征的先驗框。Avg_IOU計算式為

式中:T為樣本中標注的真實框，I e為聚類框，k為設置的聚類框數目，N為樣本數據中真實框數目，N k為第k個聚類框對應的樣本數量，fIOU為計算聚類框和真實框交并比的函數。

k取值1～10，對數據樣本進行先驗框聚類試驗，結果如圖3所示。

圖3 聚類試驗結果

由圖3中可以看出，當k較小時，Avg_IOU隨k增大逐漸增大，但增長速度逐漸減小，當k≥9時，Avg_IOU增長速度趨近于0，Avg_IOU趨于最大值。由于k大于9影響算法收斂速度[18]，取k＝9，即通過聚類分析得到9種先驗框尺寸，如表2所示。

表2 改進YOLOV3先驗框尺寸

3.2 網絡結構改進

常規YOLOV3網絡針對COCO數據集中復雜的種類特征，采用較多的網絡層數完成語義信息學習。考慮到拉索表面缺陷種類較少、缺陷識別與顏色無關、檢測實時性要求高等因素，削減DarkNet53網絡層數，將主干網絡中融合的殘差塊數量減少至15，能夠在不影響缺陷識別精度的同時，大幅度提高識別效率。在特征金字塔結構中，雖然常規YOLOV3網絡采用類似FPN的上采樣加融合方法，提高了中、小尺度物體預測能力，但拉索表面缺陷尺度信息非常豐富，常規YOLOV3依然存在漏檢和錯檢。針對此問題，引入SPP-Net[19]中SPP(Spatial Pyramid Pooling)結構，如圖4所示。

圖4 SPP結構示意圖

SPP結構分為兩部分，一部分通過5×5、9×9、13×13尺寸的最大池化層，另一部分通過快捷鏈路與池化后的結果進行通道堆疊。通過多重感受野特征融合，能夠聚合不同區域中最顯著的上下文信息，使網絡有效學習多尺度拉索表面缺陷特征。Dark-Net53中的第五個殘差塊后接SPP結構，通過五次卷積調整通道數并進一步提取特征，卷積后的結果一部分用于Y1特征圖預測，一部分通過卷積和上采樣應用至后續預測；Y2和Y3特征圖前設置SPP結構用于提升中、小尺寸目標預測精度。改進后的網絡結構如圖5所示。

圖5 改進的YOLOV3網絡結構

3.3 損失函數設計

常規YOLOV3損失函數由預測框回歸損失、置信度分數損失和分類損失三部分組成，預測框回歸損失直接使用IOU作為損失函數，雖然可提高預測框回歸質量，具有尺度不變性，但存在以下問題:

①預測框和真實框如果無交集，二者無論距離多遠，IOU均為0，模型無法優化無重疊預測框和真實框。

②收斂慢，回歸不準確。

③無法完整體現YOLO算法預測框特點，優秀的預測框回歸損失應該包含三個要素:交集區域面積、中心點間距和寬高比[20]，IOU回歸損失只考慮了交集區域面積。

針對上述問題，引入CIOU作為預測框回歸損失，CIOU包含回歸損失的三要素，預測框回歸更精確，由于規定了與真實框的最小標準化距離，加快了函數收斂速度。圖6為CIOU計算示意圖，采用式(6)計算。

式中:d2(b gt，b)為真實框中心點和預測框中心點的歐氏距離，即圖6中的D；c為同時包圍預測框和真實框的最小包圍框的對角線距離，即圖6中的C。α為正值權衡參數，見式(7)。q用于衡量寬高比一致性，采用式(8)計算，w gt和h gt分別表示真實框的寬和高，w和h分別表示預測框的寬和高。

圖6 CIOU計算示意圖

采用式(9)計算預測框回歸損失，CIOU越大，回歸損失越小，預測框越準確。預測框回歸損失Coordloss、置信度損失Confloss和原分類損失Classloss分別采用式(9)、式(10)和式(11)計算。

式中:表示第i個網格中的第j個預測框是否包含物體，包含物體fobji j置1，否則置0。s表示圖像劃分的網格數，B表示單個網格包含的預測框數，C為缺陷種類數，p為屬于某一類的概率，c為缺陷種類編號，λnoobj為懲罰系數。

由于拉索表面缺陷中條狀損傷和縫隙較為相似，常規YOLOV3分類效果不好，需增大分類損失在損失函數中的權重系數λclass，提升分類精度，修改后的分類損失函數為

經試驗可知，λclass＝1.5時，分類效果較好。綜合式(9)、式(10)和式(12)得到網絡總損失函數。

4 缺陷檢測實驗

4.1 實驗樣機和數據集

由于拉索表面缺陷沒有公開的數據集，并且實地采集困難，采用與拉索表面外觀相近的PVC管材模擬拉索保護套常見的三種缺陷，孔洞、縫隙、損傷。

如圖7所示，四個攝像頭均勻設置在爬升機構上，無線信號接收機接收發射機傳回的圖像數據，畫面分割器將四路視頻信號轉換成單路視頻信號，通過圖像采集卡輸入計算機。

圖7 圖像檢測系統

圖8為圖像檢測系統各個模塊。圖8(a)為圖像采集模塊，包含CCD和鏡頭，CCD采用順華利電子有限公司的SHL-019，500萬像素，最大分辨率1920*1080；鏡頭選用定焦5 mm，C接口參數為2/3的工業鏡頭，鏡頭中心與拉索表面距離約110 mm。四個圖像采集模塊互成90°設置，采集拉索周向表面圖像。

圖8(b)為無線圖傳模塊，包括四個發射機Ⅰ和一個接收機Ⅱ，每個發射機與對應的圖像采集模塊連接，外置電池供電。接收機接收四路發射機信號后輸出四路HDMI信號。發射機和接收機之間有效傳輸距離為500 m，視頻畫面清晰度1080p，傳輸時間小于150 ms，滿足實時性要求。

圖8(c)為圖像后處理模塊，Ⅰ為MT-VIKI畫面分割器，將接收的四路信號轉換成單路信號，在單個屏幕上同時顯示拉索表面周向圖像。Ⅱ為圖像采集卡，將畫面分割器輸出的HDMI信號轉換成USB信號輸入計算機。

圖8 圖像檢測系統各模塊

計算機硬件環境:CPU為Intel i5 8th；顯卡為NVIDIA GEFORCE GTX 1050Ti，顯存4G；內存16G。算法開發基于Windows10系統，采用VSCODE開發環境，Python3.6開發語言，Pytorch1.2深度學習框架和開源算法庫OpenCV4.1。

為了提高模型訓練結果的魯棒性，通過更換PVC管、改變拍攝角度和攝像頭相對位置獲取更多的圖像數據，得到3 000張隨機包含孔洞、縫隙、損傷三種缺陷圖像，并按5∶1隨機劃分為訓練集和測試集。采用LabelImg對圖像中包含的缺陷進行標注，標注界面如圖9所示，輸出包含缺陷位置、種類等信息的xml文件。

圖9 LabelImg標注界面

4.2 評價指標

為了檢驗改進YOLOV3缺陷識別效果，選取目標檢測領域中主流檢測指標對模型進行性能評估。假設T C為屬于當前類別并被正確劃分為該類別的缺陷數量；F C為屬于其他類別但是被錯誤劃分到當前類別的缺陷數量；F N為屬于當前類別但被錯誤劃分到其他類別的缺陷數量。定義如下指標:

①精確率P e

②召回率R

③F1分數

④P-R曲線的面積，AP

⑤均精度值，mAP

為了綜合考慮精確率和召回率，引入AP值概念，其量化方式為P-R曲線所包圍的面積，AP值越高，分類性能越好。對于多分類場合，采用mAP對分類性能進行評價。

4.3 網絡訓練

對改進后YOLOV3算法使用GPU進行訓練，采用Adam優化器，Batch_size設置為4，初始學習率設置為0.001，學習率衰減系數設置為0.000 5。網絡模型共迭代400次，迭代訓練的損失值變化如圖10所示。可以看出，前50次迭代中，損失曲線下降速度非常快，繼續訓練至100個世代后，損失值變化趨于穩定，最終收斂于0.4左右。

圖10 損失值-迭代次數曲線

4.4 檢測實驗

將訓練好的模型在測試集上測試，通過增加圖像中缺陷數量，對比改進YOLOV3算法與常規YOLOV3算法的識別效果。檢測結果如圖11所示。圖11(Ⅰ):改進YOLOV3預測框定位較常規YOLOV3更準確，表明將IOU進化成CIOU作為預測框回歸損失提高了缺陷定位準確性。圖11(Ⅱ):由于靠下的縫隙缺陷和長條狀損傷缺陷相似度較高，常規YOLOV3出現誤判，改進YOLOV3由于增大了分類損失權重，可以準確判別。圖11(Ⅲ):常規YOLOV3將兩處損傷缺陷識別成四個，缺陷定位不準確，部分預測框沒有完全包圍缺陷輪廓，改進YOLOV3定位精確，無錯檢和漏檢。圖11(Ⅳ):常規YOLOV3出現漏檢，并且將單個縫隙缺陷錯分成兩個，改進YOLOV3由于增加了SPP結構，增強了多尺度特征學習能力，沒有出現錯檢和漏檢。由此可見，算法改進有效可行，改進后的YOLOV3比常規YOLOV3更準確。

圖11 模型效果對比圖

檢測實驗定性表明了改進YOLOV3識別效果優于常規YOLOV3，現定量分析常規YOLOV3和三種改進方法的測試結果。采用劃分好的測試集進行測試，測試集隨機包含Ⅰ類缺陷(孔洞)、Ⅱ類缺陷(縫隙)以及Ⅲ類缺陷(損傷)。三種改進方法分別為:改進先驗框(方法1)；改進先驗框尺寸和調整損失函數(方法2)；修改網絡結構并改進先驗框尺寸、調整損失函數(方法3)。精度指標采用單分類精度AP、多分類精度mAP和算法優劣評價指標F1分數，速度指標采用視頻幀率FPS進行評估，測試結果如表3所示。

表3 分類精度和速度表

可以看出，相對于常規YOLOV3，方法2各類缺陷的AP值、mAP指數和F1分數均有所提升，表明調整后先驗框尺寸更符合拉索表面數據集的圖像特征。方法2相對于方法1和常規YOLOV3，各項指標均有所提高，表明采用CIOU作為預測框回歸損失，增大分類損失在總損失中的權重有助于提高分類精度。方法3在改進損失函數和調整先驗框的同時，精簡主干特征提取網絡提高了檢測效率，并通過在特征金字塔中添加SPP結構，融合了不同感受野的顯著特征，提升了網絡檢測精度，相對于方法2、方法1以及常規YOLOV3，方法3檢測精度和速度均有一定程度提高，可夠滿足拉索缺陷檢測精度和實時性需求。

4.5 不同算法檢測結果對比

選用目標檢測領域中主流的檢測算法:Faster R-CNN、常規YOLOV3和改進YOLOV3在測試集中進行試驗對比，精度指標選用mAP，速度指標采用視頻幀率FPS，試驗對比結果如表4所示。可以看出，兩階段檢測的Faster R-CNN結構復雜、耗時較長、不能滿足拉索檢測實時性需求，改進YOLOV3相對于常規YOLOV3、Faster R-CNN精度和速度均更優。

表4 不同模型測試性能對比

5 結論

提出了基于改進YOLOV3的拉索表面缺陷檢測方法。利用K-Means聚類算法對數據集進行聚類分析，得到合適的先驗框尺寸和數量；通過精簡主干特征提取網絡的殘差塊數量提高檢測效率，在Dark-Net53結構第五個殘差塊的輸出以及Y2和Y3特征圖前分別設置SPP結構，融合不同感受野的特征信息提升網絡整體預測精度；引入CIOU作為預測框回歸損失，提升預測框定位精度，針對實際分類效果較差問題，增大了分類損失權重，提高分類精度。經過一系列迭代訓練，在測試集中與常規YOLOV3和Faster R-CNN進行性能對比。試驗結果表明，改進YOLOV3檢測效率和精度均優于前兩者，mAP和FPS指數分別達到了93.7%和17，滿足拉索缺陷檢測精度和實時性需求。改進YOLOV3可以為拉索運行狀態評估提供參考，同時可用于型材劃痕檢測、高空管道檢測以及地下管線檢測等領域。