基于全景成像的斜拉橋拉索表面缺陷檢測研究

楊增祥,陳 琳,陳 悅

(國網浙江省電力有限公司臺州供電公司 臺州市 318000)

0 引言

我國地域遼闊、地形復雜、水系密布、橋梁眾多,斜拉橋因跨度大、承載力強、造型優美,在我國道路交通中發揮著重要作用。拉索作為斜拉橋重要組成部分和主要受力構件[1],長期暴露于自然環境、經受日曬風吹雨淋。同時,拉索在周期和非周期載荷作用下產生復雜動態形變,建設在江河湖泊或海上的斜拉橋,拉索表面易受潮濕環境腐蝕,導致外部聚乙烯(PE)保護套形成翹皮、孔洞、縫隙等缺陷[2-3],如果不及時檢測和修復,將引起內部鋼絲束腐蝕,甚至生銹斷裂,嚴重威脅斜拉橋安全[4]。

目前拉索表面缺陷檢測主要采用兩種人工方法:一是檢測人員在地面通過望遠鏡遠距離觀察拉索表面,判斷是否存在缺陷,容易漏檢;二是檢測人員搭升降機或吊籃,肉眼檢查拉索表面狀況,效率低、安全性差[5]。因此,拉索表面缺陷自動化檢測水平亟待提高。其中,利用拉索機器人搭載視頻采集設備獲取拉索表面圖像,采用圖像處理技術實現拉索表面缺陷自動檢測是普遍認可的技術方案。

在拉索表面缺陷檢測方面,王建林等[6]研究了拉索表面缺陷分割方法,通過Lab顏色空間預處理獲得圖像背景掩膜,完成圖像分割,效率高、結果準確,但依賴圖像二值化結果,僅適用于前景與后景灰度變化大的場合。喬湘洋等[7]通過改進加權平均的權重系數,并與灰度相似函數相乘得到空間鄰近函數,避免圖像畸變。采用自適應窗口去除噪聲,對缺陷邊緣平滑處理進而提取缺陷,算法簡單,準確率高。

傳統圖像處理難以區分特征相似缺陷,易受光照影響,魯棒性差、檢測精度低。隨著深度學習技術的發展,其檢測精度、速度和可靠性大幅提高[8]。許多學者利用深度學習方法檢測斜拉橋拉索表面缺陷。

余朝陽[9]將Faster R-CNN深度學習模型用于拉索表面缺陷檢測,相對于傳統圖像處理,檢測速度提高了3倍。但Faster R-CNN為典型的兩階段模型,精度高但處理速度慢、耗時長。李運堂等[10]在常規YOLOV3模型的基礎上,在特征提取網絡中引入SPP結構,豐富不同尺度缺陷信息;利用CIOU作為損失函數,提高預測框精度,改進后的網絡精度更高,速度更快。

文章利用與拉索表面材質相近的PVC管模擬拉索表面,在管材上構造孔洞、損傷、縫隙三種常見缺陷,搭建數據集,利用YOLOX網絡實現缺陷檢測,具有速度快、精度高、魯棒性好等優點。

1 YOLOX網絡

YOLOX網絡由主干特征提取網絡CSPDarknet、加強特征提取網絡PAFPN、分類回歸器YOLO Head組成。在圖像輸入部分,YOLOX采用Mosaic和MixUp進行數據增強,Mosaic通過隨機裁剪、縮放、排布等方式拼接圖像,大幅提高小目標的檢測精度。

在主干特征提取網絡CSPDarknet中,Focus結構采用單像素間隔取值,堆疊四個特征層信息,將輸入圖像通道數擴充4倍。dark2、dark3、dark4、dark5均包含CBS和CSP結構。CBS由卷積層(Conv)、歸一層(BN)和SiLU激活函數組成,實現卷積標準化操作。CSP將輸入圖像主干部分通過殘差塊進行堆疊,另一部分經過卷積后與主干部分繼續堆疊并卷積化處理。dark5在CBS和CSP之間增加了SPP結構,SPP將輸入信息經過CBS處理后一部分通過5×5、9×9、13×13最大池化核處理,與未經處理的輸入信息堆疊后再進行CBS操作。SPP可最大程度提升CSPDarknet的感受野,從而學習更完善的拉索表面缺陷特征。CSPDarknet最后輸出三個有效特征層,分別為Y1、Y2和Y3。

加強特征提取網絡采用PAFPN結構。其中,Y1、Y2、Y3三個特征層經過上采樣、下采樣、堆疊、CBS,CSP提取特征完成特征融合,分別輸出至三個分類回歸器YOLO Head。相對于其它YOLO算法,YOLOX的YOLO Head采用解耦頭(Decoupled Head)對預測分支進行解耦,從而提高網絡收斂速度。

在解耦過程中,YOLO Head首先對PAFPN輸出的每個特征層進行CBS操作,將通道數減少至256;然后,添加兩個并行分支,分別用于分類和回歸,每個分支進行兩次CBS操作進行降維;同時,YOLOX采用無錨框(Anchor free)檢測器,減少參數量,提高檢測速度。

2 數據集搭建

利用拉索爬升裝置搭載四個均勻分布的攝像頭沿拉索爬行,獲取拉索表面全景圖像,由于攝像頭拍攝角度以及鏡頭存在廣角,無法規避拉索周圍背景,如圖1所示。

圖1 環境背景示意圖

環境背景影響缺陷檢測準確性,導致誤檢、漏檢,并且降低檢測精度。因此,需通過圖像預處理去除背景。由于攝像頭與拉索表面距離相同,拉索表面區域在整個圖像中的坐標固定,環境背景出現在圖像左右兩側,運用圖像掩膜去除環境背景。

按幀提取采集的視頻數據獲得圖像,得到2000張隨機包含孔洞、損傷、縫隙三種不同缺陷圖像數據集,并利用LabelImg標注數據集,將缺陷類型、坐標等信息保存在xml文件中。

3 實驗

3.1 評價指標

利用精度P、召回率R、平均精確率AP、F1分數和均精確度mAP五個指標評價缺陷檢測結果。

目前，關于生物炭對土壤理化性質的研究，大多屬于定性分析生物炭對土壤相關參數的影響，很少從定量方面研究生物炭施加于參數變化的關系。因此本文研究施加生物炭后的土壤水分特征曲線，通過在土壤中添加不同含量的生物炭，利用離心機測定其土壤水分特征曲線，定量描述土壤水分特征曲線在不同生物炭施加條件下的變化情況，對比分析得出生物炭對土壤水分特征曲線的影響規律。

(1)精度P:所有缺陷結果中正確的比例

P=TP/(TP+FP)

(1)

式中:TP為屬于該類型缺陷且被正確檢測為該類型的數量,FP為屬于其它類型缺陷但被錯誤檢測為該類型的數量。

(2)召回率R:檢測正確的缺陷占所有檢測結果比例

R=TP/(TP+FN)

(2)

式中:FN為屬于該類型缺陷但被檢測為其它類型的數量。

(3)F1分數:精度P和召回率R的調和平均數

F1=2P·R/(P+R)

(3)

(4)平均精確率AP:P-R曲線面積

AP=F(P,R)

(4)

(5)均精確度mAP:所有缺陷類型AP的平均值

(5)

式中:N為缺陷類型數。

3.2 網絡訓練

將已標注的2000張數據集按照9:1劃分為訓練集和測試集,載入YOLOX網絡,利用GPU進行訓練。訓練采用SGD優化器,共訓練300個世代(Epoch)。計算機硬件環境:CPU為Intel i7 9700k;GPU為NVIDIA GEFORCE 1660,顯存6G;內存32G。軟件環境:Pycharm編譯器,Python3.6,Pytorch1.2。網絡訓練參數如表1所示。

表1 網絡訓練參數

其中,Batch_size為單次訓練所使用的樣本;Init_lr為學習率;Weight_decay為權值衰減系數;Epoch為訓練世代。

網絡損失值隨訓練世代增加變化如圖2所示。可以看出,前50個訓練世代損失值快速減小,表明網絡能夠較好地適應數據集特征;隨后損失值開始緩慢降低,在250個訓練世代左右收斂至0.35,表明YOLOX網絡訓練過程有效。

圖2 損失值變化曲線

3.3 網絡測試對比

將YOLOX與YOLOV3、YOLOV4在測試集上進行對比實驗,結果如圖3所示。其中,類圓形表示孔洞,貫穿拉索表面;細長條形表示縫隙,貫穿拉索表面。圖3中,YOLOV3和YOLOV4不僅出現漏檢、檢測框定位不準確問題,而且YOLOV3在縫隙缺陷處存在重復檢測,YOLOVX能夠完整的識別出所有缺陷且缺陷分類準確。所有對比實驗中,YOLOX檢測結果均優于YOLOV3和YOLOV4,能夠達到拉索表面缺陷自動化實時檢測要求。

圖3 檢測結果對比

以mAP和幀率FPS作為評價指標定量分析YOLOX性能,FPS表征視頻檢測速度。將YOLOX與YOLOV3、YOLOV4以及Faster R-CNN進行對比實驗,結果如表2所示。

表2 網絡對比結果

結果表明,Faster R-CNN準確率與YOLOX相近,但Faster R-CNN屬于兩階段檢測模型,結構復雜、耗時長,檢測速度遠低于其它網絡。YOLO系列屬于單階段目標檢測模型,檢測速度快高、效率高。

YOLOX準確率和檢測速度均優于YOLOV3,雖然YOLOV4檢測速度較YOLOX快,但其準確率較低。因此,YOLOX綜合性能最優。

4 結語

文章利用全景成像實現斜拉橋拉索表面缺陷檢測,包括主干特征提取網絡CSPDarknet、加強特征提取網絡PAFPN和分類回歸器YOLO Head。利用同拉索表面材質相近的PVC管構造的損傷、縫隙、孔洞三種常見表面缺陷,通過拉索爬升裝置搭載攝像頭獲取拉索表面全景圖像,采用掩膜法去除環境背景,搭建數據集。將數據集載入YOLOX網絡進行訓練測試,并與YOLOV3、YOLOV4、Faster R-CNN等主流目標檢測方法進行對比實驗。實驗結果表明:YOLOX的mAP和FPS分別為92.77%和18,綜合實驗效果最佳,滿足拉索表面缺陷檢測工作需求。