深度學(xué)習(xí)技術(shù)在海底管道巡檢中的研究與應(yīng)用

宋哲旭 徐志毅 曾 晉 李學(xué)成 陳開潤(rùn) 李小斌

（1．中海石油（中國(guó)）有限公司深圳分公司，廣東 深圳 518000；2．中海輝固地學(xué)服務(wù)（深圳）有限公司，廣東 深圳 518000；3．重慶米弘科技有限公司，重慶 400000）

0 引言

由于沖刷腐蝕、拖網(wǎng)錨害等原因，海底管道頻繁發(fā)生事故，因此準(zhǔn)確掌握海底管道狀態(tài)可以及時(shí)預(yù)防和排除安全隱患。隨著海底管道鋪設(shè)距離和運(yùn)行時(shí)間的延長(zhǎng)，海底管線巡檢技術(shù)亟需迭代升級(jí)。

邢海燕等人提出了一種IPSO-GRU神經(jīng)網(wǎng)絡(luò)對(duì)海底管道缺陷進(jìn)行定量識(shí)別，獲得96%的識(shí)別精度[1]。羅東浩基于深度學(xué)習(xí)方法檢測(cè)管道的泄漏點(diǎn)，達(dá)到了較好的實(shí)時(shí)性和準(zhǔn)確性[2]。馬建民等人設(shè)計(jì)了一種基于光視覺技術(shù)的自主巡檢系統(tǒng)，識(shí)別準(zhǔn)確率達(dá)96%，但該系統(tǒng)仍缺乏深海試驗(yàn)[3]。東京大學(xué)研制了一款名為Twin-Burger2的水下機(jī)器人，對(duì)水下管道進(jìn)行跟蹤，但在海底環(huán)境無(wú)法進(jìn)行實(shí)時(shí)性應(yīng)用[4]。KHAN A等人提出了一種圖像恢復(fù)和增強(qiáng)算法，能夠處理水域較渾濁的情況[5]。SCH?YEN等人提出了一種基于多波束回聲測(cè)深儀數(shù)據(jù)的自動(dòng)化管道探測(cè)方法，為海底管道智能巡檢提供了新思路[6]。

該文基于ROV采集的海底管道圖像提出了一種深度學(xué)習(xí)檢測(cè)技術(shù)，建立了一套巡檢系統(tǒng)輔助識(shí)別海管事件，以解決人工巡檢存在的漏檢、誤檢等問題，提高巡檢作業(yè)效率。

1 深度學(xué)習(xí)檢測(cè)技術(shù)

深度學(xué)習(xí)檢測(cè)技術(shù)避免了傳統(tǒng)機(jī)器學(xué)習(xí)的大量手工設(shè)計(jì)特征工作，并且能取得更優(yōu)的檢測(cè)結(jié)果。海底管道巡檢需要識(shí)別的事件包括海管節(jié)點(diǎn)（fieldjoint）、陽(yáng)極（anode）、雜物（debris：金屬、塑料、木材和漁網(wǎng)等）、支撐（sleeper）、懸空（freespan）、拋石（gravel）以及沙包（sandbag）。

1.1 數(shù)據(jù)集預(yù)處理

該文數(shù)據(jù)來(lái)源于ROV巡檢某海管采集的左、中、右3路視頻。中路圖像存在對(duì)比度低以及細(xì)節(jié)模糊等問題，采用多操作聯(lián)合增強(qiáng)技術(shù)可獲得穩(wěn)定的清晰圖像。該文方案采用優(yōu)化對(duì)比度增強(qiáng)[7]、限制對(duì)比度自適應(yīng)直方圖均衡化（CLAHE）[8]以及色階調(diào)整等操作實(shí)現(xiàn)圖像增強(qiáng)。圖像增強(qiáng)效果如圖1所示。

圖1 圖像增強(qiáng)

1.2 基于YOLOv5的事件檢測(cè)模型設(shè)計(jì)

由于事件的多樣性和海底圖像質(zhì)量低下等問題，該文平衡檢測(cè)速度與檢測(cè)效果，選取了Anchor based中的一階段法YOLOv5（you only look once）端到端的訓(xùn)練目標(biāo)檢測(cè)模型，以識(shí)別事件的具體類別和位置。

1.2.1 數(shù)據(jù)集構(gòu)建

該文選取8 936張分辨率為720×576的圖像進(jìn)行檢測(cè)模型的訓(xùn)練，其中訓(xùn)練集和驗(yàn)證集的比例為17∶3，測(cè)試集來(lái)源于ROV巡檢的實(shí)時(shí)圖像。試驗(yàn)的每個(gè)評(píng)估指標(biāo)通過5折交叉驗(yàn)證并最終取平均結(jié)果。所有試驗(yàn)均在Amax NVIDIA Titan V一張12G GPU的服務(wù)器上進(jìn)行。

1.2.2 YOLOv5網(wǎng)絡(luò)搭建

該文基于YOLOv5搭建了深度學(xué)習(xí)檢測(cè)模型，模型結(jié)構(gòu)如圖2所示。

圖2 YOLOv5模型結(jié)構(gòu)

骨干網(wǎng)絡(luò)用于海管圖像的特征提取，其中聚焦是指進(jìn)行下采樣操作，以減少計(jì)算量；殘差單元用于學(xué)習(xí)更豐富的特征；金字塔池化可實(shí)現(xiàn)局部特征和全局特征的特征圖級(jí)別的融合。YOLOv5先將輸入圖片縮放到統(tǒng)一尺寸，然后送入骨干網(wǎng)絡(luò)，最后處理網(wǎng)絡(luò)預(yù)測(cè)結(jié)果，得到檢測(cè)的目標(biāo)。其中，YOLOv5采用了馬賽克（Mosaic）數(shù)據(jù)增強(qiáng)，在一定程度上解決了數(shù)據(jù)量缺乏的問題，還采用非極大值抑制算法解決了一個(gè)目標(biāo)被多次檢測(cè)的問題，能在檢測(cè)的同時(shí)實(shí)現(xiàn)分類。訓(xùn)練YOLOv5檢測(cè)模型的損失函數(shù)由3個(gè)部分組成：置信度損失Lobj、類損失Lclass和位置損失Lbox。

Lobj和Lclass考慮了正、負(fù)樣本不均衡的影響，如公式（1）所示。在Lobj中，y′i為預(yù)測(cè)輸出的置信度，yi為真實(shí)概率0或1。在Lclass中，y′i為模型的預(yù)測(cè)輸出類別，yi為樣本的真實(shí)類別。

其中σ（y′i）=1/（1+exp（-y′i））。

Lbox采用了GIoU Loss，如公式（2）所示。其中GIoU表示對(duì)2個(gè)任意框A、B，找到一個(gè)最小的封閉形狀C，讓C把A、B包括在內(nèi)，計(jì)算C中沒有覆蓋A和B的面積占C總面積的比值，然后用A與B的交并比（IoU）減去這個(gè)比值。最后用1減去GIoU，轉(zhuǎn)化為最小值的優(yōu)化問題。

1.2.3 對(duì)比方法

本節(jié)選擇了SSD[9]、EfficientDet與該文方法做對(duì)比。SSD使用anchor機(jī)制，易于訓(xùn)練和集成。EfficientDet提出了目標(biāo)檢測(cè)網(wǎng)絡(luò)聯(lián)合調(diào)整復(fù)雜度的策略，在COCO數(shù)據(jù)集上取得了較好的效果。該文通過這2種方法進(jìn)一步驗(yàn)證該文方法的有效性。

1.2.4 評(píng)價(jià)指標(biāo)

海管事件檢測(cè)以幀率FPS、均值平均精度mAP作為評(píng)價(jià)指標(biāo)。FPS用來(lái)評(píng)估目標(biāo)檢測(cè)的速度，即每秒內(nèi)可以處理的圖像數(shù)量。對(duì)類別為C的事件，在一張圖像上的精度PC如公式（3）所示，TP為正確檢測(cè)的事件數(shù)量，F(xiàn)P為未正確檢測(cè)的事件數(shù)量（錯(cuò)檢、漏檢）。

類別為C的事件在所有圖像上的精度如公式（4）所示，其中N為圖像總量。

所有類別的事件在所有圖像上的精度如公式（5）所示，Nc為類別數(shù)量。

mAP在固定的數(shù)據(jù)集上計(jì)算，在分析模型結(jié)果的同時(shí)查看各類的平均精度，避免了對(duì)某些易檢測(cè)類別的偏好，適用于比較不同目標(biāo)的檢測(cè)方法。

1.2.5 試驗(yàn)結(jié)果及分析

海底管道事件檢測(cè)結(jié)果見表1。EfficientDet通過設(shè)計(jì)的BiFPN結(jié)構(gòu)取得了88%的mAP，SSD使用的Anchor機(jī)制不利于小目標(biāo)的檢測(cè)。SSD與EfficientDet由于參數(shù)量和網(wǎng)絡(luò)結(jié)構(gòu)龐大，因此檢測(cè)效率不高。YOLOv5通過回歸實(shí)現(xiàn)了端到端的目標(biāo)檢測(cè)，取得了最高的mAP和FPS。每類事件的具體檢測(cè)結(jié)果見表2。

表1 事件檢測(cè)結(jié)果

表2 每類事件檢測(cè)結(jié)果

由表2可知，對(duì)海管節(jié)點(diǎn)、陽(yáng)極、雜物、支撐等特征比較明顯的事件，YOLOv5取得了高于95%的精度，可有效用于海管巡檢系統(tǒng)。直觀的檢測(cè)結(jié)果如圖3所示。SSD與EfficientDet仍存在較多的錯(cuò)檢和漏檢情況，而YOLOv5適合各類事件的檢測(cè)，且能克服水圖像偏色、模糊以及較暗等問題，證明了該文選取的YOLOv5檢測(cè)方法在精度和速度方面能基本滿足海管巡檢系統(tǒng)的要求。

圖3 事件檢測(cè)結(jié)果

2 海底管道巡檢系統(tǒng)設(shè)計(jì)

海底管道巡檢軟件系統(tǒng)是結(jié)合深度學(xué)習(xí)算法訓(xùn)練的檢測(cè)模型與巡檢作業(yè)業(yè)務(wù)流程開發(fā)的應(yīng)用軟件。巡檢軟件系統(tǒng)功能包括海管管理、用戶管理、事件類型、事件管理、參數(shù)設(shè)置、巡檢任務(wù)、設(shè)備管理、離線視頻、巡檢操作以及事件記錄等模塊。功能結(jié)構(gòu)如圖4所示。

圖4 海底管道巡檢軟件功能結(jié)構(gòu)

海底管道巡檢軟件客戶端為巡檢作業(yè)用戶日常工作操作的主入口，用戶登錄進(jìn)入系統(tǒng)后，可進(jìn)行參數(shù)設(shè)置、創(chuàng)建巡檢任務(wù)、執(zhí)行巡檢任務(wù)、進(jìn)行設(shè)備連接、播放ROV視頻、開啟事件檢測(cè)、記錄異常事件和導(dǎo)出巡檢報(bào)告等業(yè)務(wù)操作。海底管道巡檢軟件主操作界面包括巡檢操作區(qū)、視頻顯示區(qū)、事件列表區(qū)、定位數(shù)據(jù)區(qū)以及上次巡檢事件區(qū)等區(qū)域。巡檢操作區(qū)域包括連接/斷開ROV、開始巡檢、暫停巡檢、視頻選擇和圖像增強(qiáng)等操作入口。視頻顯示區(qū)域用于顯示三路視頻實(shí)時(shí)的檢測(cè)效果。事件列表顯示巡檢過程中檢測(cè)到的事件，包括事件代碼、事件級(jí)別、事件發(fā)生位置以及是否是異常事件等信息。定位數(shù)據(jù)區(qū)域顯示當(dāng)前海管巡檢到的具體位置，包括經(jīng)緯度、到達(dá)的海管長(zhǎng)度等。上次巡檢事件區(qū)域顯示之前對(duì)同一根海管巡檢所檢測(cè)出的事件記錄，用于與本次巡檢結(jié)果進(jìn)行比較，進(jìn)而檢查之前發(fā)生的異常事件是否已修復(fù)。

3 結(jié)論

海底環(huán)境復(fù)雜多變，海底管道會(huì)不可避免地遭受自然侵蝕和磨損，而人工巡檢效率低下，誤檢率與漏檢率居高不下，因此該文提出了一種基于深度學(xué)習(xí)技術(shù)的海底管道輔助巡檢方法，可自動(dòng)識(shí)別各類事件并進(jìn)行記錄。系統(tǒng)主要通過目標(biāo)檢測(cè)方法確定事件的具體位置和類別，并通過巡檢系統(tǒng)記錄識(shí)別的事件，供后續(xù)分析查詢。海底試驗(yàn)表明，和人工巡檢相比，該方法大大提升了海管巡檢的效率和準(zhǔn)確率。未來(lái)將進(jìn)一步完善海底管道巡檢系統(tǒng)識(shí)別事件的種類，并對(duì)懸空、拋石及破損等事件進(jìn)行定量分析。