基于卷積神經網絡的無人機油氣管線巡檢監察系統①

劉松林,朱永豐,,張 哲,牛俊偉

1(信息工程大學,鄭州 450001)

2(河南浩宇空間數據科技有限責任公司,鄭州 450001)

3(鄭州信大先進技術研究院,鄭州 450001)

在當今許多領域,如石油、天然氣、水務、采暖、綜合管廊、電力等,巡檢工作已成為事關人員生命和財產安全的重要保障,客觀、準確地記錄和考核一線巡檢人員的執行情況因而變得極為重要[1–3].巡檢工作一般具有地域廣、作業面分散、人員眾多等特點,其工作落實的好壞、巡檢質量的高低很大程度上取決于巡檢人員的工作責任心和各級管理者現場監督的力度,其管理工作更是由于以上特點而難以落實,迫切需要更先進的電子化監督管理工具[4–7].基于無人機(直升機)的管線巡檢平臺剛好可以彌補這些缺點.

目前,管線巡檢工作已經成為油氣企業日常運作過程中不可或缺的一環,因此降低巡檢工作的資源投入以及最大限度地提升巡檢工作的效率和質量,就顯得尤為重要[3,8].為避免人工巡檢工作中出現漏報、緩報、錯報等問題,保證管線巡檢工作科學、規范、有效地進行,方便巡檢工人及時、準確、便捷地上報相關信息的同時減輕其工作復雜度,我們與鄭州信大先進技術研究院和河南浩宇空間數據科技有限責任公司聯合開發并設計一套與當前實際情況相結合的管線巡檢信息平臺.該系統和強大的遙感技術緊密結合,無需組織人工巡檢,依靠無人機在管線上方拍攝的照片就能準確的對可能破壞輸送管線的疑似物進行經緯定位,這種新的作業模式在提高巡檢工作效率和質量的同時,極大地減少了人力投入,能夠幫助企業更好的管控成本.

1 系統總體設計方案

1.1 系統功能目標

1)系統利用無人機快速響應、空中機動靈活及不受地理環境影響等優勢,搭載高清攝像機、及圖傳數傳模塊,實現基于深度學習的油氣管線快速巡檢監察功能.為油氣管線管理部門提供巡檢路段的遙感航拍影像,為管道管理、資產管理提供基礎數據支撐.

2)系統核心(無人機遙感影像數據處理系統)通過接收無人機采集的航拍遙感影像,采用基于深度學習的特定目標檢測算法,結合BP神經網絡樣本訓練架構,建立完整的訓練、檢測、識別、結果推送的完整體系,方便管線管理部門實時掌握管線運行狀況及完善的歷史數據庫.

3)系統中的信息發布、推送、管理子系統運用中原云大數據管理架構,將目標檢測結果信息及時推送至巡檢執法終端中,并對管道、隱患、違法、人員等信息進行有效管理和處理.

1.2 系統流程設計

基于深度學習的無人機油氣管線巡檢監察系統是通過無人機在管道上空沿線飛行,精確采集管道表面遙感影像;然后通過圖像處理和模型分析提取疑似物,再經過解析數字攝影測量技術轉換得到目標點的位置信息,管理人員審查確認后,通過網絡平臺將圖像及位置信息推送給線路管理人員(手持終端設備);最后經線路管理人員現場查看后,在線反饋巡檢情況.詳細流程如(圖1).

1)無人機飛行平臺由無人機本體、高清遙感影像采集模塊、圖傳數傳模塊組成,實現巡檢監察作業、管線數據采集回傳;

2)神經網絡目標檢測系統實時接收無人機遙感影像,并對影像中是否含特定目標進行快速搜索檢測,識別出安全隱患、預警等目標物后,直接將目標坐標、信息推送至無人機巡檢監察管理系統,并且進行數據庫入庫.

3)無人機巡檢監察管理系統及時將神經網絡目標檢測系統推送的安全隱患、預警信息再次進行類型分析,并推送至無人機巡檢執法終端,通知巡檢執法人員執法;此外,無人機巡檢監察管理系統實現對管線、人員、無人機、設備、安全隱患等信息進行統一數據展示和管理,做到無紙化管理、歷史記錄可查及快速編輯等其他巡檢監察功能.

4)無人機巡檢執法終端通過4G或互聯網接收無人機巡檢監察管理系統推送的信息,并根據當前路徑快速前往現場進行違法行為的制止和處理,并對現場情況進行確認并上報處理結果,即將處理結果通過無人機巡檢執法終端回傳至無人機巡檢監察管理系統,完成閉合處理流程,做到及時發現,及時處理,及時反饋.

圖1 系統作業流程示意圖

2 系統組成

基于深度學習的無人機油氣管線巡檢監察系統由四大子系統組成:無人機飛行平臺、神經網絡目標檢測系統、無人機巡檢監察管理系統以及無人機巡檢執法終端.下面對四大子系統進行詳細介紹.

2.1 無人機飛行平臺

河南浩宇空間數據科技有限責任公司和鄭州信大先進技術研究院組成的研究團隊,在調研油氣管線長距離日間巡檢需求的基礎上,設計并采用了一款油動固定翼無人機巡檢平臺,詳見圖2.其飛行器采用固定翼機構設計,野外環境中可通過彈射架直接起飛,降落時可通過自帶降落傘進行迫降,機身采用以碳纖維為主、多種復合材料,具有易攜帶、易操控、效率高、易維護等優點.該款新型航測無人機機身全長2米,翼展2.68米,任務載荷達6千克,最大起飛重量22千克,最大飛行距離 300 公里,巡檢飛行高度 100–200 米,該飛機采用模塊化設計,便于運輸及外場高效作業.

圖2 固定翼油動飛行器和地面飛行工作站

2.2 卷積神經網絡目標檢測系統

本文提出的卷積神經網絡算法是基于“YOLO(You Only Look Once)”[9]項目進行卷積層重新組合設計,使用單個神經網絡將圖像分成區域,同時預測每個區域的邊界框和概率,并且對這些邊界框進行預測概率加權,這樣可以將整個圖像由神經網絡進行評估,提高檢測準確率及效率.

首先向卷積神經網絡輸入無人機遙感影像,第一層卷積運算影像大小設置為 448×448×3,其中“3”表示3個顏色通道;然后根據實際圖像的大小將整幅航拍遙感影像進行(S×S)格網劃分,將相等大小的網格疊加在圖像上,有效地將其分成N個單元格.圖3展示了原始航拍影像,等分成了 7×7 的格網,即N=49.

本文所設計的卷積神經網絡架構包括24層卷積神經網絡層和2個完全連接層,實驗表明改法最大程度地縮短檢測時間,但是檢測的精度稍微下降,但在可接受范圍之內.圖4展示26層神經網絡層卷積分布情況,每層交替使用1×1的卷積層參與卷積計算,可以最大程度地減少當前層與前一層的特征空間之間的過度連接計算.

圖3 影像格網劃分示意圖

圖4 卷積神經網絡架構示意圖

根據計算機圖像識別需要,目前已采集10萬多張圖形樣本,圖5展示了樣本標注及訓練.并且隨著巡檢工作推進,圖形樣本數量持續增加并優化計算機識別能力.前期根據所設計的神經網絡,共訓練了6類特征目標(見圖5),分別為:工程車輛、地表破壞、非法占壓、溝槽開挖、土地塌陷、水土流失.針對該6類目標,采用的參數分別為BatchSize=64,Momentum =0.5,Decay =0.000 05,Learning rate =0.0001,Iteration number =45 000,檢測閾值Threshold=0.2.

為了對算法進行更好地測試,搭載佳能(Canon)EOS 5D Mark IV 相機進行拍攝,無人機行高為 100～120 米,時速 100～120 km/小時,采集的數據圖像分辨率為 5760×3860,地面分辨率為 0.5～0.3 米.對檢測結果進行對比分析(表1),正樣本檢測識別準確率高達96.6%,其中誤檢率為0.8%.

圖5 樣本標注及訓練

表1 測試數據集檢測結果對比分析

2.3 無人機巡檢監察管理系統

無人機巡檢監察管理系統采用C/S與B/S結合的模式進行設計開發,實現對巡檢任務、巡檢目標、巡檢記錄以及巡檢結果評估等功能.

基于無人機的管線巡檢平臺包括權限系統和無人機巡檢業務系統兩部分.業務系統主要負責基于無人機遙感的管線巡檢平臺業務處理;權限系統主要是權限管理,包括機構部門科室創建管理、角色創建管理、職員管理、賬號管理及賬號映射管理等.圖6展示了無人機巡檢監察管理系統部分頁面.

2.4 無人機巡檢執法終端

為實現管線巡檢工人的便捷安全執法和無紙化作業,為管線巡檢上報及處理全流程提供整體解決方案,使得外勤巡檢和內勤統計工作變得高效和準確,設計并開發了無人機巡檢執法終端(圖7),主要功能包括:管線的平面圖和衛星圖的分段展示、疑似點GIS展示和圖像信息展示及疑似點的上報反饋等.

圖6 無人機巡檢監察管理系統部分頁面展示

針對巡檢執法人員的工作任務,APP設計結合GIS地圖為執法人員提供站點位置信息,使其快速趕赴現場進行執法,同時針對現場情況,填寫現場情況以及現場實景照片的采集和上傳.

圖7 無人機巡檢執法終端及頁面展示

3 成果應用

基于卷積神經網絡的無人機油氣管線巡檢監察系統主要應用于大范圍的油氣管線日常巡檢監察,充分利用固定翼油動無人機出色的續航能力和穩定的操作性,對油氣管線進行安全巡護監察,實時影像檢測效果如圖8、圖9所示,前期針對非法占壓(圖8(a))、工程車輛(圖8(b))、溝槽開挖(圖8(c))、動土痕跡(圖8(d))、鉤機(圖9(a))、鏟機(圖9(b))、非法占壓(圖9(c))、地表破壞(圖9(d))、溝槽(圖9(e))、水土流失(圖9(f))等特征進行自動識別檢測,并自動出具報表,統計分析.

圖8 部分特定目標檢測效果示意圖Part1

及時發現和定位違法及安全隱患點,并及時處理推送執法信息,進行現場執法,做到防范于未然,從而實現采用自主航跡規劃巡視的巡檢方式,高效安全地執行巡檢任務.本巡檢系統目前已成功應用于河南省、甘肅省若干中石油天然氣公司的線路巡檢工作.

4 結論與展望

利用固定翼油動無人機搭載高清影像設備進行油氣管線的巡檢監察,替代人工沿線徒步排查等傳統巡檢手段,不僅減輕了人員工作強度、保證工人人身安全,而且能夠快速高效地執行巡檢任務,并且實現無人機飛行作業隊、后臺管理部門及外業執法巡檢人員三者的快速聯動,做到隱患和違法現象“及時發現,及時處理”,準確定位隱患源頭,快速出擊,實現無紙化高效管線監察管理,無人機巡檢監察系統的成功應用,實現了無人機技防、系統化現場高效管理、大數據處理三者的有效結合,提升管線狀態管理、應急指揮的便利性,大大節約了巡檢成本,防患于未然,為油氣管線的正常運作、事故預警和管道管理提供了全方位的信息支持,實現油氣管線的科學化防護.接下來工作是對巡檢作業過程中采集的大量數據,形成大數據分析,實現預警等級分層、實時圖傳、可視化指揮調度等方向.

圖9 部分特定目標檢測效果示意圖Part2