油田作業現場近海周界區域入侵檢測①

李婷玉,姜文文,邢金臺,徐 震,張 蕾,田 楓,劉 芳

1(中國石油天然氣股份有限公司冀東油田分公司,唐山 063004)

2(東北石油大學 計算機與信息技術學院,大慶 163318)

油田作業現場近海周界危險區域入侵檢測是油田作業現場安全監管最基礎的環節之一,但對其的管控目前仍停留在傳統人工監控方式上,負責監管的安全人員同一時間要將注意力集中在多個視頻事件上極其困難,視覺疲勞會導致其注意力不能高度集中,且將注意力同時分散到幾臺監控器畫面上時,極有可能不能完全正確地分析每臺監控畫面內容.同時,油田作業現場近海周界區域危險性高,當作業人員發生區域入侵時,需要及時快速報警.這些問題都會導致當作業人員在油田作業現場闖入近海周界危險區域時,傳統的監控手段不能在作業人員闖入時進行檢測和發出報警,監管防護效果差.

智能監控對油田作業現場工作人員的實時檢測與警報主要依托于計算機視覺相關領域技術.2019年,向翼凌等人提出基于時空聯合約束的視頻區域入侵檢測算法,聯合實際人員活動時效性和圖像提供的空間信息進行區域入侵檢測,獲得了較高的檢測效率[1].同年,占超對FasterRCNN 進行適用于實際應用的優化,使該算法模型可實現區域入侵檢測功能[2].2020年,張晗基于YOLOv3 研發了兼具準確率與實時性的行人檢測算法,實現了監所的區域入侵檢測[3].

圖像分割方面[4],2015年,Long 等人提出全卷積網絡(FCN)[5],確立了圖像語義分割的通用網絡模型框架.2017年,Zhao 等人提出金字塔場景解析網絡(PSPNet)[6],通過整理歸納上下文信息,充分利用全局特征先驗知識解析不同場景,最終實現對場景目標的語義分割[7].2018年,Ren 等人提出基于FasterRCNN的深度卷積網絡MaskRCNN[8],該卷積網絡可以在進行目標檢測的同時實現高質量的圖像分割.2020年,Wang 等人提出了基于位置來分割對象的簡單靈活的實例分割框架SOLOv1[9].同年,Wang 等人在SOLOv1的基礎上,提出加入動態學習對象分段器的m a s k 頭和矩陣NMS的SOLOv2 實例分割模型,該模型具有較高的準確率和較好的實時性[10].

目標檢測方面[11],2014年,Girshick 等人提出了典型的雙階段目標檢測算法RCNN,其將AlexNet 與選擇性搜索算法相結合,性能相對于傳統的目標檢測算法,得到了顯著提升.2015年,Ren 等人提出了FasterRCNN,引入了區域建議網絡(region proposal network,RPN)實現了目標檢測端到端的訓練,一定程度上加快了計算速度[12].2016年,Redmon 等人為解決雙階段目標檢測算法的時效性低的問題提出了一種單階段目標檢測器YOLO,其在簡化網絡的同時提高了檢測精度[13],但對小尺度目標的檢測效果不佳,被檢測目標發生重疊遮擋時,容易出現漏檢誤檢的情況.2018年,Law 等人提出了CornerNet[14],該模型取消了錨框而將目標檢測邊界框定義為檢測目標的左上角和右下角的關鍵點,采用角池法定位角,但其檢測準確率略低于YOLOv4.為了進一步改進CornerNet,2019年,Duan 等人提出了CenterNet[15],通過在被檢測目標的邊界框的中心再引入一個關鍵點作為一個關鍵點的三元組來檢測每個目標,該方法大幅度提高了準確率.

油田作業現場近海周界區域形狀不規則且區域分布復雜多樣,因此簡單地在攝像頭內劃分固定且規則的區域無法滿足實際要求;同時由于近海區域危險性高,作業人員目標小,其闖入近海區域需要及時報警,目前的區域入侵檢測方法由于無法準確計算不規則區域形狀且實時性差,無法檢測小目標,無法有效檢測作業現場近海區域是否發生入侵,所以本文提出將圖像識別與分割技術和目標檢測技術結合,首先利用圖像分割技術對油田作業現場近海周界區域進行檢測與分割,精確地分割出近海周界區域.再使用無錨框的目標檢測技術對作業人員進行檢測,使其達到實時性與準確性.

在現有的區域識別與分割技術中,SOLOv2 可以進行高精度的區域檢測識別與分割,同時還具有良好的實時性.比起普通語義分割算法,實例分割應對油田作業現場復雜的環境背景性能更佳,可準確區別并分割出同類區域,為后續區域入侵判別提供可靠依據,且由于SOLOv2 本身的優越性,其檢測精度與速度并不低于普通的語義分割算法.使用SOLOv2 識別并分割出危險區域,然后使用實時性良好的無錨框目標檢測算法CenterNet 進行油田作業現場的小目標檢測.最后,為了能實際應用于油田作業現場,還開發了專屬的CS 應用端.

本文的研究主要包括3 個部分:(1)油田作業現場近海周界區域識別與分割部分:采用SOLOv2 作為基礎網絡,進行適用于作業現場的參數優化,實現兼具準確性與實效性的近海周界區域與背景的識別與分割.(2)目標檢測部分:使用CenterNet 進行目標檢測,然后通過計算檢測到的目標與危險區域的相對位置判斷油田作業現場近海周界區域是否發生作業人員區域入侵.(3)CS 應用端部分:將設計實現的算法部署到油田作業現場CS 端,實現檢測應用.

利用高效的圖像分割SOLOv2 技術進行近海周界區域與背景的分割,可以精準定位危險區域,減少目標跟蹤復雜度,然后采用CenterNet 進行適用于小目標的高精度目標檢測,實現了跟蹤準確性和實時性的平衡.

1 檢測系統流程

油田作業現場近海周界監控為了能夠最大范圍掌控情況,一般選擇高處監控視角,因此導致了背景復雜,被檢測目標小等問題.對于這種情況,本文方法的具體框架如圖1所示.首先對油田作業現場近海周界區域進行檢測,提取出攝像頭所監控的近海周界區域,去除周界外的其他環境和物體的影響.在識別出近海周界區域后,以近海區域輪廓為邊界,提取內部海域部分.

圖1 本文方法的框架示意

由于油田作業現場的近海區域為高危區域,所以需要高精度的入侵檢測同時又需要當入侵發生時快速報警,因此需要一種精度高實時性好的算法模型.SOLOv2 算法可以對油田作業現場近海周界區域進行高精度檢測并準確提取出近海周界區域,同時該算法提出矩陣NMS (non maximum suppression),其可以顯著減少由于掩碼的NMS 造成推理時間長的問題.再對SOLOv2 算法模型進行適用于油田作業現場近海周界區域的參數調整,以此獲取兼具準確性和實時性的近海周界區域分割結果.

CenterNet 目標檢測方法與RCNN和YOLO 系列不同[16],其采用的是基于關鍵點估計來找到中心點,再回歸到其他目標屬性,例如尺寸,位置等.相較于基于BoundingBox的檢測器,CenterNet的模型是端到端的,更簡單,運算速度更快,精確度更高.該方法一般是由輸入圖片計算關鍵點熱圖heatmap 進而判斷目標種類,完成目標檢測.

由上述檢測提取出的油田作業現場近海周界區域與檢測到的作業人員小目標,計算出兩者相對位置,且由于油田作業現場近海區域的特殊性,通過計算兩者位置即可判定作業人員是否發生油田作業現場近海周界區域入侵.

2 基于SOLOv2的近海周界區域識別與分割

本文采用SOLO 系列中實時性更好準確率更高的SOLOv2 深度學習實例分割框架,對其進行深入理解并做出適用于油田作業現場的參數調整.

SOLOv2的網絡結構在遵循SOLOv1 原則的基礎上,通過動態學習目標分段器的mask 頭,使mask 頭受位置的約束,獲得更好的檢測性能;同時SOLOv2 提出矩陣NMS (非最大抑制),以此減少NMS of masks 引起的推理時間開銷.具體網絡結構如圖2所示.

圖2 SOLOv2 網絡結構圖

SOLO 網絡首先輸入圖片,通過FCN 進行多尺度的特征提取,得到相應的feature map.然后分別進入兩個分支,包括類別預測分支和實例掩膜分支.類別預測分支用于預測各個位置目標的類別,實例掩膜分支用于生成目標的全圖位置預測的feature map.

SOLOv2 動態學習對象分類器的mask 頭,將掩膜分支分為掩膜核分支和掩膜特征分支,掩膜核分支位于由FPN 生成的特征地圖金字塔的預測頭中,預測頭包括四個提取特征的卷積網絡和一個預測的卷積網絡.掩膜特征分支引入特征金字塔融合,再經過3×3 卷積,群范數,ReLU 等重復階段,預測所有FPN 級別的單一掩模特征表示,可有效提供準確的位置信息.

矩陣NMS 部分,首先計算類別置信度,通過設置閾值,過濾掉置信度低的預測結果,然后使用學習到的卷積核對mask 特征進行卷積操作,經過Sigmoid 函數后,使用更高的閾值將預測的soft mask 轉變為二值圖.最后進行Matrix NMS,先選取按照置信度排列的前N個個結果,使用轉換后的二值圖,通過矩陣運算,高效形成IoU 矩陣.在IoU 矩陣列上,找到最大的IoU,再計算decay.最后通過decay 更新預測得分.

SOLOv2 網絡的損失函數如式(1)所示:

其中,Lcate采用Focal Loss,Lmask如式(2)所示,

其中,D計算公式如(4)所示,p,q表示坐標(x,y)像素預測和真實值的概率.

3 基于CenterNet的作業人員區域入侵檢測

目前,基于深度學習的目標檢測可分為兩階段檢測與單階段檢測兩類[18].兩階段檢測首先生成稀疏建議,并從每個建議區域中提取特征,再預測建議區域的類別.而單階段檢測直接對特征圖上每個位置的目標進行分類預測.雖然兩階段檢測具有更高的準確性,但單階段檢測具有更好的實時性,對實時對象檢測具有更大的適用性,更加適用于工業生產.

3.1 網絡結構

CenterNet是單階段檢測模型,使用目標的中心點代替錨框,極大程度上解決了傳統目標檢測因為錨框導致計算量大的問題.CenterNet 網絡結構可分為從邊界框到點與從點到邊界框兩部分,其網絡結構如圖3所示.首先輸入圖像,經過DLA-SE 特征提取網絡得到特征圖,然后分別訓練目標中心點Y、中心點偏移O、目標尺寸S三個分支,之后將訓練得到的Y、O、S三個分支的結果,進行融合輸出圖像.

圖3 CenterNet 網絡結構圖

從邊界框到點的過程,首先將帶有標簽的圖像輸入特征提取網絡DLA-SE,得到輸出特征圖.然后關鍵點預測Y分支、中心點偏移量O分支與對象尺寸S分支使用同一個特征提取網絡分別進行訓練.關鍵點預測Y分支中,將圖像I∈RW×H×3輸入CenterNet的特征提取網絡,生成關鍵點熱圖,即高斯分布圖,其中,4 指輸出尺寸縮放比例,80 指輸出特征圖的通道數.當=1 時,表示檢測到的關鍵點.其中高斯核計算如式(5)所示:

然后使用focal loss 進行像素級的邏輯回歸[19],focal loss 計算如式(6)所示:

中心點偏移量O分支中,每個中心點的局部偏移量為使用相應的損失函數進行所有對象中心點偏移值的訓練,其損失函數如式(7)所示:

尺寸S分支中,在目標中心位置回歸對象的寬高,其損失函數如式(8)所示:

最后整個網絡預測出每個目標中心點位置的相關值,包括關鍵點預測Y分支的80 個關鍵點、中心點偏離量O分支的x和y、對象尺寸分支的w和h.

從點到邊界框的過程,對于檢測到類別的n個中心點的集合,通過提取熱力圖上每個類別的100 個峰值點來獲取邊界框.邊界框由預測得到的關鍵點、偏移量、尺寸生成,具體的邊界框生成公式如式(9)所示,不需要NMS 處理,因此可以大幅度提升模型性能.

3.2 區域入侵檢測算法

判定油田現場作業人員區域入侵的發生是研究非常重要的一部分,結合作業現場背景復雜,被檢測目標小的實際情況,本文采用計算SOLOv2 檢測提取出的近海周界區域與CenterNet 檢測到的作業人員目標的相對位置判斷作業人員是否近海周界區域入侵.

首先在被檢測的圖片幀中設置完整的坐標系,將由SOLOv2 檢測并提取出的近海周界區域對應于坐標系,獲取其相應的位置坐標;然后將由CenterNet 檢測出的作業人員對應于坐標系,獲取被檢測目標相應的位置坐標,同時獲取其目標邊界框的坐標并計算出作業人員相對于圖片幀的面積.由于提取出的近海周界區域是閉合的曲線,坐標點繁多,所以抽取合適數量的坐標點圍成近似形狀的邊界.抽取坐標點規則是周界坐標兩點之間的最小距離等于被檢測作業人員目標邊界框的寬,以此保證被檢測目標接觸近海周界區域時可認定邊界為直線,有助于減小計算復雜度,提高實時性.最后當被檢測作業人員目標開始接觸區域周界時,即開始計算被檢測作業人員目標的邊界框面積與區域重疊面積比.若重疊面積大于被檢測邊界框面積的80%即可判定油田現場作業人員闖入近海區域,重復此過程直到被檢測目標作業人員完全離開墻體區域為止.

本文結合油田作業現場近海周界區域的實際情況,考慮被檢測人員目標小與近海周界區域高危且不規則的研究背景,設計并實現適用于現場的近海周界區域入侵檢測算法,解決了油田現場作業人員區域入侵檢測問題.

4 實驗結果與分析

4.1 實驗過程

本文實驗使用PyTorch 學習框架,Python 語言編程實現算法網絡,硬件環境為聯想ThinkStationP900 工作站,NVIDIA GeForce RTX3080 顯卡(10 GB)、64 位Ubuntu 18.04 操作系統.

本文采用SOLO 與CenterNet 結合的算法.油田作業現場監控視頻流經預處理后傳入SOLO 神經網絡,由SOLO 檢測并提取油田作業現場近海周界區域,本節使用近海周界監控圖片作為自制數據集進行訓練,得到本文用于檢測并提取近海周界區域的權重模型.訓練過程中,設置epoch 值為5,batch size 值為8,每個epoch 步數為300,學習率設置為0.000 1,所有參數根據正太分布進行初始化.

本文使用CenterNet 檢測油田作業現場近海周界作業人員,使用CenterNet 官方提供的檢測模型ctdet_coco_dla_2x 作為權重模型,獲取權重模型后即可檢測近海周界作業人員.

判斷油田作業現場作業人員是否近海周界區域入侵時,設置坐標系,獲取近海周界區域坐標與被檢測作業人員坐標和其邊界框坐標.均勻選取合適的80 個近海區域區域坐標點圍成近似的邊界,由被檢測作業人員邊界框的坐標計算目標面積.當被檢測目標接觸邊界時,開始計算被檢測作業人員邊界框與邊界的重疊區域是否大于邊界框總面積的80%,即可判定作業人員是否闖入近海區域.

4.2 實驗分析

實驗將CenterNet 與YOLOv3、FasterRCNN 對油田作業現場人員小目標檢測進行對比;并使用本文方法與MaskRCNN 結合CenterNet 對油田作業現場實際檢測效果進行對比實驗.

第1 組實驗(表1),使用CenterNet 與YOLOv3、FasterRCNN 在油田作業現場數據集上進行對比實驗.

表1 作業現場小目標檢測算法比較

第2 組實驗(表2),使用本文方法SOLOv2 結合CenterNet的算法與MaskRCNN、SOLOv2 算法分別在油田作業現場數據集上進行對比實驗.

表2 本文算法

對于油田作業現場真實數據小目標檢測,CenterNet比YOLOv3、FasterRCNN 具有更好的檢測準確性與實時性.本文方法針對油田作業現場近海周界區域入侵檢測比MaskRCNN、SOLOv2 在準確率上分別提升了30%和14%,在實時性上比MaskRCNN 提升了27.4%.

5 結束語

本文提出SOLOv2 與CenterNet 結合的深度卷積網絡近海周界區域入侵檢測模型,可以檢測油田作業現場高精度小目標作業人員是否發生近海周界區域入侵,不同于普遍的檢測模型,該方法首先使用SOLOv2高效地檢測并提取出準確的近海周界區域,同時還可以避免復雜背景的干擾,提高檢測精度;再使用CenterNet進行小目標作業人員檢測,最后計算檢測到的作業人員目標與墻體區域的相對位置判斷作業人員是否發生近海周界區域入侵.實驗結果表明,使用該方法能夠有效地提升油田作業現場作業人員近海周界區域入侵的檢測精度,對油田數字化進程有重要參考價值.