基于改進Faster R-CNN的電力作業安全預警研究

岳 雷,朱程杰,張 毅,楊 輝

(1.銅陵銅能電力工程有限責任公司,安徽 銅陵 244002;2.國網安徽省電力有限公司銅陵供電公司,安徽 銅陵 244002)

0 引言

電力作業中事故頻發是當前電力基建和檢修維護中的典型問題,也是亟需解決的問題。調查發現,電力作業中超過80%的安全事故與電力作業人員相關,因此,電力作業人員的安全行為規范尤為重要[1]。傳統的電力作業監督主要依靠視頻監控等進行安全作業管理。但是視頻監控有一定的滯后性,往往在作業現場事故已經發生之后,才能發現和糾正所存在的不安全行為。這種滯后行為并不能阻止電力現場事故的發生,存在著較大的安全隱患[2]。一般而言,電力作業中的不安全行為主要源于作業人員自身的安全意識薄弱、主觀操作習慣難以改變。一些日常作業中的細節疏忽帶來了極大的安全隱患[3]。如電力作業中的未佩戴安全帽、未穿戴絕緣手套、未按規定進行操作等都是高危行為。在日常的電力作業中,應避免此類行為的發生。

隨著深度學習技術的不斷迭代,眾多學者將研究重點放在了人員的行為識別上。早期的典型物體檢測算法是在傳統卷積神經網絡基礎上進行改進的、基于候選區域的卷積神經網絡(region convolutional neural network,R-CNN)算法[4-5]。R-CNN算法具有較好的特征提取能力和分類識別能力。為了解決R-CNN算法處理時間效率不高的問題,有學者在此基礎上提出了Fast R-CNN算法[6]。該算法在實際解決問題中具有更高的效率,但在候選區域提取與特征分類的時間消耗上不相匹配,無法滿足檢測中高效分類的需求。隨著Faster R-CNN算法[7]的出現,深度學習算法在物體檢測上得到了很大的性能提升。該算法的流程均由神經網絡實現,極大地提高了算法的運算效率和準確率,故使用較為廣泛。但該算法無法保證小物體目標的識別準確率。

本文基于特征網絡的改進提高了小目標的識別率,使得Faster R-CNN算法具有更好的適用性,進一步保障了電力作業的安全性。

1 算法概述

1.1 R-CNN算法

R-CNN算法作為物體檢測的經典算法,是檢測算法的一大進步。R-CNN算法的基本結構如圖1所示。

圖1 R-CNN算法的基本結構

R-CNN算法主要包括目標建議框生成、圖像特征提取以及分類與修正這3個關鍵部分[8]。

①目標建議框生成。目標建議框生成主要在所輸入的圖片中框選可能是目標的點。為保證框選目標的精確,在所輸入圖片進行歸一化后,通過分析、辨識圖片的不同像素、顏色和輪廓,使得用較少的目標建議框就可以達到較高的準確率。此部分所采用的算法是常用的選擇查詢算法。選擇查詢算法通過對所輸入的圖片進行聚類、生成區域塊,依據每個區域塊之間的相似度不斷合并以形成目標建議框。

②圖像特征提取。圖像特征提取采用深度學習網絡。R-CNN算法的特征提取使用較多的是AlexNet網絡。其包含5個卷積層、2個全連接層和1個輸出層。其中,每個上層卷積層的輸出都是下層卷積層的輸入。

③分類與修正。分類與修正部分首先經過圖像的特征提取并輸出特征圖,然后使用支持向量機算法對特征圖進行分類,再不斷對特征框的邊緣和局部進行修正,使得最終的識別結果準確率更高。

1.2 Fast R-CNN算法

雖然R-CNN算法在對物體檢測上有了很大的突破,但其還存在內存占用較大、處理效率不高的問題。有學者在此基礎上提出了Fast R-CNN算法。該算法在解決實際問題中具有更高的效率[5,9]。

Fast R-CNN算法的一般流程主要包括四大部分。

①以要識別的圖像作為算法的輸入,通過選擇查詢算法確定目標建議區域。

②將要識別的圖像輸入卷積神經網絡,得到輸出的特征圖。

③將所有的目標建議區域,通過感興趣區域(region of interest,ROI)層進行池化,得到ROI特征模塊。

④將特征模塊通過全連接層,分別得到分類器輸出和分類修正的偏差值。

Fast R-CNN算法的基本結構如圖2所示。

圖2 Fast R-CNN算法的基本結構

2 改進的Faster R-CNN算法

Fast R-CNN算法在候選區提取與特征分類的時間消耗上非常不匹配,無法滿足檢測需求。所以有學者在此基礎上又作了改進,提出了當前物體檢測使用較為廣泛的Faster R-CNN算法。Faster R-CNN算法對網絡進行了優化,將目標建議框生成、圖像特征提取、分類與修正都融合于同一網絡中。該算法流程均由神經網絡來實現,極大地提高了算法的運算效率和準確率[10]。本文采用Faster R-CNN算法作為電力作業中行為識別的主要算法,并在其基礎上作了改進,使得算法適用于各種尺寸的目標。這進一步提高了識別效率,保障了電力作業的安全。

Faster R-CNN算法的基本結構如圖3所示。

圖3 Faster R-CNN算法的基本結構

Faster R-CNN算法的一般步驟如下。

①對輸入的圖像進行均一化和灰度化處理,使得圖像的尺寸和顏色保持一致,以免由于圖片的色差和尺寸不同而對圖片的識別造成干擾。

②將歸一化的圖片輸入到卷積網絡中進行圖片的特征提取。本文選用殘差網絡(residual network,ResNet)[11]作為特征提取網絡,通過卷積和池化操作生成特征圖。

③以生成的特征圖作為區域建議網絡(region proposal network,RPN)[12]輸入,并經滑動窗口形成特征集合,進而進入全連接層進行分類與修正。同時,將生成的特征圖與目標建議輸入ROI池化層,以輸出統一大小的特征圖像,再通過損失函數進行分類與修正,從而生成預測結果。

2.1 基于ResNet的特征提取

Faster R-CNN算法的特征提取在整個流程中非常關鍵。為了高效、全面地提取圖像的特征,本文選取ResNet-50作為算法的特征提取網絡。相較于基于塊的視覺幾何組(visual geometry group,VGG)[13]網絡等特征提取網絡,ResNet對于特征提取的優勢主要在于對圖像的深層信息提取的效果。ResNet使得圖像特征的提取更為準確。

ResNet-50的優勢如下。ResNet-50可以簡單認為新增了一些快捷連接。這些快捷連接會跳過某些層直接將原始數據傳到后面的層。新增的連接并不影響模型的效率和占用內存。這是因為其不會增加網絡的參數和復雜度[14]。新增的連接會通過恒等映射跳轉到疊加層的輸出,使得網絡仍保持性能最優狀態。

殘差計算如式(1)所示。

Sc=Sr+F(Sr,Jr)

(1)

式中:Sr為輸入特征值;Sc為輸出特征值;F(Sr,Jr)為殘差函數。

ResNet基本結構如圖4所示。

圖4 ResNet基本結構

對于一個更深層的Ln,其與r層的關系如式(2)所示。

(2)

式中:SLn為輸出特征值。

設損失函數為α,則α關于Sr的梯度為:

(3)

ResNet通過卷積層可以不斷地提升網絡性能、適時調整網絡的維度。這使得ResNet在不斷增加深度的同時,減少了網絡的參數和復雜度,從而提高了效率。

2.2 RPN

RPN整體是1個卷積神經網絡,在Faster R-CNN算法中是較為關鍵的環節。將特征圖輸入到RPN中,可獲得對應的目標建議結果,以此可判斷所選擇的目標建議是正向建議還是反向建議。

RPN基本結構如圖5所示。

圖5 RPN基本結構

在特征圖上生成1個滑動向量塊,向量塊以3×3像素不斷移動并生成一維向量,通過全連接層生成目標回歸參數。2k分類得分主要是k個錨框的前景分類得分和背景分類得分。4k個坐標值是k個錨框生成的目標框回歸值坐標。特征圖還可以被看成多個向量,每個向量是512維。

為了使得RPN的結果更為可靠,需要對損失函數進行計算和訓練。RPN的損失函數包含2個部分,分別為分類層的損失值和修正回歸層的損失值。

RPN的損失值如式(4)所示。

R=Rc+Rm

(4)

式中:Rc為分類層的損失值;Rm為修正回歸層的損失值;R為RPN的損失值。

Rc和Rm的計算分別如式(5)和式(6)所示。

(5)

(6)

(7)

RPN在輸入特征圖像后,對特征圖像的前景區域進行提取,并進行分類與修正,以識別目標圖像。

2.3 ResNet-50的改進

在傳統的Faster R-CNN算法中,輸入的目標圖像在進行多次特征提取和目標卷積池化后,一些目標特征比較小的區域會逐漸模糊甚至丟失。這就造成了部分的圖像特征未能被識別和提取,降低了圖像的識別準確性[15-16]。為了使得Faster R-CNN算法具有更高的識別性能,本文對算法進行了改進,以適應各種目標的識別,從而提高精度和效率。

在實際的圖像特征提取中,由于圖像的顏色、像素等因素影響,提取的特征的深度和清晰度各不相同。因此,本文對生成不同深度的特征進行融合,并再次進行特征提取和檢測,從而進一步提高模糊目標的識別度。本文在ResNet-50的基礎上融合了RPN,形成RPN-ResNet。其一般原理主要是:首先將不同子網絡的特征圖自上而下進行疊加操作,然后將生成的特征圖片進行區域建議操作,再輸出到卷積神經網絡,最后進行分類和回歸修正。這樣就可以保證圖片在經過不斷特征提取和池化操作后,仍能識別較小的不安全電力作業目標,使得檢測范圍有了較大提高。

改進后的RPN-ResNet對目標物體檢測的基本流程如下。①對圖片進行預處理操作,包括均一化和灰度化處理后,生成待檢測圖片。②將待檢測的圖片作為輸入,由改進的ResNet-50子網絡進行卷積和池化操作,以形成特征圖。③提取與特征圖對應的RPN,進行拼接后生成區域建議框。④將區域建議框和特征圖的ROI輸入到卷積網絡R-CNN進行ROI Pooling,以輸出統一大小的特征圖像。通過損失函數對這些特征圖像進行分類與修正,輸出識別后的圖片。這就實現了電力作業目標的實時檢測。

改進的ResNet-50檢測流程如圖6所示。

圖6 改進的ResNet-50檢測流程

圖6中:subnet1、 subnet2、subnet3分別為ResNet-50的3個子網絡結構;Feature P1、Feature P2、Feature P3分別為對應子網絡提取的特征圖;RPN P1、RPN P2、RPN P3分別為3個對應特征圖的RPN。

2.4 檢測結果及響應

在對目標圖像進行特征提取和識別后,本文模型對作業中未佩戴安全帽、未穿戴手套等行為進行紅框表示并閃爍,同時通過作業現場安裝的報警器進行實時報警,以及時提醒電力作業人員安全作業,避免事故的發生。

3 試驗和結果

3.1 數據集獲取

電力安全作業預警技術的數據集來源主要是施工作業現場的視頻監控數據。獲取數據后通過篩選、裁剪和歸一化后形成樣本數據集。數據集包含5 000張電力工人現場施工圖片。其中,訓練集圖片2 600張、驗證集圖片1 200張、測試集圖片1 200張。除此之外,本文算法設置RPN的批處理大小為256、基礎學習速率為0.001、迭代次數為12 000次。

本文模型數據采用自建數據庫。本文試驗平臺采用Intel Core(TM)i7 3.6 GHz主頻和16 GB內存的計算機。運行操作系統為Ubuntu16.04。仿真使用 Python軟件。

3.2 算法精度分析

算法改進對于提取小目標物體具有更高的檢測效率。試驗主要針對電力不安全作業中的大小目標進行檢測,在保證大目標檢測精度的前提下,有效保障了小目標的檢測效率。本文將改進后的RPN-ResNet與ResNet-50、ResNet-101、VGG-16等網絡進行目標檢測的對比。檢測的對象選取2類,分別為大目標物體和小目標物體。其中,大目標物體以安全帽為檢測對象,小目標物體以絕緣手套為檢測對象。對比的指標主要包括模型的平均檢測精度、平均精度均值。本文特征網絡的RPN大小范圍設定為[16,512]。不同特征網絡的模型檢測結果對比如表1所示。

表1 不同特征網絡的模型檢測結果對比

由表1可知,本文提出的RPN-ResNet特征網絡在Faster R-CNN算法上的平均檢測精度相比較ResNet-50、ResNet-101、VGG-16等網絡更高,檢測效果更好。RPN-ResNet對于大目標安全帽的識別精度達到了95.43%,對比ResNet-50、ResNet-101、VGG-16等網絡分別提升了2.46%、3.91%、3.59%。這說明本文改進的算法在檢測大目標物體精度方面保持了較高的水平。RPN-ResNet對于小目標絕緣手套佩戴的檢測精度雖然較安全帽有所下降,但整體水平仍然較高,對比ResNet-50、ResNet-101、VGG-16等網絡分別提升了4.41%、2.63%、5.15%,提升的幅度較大。這說明本文改進算法在小目標物體的檢測上依然保持較優的準確率。總體平均檢測精度上,本文RPN-ResNet特征網絡識別的精度對比其他算法提升了3%以上。因此,本文改進算法識別效果較優。

3.3 時間效率分析

深度學習網絡檢測表現是否優異的第二個評價維度是網絡的時間效率。本文選用RPN-ResNet與ResNet-50、ResNet-101、VGG-16等網絡進行檢測效率的對比。不同特征網絡的時間對比結果如表2所示。

表2 不同特征網絡的時間對比結果

由表2可知,隨著算法網絡的復雜度不斷提升,算法的平均檢測時間也有所提高。在經過有效的訓練后,本文的RPN-ResNet特征網絡在Faster R-CNN算法上的平均檢測時間為0.236 s。與其他網絡相比,其檢測時間增加不到0.1 s,實時性仍較高。同時,其檢測的精度提升較明顯。綜上所述,本文在Faster R-CNN深度學習網絡中改進的RPN-ResNet特征提取網絡總體提高了算法的識別精度和效率。

本文提出的RPN-ResNet特征網絡能夠高效地進行檢測目標的識別。其不僅能夠高效識別日常佩戴安全帽、手套的工人樣本,還能夠準確識別未佩戴安全帽或未穿戴手套的工人樣本,并進行預警。這有效地保障了電力作業的安全性。

改進的RPN-ResNet既適用于大目標物體檢測,又適用于小目標物體檢測。但考慮到安全因素,往往電力作業均在光線較好的場景下。因此,本文對于電力作業現場的復雜場景研究較少,使得模型在光線較暗、更小目標物體的檢測方面存在一定的不穩定性,檢測性能有待進一步提升。

4 結論

電力作業安全保障是電力作業開展的必要前提,電力作業中事故的頻繁發生也給電力安全運行造成了很大的影響。隨著深度學習模型的不斷發展和改進,其在電力作業行為和目標識別中的應用效果也不斷提高。傳統的電力作業監督主要依賴人工現場監督和視頻監控監督。由于人工的主觀性和視頻監控的滯后性,難以避免事故的發生。鑒于此,本文選取目標檢測較為廣泛的Faster R-CNN算法作為研究對象,并在此基礎上作出改進,形成基于特征網絡RPN-ResNet的卷積神經網絡算法。此算法在電力作業中的安全帽及絕緣手套的規范佩戴方面具有很好的檢測精度和效率。試驗結果表明,該算法在對大目標的安全帽以及小目標的絕緣手套在識別精度和識別效率上都有優異的表現,具有較高可靠性,能夠識別作業現場中的不安全行為并實時預警,適用性較好。但由于電力作業現場的環境設備比較復雜,目前電力作業一般工作場景均在光線較高的環境中。因此,本文試驗的現場識別中也存在著光線較暗場景的檢測穩定性問題。隨著不安全行為的增加,對于現場作業中更小目標物體檢測的場景還有待進一步研究。