基于深度學習的變電站環境下行人檢測方法研究

林 磊，錢 平，董 毅，陳志偉

（1.國網浙江省電力有限公司，杭州 310007；2.杭州馬太能源互聯網技術有限公司，杭州 310012；3.浙江華云信息科技有限公司，杭州 310008）

0 引言

變電站是電能長距離輸送過程中升降電壓工作的主要完成場所，其首要任務是為生產裝置提供安全穩定的電源供應。在電能傳輸過程中，往往需要多個變電站才能滿足長距離、大范圍等各種復雜供電需求[1]。為了保證變電站的安全穩定運行，需建立變電站安全監控和保護系統。對變電站進行實時安全監控，是確保變電站安全穩定工作的必要條件。傳統的變電站在線監測系統主要是以數字波形采集和處理技術為核心，這些系統利用先進的傳感器技術和數字波形采集和處理等技術[2]，其主要檢測對象為變電站元器件，并不能對出現在變電站的行人進行安全監測。行人檢測由于很難用傳統的信號或者傳感器信號來進行表征，因而對于傳統的變電站在線監測系統來說是難以完成的任務。

近年來，隨著深度學習技術的發展，借助深度學習技術等人工智能算法來進行計算機視覺領域內的行人檢測問題研究，已經取得比傳統的機器學習好得多的成果[3-8]。文獻[3]利用多個基于深度神經網絡的粒度檢測器來進行行人檢測，特別是有遮擋的行人檢測，其特點之一是所提出的檢測器可以被弱標記數據進行訓練。文獻[4]提出了一個統一的深度模型來進行聯合式的特征提取、部件檢測和遮擋分類等學習任務，因為在學習過程中組件之間進行了充足的相互交互，因而當這些組件被統一起來進行行人檢測的時候，每個組件都能最充分地發揮作用。以往大部分的深度學習將行人檢測作為二值分類問題進行處理，這樣易與困難的負樣本混淆，文獻[5]將行人檢測細分為行人屬性（背部，性別和視角）和場景屬性（車輛，樹木等），目標是在高層特征空間分離或聚合相似的屬性結構下進行行人檢測。

基于先進的深度學習技術在變電站環境下對行人進行安全檢測，即當有行人出現在變電站監控場景中時，可以及時進行自動化的檢測并發出警報，達到變電站安全監控和減少人員觸電事故的目的。變電站場景下進行行人檢測的難點主要體現在以下方面：

（1）復雜的環境。變電站中充滿各種電容設備和電線，導致整個監控畫面干擾噪音非常多。

（2）訓練數據不足。眾所周知，計算機視覺領域中，當前性能較好的主流算法都是基于訓練學習的。目前尚沒有大型的變電站場景下行人檢測的數據集發布。

（3）行人過小。變電站環境下，監控攝像機一般架設在距離變電站電桿較遠的地方，以便能較多地覆蓋多個電桿，因而在監控畫面中出現行人的尺寸會非常小。

基于深度學習的卷積神經模型在完成變電站環境下行人檢測任務時主要面對以下2個難點：其一，大多數深度學習的模型都是海量數據驅動的，需要大量的訓練數據，而到目前為止，無論學術界還是工業界都沒有發布任何變電站背景下行人檢測的數據集；其二，目前主流的基于深度卷積網絡的物體檢測和行人檢測方法對小物體的檢測能力不足，這是因為隨著卷積網絡感受野的增大，特征圖上的精細信息會不斷減少，而在變電站監控環境下，人在畫面中所占的面積非常小，這就導致一般的卷積網絡對變電站的行人檢測能力不足。如果以上2個難點能被很好地解決，則基于深度卷積網絡進行變電站場景下行人安全檢測將變得可行。

針對以上難點，提出了切實可行的解決方案：首先，運用遷移學習技術來解決變電站行人檢測訓練數據不足問題[9-10]；其次，針對主流卷積網絡對小物體檢測能力不足的問題，運用全卷積大尺度檢測技術來解決；最后，對提出的方法進行實驗驗證。

1 行人檢測卷積神經網絡

1.1 網絡設計

當前，已有很多基于深度學習的物體檢測模型被提出， 例如 VGG16[11]， Faster RCNN[12]，SSD[13],YOLO[14],ResNet[15]等，這些模型往往被設計用來對多類目標（例如汽車、自行車、椅子、牛等）進行檢測，它們具有精巧的模型結構，同時模型參數在海量數據集上進行了訓練，因而在大部分的大型數據集上（如PASCAL VOC 2012，MS COCO和ImageNet等）都表現出了優異的測試效果。這些模型由于其優異的多目標檢測性能，也為設計行人檢測等單目標網絡結構提供了參考。參考SSD來設計行人檢測網絡結構，原因在于：SSD是一個全卷積網絡，可以適用任意大小的圖片；由于其全卷積的特點，所以運行速度非常快，而且準確率也很高。SSD是一個28層的全卷積神經網絡，它首先繼承了VGG 16的前13層，然后添加了9層卷積層，最后運用6個卷積分類器在不同的特征圖上進行物體檢測。然而，作為一個28層的深度網絡，據報告，SSD對小物體的檢測力度不足，這是因為隨著網絡的不斷加深，每一個卷積層的感受野會不斷增大，對精細的特征感知能力會不斷下降。SSD網絡結構見圖1。

為了檢測變電站行人，在借鑒SSD的基礎上，采用了全卷積大尺度的檢測策略。“大尺度”是指相對于一般的神經網絡，行人檢測卷積神經網絡輸入圖片的尺寸比較大，一般的網絡往往最多采用700×700大小的輸入尺度，為了提高對小物體的檢測力度，該網絡采用900×900大小的輸入尺度，這樣能保證有更多的細節性特征被傳遞到深層的網絡以供檢測。“全卷積”描述了該網絡結構的特征，即整個網絡都是由卷積層構成的，這樣方便使用不同尺度大小的圖片作為輸入，在實際應用過程中，可以方便地根據變電站場景下行人的大小來調整輸入圖片的大小，因此，全卷積提高了網絡結構的可擴展性。這2個方面構成了全卷積大尺度變電站行人檢測的基礎。

網絡結構具體配置為：首先是輸入圖片層，接收3通道RGB圖片；然后，先繼承了VGG16的前13層，原始的VGG16因為包含全卷積結構，不適用于任意尺寸的圖片，但VGG16是在大型數據集上訓練得較為充分的經典網絡結構，其對圖片的特征提取能力較好，因此，為了對輸入圖片進行較好的特征提取，并達到整個網絡結構全卷積的目的以及適用于不同尺寸大小的圖片，繼承其前13層卷積層作為一張輸入圖片基本的特征提取器；在此基礎上，再加3層卷積層，分別是卷積層6，7，8，來進一步對VGG16的輸出特征圖進行卷積處理，具體每一層的卷積核大小、步長以及卷積器個數如圖2所示；然后使用5個行人檢測器，分別在VGG16的conv4_3和conv5_2層以及新加的6，7，8層進行行人檢測。其中，行人檢測器與其他各層之間的連接方式如圖2所示。基于其所連接的特征圖，每一個行人檢測器在每一個特征圖的每個位置同時進行行人存在性和包圍框的檢測工作。行人檢測器以卷積的方式進行工作，其輸出包括行人存在性打分和包圍框的4個坐標，它是借鑒SSD中的物體分類器來設計的，和SSD中的物體分類器具有同樣的結構，不同之處在于，SSD中的物體分類器是同時進行多類物體檢測，而此處的檢測器只關注行人檢測。

相較于SSD，該網絡結構主要有以下特點：

（1）更加緊湊。這意味著使用了更少的層數，以保證更多的細節性特征能傳送到深度較深的行人檢測器層，便于對變電站場景中的小行人進行檢測。

（2）在更淺層次的特征圖上進行行人檢測，即同時在VGG16的Con4_3和Con5_3層進行行人檢測，而SSD僅僅在Con5_3層上進行物體檢測。在更淺層進行行人檢測可以有效地解決SSD框架小行人檢測能力不足的問題。

（3）檢測對象不同。SSD是針對多類物體檢測的檢測框架，它不僅能檢測人還能檢測汽車、椅子等，因為檢測物體的種類過多，其在單類物體檢測效能上的準確度并不是很高。但變電站場景下不需要檢測多類物體，因而SSD對變電站環境下行人檢測應用場景適用性并不高。相反，本文設計的網絡結構是針對變電站場景下小行人的檢測，主要關注變電站復雜環境和行人尺寸較小的問題，因而更具有針對性和適用性。

1.2 網絡訓練

近年來，解決訓練數據不足的一種典型的學習框架是遷移學習。當一個需要完成檢測任務的領域缺乏訓練數據或者訓練數據不足時，可以從另外一個訓練數據較容易獲取的領域提取訓練數據來訓練當前神經網絡。其有一個前提條件，就是從另外一個領域獲取的數據要與當前完成任務所需要測試的數據在數據分布或者結構上同質或相似。雖然目前學術界還是工業界都沒有發布任何變電站背景下行人檢測的數據集，但是有很多一般場景下行人檢測的數據集已經發布，例如Caltech 行人數據庫[8，16]、 NICTA 行人數據庫[17]、ETH行人數據庫[18]、Daimler行人數據庫[19]等。因此，基于遷移學習的思想，首先使用一般的行人檢測訓練數據集來預訓練變電站行人檢測深度神經網絡，再在初步收集的變電站真實場景行人檢測數據集上進行微調網絡，以緩解真實變電站場景下行人檢測數據不足的問題。

圖1 SSD網絡結構

圖2 行人檢測卷積神經網絡結構

在訓練過程中采用和SSD類似的損失函數，由于本文只限于行人單目標檢測，因而對SSD的多目標損失函數退化為單目標進行損失函數。深度模型在訓練階段使用300×300大小的圖片進行訓練，訓練數據集主要包含Caltech行人數據庫的部分圖片和真實變電站場景下及模擬場景下的行人檢測圖片。在Caltech行人數據庫上，學習率初步設置為10-3，經過10 k次迭代以后，學習率衰減為10-4。在自主收集的變電站行人檢測數據集上，學習率設置為10-5。使用SGD（隨機梯度下降）方法來訓練整個網絡，其中，動量和權重衰減系數分別設置為0.9和5×10-4。本文神經網絡的訓練是在一臺配置了單張GeForce GTX 1080顯卡的計算機工作站上完成的，其中，深度學習框架選用的是Caffe[20]。

2 變電站行人檢測實驗

對全卷積大尺度變電站行人檢測深度神經網絡進行實驗測試，并分析實驗情況及結果。

2.1 實驗數據集

首先在Caltech[8，16]行人數據庫中選擇了5萬張包含行人的圖片對網絡進行40 k次迭代訓練，然后在自主收集的變電站行人檢測數據集上對網絡結構進行5 k次迭代微調，其中收集的數據集主要包括變電站真實場景圖片和模擬拍攝小行人圖片。每張訓練圖片至少包含一個人，即一個訓練樣例。所有訓練圖片中共包含10 600個訓練樣例（即10 600個事先標注好的單個行人矩形框），其中真實變電站場景下2 300個訓練樣例，模擬場景下8 300個訓練樣例。

測試數據集也分為2個部分：第一個部分是在真實變電站環境下拍攝的視頻，由采集人員進入變電站配合視頻拍攝，部分圖片如圖3所示；第二個部分是所拍攝的模擬小行人數據集，由于變電站行人檢測的主要特點之一就是行人過小的問題，為了檢驗深度模型是否能有效對小行人進行準確檢測，采集制作了小行人檢測數據集，如圖4所示，在不同拍攝角度、不同場景、不同距離下，分別對不同人員進行拍攝，每張測試圖片至少包含一個人，即一個測試樣例。所有測試圖片共包含3 200個測試樣例，其中真實變電站場景下800個，模擬場景下2 400個。

2.2 性能評價指標

參考國際通用的行人檢測基準數據集[8]中的評價標準對實驗結果進行評估。在測試之前，對每一張測試圖片中的每一個行人進行手工包圍框標定，記錄下每一張圖中行人的包圍框坐標，即ground truth。在測試階段，針對每一張輸入圖片，行人檢測系統會返回定位到的行人的包圍框坐標，即detection。最終的評價是在所有由行人檢測系統返回的包圍框上進行的。具體的可參考文獻[8]，計算一個系統返回的包圍框和一個事先人工標定的人工標記包圍框的交集與他們的并集的比率a0：

式中：BBdt為系統的每一個檢測結果包圍框；BBgt是標定的ground truth包圍框。

如果a0>0.5，則認為該檢測到的行人包圍框為一個準確的檢測結果；否則為失敗的檢測結果。

同時，一個人工標定的人工標記包圍框最多只能被成功匹配一次。針對同一個人工標記，如果系統返回了多個包圍框并且它們都與這個人工標記包圍框匹配成功，那么只有一個檢測結果被算作準確檢測結果，其余均被算作錯誤。

2.3 實驗結果與分析

表1是訓練樣例、測試樣例數及相應準確率的結果統計。從表1可以發現，該方法在變電站場景測試集上取得了87.13%的行人檢測準確率，在模擬場景測試集上取得了90.83%的行人檢測準確率。這表明該深度模型能對真實變電站場景下行人進行準確檢測，當有行人闖入變電站時，可以及時給出系統警告。

圖3是部分變電站場景下的實驗效果圖。從圖中可以發現，在變電站復雜場景下，行人非常小和模糊，但該系統依然能夠檢測出大部分的行人。同時發現，有遮擋或者行人位置非常接近對系統的穩定性有影響。例如：在圖3（c）中，一個測試樣例因為下半身被電箱完全遮擋導致被系統漏掉；在圖3（d）中，2個行人由于距離非常近而被系統檢測為一個人。

表1 訓練樣例、測試樣例數及相應準確率

模擬測試集中包含了不同數量的行人，他們的姿態及與攝像頭的距離各不相同。圖4是部分小行人模擬數據行人檢測效果圖，展示了該系統良好的小行人檢測效果。同時，噪音也會干擾系統的魯棒性， 如圖 4（d）和圖 4（e）所示， 因為灌木等干擾的存在，系統分別漏掉了一個人。

3 結語

基于人工智能技術的計算機視覺物體檢測和識別技術近年來已經得到了長遠的發展，并在國民經濟中扮演了重要角色。一大批技術如人臉識別技術、指紋識別技術和車牌定位技術已經在現實生活中落地并發揮重要作用。未來人工智能技術還會影響和促進更多的領域和行業發展。

變電站作為電能傳輸的基礎保障場所，在國民生產生活中有至關重要的作用。運用先進的人工智能技術對變電站進行安全監控和保護，是確保變電站穩定運行的重要舉措。未來應該關注將更多人工智能技術應用于電網安全傳輸這一關系國計民生的重大任務之中。

圖3 真實變電站行人監控環境下部分檢測結果

圖4 模擬小行人監控環境下部分檢測結果