基于深度學習的電力作業人員行為識別技術

王 鴻，鄧元實,常政威，吳 杰,陳明舉

(1.四川輕化工大學人工智能四川省重點實驗室，四川 宜賓 644000；2.國網四川省電力公司電力科學研究院,四川 成都 610041)

0 引 言

電力事故不僅會造成人身傷害，還會影響電力系統的穩定運行[1]。為了保障電力作業人員的生命安全，電力行業制定了全方位的安全工作規程，并在作業人員上崗前進行培訓，規范其行為操作提高其安全素質[2-3]。經調查研究發現，作業人員的安全意識淡薄違章操作以及電力現場監管人員的管理責任缺失對作業現場監管不嚴，是電力事故發生的主要原因。因此，如何高效地加強作業現場的安全管控力度，提高電力作業人員的安全和工作質量，促進電力作業人員提升安全意識避免違章成為亟需解決的問題[4-5]。

近年來計算機視覺技術得到快速發展，諸如人體姿態估計和行為識別這樣的任務受到了學者們的廣泛關注[6]。文獻[7]建立了基于單個圖像或視頻捕捉快照的人體動作識別系統，對比神經網絡、隨機森林、k近鄰和支持向量機4種分類器對人體動作識別分類。文獻[8]提出了人類行為特征識別，根據視頻片段對視頻中人物的全局特征提取和局部特征提取兩種算法的應用和優缺點進行分析。文獻[9]將學生的動作指定為6種典型行為，提出了改進OpenPose的行為識別方法，并且基于決策樹的支持向量機對堂上學習者的行為進行分類。文獻[10]檢測人體姿態關鍵點并對變電站的安全區域標定識別，判斷電力作業人員的雙腳是否在標定的安全區域內，確定作業人員是否處于安全狀態。以上的研究對人體姿態和行為識別技術取得了一定的研究成果，但將OpenPose姿態估計算法引入到電力作業現場，實現精確高效的行為識別的研究還有一定的不足之處。

行為識別技術[11]從本質上來講就是一種分類問題，而人體動作識別的算法都是基于傳統算法或者基于深度神經網絡開展的。基于傳統算法的研究主要是依靠人為提取特征，這種傳統的算法因通過人為解決而效率低下，且提取特征不準確，也不能完全實時對電力作業人員的行為進行分類檢測。針對這些問題，提出了一種基于OpenPose的人體姿態識別技術，通過深度神經網絡對提取的電力作業人員的骨骼圖進行行為識別，提高了檢測的速度和準確率，避免由于電力現場的復雜環境而導致的檢測錯誤，及時對危險行為檢測并進行預警處理，避免出現嚴重的安全事故，造成人力物力以及財力的損失[12]。

1 作業人員行為識別深度學習網絡設計

1.1 行為識別整體網絡設計

主要針對電力作業人員行為態勢設計行為識別流程如圖1所示。首先，輸入電力作業人員相關視頻流，將其處理為視頻幀圖像，對數據做相關的預處理；然后，將現場作業人員的視頻幀圖像輸入到人體2D姿態估計的OpenPose模型中，采用計算機視覺組(visual geometry group,VGG)提取電力作業人員的關鍵點位置信息及關鍵點連接的骨骼圖；接著，將提取得到的骨骼圖信息通過一系列處理后保存為最終的訓練集；最后，將訓練集通過深度神經網絡(deep neural networks,DNN)進行電力作業現場作業人員的行為識別。

圖1 電力作業人員行為識別整體技術流程

1.2 基于OpenPose關鍵點檢測網絡

近年來，基于深度學習原理進行的人體姿態估計方法被提出且得到廣泛應用。而OpenPose人體姿態估計是自底向上關鍵點檢測方法[13]，使用部分親和字段(part affinity fields,PAF)算法，完成從人體關鍵點檢測到關鍵點與關鍵點之間的連接過程。OpenPose 的輸入是一幅人體姿態的圖像，輸出是該算法檢測到的所有人體的骨骼。人體骨骼圖共提取18個關鍵點，包括眼睛、鼻子、手臂和腿等，如圖2所示。圖3為識別的作業人員的骨骼關鍵點圖。

圖2 18個關鍵點

圖3 人體骨骼關鍵點圖

所采用的美國卡內基梅隆大學實驗室的OpenPose姿態估計算法，是基于卷積神經網絡并采用caffe框架開發的開源庫，可以實現人體的姿態動作、面部表情識別以及手指相關運動等，對多人的二維識別有極好的魯棒性，且具有識別效果精準、速度高等特點。OpenPose外部網絡結構如圖4所示。該模型總共分為兩個階段識別人體的關鍵點[14]，如圖5所示。

圖4 OpenPose外部網絡結構

圖5 OpenPose模型結構

第一階段：VGG的前10層用于為輸入圖像創建特征映射F(feature map)。

第二階段：將第一階段輸出得到的特征圖作輸入，包括兩個分支多階段卷積神經網絡迭代訓練。其中，第一個分支輸出結果為S的集合S=(S1,S2,…,Sj)，j∈{1,2,…,j},j表示第j個關鍵點。這一分支用來預測人體關鍵點位置信息的一組2D置信圖(part confidence map,PCM)；另一個分支輸出結果為L的集合，L=(L1，L2，…Lc)，c∈{1，2，…,c}，c表示第c個軀干，用來預測部分親和度的2D矢量場，表示關鍵點與關鍵點之間的局部區域親和力PAF，如式(1)所示。

(1)

式中：ρ1和ρt分別為第一階段和第t階段PCM的預測網絡；φ1和φt分別為第一階段和第t階段PAF的預測網絡。

每個階段(Stage)都是一些串行的模塊，前面的Stage先檢測出一些簡單的關鍵點，后面的Stage再根據前面檢測出來的信息繼續檢測更復雜情況下的關鍵點。通過多階段的卷積神經網絡的反復預測，實現漸進優化的過程，使得到的預測結果更加準確[15]。最后得到置信圖和親和力，通過關鍵點對dj1和dj2之間的PAF來判斷關鍵點之前的連接是否正確[16]，如式(2)所示。

(2)

式中：dj1和dj2分別為某人的兩個連續的像素點j1和j2；p(u)為連續像素點之間連線的取值，如式(3)所示，u的取值為(0,1)。

p(u)=(1-u)dj1+dj2

(3)

1.3 DNN行為識別

DNN[17-18]是一個具有多層結構的數學模型，根據每層結構的位置可以分為3層：輸入層、隱藏層和輸出層。其網絡的結構示意如圖6所示。

圖6 深度神經網絡結構

假設輸入n維的信號，特征向量表示為X=(x1,x2,...,xn)T，那么，每個隱藏層的神經元與前一層之間的神經元權值的關系可以表示為

y=f(wTx+b)

(4)

式中：y為輸出；f為非線性激活函數；w為權值系數；b為偏置。也就是每個神經元的輸出值是輸入信號的線性組合，加上偏置后經過一個非線性的激活函數f的輸出值結果，而每個神經元經過n層隱藏層處理后，通過最后一層輸出層得到的結果就是最終DNN的輸出結果。

因此，為了使深度神經網絡能更好地提取數據集中有用的電力作業人員骨骼信息，得到預期的輸出效果，深度神經網絡需要不斷調節參數權重w和偏置b，從而達到最佳訓練的學習目的，使網絡最終的輸出值與實際值的損失達到最小。所采用的訓練模型損失函數為均方誤差函數(mean square error,MSE)，表達式為

(5)

w和b的優化更新過程可以表示為

(6)

式中：w′和b′分別為進入網絡后更新的權重值和偏差；η為網絡的學習率。通過學習率來控制網絡的學習進度，并且能夠決定網絡是否能夠成功找到 全局最小值以及確定最小值的時間；通過調節學習率得到全局的最優參數解。通常來講，如果學習率過大，則會造成整個網絡無法收斂，忽視找到最優值的位置；而學習率設置得太小，則會導致整個網絡收斂過程非常緩慢，從而增加找到最優值的時間，且也可能會造成局部收斂而找不到真正的最優解。

2 實驗與結果

實驗在Windows系統下進行操作，采用深度學習的開源框架TensorFlow。通過調用Python環境下的各種學習包，對實驗進行訓練和測試，用到的軟件為Pycharm2019，采用python3.7的框架。硬件環境為：處理器 Intel(R) Core(TM) i7-10700 CPU @2.90 GHz；運行內存 16.0 GB。

2.1 數據預處理

所使用的訓練數據集為人工采集拍攝一組視頻，每隔25幀截取一張，將視頻流切割為1888張視頻幀圖像。對視頻幀圖像采用圖線增廣擴充等處理方式，加大訓練樣本個數，使訓練數據集產生與原始視頻幀圖像類似的數據。這樣能夠達到擴充訓練數據集的效果。通過對圖像做增廣處理，可以減小模型對某些特定屬性的依賴作用，從而使模型的泛化能力得到提高。這里采用對圖像進行左右翻轉、平移等方法來實現數據集的擴充。如圖7所示為圖像進行擴充后的示意圖。

圖7 訓練圖像的數據增廣

數據集中共有18個關鍵點，包括鼻子、眼睛、左右手和左右腳等，且通過(x，y)的坐標來表示關鍵點的位置信息，將提取到的關鍵點信息保存為train.txt文本文件。通過腳本文件將讀取到的關鍵點信息轉換為csv格式，保存在train.csv文件中。并且，對每幀圖像的行為進行標記，一共包括站立、走路、跳躍、摔倒和下蹲5個動作，用0～4依次對5個動作進行標注，將標注好的文件保存在train_act.csv文件中。最后對關鍵點信息和行為信息的數據集進行訓練。

將具有不同寬高比的圖像縮放為相同單位，對采集到的錯誤的骨架關鍵點信息做刪除處理。最后，得到3775張圖片作為人體關鍵點行為識別的訓練數據集。使用電力作業現場的圖片作為測試數據集。

2.2 識別結果分析

總的數據集分為2組：訓練的數據占90%，驗證的數據占10%。通過基于深度神經網絡的電力作業人員行為檢測算法，給已經加上行為標簽類別的骨骼信息數據做處理，對電力作業現場人員進行行為識別分析。采集的視頻中包括電力作業人員摔倒等異常行為，同時也包含了正常情況下作業人員正常行走、下蹲等行為。通過人工方法對這些數據的類別進行行為標定。在DNN模型的訓練過程中[19]，采用自適應學習率的Adam優化算法[20]，對梯度的一階矩估計和二階矩估計動態調整每個參數的學習率，通過多次實驗和對參數的訓練；最后，選取其中準確率和損失率最佳的一組參數：批處理量batch_size為32，訓練次數(epoch)為700次。訓練過程中的平均損失值如圖8所示。

圖8 模型訓練過程中的損失值下降曲線

由圖8可知，模型訓練過程中，隨著訓練的迭代次數增加，訓練損失值逐漸減小[21]，且在epoch為100～200間趨于平滑狀態，其中橫坐標表示模型訓練的迭代次數epoch，縱坐標Loss表示其均方誤差。通過多次試驗得到4個較好的訓練模型，如表1所示。

表1 不同參數模型評估

從表1可以看出：隨著epoch的增大，訓練損失值逐漸減小，且訓練準確率逐漸變高，測試損失值和準確率也有同樣的效果；當epoch等于700次時，此時的損失值達到最小，且準確率也達到最高，而之后的各項數值性能指標隨著epoch的增大而變差。

使用該分類模型在測試數據集上進行測試，輸入已知動作的視頻，驗證模型輸出結果。如圖9所示為檢測出的電力作業現場人員站立和下蹲的姿態，圖9(a)為原始圖像，圖9(b)為對應圖像的骨骼關鍵點圖以及檢測出來的行為動作。從圖9中可以看出，分類模型對作業人員的姿態都能進行準確的識別。并且從第三組電力作業人員的識別效果上可以看出，不但能識別出電力作業人員的行為動作為摔倒狀態，同時會顯示識別到的電力作業人員已摔倒，并發出警告。

圖9 檢測的電力作業人員行為姿勢

3 結 論

為了更好地保證電力作業現場工作人員的人身安全以及電力系統的穩定性，提出了基于OpenPose的電力作業人員危險行為檢測技術。將電力作業人員的骨骼圖通過2D人體姿態估計算法OpenPose提取出來，利用VGG網絡的前10層提取電力作業人員的特征信息，避免電力現場的復雜環境影響提取目標的抽象特征。并利用龐大豐富的數據量，通過對深度神經網絡模型的訓練，使得該模型的魯棒性與泛化能力有所提升。通過實驗證明所提技術能有效地識別工作人員的行為動作，并能對危險行為發出預警和報警，起到了對作業人員的安全監管。