基于深度殘差LSTM 的視頻異常行為識別算法

龔向陽，楊躍平，張明達，王思謹，江炯

（國網寧波市奉化區供電公司，浙江寧波 315506）

為保障電力系統的可靠、穩定運行，在輸電網絡的定期檢修、故障搶修等運維過程中，需要運維人員進行登桿作業[1-2]。目前，運維人員登桿作業主要依賴于登高板、腳扣等輔助工作，依靠人力上下桿塔。隨著人工智能、物聯網技術的快速發展，有學者研究了自動登桿機器人，其用于輔助運維人員開展登桿作業，具有輕量便攜、性價比高等優點[3-5]。

登桿作業過程的安全監督主要依賴于第三方人員現場監督的方式。若能在自動登桿機器人上安裝視頻圖像采集傳感器，并結合圖像識別技術智能監督登桿作業過程，這將減少電網運維人力資源的投入，大幅降低工作安全風險，提升作業效率[6-10]。針對此問題，該文將深度殘差網絡、長短期記憶網絡應用于智能登桿裝置的安全監控系統，實現異常行為的識別，進一步提高電網運維的智能化水平。

1 智能登桿裝置及安全監控系統

智能登桿裝置能夠替代傳統的人力登桿方式，大幅度減少日常電力電網維護作業人員的體力消耗，提高作業舒適度，減少工作安全風險，提升作業效率。如圖1 所示的智能登桿裝置具有自動登桿、輕量便攜、體積小巧、平滑可調、自動報鎖等諸多優點，其核心功能主要包括：1）采用伺服控制技術，通過模塊一體化動力伺服系統在實現自動登桿工具輕量化設計的同時，有效增加其負載能力和控制性能；2）通過基于傳感器網絡的多維感知信號融合算法為智能化自動登桿工具提供多重安全監測，提高運維人員作業的安全性；3）搭載高清云臺攝像頭，可在登桿作業過程中多視角地采集圖像，記錄作業過程便于回溯跟蹤。同時配合基于深度學習算法的視頻異常行為識別系統，可對違規作業行為進行監測。

圖1 智能登桿裝置

2 視頻異常行為識別算法

2.1 卷積神經網絡

隨著人工智能技術的發展，神經網絡技術在生物、醫療、經濟等領域逐步應用廣泛。但傳統神經網絡在處理圖像信號時，存在難以準確提取圖像特征、識別準確率低的問題。針對上述問題，卷積神經網絡通過參數共享有效提高了特征提取和模式識別的效率，在處理圖像信號上具有更加優秀的應用價值。典型的卷積神經網絡結構如圖2 所示[11-12]，其通過多層卷積層、池化層堆疊，并在最后增加了兩層全連接層。

1）卷積層主要的操作為卷積運算，而計算機信息處理系統中，以離散化的卷積運算為主，先用卷積核覆蓋輸入數據中尺寸大小相同的部分數據，將相同位置的元素值對應相乘并加上一個常數值，再對所有計算結果進行求和，得到第一次卷積運算的輸出值。隨后，按照一定的步長，滑動卷積核進行下一次卷積運算。以此重復，總共需要進行多次卷積運算，得到一定尺寸的輸出數據。

卷積運算可以用以下計算公式描述：

2）池化層的滑動操作過程與卷積層類似，只是以池化運算代替了卷積運算，常用的池化運算有最大池化、平均池化。

池化層輸出數據與輸入數據需要滿足以下關系：

3）激活函數實現從輸入數據到輸出數據的映射，常見的激活函數有Sigmoid、tanh 和Relu 等。由于Relu 激活函數能夠有效解決反向傳播梯度消失的問題，在深度學習領域應用更為廣泛。該激活函數為：

式中，x為輸入數據。

4）全連接層為任意兩個輸入數據與輸出數據之間存在的連接關系，與傳統BP 神經網絡的連接關系相同。

2.2 深度殘差網絡

殘差網絡（DRN）與傳統神經網絡的結構區別如圖3 所示[13-14]。圖3（a）為傳統神經網絡，輸入數據x經過兩層卷積層得到輸出數據H(x)；圖3（b）為殘差網絡，其在傳統神經網絡的基礎上，在輸入端與輸出端之間添加一條捷徑，該條捷徑的權重為1，由此輸出數據為H(x)=F(x)+x。在殘差網絡中，通過模型學習訓練獲取到的是準確的映射F(x)，而F(x)=H(x)-x，即目標值與輸入數據之間的殘差。殘差網絡相比于傳統神經網絡，能夠有效防止梯度消失問題，在深度學習中應用廣泛。

圖3 傳統神經網絡與殘差網絡的結構區別

在深度神經網絡的基礎上，在兩層卷積層之間均添加上述捷徑，由此形成的網絡則是深度殘差網絡。

2.3 長短期記憶網絡

在處理視頻、文本等信息時，不同序列片段之間存在關聯性，對既定的輸出目標均有一定影響，這與人腦的學習和處理信號過程相似。傳統神經網絡并不能有效地實現這種目標，故循環神經網絡由此誕生。

循環神經網絡的結構如圖4 所示。f為神經網絡，輸入信息為xt，輸出信息為ht，循環神經網絡允許當前步驟的信息傳遞到下一步驟，且所有步驟共享相同的網絡結構和參數。循環神經網絡由于能夠處理這種序列數據問題，所以在語音識別、圖像字幕等領域有著廣泛的應用。

圖4 循環神經網絡的結構

長短期記憶（Long Short-Term Memory，LSTM）網絡是一種經過特殊設計，用于處理長期依賴問題的循環神經網絡，其典型結構如圖5 所示，該結構包括遺忘門、輸入門和輸出門三部分[15-16]。

圖5 LSTM單元結構

1）如式（4）所示，遺忘門結合上一層神經單元的輸出和當前神經單元的輸入，通過Sigama 函數獲得分布于[0,1]區間的數值，從而決定上一層神經單元狀態保留程度。當Sigama 函數輸出為1 時，表示完全保留；輸出為0 時，表示完全舍棄。

式中，ht-1為上一層神經單元的輸出，xt為當前神經單元的輸入，σ(·)為Sigama 函數。

2）輸入門決定了當前神經單元狀態的更新信息，其包括兩個步驟：一是通過Sigama 函數決定更新哪些信息；二是通過tanh 函數獲得更新信息的內容。具體計算邏輯如式（5）所示：

結合遺忘門和輸入門，能夠獲取當前神經單元狀態如下：

3）輸出門根據當前神經單元狀態決定輸出信息，如式（7）所示，其包括兩個步驟：一是通過Sigama函數決定輸出當前神經單元狀態輸出的部分；二是通過tanh 函數獲得輸出信息的內容。

2.4 視頻異常行為識別算法

該文提出了一種基于深度殘差LSTM 的視頻異常行為識別算法。利用輕量化、小型化的自動登桿作業裝置獲取作業過程的視頻圖像，將其作為深度殘差LSTM 模型的輸入數據，輸出則為異常行為識別結果，從而實現登桿現場作業風險、違規行為的識別，提高運維人員的作業安全性。

該算法結構如圖6 所示。將視頻圖像分解為序列1，序列2，…，序列n，經過對齊、剪裁、歸一化等圖像預處理之后作為深度殘差網絡的輸入。通過訓練得到不同圖像序列的特征，匯總得到序列特征集作為LSTM 網絡的輸入，再由LSTM 網絡模型輸出登桿作業異常行為識別結果。

圖6 基于深度殘差LSTM的視頻異常行為識別算法結構

3 算例分析

為了驗證該文所提的基于深度殘差LSTM 的視頻異常行為識別算法的正確性和有效性，選取700段登桿作業視頻圖像序列進行實驗，并按7∶3 的比例隨機劃分為訓練集和測試集。實驗的硬件環境如表1 所示。

表1 實驗硬件環境

3.1 算法訓練過程

以交叉熵損失函數衡量模型訓練效果，計算方法如下：

式中，hj為網絡的輸出值，hyi為訓練樣本標記的目標值。

算法訓練過程中，損失函數值和準確率隨迭代次數的變化如圖7 所示。

由圖7（a）可知，在0～30 輪迭代中，訓練集和測試集的損失函數值快速下降；在30～60 輪迭代中，損失函數值緩慢下降；在60 輪迭代以后，損失函數值幾乎未有變化。

由圖7（b）可知，隨著迭代的進行，測試集和訓練集的準確率快速上升，然后趨于平緩，最終幾乎穩定不變。算法最終的準確率維持在98.5%左右，具有較好的識別效果。

圖7 算法訓練過程

3.2 算法的性能分析

為驗證該文所提算法的性能，將所提方法與傳統卷積神經網絡進行對比，視頻異常行為識別的準確率如表2 所示。分析準確率數據可知，該文算法的最大準確率為99.82%，最小準確率為98.13%，平均準確率達98.93%；而傳統神經網絡算法最大準確率為86.11%，最小準確率為80.45%，平均準確率達83.64%。該文算法相比于傳統神經網絡算法具有更高的準確率，這是因為所提算法采用深度殘差網絡能夠有效避免算法梯度消失問題，利用LSTM 模型能夠提取不同視頻序列之間的內在聯系，從而提高異常行為識別的準確率。

表2 算法的準確率

4 結束語

該文基于深度殘差LSTM 算法開展了視頻異常行為識別技術研究，通過自動登桿作業裝置獲取視頻信息，實現作業人員違規操作等異常行為的識別。實驗結果表明，所提算法在60 輪迭代開始收斂，準確率穩定在約98.5%，相比于傳統卷積神經網絡算法具有收斂快速、準確性高的性能優勢。但文中所提算法僅通過視頻信息實現對異常行為的識別，而線路開關狀態、電壓等級等電氣參數對于登桿作業監督也具有重要的參考作用，融合多種數據實現登桿作業過程的全方位監督，將在下一步研究中展開。