目標檢測、人體姿態估計算法疊加的監控視頻分析方法

李賓皚 李穎 孫宇飛 顧書玉

(1.國網上海市電力公司建設部 上海市 200120 2.南京七寶機器人技術有限公司 江蘇省南京市 211100）

隨著近年來電力系統基礎建設的快速發展，基建安全管理的壓力也日益增大。安全管理主要方式是視頻監控，而傳統視頻監控主要靠人工盯屏的方式，屬于被動監控[1]，監控人員在長時間實行監控任務的過程中會出現過于疲勞的狀態，容易導致誤報、錯報、漏報。因此，為了實現安全管控的自動化，對監控視頻進行智能實時分析進行研究有重要意義。

在監控系統中，監控的目標對象大部分是人員，可以利用人體姿態估計算法來得到被監控視頻中的人員行為信息，但是僅僅關注人員姿態又有一定的局限性，無法發現其他的危險源，如：火源、坑洞等。因此可以先利用目標檢測算法識別出所有和安全相關的目標物體，然后和人體姿態信息進行結合分析，提升危險行為識別分析的準確性。

目標檢測可以理解為物體識別加上物體定位，識別出物體類型，以及物體在圖片中的位置。目前目標檢測模型主要分為兩大類。一類是two-stage，它將目標檢測分為兩個階段，先產生候選區域（region proposals），然后對候選區域分類，這一類的典型代表是R-CNN[2]系列算法，包括：R-CNN, fast R-CNN[3], faster-RCNN[4]等。它們識別錯誤率、漏識別率均比較低，但是速度慢，不能滿足實時檢測要求。為了解決這個問題，出現了另一類one-stage 的目標檢測方法，典型算法有YOLO[5]和SDD[6]，它們不需要region proposals 階段，可以直接產生物體的分類和位置。YOLO 的V3[7]版本是one-stage算法中的佼佼者，不僅運行速度非常快，識別準確率也不輸給絕大部分two-stage 算法，在工業界已經得到大量應用。基于以上原因，本文使用YOLO V3 作為目標檢測算法。

人體姿態估計的核心是人體的關鍵點分析。最早的人體姿態估計方法只適合單人，即先識別出人的各個部分，然后將各部分連接從而獲取姿態。近年隨著深度學習技術的成熟，多人姿態估計也得到快速發展。多人姿態估計主要分為兩種，第一種是自頂向下（Top-down）的方法，首先檢測出多個人，再對每個人進行姿態估計，這類方法識別準確率較高但是速度慢，典型算法包括：Mask R-CNN[8]、CPN[9]、RMPE[10]、G-RMI[11]等。第二類是自底向上（Bottom-Up）方法，先檢測出圖片中的所有關節點，然后判斷每一個關節屬于哪一個人，將不同人體的關節聚成一類拼接在一起。這一類方法速度更快、模型更小，可以做到實時處理，典型方法有OpenPose[12]。

本文基于YOLO 目標檢測、OpenPose 多人姿態估計算法，提出一種實時分析危險行為和場景的方法，可以分析監控視頻中的人員危險行為和場景，并及時上報告警。在實驗環境下分析、檢測速度達到每秒20 幀，滿足實時檢測的要求，可以大大提高基建視頻安全管控的效率。

1 整體檢測流程

如圖1 所示，將監控視頻分析危險行為和場景的過程分為多個子任務：

（1）首先從視頻流中取得視頻幀；

（2）對視頻幀運用YOLO 目標檢測算法進行分析，獲得所有目標的類別和位置；

圖1：監控視頻分析框架整體流程

（3）若目標中含有人類，則繼續對視頻幀運用OpenPose 人體姿態估計算法，對人體姿態關鍵點進行識別和定位，然后結合目標檢測的結果、人體關鍵點信息，進行人員的危險行為和場景分析；

（4）如果目標中不含有人類，則直接進行危險場景分析；

（5）如果發現有告警，則上報告警。至此一張視頻幀的分析過程結束，該視頻分析框架會持續從視頻流中取得視頻幀，按照上述流程持續分析和告警。

2 基于YOLO的目標檢測

2.1 YOLO算法概述

該視頻分析框架一個核心模塊是基于YOLO 算法的目標檢測模塊，YOLO 的出現是為了解決two-stage 目標檢測算法普遍速度慢的缺點，創造性的提出了one-stage，它將物體分類和物體檢測網絡合二為一。YOLO 是一個可以一次性預測多個bounding box 位置和類別的神經網絡，其最大的優勢就是速度快，在Titan X GPU 上可以達到每秒45 幀，完全滿足分析監控視頻的實時性要求。其神經網絡架構圖如圖2 所示。

YOLO 算法的主要流程包括：

（1）對圖像進行縮放，比如縮放到448×448 分辨率，作為神經網絡的輸入；

（2）運行神經網絡，得到一些bounding box 坐標、box 中包含物體的置信度和各的類別概率；

（3）進行非極大值抑制，篩選box 作為輸出。

雖然YOLO 有速度快的優點，但也有檢測精度低、小物體檢測效果不好等缺點。針對這些缺陷，YOLO 作者后來又陸續推出了v2[13]、v3 版本，對算法進行了大量優化，比如調整主干網絡架構、引入殘差網絡、增加多尺度預測等，具體在這里不再贅述。目前YOLO 的V3 版本不僅速度更快，可以達到每秒55 幀，而且精度也不輸于絕大多數two-stage 算法，在工業界得到廣泛采用。

表1：目標檢測模型識別測試情況

圖2：YOLO 檢測網絡架構圖

圖3：OpenPose 算法流程

2.2 模型訓練及測試

針對基建視頻監控場景，需要訓練出對應的YOLO 目標檢測模型，才能實際應用。首先初步篩選出基建場景中一些常見的涉及安全的檢測類別，如：人、香煙、火、井蓋開、井蓋關、滅火器、梯子、交通錐、卡車等。大量收集這些類別的圖片，并進行圖片標注，最終形成20000 張圖片的數據集，使用YOLO v3 的darknet53 模型作為預訓練模型，使用GPU 進行訓練，得到適用于電力基建視頻內容分析的模型。

圖4：OpenPose 分析結果圖

圖5：火源

圖6：發現井蓋打開同時沒有圍擋，且人員靠近

圖7：發現人員未戴安全帽

該模型在測試集的表現如表1 所示，大部分類在測試集表現良好，已經具備實際應用能力，后續可以繼續收集和標注基建現場樣本，擴充識別類別，持續提升識別準確率，不斷迭代優化模型。

3 基于OpenPose的人體姿態估計

該視頻分析框架的另一個核心模塊是基于OpenPose 的人體姿態估計，對所有包含人的圖片進行人體姿態估計分析。OpenPose是美國卡耐基大學研究人員開發的開源庫，可以進行單人和多人的人體、手指、面部等多個部位的姿態估計。OpenPose 采用了自底向上（Bottom-Up）的方法，即先回歸出所有的關節點，然后再通過部分親和場（Part Affine Field）將關節點分給每個人。

OpenPose 的主要流程：先通過VGG19 網絡提取輸入圖片的特征圖（Feature Map），然后分成兩個卷積神經網絡（CNN）分支，一個分支預測人體姿態關節點的熱度圖（heatmap），另一個得到所有肢體的部分親和場（Part Affine Field），然后分三步進行關節點的聚類。第一步, 首先對關節點進行類別聚類, 并按照人體各肢體部件的構成進一步將每兩類關節點聚類成二分圖 (Bipartite Graph) , 使用部位親和場的信息,提取兩類關節點之間所有連線上的像素方向, 并在每條連線上對所有所屬像素的方向向量進行積分, 積分結果代表了這條關節點連線的方向權重, 權重值越大說明連線兩端的關節點屬于同一個肢體部位的概率越大。第二步, 通過匈牙利算法 (Hungarian Algorithm) 對關節點二部圖進行權重最大化連接, 過濾掉冗余的邊, 得到所有的肢體部位。第三步, 由于兩個相鄰的肢體部位必定有共享關節點, 通過關節點檢索可以把所有的軀干結合起來, 合成一個人的整體框架[14]。圖3 展示了算法的整體流程。

4 危險分析

危險分析包括危險場景分析和危險行為分析，兩者區別在于分析時是否包含人體姿態信息。如圖1 所示，如果目標檢測中沒有發現人員，則直接進行危險場景分析，否則對圖片繼續執行人體姿態估計，之后同時進行危險行為和危險場景分析。需要注意的是，危險場景分析可以利用人員的目標檢測信息，但是不包括人體姿態信息，而危險行為分析可以利用所有信息進行分析。

4.1 危險場景分析

危險分析包括危險場景分析和危險行為分析，兩者區別在于分析時是否包含人體姿態信息。如圖1 所示，如果目標檢測中沒有發現人員，則直接進行危險場景分析，否則對圖片繼續執行人體姿態估計，之后同時進行危險行為和危險場景分析。需要注意的是，危險場景分析可以利用人員的目標檢測信息，但是不包括人體姿態信息，而危險行為分析可以利用所有信息進行分析。

4.1.1 火災

判斷火災的策略很簡單，只需要在目標檢測結果中判斷是否有火這個類別。雖然策略簡單，但是識別精度有賴于目標檢測模型的準確率，而火的形態、輪廓、顏色不固定，對目標檢測模型的要求很高，需要采集大量樣本進行訓練，才能得到效果較好的模型。火源如圖5 所示。

4.1.2 坑洞

如圖6 所示，目前識別的坑洞類別主要是井蓋，判斷策略為：如果發現有打開的井蓋，且周圍沒有交通錐圍擋，則上報井蓋打開無圍擋告警；如果發現有打開的井蓋，且周圍有人，則上報人員靠近坑洞告警。值得注意的是，井蓋的樣式也是多種多樣，需要大量樣本訓練，否則很容易誤識別或漏識別。

魯迅筆下的看客，再無“看襪”的浪漫。面對“人頭落地”的血腥，看客的麻木與無動于衷，令魯迅顫栗。在《朝花夕拾》中，記有1906年3月，魯迅在日本留學期間看電影，畫面上一名即將被俄國人砍頭的中國人，被一群身強體壯、一臉麻木且無動于衷的中國人圍觀。日本人說“看這些中國人麻木的樣子，就知道中國一定會滅亡”！

4.1.3 未戴安全帽

針對人員頭部是否帶安全帽進行標注和訓練，YOLO 模型可以直接判斷人員有沒有戴安全帽，故判斷策略為發現沒帶安全帽，就直接上報告警。由于訓練樣本足夠豐富，訓練出的模型泛化能力較好，即使人員戴了帽子，但如果不是安全帽，模型也能識別出沒戴安全帽，如圖7 所示。

4.2 危險行為分析

綜合利用目標檢測和人體姿態估計的結果信息，可以進行危險行為分析。目前能夠識別的危險人員行為包括：人員倒地、吸煙、翻越。基于此框架，隨著研究深入，可識別的危險行為類別可以進一步拓展。

4.2.1 預處理

危險行為分析前需要進行預處理，以保證識別的準確性。預處理步驟包括：

（1）根據每組人體的關鍵點計算出其最小外接矩形；

（2）將該矩形框和所有目標檢測中類別為人的矩形框，逐一計算出交并比IOU[15]（Intersection Over Union）；

（3）如果找不到IOU＞0.5，說明目標檢測和人體姿態估計存在不一致，則丟棄該組人體關鍵點和目標檢測結果信息，否則就保留。

IOU 表示兩個矩形交集的面積/并集面積，計算公式：

其中，D 和G 分別代表兩個矩形框。預處理的意義在于減少YOLO 和OpenPose 模型各自誤識別的情況，將兩者都識別為人的目標才判定為人，其他的判定為誤識別并丟棄，能較大提升人員識別的準確率。后續進行的危險行為分析都是基于保留下來的人體關鍵點和人員目標檢測信息進行分析。

4.2.2 倒地

如圖8 所示，人員倒地的識別主要利用人員的脊柱線進行判斷，即圖4 中點1 和8 的連接線。正常人體脊柱線一般是垂直于地面的，故判斷策略為：脊柱線與水平方向的夾角小于一定角度A，則判定有人員倒地，上報告警。經過實驗，發現A 設置為30 度，效果較好。注意使用該策略一個隱含條件是圖片不能是傾斜的，一般監控攝像頭都是水平拍攝的，如果圖片是傾斜拍攝的，需要先利用攝像頭信息將圖片旋轉為水平方向，再進行分析。

4.2.3 吸煙

如圖9 所示，目標檢測可以識別出香煙和人，但是不容易判斷出人正在吸煙的狀態，這時可以進一步利用人體關鍵點信息進行判斷。判斷策略為：先判斷是否有香煙，如果有，則進一步找到人體關鍵點中的嘴部、手部，即圖4 中的點0、4、7，然后以這幾個關鍵點為中心生成邊長為R 的正方形框，最后計算這幾個正方形框和香煙的矩形框的交并比IOU，如果IOU＞0，則說明香煙和這幾個關鍵區域有重合，上報吸煙告警。其中R 的大小根據人的外接矩形大小設置，實驗發現，R 設為外接矩形中短邊的1/5 效果較好。該策略生效的一個前提條件為目標檢測模型要能識別出香煙，由于香煙一般在圖片中較小，目標檢測可能存在漏識別的情況。一個解決思路是利用OpenPose 的手部和臉部模型，結合人體軀干模型通過分析人員姿態直接判斷人員吸煙，但是涉及模型較多，實時性會降低，具體策略有待進一步研究。

4.2.4 翻越

如圖10，工地上可能會有翻越圍墻或欄桿的情況，目標檢測只能識別出人而無法判斷其動作，但是利用人體關鍵點進行姿態估計可以識別出來。判斷策略為：取得人體中兩側腳和膝蓋關節點，即圖4 中的點10、11、13、14，如果一側的腳的關鍵點高于另一側的膝蓋關鍵點，則判定發現人員翻越行為，上報告警。同人員倒地識別一樣，該策略要求圖片不能傾斜。

圖8：人員倒地

圖9：吸煙

圖10：翻越

5 結語

文章提出了一種基于YOLO 和OpenPose 算法的監控視頻分析方法，可以實時分析視頻中的危險場景和人員危險行為，并自動上報告警，極大的提升了基建視頻安全管控效率。該分析框架的新穎之處在于將目標檢測和人體姿態估計算法結合起來，在避免各自不足的同時，又發揮了各自的優勢，大大拓展了可識別的危險行為和危險場景，具有很高的研究價值和廣闊的應用前景。

目前都是基于單張圖片進行靜態分析，未來將重點研究基于多張連續圖片的時序分析，繼續拓展可識別的危險行為、場景的類別，并優化軟件架構，提升并發處理能力，進步提高系統的實用性。