姿態估計算法在視頻監控中的應用

沈剛 袁鵬泰

摘? 要： 為了滿足廚房智能監控的需求，保證食品衛生安全，開發了一個基于姿態估計算法的廚房智能監控系統。該系統將深度神經網絡與視頻監控技術相融合，實現人臉識別以及衣帽識別等功能，采用Openpose姿態估計算法對人體部位進行有效定位，并針對Openpose算法會出現誤判人體關鍵點的問題進行了改進。實驗表明，改進后的姿態估算法能夠有效地避免誤判問題。

關鍵詞： 深度學習; 姿態估計; 目標檢測; 視頻監控

中圖分類號：TP391.41? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2020）12-33-05

Abstract： In order to meet the needs of kitchen intelligent monitoring and ensure food safety， a kitchen intelligent monitoring system using pose estimation algorithm is developed in this paper. The system combines with the deep neural network and video monitoring technologies to realize the functions of face recognition and clothing recognition. The Openpose pose estimation algorithm is used to locate the parts of human body effectively， and the improvement is made to solve the problem that the openpose algorithm may misjudge the key points of human body. Experimental results show that the improved pose estimation algorithm can effectively avoid the misjudgment.

Key words： deep learning; pose estimation; object recognition; video monitoring

1 相關工作

本文將姿態估計算法應用在對廚房的智能監控中，通過監控食堂后廚，以確保食品的健康安全。該系統包含人臉識別、衣帽識別以及物品識別等功能。人臉識別功能需要對人臉進行識別，而衣帽識別功能則需要對人體的頭部位置以及身體位置進行識別，這需要算法能夠有效的對人體部位進行定位，本文選用了姿態估計算法對人體部位進行定位。

近年來，國內外學者提出了諸多的姿態估計算法。根據算法的結構，姿態估計算法可以劃分成自頂向下的姿態估計算法和自底向上的姿態估計算法。

1.1 自頂向下姿態估計算法

自頂向下估計算法的工作原理是首先確定圖像中的各個人的位置，之后對各個人的關鍵點確定，并以此來復原各個人的姿態（即姿態估計）。

Papandreou團隊[1]采用這種方式并將其命名為G-RMI，先利用faster-rcnn目標檢測算法[2]對圖像中的人進行邊框檢測;然后通過一個全卷積殘差網絡（fully convolutional resnet）[3-4]預測出每一個檢測框內的人的稠密熱圖（dense heatmap）和偏置（offset），將兩者融合以定位出關鍵點的位置。Shaoli Huang等人[5]提出了一種粗糙-精細化神經網絡結構CFN（Coarse-Fine Network），利用多層級監督來實現關鍵點定位功能;在姿態估計前進行目標檢測，會出現邊框定位偏差和反復檢測等問題，針對此難題，上海交大的盧策吾等[6]提出了RMPE（Regional Multi-Person Pose Estimation）方法，使用空間變換網絡（STN）將屬于同一個人的不同候選區域都轉化成一個比較好的候選區域，如果人體處在候選區域的正中央，那么對于同一個人就不會產生不同的關鍵點檢測結果，此方法采用SSD[7]目標檢測算法;何凱明[8]提出的Mask R-CNN網絡雖然是用于目標檢測的結構，但其泛化能力很強，可以廣泛用于多種任務，人體姿態估計就是其中一種應用;Yilun與Chen等人[9]提出了級聯金字塔網絡CPN，此方法主要結合精煉網絡（RefineNet）與全局網絡（GlobalNet），其中全局網絡的主要工作是對簡單的關鍵點進行檢測并提供上下文信息，精煉網絡通過對全局網絡得到的所有級別的特征進行整合，以便定位較難識別的關鍵點。

1.2 自底向上姿態估計算法

自底向上姿態估計算法的主要思想是先檢測圖像中所有關鍵點，之后，將檢測到的關鍵點做聚類，也就是將關鍵點和圖像中的人進行對應。

InsafutdinovEldar等人的DeepCut[10]和DeeperCut[11]首先利用卷積神經網絡進行所有關鍵點的檢測工作并將這些關鍵點組成一幅圖，之后再對圖中的這些關鍵點進行聚類，將關鍵點的聚類問題轉化成了優化問題。Zhe Cao[12]等人提出Openpose算法，包括兩個分支協調工作，一個分支利用置信度圖預判關鍵點，而另一個對其關鍵點的相關性進行預判，最后建立起關鍵點的圖并進行分析;Xia， Fangting等人[13]的Part Segmentation方法，首先拆分人身體的不同位置，然后根據關鍵點之間的關系完成建模;Newell，Alejandro及其團隊[14]提出了一種單階段關鍵點檢測的方法，把檢測關鍵點和分組一同進行，是一種端到端（end-to-end）的方法;Papandreou，George等人[15]則通過直接回歸兩個關鍵點之間的偏差來對這兩個關鍵點之間的關系進行建模，但是這種方法只可以用于兩個關鍵點周圍較小范圍內的偏差。

2 Openpose姿態估計算法

姿態估計算法中，自底向上結構的算法運行效率不會因圖像中的人數而改變，而自頂向下結構算法的運行效率則會隨視頻中人數的增加而降低，因此我們選擇自底向上結構的姿態估計算法。

自底向上的姿態估計的算法有很多種，其中最典型的是Openpose，該方法采用置信度圖（confidence map）來檢測關鍵點，利用部分親和字段（PAF）連接身體關節點。作者使用分支網絡結構來同時獲取人體的關鍵點與親和區域。算法的檢測流程為：首先將完整的圖像作為輸入，通過一個二分支網絡同時檢測出人體的關節點置信度圖和人體部分親和字段，然后將人體關節點的連接問題轉換為一個二部圖匹配問題，最后將圖像中所有人人體骨骼關鍵點輸出。

Openpose網絡先利用VGGNet[16]對圖像進行特征提取，然后把這些特征輸入到二分支網格做預測工作。其中一個分支負責預測人體關節點的置信度圖，另一個則負責預測人體部分親和字段。兩個分支都設置了迭代級聯機制，第一級的輸入是VGGNet提取的特征，其后的每一級的輸入都是上一級的輸出加上第一級的輸入。具體實行結構如圖1所示。由于輸入圖像具備固定尺寸，所以很難對細節預測，若將輸入圖像的尺寸加大又會增加參數的數量，而進行迭代的級聯機制可以對前面的預測結果不斷的進行精煉，會有力的提升系統對細節的識別度。

圖1中上方的分支用于預測人體關鍵點的置信度圖S（confidence map），下方分支的工作是對人體的部分親和字段[L]（PAF）進行預測，[ρ]是置信度圖S進行檢測的卷積神經網絡，[?]的工作是對部分親和字段[L]進行檢測工作的卷積神經網絡。

在對Openpose算法進行更加深入的研究過程中，我們也發現了Openpose算法的一個缺陷：Openpose算法有時會在無人存在之處檢測出關節點。這就會干擾后續人臉識別和衣帽識別的準確度，為了解決這一問題我們對Openpose算法進行了改進。

3 改進的Openpose姿態估計算法

為解決Openpose算法存在的問題，我們決定在姿態估計前對圖像內容進行一個篩選過濾，將確定存在人體的圖像傳入到Openpose姿態估計算法中。

這樣，我們便將改進的Openpose姿態估計算法分成了三個步驟：人體檢測、人體區域融合和姿態估計。人體檢測是定位出圖像中人體所在的位置;人體區域融合是為了將相互靠的較近的人體區域進行融合，由于我們后續采用了一個自底向上的姿態估計算法，因此不需要在圖像中精確定位到每一個人的位置，而將人體區域進行融合還能夠提高改進的姿態估計算法的識別效率。

3.1 人體檢測

本文采用的是自底向上的結構進行人體姿態估計，檢測過程中多個人允許共同使用一個檢測框，因此人體檢測算法的檢測效率便成了一個很重要的參考標準，綜上選擇yolo[17]算法來作為本文的人體檢測算法，其具有較高的檢測速度和較高的檢測精度。

Yolo算法首先把圖像縮放至448×448以方便后續處理。隨后把縮放的圖像分為[S×S]個網格（cell），某個目標的實際中心處于某一個cell上的時候，這個cell就負責對這個目標進行預測。每個cell對B個邊界框（bounding box）及其置信度（confidence scores）進行預測，此外，還要預測C個類別的條件概率P。每個邊界框都含有5個值，分別是表示位置的[x，y，w，h]和置信度[C]，[x，y]為邊界框中心相對于網格左上角坐標的偏移值，[w，h]表示邊界框的高和寬，這里的置信度指的是預測的邊界框和實際的邊界框（ground truth）位置IOU值。其中S取7，B取2，C取20。yolo的預測過程如圖2所示。

3.2 人體區域融合

通過執行上一步中介紹的人體檢測算法，我們已經獲得了人體在圖像中所處的區域的位置。當預測到的人體檢測框偏大時，算法會有較高的容錯能力，但當人體檢測框偏小而無法截取整個人體時，會影響后續姿態估計的結果，因此，對前一步的人體檢測框進行放大，其公式如下：

3.3 實驗結果展示

識別結果的對比圖展示，圖3為改進前姿態估計的結果，圖4為改進后的姿態估計結果。我們將兩張圖中差異的地方用橢圓框標注。從圖中可以看出圖3中在橢圓標注處存在誤檢的情況，而圖4在對應的位置則沒有這一情況出現。由此可見本文提出的改進的Openpose算法有效的解決了這一問題。

4 姿態估計算法在視頻監控中的應用

本文所提算法在視頻監控中主要用于對人體頭部、身體等部位進行定位并將對應部位的圖像切割出來，以便其他功能模塊做進一步的處理。

利用姿態估算法可以獲得圖像中人體關鍵點位置。獲得關鍵點后，以這些關鍵點為依據進行人體部位的切割。在進行切割時，依據的人體關鍵點是人體的右耳、左耳、右肩、左肩、右髖和左髖。

我們將人體頭部的切割寬度與高度定義如下：

5 結束語

本文對Openpose姿態估計算法進行了改進，通過將人體檢測以及人體區域融合算法相結合，解決了Openpose算法在某些情況下在無人區域誤檢出關鍵點的問題。之后我們在視頻監控系統中使用改進的Openpose算法，并通過改進的Openpose算法獲得人體的關鍵點位置，然后根據關鍵點的位置對人體的身體部位進行切割，為視頻監控的人臉識別模塊和衣帽識別模塊提供了準確的人體頭部和身體部位圖像。

參考文獻（References）：

[1] PAPANDREOU G， ZHU T， KANAZAWA N， et al.Towards Accurate Multi-Person Pose Estimation in the Wild[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， Hawaii： IEEE，2017：4903-4911