基于AlphaPose模型的遠距離行人頭部姿態估計算法

趙思源　彭春蕾　張云　劉海濤　胡瑞敏

摘要：在公共場所的監控視頻中，遠距離的行人目標頭部區域占比往往較小并且頭部區域分辨率較低，僅靠目標檢測算法和頭部姿態估計模型檢測并分類頭部特征來判定頭部姿態或注視方向存在較大難度.考慮到目前不同分辨率下的人體骨骼關鍵點估計算法越來越成熟，本研究提出一種利用骨骼關鍵點和頭部姿態之間的關系來進行遠距離行人的頭部姿態估計算法.該算法首先利用AlphaPose模型檢測出二維人體骨骼關鍵點的全局坐標值，然后根據部分骨骼關鍵點的坐標值計算出頭部朝向象限角度，最后根據預設角度范圍計算并可視化出視線落點.目前，尚沒有公開發布的可用于遠距離行人頭部姿態估計的數據集，因此本文建立了一個遠距離行人頭部姿態系統，以對現有的數據集進行標注，并利用標注的數據集對提出的方法進行測試.結果表明，本文提出的算法可以較精準地判定到遠距離行人的頭部姿態和注視方向，準確率達到69.7%.

關鍵詞：遠距離行人頭部姿態估計; 注視方向估計; 人體骨骼關鍵點檢測

中圖分類號：TP391.41文獻標志碼： A

Algorithm for long-range pedestrian head pose estimation

based on AlphaPose model

ZHAO Si-yuan PENG Chun-lei ZHANG Yun LIU Hai-tao HU Rui-min（1.School of Cyber Engineering， Xidian University， Xi′an 710071， China; 2.Artificial Intelligence and Big Data Applications Research Institution， Nanning 530000， China）

Abstract：Pedestrian targets outside the visible distance in surveillance videos of public places have smaller heads and lower head area resolution，it is difficult to determine the head posture or gaze direction only by the target detection algorithm and the head posture estimation model to detect and classify the head features.Considering that the current human skeleton key point estimation algorithms at different resolutions are becoming more and more mature，this paper proposes a head pose estimation algorithm based on the relationship between skeleton key points and head posture for long-distance pedestrian head pose estimation.The algorithm first uses the AlphPose model to detect the global coordinate values of 2D human skeleton key points，then calculates the quadrant angle of the head according to the coordinate values of some skeleton key points，and finally calculates and visualizes the sightline according to the preset angle range.At present，there is no publicly released data set that can be used for long distance pedestrian head pose estimation，so we built a long-distance head pose estimation system to annotate existing data sets.After testing the labeled data sets，the results show that the proposed algorithm can more accurately determine the long-distance pedestrian head pose estimation and gaze direction，with an accuracy rate of 69.7%.

Key words：long-distance head pose estimation; gaze direction estimation; human skeleton keypoints detection

0引言

監控視頻給公共場所的安保工作帶來了極大的便利，但仍有許多潛在的問題，很多研究者在不同方向對公共場所的監控視頻展開研究［1-5］.其中，頭部姿態估計是一項重要任務，它是指計算機通過對輸入圖像或視頻進行分析、預測來估計頭部方向的任務，通過對頭部方向的估計可以表達當前行人的注意力方向，來快速鎖定目標或敏感區域.

目前，頭部姿態估計主要方法可以分為2種：

（1）基于面部關鍵點的參數化外觀模型.基于關鍵點方法使用面部關鍵點、幾何信息或面部模型來估計頭部姿態，首先是獲取面部關鍵點，隨后通過PnP算法［6］實現從二維到三維姿態角的回歸，構建面部模型與姿態之間的對應關系.基于關鍵點的方法通常作為上游任務研究，因此，在許多任務中是作為輸入的，例如，頭部姿態估計［7］、面部對齊［8］等.隨著深度學習方法的進步，基于標志點的方法［9，10］也表現出卓越的性能并引起了廣泛關注.然而，現有的基于關鍵點的頭部姿態估計方法無法提供高效的性能，主要原因是模型的表達能力欠缺，導致了目前的性能瓶頸.

（2）基于頭部圖像特征.基于頭部圖像特征的方法使用頭部特征來估計頭部姿態，首先是獲取頭部特征，通過學習分類各個姿態角下的頭部特征實現二維圖像到三維姿態角轉化，構建姿態角特征與姿態之間的對應關系.而基于頭部圖像特征的方法可以不受角度和面部模型的限制，因此是目前研究的熱點.然而，這種基于圖像特征的方法需要更高的計算開銷，并且需要大量數據來訓練網絡學習，并且當人物圖像在中遠距離或者低分辨率情況下并不能很好的進行分類，再者在許多實際應用中，面部關鍵點仍是多種下游任務的重要中間過程.因此，在多任務應用中，有必要充分利用各種關鍵點來節省計算量和增加計算的魯棒性.近年來，使用深度學習技術直接提取各個姿態角的頭部特征并進行分類的方法由于其靈活性、準確性及對遮擋和極端姿勢變化的魯棒性的特點，已成為頭部姿態估計的主要方法.然而，盡管這幾種類型方法［3，11］在其不同的圖像數據特征中表現出很好的學習能力，但在監控視頻質量參差不齊時，尤其是當行人目標處于遠距離時，無論是基于臉部關鍵點和頭部特征的準確率都會下降.

如圖1所示，使用深度學習方法直接獲取頭部特征進行分類得出目標的三維姿態角，其中藍色線段表示翻滾角，可以表示當前目標頭部朝向，紅色線段表示俯仰角，綠色線段表示偏航角.圖1（a）選用BIWI［12］中部分數據集可視化結果，在近距離面部特征充足時可以準確估計頭部姿態，但當面部特征不足時，仍無法判斷頭部姿態; 圖1（b）選用MOT17［13］數據集中監控場景，在遠距離場景下，由于面部特征嚴重不足，導致場景中的面部檢測失效，無法像圖1（a）中那樣準確檢測.因此，為在監控視頻質量較差和可視距離較短時，快速、準確檢測行人目標的頭部姿態，本文提出了一種基于AlphaPose［14］模型的遠距離行人頭部姿態估計算法.隨著人體骨骼關鍵點估計算法越來越成熟［15］，所以此算法使用人體骨骼關鍵點的表示方法來估計頭部姿態，來避免圖像或視頻中部分目標存在頭部特征不足的現象，以在遠距離外的場景中獲得更好的頭部姿態結果.

基于這些研究，本文設計遠距離的行人頭部姿態估計算法，算法流程圖如圖2所示.該算法基于人體骨骼關鍵點可以在面部特征模糊情況下很好地估計目標頭部姿態.為此，本文所做的貢獻如下：

（1）研究遠近距離和高低分辨率對姿態估計的影響，并使用本文提出的方法，可以有效解決中遠距離和低分辨率圖像或視頻上頭部姿態估計的問題;

（2）提出一種基于人體骨骼關鍵點直接從圖像特征預測頭部姿態角的方法，該方法可以直接指示目標當前頭部方向;

（3）針對不同場景的頭部姿態進行測試，平均準確率達69.7%，驗證本文算法的有效性和可行性.

1算法設計及模型原理

本文所提出算法流程，首先利用AlphaPose模型檢測出二維人體骨骼關鍵點，得到其全局坐標值，然后根據鼻部、左右眼部、耳部和肩部關鍵點的坐標可計算出初始人體面部朝向象限角度，最后本文根據象限角度從預設角度選擇，由此得到與坐標系的夾角表示為二維頭部姿態角，并于鼻部坐標組成二元組，經過可視化顯示頭部姿態.

1.1AlphaPose人體骨骼關鍵點檢測模型

人體骨骼關鍵點對于描述人體姿態，預測人體行為至關重要.基于深度學習的人體骨骼關鍵點檢測方法主要分為2種，即自頂向下和自底向上的檢測方法.

（1） 自頂向下方法.以AlphaPose為代表，是一種多階段的檢測模型，首先進行目標檢測，識別出圖像中所有人體目標，然后對人體目標的每個部位進行關鍵點檢測，最終計算出每個人的姿態.目前，這種方法達到了極高的準確率.

（2） 自底向上方法.以OpenPose［16］為代表，是一種兩階段的檢測模型，首先進行關鍵點檢測，識別出圖像中所有類別的人體關鍵點，然后對這些類別關鍵點進行聚類處理，將同一人的不同關鍵點連接在一起，從而聚類產出不同的個體.目前，這種方法處理速度快，但在兩階段中都容易受到背景的干擾，檢測精度較低.AlphaPose在COCO［17］數據集上的平均精度均值（mean Average Percision，mAP）實現了75%mAP，在MPII［18］數據集上達到了82.1%mAP，而OpenPose只達到了62%mAP和75.6%.為了保證頭部姿態算法的可靠性，本文算法在AlphaPose人體骨骼關鍵點的高精度基礎上，進行頭部姿態估計算法的設計工作.本文使用其中的7個關鍵點，分別是：左眼睛、右眼睛、鼻尖、左耳、右耳、左肩及右肩.

AlphaPose骨骼鍵點檢測效果如圖3所示.

原AlphaPose中的行人目標檢測模型采用了YOLOv3［19］，近年來隨著目標檢測模型的不斷發展，出現了很多在檢測精度和檢測速度都表現優秀的算法，例如CenterNet［20］網絡，此網絡在本文提出的遠距離場景中更具適用性，達到了行人目標檢測領域的高性能表現.

1.2基于人體骨骼關鍵點的頭部姿態分析

1.2.1思路分析

在二維空間中，當人體在行走過程中頭部姿態發生改變時，隨之最明顯的特征變化是頭部各部分比例變化.基于人體骨骼關鍵點的頭部姿態估計的關鍵就在于如何利用人體多個關鍵點之間的全局坐標信息和相對位置信息，從而建立人體頭部姿態估計算法將頭部姿態估計建模為關鍵點之間的變化，檢測圖像中行人頭部姿態.因此在遠距離下，基于骨骼關鍵點的頭部姿態估計更具有實際意義.

具體包括：

（1）頭部姿態象限估計.利用頭部五官關鍵點之間的距離關系，在二維圖像下在頭部轉動時，利用頭部五官和肩部關鍵點之間的距離關系，來判斷頭部姿態的象限角.

（2）頭部姿態角度估計.由于視頻中行人目標較為模糊導致關鍵點描述有一定的誤差，若是在確定頭部姿態的象限角之后設定一個頭部轉向區域范圍，當象限角落入某個區域范圍之后，取得這個區域的中值代表這個區域的精確姿態角，這樣有一定的魯棒性，并且在視頻中可視化會更具有穩定性.

因此，本文提出的基于AlphaPose的可視距離外的頭部姿態估計模型結構如圖5所示.

首先將視頻分割成幀作為輸入，特征提取網絡DLA-34（ResNet 34 + Deep Layer Aggregation，DLA-34）依次提取視頻幀特征，經過檢測頭對特征中行人目標進行檢測分離，然后輸入至AlphaPose模中采用單人姿態估計（Single-Person Pose Estimator，SPPE）依次讀取行人目標框進行局部姿態估計，結合全局圖像得出全局行人目標姿態估計，最后輸入至本文設計的二維圖像下頭部姿態估計算法中經過頭部姿態象限估計（Head Pose Quadrant Estimation，HPQE）和頭部姿態角估計（Head Pose Angle Estimation，HPAE）處理得到最終頭部姿態估計結果.

1.2.2數據處理

1.2.3頭部姿態判定

2實驗結果與分析

2.1實驗環境與數據集

實驗所用硬件環境為NVIDIA RTX2080Ti 11GB GPU×2，Intel（R） Core i7-8 700 K CPU @ 3.70 GHz×12，軟件環境使用64位Ubuntu 16.04LTS，并配置Python 3.6、CUDA 10.1及Pytorch 1.7深度學習框架.

由于目標沒有公開的關于遠距離及低分辨率頭部姿態估計的數據集，為了驗證本文所提出算法的合理性和有效性，本文選取部分異常行為檢測代表性的公開圖像及視頻數據集綜合標注測試.

如圖8所示，實驗數據為隱藏跟蹤數據集［4］ （Hidden Following Dataset，HFD）選取8段監控視角下多行人場景視頻，每段視頻包含多人的完整軌跡（從遠或近距離出現到消失），視頻分辨率為1 920×1 080，每段視頻包含5～8人，一共5人參與視頻的采集，包括1名女士4名男士，在行走過程中包含多種頭部姿態.

2.2頭部姿態標注系統

由于目前沒有可用于遠距離頭部姿態估計的公開數據集，且傳統圖像標注工具，大多只提供身份框及類別標注，缺乏頭部姿態標注的功能，直接使用這些工具會產生大量的人工成本，故本文設計了一種基于Tkinter框架的數據管理及標注工具.如圖9所示，設計實現了對圖像的存儲、身份框及頭部姿態估計的標注、標注數據管理等功能模塊，簡化了直接應用傳統標注工具的操作，降低了數據標注工作人員的時間成本，提升了數據標注工作的效率.

2.3實驗評價標準

2.4結果分析

在HFD數據集中，選取多行人多路徑視頻圖像片段，因部分數據集視頻質量效果較差，故選擇視頻圖像集合1、2、4、8、9、10作為實驗測試數據集.本文采用先求的每個視頻片段的測試結果，最后，求6次測試結果的平均值作為最終結果，保證實驗的可靠性，可視化結果如圖10所示.圖10HFD部分數據集可視化結果為了進一步評價本文提出的方法，實驗設置將多分類劃分為多個二分類分別對每個角度進行評估，并且將0 °、-45 °、-135 °、180 °分別作為正例得到的統計結果，然后使用精確率P、召回率R及F0.5分數來綜合評估各個角度的準確性.表1所示的實驗結果表明，本文方法在HFD數據集上0 °F0.5達到了0.661，-45 °F0.5達到了0.732，-135 °上F0.5達到了0.696，180 °上F0.5達到了0.828.

為了進一步驗證本文提出方法的性能，本文在HFD數據集上利用公式（10）計算得綜合準確率，其結果如表2所示，在HFD數據集上達到了0.697的平均準確率.

其中，數據集10中結果為0.52，如圖11所示，其場景中大多數行人目標均為背部朝向攝像頭，故經過AlphaPose模型處理結果中鼻部坐標僅能根據左右耳的坐標確定，因此會存在一些誤差，除數據集Video-10之外，大部分行人目標均為正常行走姿態.

為了進一步驗證本文提出的方法在公開數據集上的表現，本文將與目前流行的頭部姿態估計方法HopeNet［3］和FSANet［11］在不同場景下進行對比.

目前流行的頭部姿態估計方法，大部分針對近距離單目標場景，在圖8所示的遠距離多目標中，因頭部特征過少，導致在檢測階段，無法有效檢測出頭部，因此通過實驗得到的統計指標評估較差，故實驗只進行可視化結果對比.

如圖12所示，其中HopeNet和FSANet將頭部姿態可視化為三個方向，藍色表示頭部姿態方向，在可視化中將頭部姿態方向表示為當前目標身份的顏色，更有助于和身份跟蹤結合分析.

由圖12（a）可知，當行人目標處于Video-1場景時，由于距離較遠HopeNet［3］和FSANet［11］無法檢測出大部分行人目標的頭部，進而無法做出有效的頭部姿態估計，即使檢測出行人目標頭部，由于分辨率較低無法得到有效的臉部特征，使得頭部姿態估計出現較大的偏差，由HopeNet和FSANet得到的頭部姿態角藍色軸均未正確指向頭部姿態方向，而本文的方法是基于人體骨骼關鍵點計算頭部姿態，因此可以有效利用更多的特征信息較準確的估計出目標的頭部姿態角.

由圖12（b）可知，當行人目標處于Video-2場景時，雖然處于近距離，但由于臉部特征不足，使得HopeNet和FSANet方法無法估計目標姿態角，而本文基于骨骼關鍵點的方法即使在目標側面時也可以估計目標的頭部姿態角.

由圖12（c）可知，當行人目標處于Video-10場景時，目標完全沒有臉部特征信息，使得基于臉部特征的HopeNet和FSANet方法完全失效，無法估計目標姿態角，而本文基于骨骼關鍵點的方法在當前場景中可以保證一定的準確率進行頭部姿態估計.

3結論

針對現有頭部姿態估計方法對監控視角下中遠距離外的行人目標無法檢測和錯誤率高等問題，本文提出了一種基于AlphaPose的遠距離行人頭部姿態估計模型，首先該模型使用AlphaPose對行人目標進行骨骼關鍵點檢測，然后利用部分骨骼關鍵點判斷頭部姿態象限角，最終根據預設角度范圍確定行人目標在二維場景下的頭部姿態角來實現遠距離的頭部姿態估計問題.本文還設計了一種集成身份框標注和頭部姿態的標注系統，并對隱蔽跟蹤公開數據集進行標注并進行實驗，在多種場景下進行對比，實驗結果表明本文提出的模型在不同場景和不同頭部方向下都有較高的檢測精度.

參考文獻

［1］ Kohl P，Specker A，Schumann A，et al.The mta dataset for multi-target multi-camera pedestrian tracking by weighted distance aggregation［C］// IEEE Conference on Computer Vision and Pattern Recognition Workshops.Piscataway：IEEE Computer Society，2020：1 042-1 043.

［2］ 周同馳，張毫，瞿博陽，等.基于骨骼特征Hough變換的行為識別研究［J］.計算機應用研究，2021，38（12）：3 831-3 834，3 840.

［3］ Ruiz N，Chong E，Rehg J M.Fine-grained head pose estimation without keypoints［C］// IEEE Conference on Computer Vision and Pattern Recognition Workshops.Piscataway：IEEE Computer Society，2018：2 074-2 083.

［4］ Xu D，Hu R，Xiong Z，et al.Trajectory is not enough：Hidden following detection［C］//Proceedings of the 29th ACM International Conference on Multimedia.Chengdu：ACM，2021：5 373-5 381.

［5］ 王雨生，顧玉宛，封曉晨，等.基于姿態估計的安全帽佩戴檢測方法研究［J］.計算機應用研究，2021，38（3）：937-940，945.

［6］ Murphy-Chutorian E，Trivedi M M.Head pose estimation in computer vision：A survey［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2008，31（4）：607-626.

［7］ Al Haj M，Gonzalez J，Davis L S.On partial least squares in head pose estimation：How to simultaneously deal with misalignment［C］//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Computer Society，2012：2 602-2 609.

［8］ Yang H，Jia X，Loy C C，et al.An empirical study of recent face alignment methods［DB/OL］.https：//arxiv.org/abs/1511.05049，2015-11-16.

［9］ Kazemi V，Sullivan J.One millisecond face alignment with an ensemble of regression trees［C］//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Computer Society， 2014：1 867-1 874.

［10］ Bulat A，Tzimiropoulos G.How far are we from solving the 2d & 3d face alignment problem？ （And a dataset of 230，000 3d facial landmarks）［C］//IEEE International Conference on Computer Vision.Piscataway：IEEE Computer Society， 2017：1 021-1 030.

［11］ Yang T Y，Chen Y T，Lin Y Y，et al.Fsa-net：Learning fine-grained structure aggregation for head pose estimation from a single image［C］//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Computer Society， 2019：1 087-1 096.

［12］ Fanelli G，Dantone M，Gall J，et al.Random forests for real time 3d face analysis［J］.International Journal of Computer Vision，2013，101（3）：437-458.

［13］ Milan A，Leal Taixé L，Reid I，et al.MOT16：A benchmark for multi-object tracking［DB/OL］.https：//arxiv.org/pdf/1603.00831.pdf，2016-05-03.

［14］ Fang H S，Xie S，Tai Y W，et al.Rmpe：Regional multi-person pose estimation［C］//IEEE International Conference on Computer Vision.Piscataway：IEEE Computer Society， 2017：2 334-2 343.

［15］ 馬丹，吳躍.基于全局分組策略的對抗訓練在人體輪廓點回歸中的應用模型［J］.計算機應用研究，2021，38（5）：1 544-1 549.

［16］ Cao Z，Simon T，Wei S E，et al.Realtime multi-person 2d pose estimation using part affinity fields［C］//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Computer Society，2017：7 291-7 299.

［17］ Lin T Y，Maire M，Belongie S，et al.Microsoft coco：Common objects in context［C］//European Conference on Computer Vision.Cham：Springer，2014：740-755.

［18］ Andriluka M，Pishchulin L，Gehler P，et al.2d human pose estimation：New benchmark and state of the art analysis［C］// IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Computer Society，2014：3 686-3 693.

［19］ Redmon J，Farhadi A.Yolov3：An incremental improvement［DB/OL］.https：//arxiv.org/pdf/1804.02767.pdf，2018-04-08.

［20］ Duan K，Bai S，Xie L，et al.Centernet：Keypoint triplets for object detection［C］// IEEE International Conference on Computer Vision.Piscataway：IEEE Computer Society，2019：6 569-6 578.

【責任編輯：蔣亞儒】