人體姿態估計的原理及其應用場景簡述

何進英

摘要：人體姿態估計是指對圖像中人體關鍵部位和主要關節進行檢測的過程，它是人體動作識別和行為分析的關節技術，在人機交互、自動駕駛、活動識別領域被廣泛地使用。

關鍵詞：人體姿態估計;關節追蹤;人機交互;虛擬試衣;姿態分析

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）21-0108-03

開放科學（資源服務）標識碼（OSID）：

Teaching Research and Reform of Data Structure Course in Application-oriented Universities

HE Jin-ying

（Guangdong Ocean University Cunjin College， Zhanjiang 24094， China）

Abstract： Human pose estimation refers to the process of detecting key parts and main joints of the human body in images. It is the key technology of human movement recognition and behavior analysis and is widely used in the fields of human-computer interaction， automatic driving and activity recognition.

Key words：human pose estimation; joint tracking; human-computer interaction; virtual fit; posture analysis.

1 人體姿態估計的定義及其原理

人體姿態估計被定義為從圖像或視頻中檢測出人體關節、方向以及尺度的信息，它還被定義為在所有關節姿態的空間中搜索特定姿勢。

1.1 單人姿態估計

在2D姿勢估計方法中有兩個思路，一個是自底而上，先檢測出圖像中所有的關節，比如所有頭部、左右手、膝蓋等，然后將這些關節關聯到人并一一組裝成行人。另一個是自頂而下，該方法是將多人姿態估計轉換成多個單人姿態估計，經典的算法有CPM、Hourglass、CPN、Simple Baselines、HRNet、MSPN等[1-10]。在此舉例CPM，它是使用神經網絡同時學習圖片特征和空間信息，兩者是處理姿態估計問題中必不可少的兩樣信息。CPM在每一個尺度下，計算各個部件的響應圖，之后對于每個部件，累加所有尺度的響應圖，得到總響應圖，最后在每個部件的總響應圖上，找出響應最大的點，為該部件的位置。CPM的貢獻在于使用順序化的卷積架構來表達空間的信息和紋理的信息。它的特色在于用各部件響應圖來表達各部件之間的空間約束。響應圖和特征圖一起作為數據在網絡中傳遞;網絡分為多個階段，各個階段都有監督訓練，從而避免了過深網絡難以優化的問題;使用同一個網絡，同時在多個尺度處理輸入的特征和響應，既能確保精度，又考慮了各個部件之間的遠距離關系。

1.2 多人姿態估計

OpenPose是最流行的從底向上的多人姿態估計的方法之一，首先它會檢測出圖像中的關鍵點，也就是重要部位，然后將部件分配并組裝成一個個的行人。OpenPose網絡先將多人照片放入到前幾層網絡中提取特征，然后將這些特征輸入到卷積層的兩個并行分支中，第一個分支會先預測出一組置信圖，每個置信圖表示了人體姿態骨架圖的關鍵點。而第二個分支則是預測另一組的部件之間的關鍵程度。剩余的步驟是細化每個分支做出的預測，利用置信圖在部件之間形成二分圖，然后利用PAF值對二分圖中比較弱的連接進行剪接，大概估計出人體姿勢骨架圖，最后組裝成一個個的人。

2 人體姿態估計的應用

2.1 人機交互游戲

在交互式游戲中追蹤人體的運動，利用紅外線傳感器數據來追蹤人類玩家的運動，并使用它來渲染虛擬人物的動作。在近幾年火爆的《絕地求生》游戲中其實就是利用了這一項的技術，通過對人體姿態數據的收集和系統數據算法合成并渲染虛擬人物的具體動作，以及觸碰到某個物體或是劇情產生的后續動作。現在的AR游戲中，也是通過3D姿勢估計來虛擬出一個動畫的人物進行交互，使用真實人體來控制虛擬人物，提高用戶的體驗感。

2.2 自動駕駛對行人的判斷

對人體姿態估計的技術還能夠運用在交通駕駛上面，隨著科技的提高，自動駕駛也更廣泛地在社會中進行使用，自動駕駛能部分替代人工駕駛的原因是它能有效及時地檢測行人是否即將出現在行駛范圍內或者是已出現在駕駛可視區中，它能夠對行人的姿勢進行判斷，提前避免了車禍的發生，有效地降低了交通事故發生率。之前有一則新聞，某司機原本正在行駛中，突然發現前方有不明物體，及時在不明物體前剎車，后來通過車主所曝光的行車記錄儀看到，那個不明物體是一名不滿5歲的小孩，因為監護人沒有牽住小孩的手，落下小孩獨闖紅燈，慶幸的是司機及時地發現了，否則的話后果不堪設想。因此，如果人體姿態估計的技術再成熟一些的話，之后在開啟安全駕駛的模式的時候，汽車能夠更快速地檢測到不明物體阻擋在行駛道路上，避免交通事故的發生。

2.3 活動識別的姿態估計

通過追蹤人體在一段時間內姿勢的變化，可實現人體活動、手勢和步態識別。在醫療健康方面，通過監控系統可以檢測這個人是否跌倒過或者是生病的狀態;在警衛安全中，通過姿勢捕獲再進行系統數據的分析和判斷，能夠有效地識別某個人的行為舉止是否處于可疑的狀態，該應用如果能夠成熟并廣泛地應用之后，對于及時抓捕小偷、劫匪或是暴徒有很大的幫助。