人體姿態檢測系統的設計與實現

陳 博，李占文，楊永成，鐘 昊，宗孝鵬

（1. 中國鐵路蘭州局集團有限公司 安全監察室，蘭州 730030；2. 佳訊飛鴻智能科技研究院，北京 100044）

機車司機、行車室值班人員等關鍵崗位在鐵路運營中發揮著至關重要的作用，這些崗位人員的規范行為對鐵路運行安全保障起著重要作用。目前，鐵路系統主要采用人工查看的方式進行監督審查，需要大量人力資源，審查效率低，及時性差。因此需要一種可靠、實時的智能化管控系統，督查工作人員的行為姿態，當發現違規行為時及時發出預警，提醒糾正，保障鐵路系統的安全運行。

隨著人工智能技術的廣泛應用，利用深度學習對視頻圖像分析已成為未來的發展趨勢，人體姿態檢測算法在越來越多的場景中進行應用。魏非凡[1]提出多尺度級聯的人體姿態檢測算法，通過人體動作分類器實現多人人體行為識別。鄭雪晨[2]提出基于人體姿態檢測的異常跌倒檢測方案，可以實時監護老人狀態。王家興[3]使用人體姿態檢測算法完成鐵路調車作業人員手的信號多分類任務，對作業人員手的動作進行分析判斷。鄧偉男[4]利用人體姿態檢測算法提取空中交通管制員的姿態，檢測是否出現疲勞風險。

目前，尚未有將人體姿態檢測算法應用在鐵路崗位管控方面的報道，本文設計人體姿態檢測系統，自動檢測值班人員是否有脫崗、睡覺、躺靠等異常行為，糾正異常行為，避免潛在的安全隱患，從而提升鐵路運營安全。

1 算法設計

1.1 算法背景

人體姿態檢測是指從圖像或視頻中檢測人體骨骼關鍵點，通過連接有效的骨骼關鍵點創建肢體姿態，以人體骨骼架構形式表達人體運動的過程[5]，如圖1 所示。

圖1 人體骨架結構

近年來，研究人員提出了多種人體姿態檢測的方法，最早的方法僅在單人圖像中檢測人體姿態。但是在真實的場景中，圖像中存在多個目標，單人姿態檢測的方法難以滿足應用需求[6]。

多人姿態檢測與單人姿態檢測相比要更復雜，主要包括自上而下和自下而上2 種檢測方法。（1）自上而下的方法先檢測圖像中人體的位置信息，再按照單人姿態檢測的方法檢測人體骨骼關鍵點，從而恢復每個人的姿態[7]。（2）自下而上的方法先檢測圖像中的所有人體骨骼關鍵點，再將關鍵點根據從屬關系分組連接，從而找出屬于各個人體骨骼的關鍵點[8]。表1 所示為2 種方法的檢測流程和特性。

表1 多人姿態檢測方法流程及特性[9]

1.2 算法介紹

1.2.1 姿態檢測

考慮到系統檢測精度問題，本文采取自上而下的Alphapose[10]算法進行人體姿態檢測，網絡結構主要由3 部分組成，分別是對稱空間變換網絡（SSTN，Symmetric Spatial Transformer Network）模塊、非極大抑制（NMS，Non Maximum Suppression）模塊和姿態引導區域生成器（PGPG，Pose Guided Proposals Generator）模塊，如圖2 所示。

圖2 Alphapose 算法結構

SSTN 模塊由空間變換網絡（STN，Spatial Transformer Network）、單人姿態檢測器（SPPE，Single Person Pose Estimator）、空間反變換網絡（SDTN，Spatial De-Transformer Network）模塊組成，STN 接收提取到的人體目標，得到準確的人體候選框；SPPE 模塊得到單人人體姿態；SDTN 模塊將估計的姿態映射回原始圖像坐標，據此可以調整原來的檢測框，使檢測框更精準。

通過目標檢測算法獲得人體檢測框后依次經過STN、SPPE 和SDTN 模塊，生成姿態候選區域，并通過NMS 模塊獲得唯一的人體姿態。PGPG 模塊用來進行數據增強，生成訓練圖像來訓練SSTN 模塊。在訓練階段，引入Parallel SPPE 模塊，可以避免局部最優，進一步提升SSTN 模塊性能。

1.2.2 姿態分類

采用支持向量機（SVM，Support Vector Machines）對人體姿態進行分類，SVM 的核心思想是求解能夠正確劃分數據集且幾何間隔最大的超平面，如圖3所示，ω·x+b=0 為分離超平面。線性可分數據集擁有無窮多個超平面，但是有且僅有一個幾何間隔最大的分離超平面。

在線性不可分的數據集中，SVM 在低維空間通過核函數將輸入映射到高維特征空間，最終在高維特征空間中構造出最優分離超平面，從而將低維空間不易分離的非線性數據分開[11]。

1.2.3 滑動窗口

圖3 SVM 分類算法示意

滑動窗口法通過融合一段時間內的檢測結果來輸出判斷結果，避免單次誤檢引起的誤報。如圖4所示，T= 0 表示第0 時刻的窗口位置；L= 3 表示窗口的長度為3，融合前后3 次檢測結果；S= 2 表示步長為2，到下一時刻窗口向前移動2 個位置。

圖4 滑動窗口法示意

N 表示檢測沒有異常，Y 表示檢測有異常。

（1）T= 0 時刻，在長度為3 的窗口內，結果均為N，則最終判斷該時刻沒有異常；（2）T= 1 時刻，有一次檢測結果為Y，而其余兩次結果為N，這一次的Y 可能是誤檢引起，則最終判斷該時刻沒有異常；（3）T= 2 時刻，有2 次結果檢測為Y，一次檢測結果為N，最終判斷該時刻有異常。依此類推，可以得到每個時刻的判斷結果。

窗口長度會影響最后結果的靈敏度，長度越長，對某次異常的響應越不靈敏；步長長度會影響最后結果的精度，步長越短，精度越高，但耗時會增加。可以根據實際應用場景靈活配置滑動窗口的長度及步 長，達到最優檢測效果。

2 系統設計

2.1 系統框架

人體姿態檢測系統框架，如圖5 所示，通過接入攝像頭視頻數據，在服務端完成智能識別，當檢測到異常行為時，支持現場報警與遠程報警2 種方式，現場通過聲光報警器進行提醒，也可以將報警信息發送到遠程安監部門。系統支持通過客戶端配置相關參數，以及遠程查看實時檢測結果。

圖5 系統架構

2.2 系統功能

人體姿態檢測系統主要包括以下功能。

（1）本地提醒：通過本地語音和聲光報警器提醒人員及時糾正。

（2）遠程報警：當人員未在規定的時間內及時糾正異常行為，則向遠程相關管理部門發送報警信息。

（3）配置管理：系統支持客戶端配置，設置檢測區域、檢測行為類別、違規持續時間、檢測時間段等參數，以及報警相關接口。

（4）異常記錄：報警歷史信息包括報警時間、報警地點、報警行為以及對應的圖片，做到有據可循。

（5）遠程查看：支持客戶端遠程查看視頻，顯示人體姿態檢測結果。

2.3 檢測流程

系統檢測流程，如圖6 所示，主要包含以下步驟。

圖6 系統檢測流程

（1）采集攝像頭視頻進行圖像解碼，通過人體姿態檢測輸出人體骨骼關鍵點，利用關鍵點之間的有效連接構造特征向量。

（2）利用SVM 算法將姿態分類為“正常”或“異常”[8]，異常行為包含脫崗、睡覺、躺靠、翹腿等行為。

（3）將分類結果送入滑動窗口模塊，判斷在連續時間段內是否有違規行為，當出現違規行為時首先進行本地語音提醒，判斷違規行為變化，如果在規定時間內仍未糾正，則向安監部門遠程報警。

考慮到攝像頭安裝角度、距離差異，檢測出的人體大小尺度不一，關鍵點之間的距離也會有大的區別，比如，當人體目標尺寸較大時，左眼與右眼之間距離較大，反之，當人體目標尺寸較小時，左眼與右眼之間的距離也會變小。如果直接進行分類，會導致算法缺少魯棒性，無法適應不同場景。

為了解決不同人體大小帶來的影響，結合人體檢測框信息對人體姿態檢測輸出的18 個人體骨骼關鍵點進行歸一化處理，即將關鍵點的橫坐標xi除以人體檢測框的寬度pw，縱坐標yi除以人體檢測框的高度ph，利用歸一化后的值xi_norm、yi_norm計算相鄰人體骨骼關鍵點之間的距離，如式（1）

將18 個人體骨骼關鍵點和對應的距離展開成1 ×54 維的特征向量，輸入SVM 模型進行分類，得到最終 的姿態類別。

3 系統應用

利用人體姿態檢測可以實現鐵路系統重點崗位工作人員的管控，例如行車室值班員、機車駕駛員等。通過人體姿態檢測系統監管重點崗位人員的工作狀態，管控重點崗位人員的行為規范。

3.1 測試環境

本文采用嵌入式設備進行系統部署及測試，設備參數，如表2 所示。

3.2 行車室值班員姿態管控

行車室是鐵路運輸生產的重要組成部分，是車站的“中樞神經”和指揮中心，主要職責是車站的調度指揮和接發列車作業，保證日常運輸作業的安全和列車的正點率。

表2 設備參數

采用人體姿態檢測系統，可以實現對行車室值班人員7 × 24 h 的實時管控。當人員出現違規行為時，如睡覺、脫崗、躺靠等行為，通過值班室的聲光報警器提醒值班人員糾正行為。如果值班人員未在規定的時間內恢復，則發送遠程報警信息給指定的安監部門，避免潛在的安全隱患，檢測效果，如圖7所示。

圖7 行車室姿態檢測效果

3.3 機車司機姿態管控

機車內通常安裝有視頻監控攝像頭，但受限于傳輸條件，目前，主要通過視頻拷貝到指定地點，采用人工方查看的方式對視頻抽查，無法實現對機車司機的實時管控。

人體姿態檢測系統可以部署于便攜的嵌入式系統中，對機車視頻進行實時分析，發現司機的違規行為時（如脫崗、視線脫離前方、睡覺等）通過聲光報警器提醒司機及時糾正違規行為。對于嚴重違規行為，還可通過4G 網絡向遠程發送報警信息，實現風險預警，避免事后追責，從而保障行車安全。機車司機姿態檢測效果，如圖8 所示。

3.4 測試結果

為了驗證人體姿態檢測系統的應用效果，分別采集行車室值班員和機車司機視頻，對每幀視頻數據分析，檢測是否存在異常行為。

圖8 機車司機姿態檢測效果

利用準確率與召回率指標來評估算法的有效性，準確率表示檢測出違規行為的正確率，召回率表示違規行為的檢出率，測試統計結果，如表3 所示。

表3 測試統計結果

從表3 中可以看出，在行車室中，異常行為的檢測準確率≥ 98%，召回率≥ 97%；在機車室中，異常行為的檢測準確率≥ 97%，召回率≥ 98%，具有實用價值。目前，該系統已在中國鐵路蘭州局集團有限公司部署試用，并取得良好效果，下一步將進行推 廣應用。

4 結束語

本文研究了人體姿態檢測系統在鐵路崗位管控中的應用，以人體姿態檢測算法為基礎，結合SVM分類算法與滑動窗口法，對行車室和機車司機的行為進行檢測與管控，實現了兩級預警。

為了提升系統的實用性，未來可以增加更多的檢 測類別，應用于手勢識別、滑倒檢測、打架檢測等領域中，擴大系統的應用范圍。