基于隧道智能安全巡檢機器人的人員穿戴識別模型研究

陳 可，劉綏美，姚秀軍，石晶晶，王 棟

（1.中鐵工程服務有限公司，四川成都 610083；2.京東科技集團機器人產品部，北京 100176）

城市建設的不斷發展促進了軌道交通建設工程體量的日益增加。隧道建設工程難度提升，安全性要求增強。隧道安全巡檢是確保地下工程安全的主要方式。目前傳統的安全巡檢主要依靠人工以及少量監控設備，無法做到全覆蓋和實時監測，不僅費時費力，且巡檢數據記錄不及時，數字化、智能化水平較低。同時由于隧道建設通信不便捷、隧道路程加長以及工況難以預判等因素影響，導致巡檢人員的安全性風險較高[1]。

隨著機器人和人工智能技術的發展，機器人在城市軌道交通領域的應用越來越廣泛。為解決傳統人工巡檢存在的不足，應用傳感技術、視覺識別、遠程通信以及計算機輔助等相關技術，掛軌式隧道安全巡檢機器人可以避免地面軌道對環境和人員的影響，不受地面環境情況的影響，實現全天候運行監測，能夠適應各類惡劣環境，提升人員安全保障，實現標準化、數字化作業規范、數據可追溯等功能，為工程建設提供智能化支撐[2]。文中基于掛軌式隧道安全巡檢機器人，以巡檢過程中采集的數據集，通過訓練、優化的識別模型，對神經網絡識別隧道內人員穿戴規范情況的效果進行分析。

當前行人檢測技術的主要實現方向有兩種：一種是基于深度學習和機器學習，利用有監督的機器學習方式實現檢測分類，輸入各類行人以及特征標簽數據，構造篩選器進行機器學習訓練，輸出可判斷行人動作特征的檢測與分類的動作模型；另一種為基于人體骨骼的拆分建模與識別方法，通常實現方式將人體按結構拆分至多個模塊，模擬各模塊間物理關系，以此設計算法模型，實現目標檢測[3]。

該文通過YOLO V4 對提取的行人特征進行訓練和檢測，從而實現對于人員穿戴信息的識別，提高隧道中行人的檢測準確率，并有效降低了計算量。

1 隧道巡檢機器人

1.1 隧道巡檢機器人設計要求

1）作為隧道安全巡檢機器人，利用其自身的移動功能，通過管理平臺或者手持終端設計巡檢方案。機器人能夠完全獨立自主地對隧道內情況進行全面檢測以及無死角巡檢，并在低電量情況下自動歸位充電。

2）隧道巡檢機器人具備對溫濕度、氣體、噪聲、粉塵、煙霧等基礎環境的實時檢測功能，如遇煙霧、火情、有害氣體或溫濕度超標等情況可實現及時告警。

3）對現場的電力、水力、通信管線設施進行表面外觀與實時發熱情況的監測，并對高溫高熱部分進行記錄報告。

4）具備圖像和視頻的綜合分析能力，識別工作人員的身份以及行為[4]。

5）當機器人的巡檢任務完成后，能夠根據巡檢任務自動生成巡檢結果，及時反饋設備運行狀態、環境情況及人員施工情況。

1.2 總體設計方案

為實現以上要求，將系統劃分為軌道、機器人本體、手持控制終端、管理平臺等四部分，具體如圖1所示。機器人本體包括驅動單元、核心控制單元、視覺處理單元。

圖1 隧道巡檢機器人架構圖

1）機器人驅動單元：該單元是機器人的運行執行機構，為機器人提供驅動力，保證機器人在軌道上按照控制指令前進、后退。驅動單元主要由電機、輔助輪、機械結構等組成。

2）核心控制單元：通過與管理平臺或手持終端通信接收來自管理平臺或手持終端的信息，形成綜合指令，使機器人按照規定的模式工作。同時，根據搭載的安全傳感器，感知和判斷周圍環境，防止碰撞到人員、設備。核心控制單元主要由電源系統、主控板、安全傳感器、急停、燈光等模塊組成。

3）視覺處理單元：主要完成現場的實時視頻采集和傳輸，依靠圖像識別板塊，基于深度學習模型和數字圖像處理算法，對機器人采集的視頻和圖像信息進行分析和處理。結合圖像分割、目標檢測、目標追蹤等技術，可以實現人員安全帽、反光背心規范穿戴識別、傳送帶跑偏、渣土漏渣識別、軌道異物識別、軌道車人員超載識別等功能。

1.3 人員穿戴情況檢測流程設計

大多數文獻對于人員穿戴的識別類型主要集中在馬路或者室內人員，基于地鐵、公路隧道等特殊施工場景的施工、管理人員的規范穿戴研究比較少，而且高質量照片中穿戴分析的方法并不適用于隧道等圖像質量較差的情況，也無法識別低光照圖像中的移動目標[5]。人員穿戴檢測的主要內容是衣著和安全帽檢測。人員穿戴識別的檢測流程如圖2 所示。

圖2 人員穿戴識別的檢測流程

2 傳統識別模型

行人檢測是實際生活中應用比較廣泛的檢測場景。支持向量機SVM（Support Vector Machine）為一種基于統計學的分類技術，在機器學習領域常用于對數據進行分類和回歸分析的技術。HOG+SVM 的行人檢測方法[6-7]主要通過手工設計特征，采用HOG算法提取目標的梯度直方圖特征，再用SVM 算法進行分類訓練，確定當前特征是人還是背景，從而實現對行人的檢測。

梯度方向直方圖(Histogram of Gradient)[8]是一種邊緣特征，會形成整個直方圖特征，如圖3，假設圖像尺寸為64×64；每個cell 為8×8；每個block 包含2×2 的cell，即為16×16；步長為1個cell，共有7×7=49個block；最終得到的特征向量的維度是：49×（2×2×9）=1 764。

圖3 HOG特征圖

HOG 特征[8-10]結合SVM 分類器因其實現簡單且在穩定場景下準確性較高，被廣泛應用于人臉檢測，但其存在以下缺點：①特征描述子獲取過程復雜，維數較高，導致實時性差；②對遮擋問題難以處理；③對噪聲比較敏感，受光照、遮擋等因素影響，檢測精度會大大降低。

3 深度識別模型

3.1 YOLO模型

相較于傳統目標檢測算法，深度學習采用多層卷積網絡能夠提取豐富穩定的特征，即低層次的邊緣細節信息和更高層次的語義信息，使得檢測算法精度和魯棒性更高，泛化能力也更強。常用的基于深度學習的目標檢測算法有SSD、RCNN 系列、YOLO系列、Retina-Net 等[11]。

YOLO（You Only Look Once）[12]的核心思想是采用深度神經網絡算法進行對象識別和定位，把物體檢測處理成分類和回歸問題，將圖片劃分為若干網格作為輸入，用卷積神經網絡結構從輸入圖像預測出每個候選框預測的類別概率和坐標。其優勢是運行速度快，適用于實時系統。YOLO 系列模型是單階段檢測模型的典型代表，目前已經發展到第四代YOLO V4，相對其他單階段檢測模型，YOLO V4 在速度和精度上達到很好的平衡[13]。

YOLO V4 算法是在原有YOLO 目標檢測架構的基礎上，采用了近些年CNN 領域中表現較好的優化策略，從數據處理、主干網絡、多尺度訓練、激活函數、損失函數等角度進行優化[14-16]。

因此，設計主要采用基于YOLO V4 的模型，對隧道內應用場景來說較為合適。

3.2 數據標注及訓練

深度學習模型性能穩定且高效。該文的數據為隧道內真實采集的人員穿戴數據，利用攝像頭采集到有效數據共計5 000 張，為了擴充樣本，利用平移、水平翻轉、調整亮度等數據增強方法，最終獲得的訓練數據約20 000 張，并按照10∶1 劃分訓練集和測試集，部分數據集如圖6 所示。

根據人員穿戴規范識別的流程，通過對工作人員進行檢測，在此基礎上對其是否規范佩戴安全帽、穿戴安全服進行識別，若無規范穿戴，則會發出告警提示。

為了量化統計穿戴規范性的準確率，將隧道內人員是否規范穿戴的判斷結果分為6 種：

1）穿戴正確：戴安全帽、穿安全服；

2）佩戴安全帽，未穿安全服；

3）未佩戴安全帽，規范穿戴安全服；

4）未佩戴安全帽，未穿安全服；

5）佩戴安全帽，未規范穿戴安全服。

6）未佩戴安全帽，未規范穿戴安全服。

針對這6 個類別，借助標注軟件LabelImg 進行標注。在數據集訓練過程中，隨機選擇一定比例的圖片進行特征提取[17]，用于迭代訓練，同時對于每次迭代進行模型評價。

圖4 6種穿戴情況數據圖

3.3 Nano-YOLO

該文針對原始的YOLO V4 模型，利用深度學習模型剪枝方法對模型進行剪枝，降低模型的參數量；同時，為了進一步提升推理效率，對剪枝后的模型進行量化，將權重由FP32 量化成FP16，最終經過剪枝和量化后的模型推理效率提升一倍。將原始的CSP-Net 替換為Efficient-Net，在不降低精度的情況下降低30%的參數量，同時考慮到隧道里人員目標大多為中等以上尺寸，將FPN 由3 層裁剪為2 層，改進后的模型稱為Nano-YOLO[18]。

由于嵌入式平臺相對于本地顯卡算力低很多，為在嵌入式設備上高效穩定地運行人員穿戴識別模型，需要對其進行量化和推理加速。該文借助英偉達官方的TensorRT 工具，將模型轉換為INT8 精度，模型相對量化前減少3∕4，最終模型大小為3.5 M，針對視頻數據，在Xavier NX 上的推理速度達到45 幀∕秒。

3.4 測試結果

測試的設備環境為Ubuntu16.04，機器學習系統為TensorFlow1.7.0。測試集共計2 000 張圖像，包含正樣本和負樣本。利用測試集分別對Nano-YOLO和傳統HOG+SVM 方法進行測試，測試數據的像素大小為1 280×720。對比實驗選取mAP 作為模型的評價指標，設置交并比為0.5，測試結果如表1 所示。測試結果的評價指標為準確率和召回率。

表1 不同方法的性能對比

式中，TP代表將正樣本中預測為正的個數，TN代表將負樣本預測為負的個數，FP代表將負樣本預測為正的個數，FN代表將正樣本預測為負的個數。

從表1 中可以看出，Nano-YOLO 的檢測準確率比傳統的HOG+SVM 方法提高了21%。實驗數據說明傳統算法受光照影響明顯，容易造成漏檢，驗證了該文提出的檢測方法是可行的。

4 人員識別效果

為驗證該文人員穿戴識別方法在實際工作場景的有效性，將Nano-YOLO 模型部署在某地鐵施工隧道中運行的隧道巡檢機器人進行實際測試，識別結果如圖5 所示。

圖5 人員穿戴識別結果

從實際的識別圖片中可以看出，模型能夠實時地識別出大多數的人員穿戴情況，整體識別率比較高，在人員重疊或者被其他物體遮擋的情況下，依然能夠準確識別。而且對圖像的清晰度、光照適應性較強，證明了Nano-YOLO 模型能夠滿足施工現場的監控要求。

5 結論

該文基于YOLO V4 模型進行改進，設計了一種基于深度學習的人員穿戴規范識別方法。利用改進后的Nano-YOLO 訓練人員穿戴識別模型，并將其部署在隧道巡檢機器人中。經過在深圳十四號線地鐵施工現場2 000 m 的隧道內歷時達6 個月的運行，統計最終的人員穿戴識別率為98%，且針對視頻流圖像可達到45 幀∕秒的檢測速度。實踐證明：該文算法可以準確地檢測出施工現場中幾乎所有人員的穿戴規范性，可以滿足現場安全監控要求，能夠實現快速、實時、全面的安全監測，避免傳統人工隧道人員穿戴不規范帶來的隱患。該隧道巡檢機器人極大地節省了安全巡檢中人力物力的投入。在地下軌道交通的高速發展中，該設備也將得到更廣泛的應用。