基于卷積神經網絡的高空作業安全帶識別與檢測

吳烈凡

（廣東工業大學信息工程學院，廣州510006）

0 引言

盡管其他行業通過自動化和人工智能在生產率上發生了深刻的變化，但建筑還沒有。建筑仍然是世界范圍內除塵工廠中數字化程度最低的建筑之一，并且對工人的需求巨大。然而，建筑是最危險的工作部門之一。根據美國勞工統計局（BLS）致命傷建筑業的比率高于全國平均水平，在中國，超過2850座建筑2012-2016年期間，工人死于建筑施工活動每天平均有1.57人[1]。工程死亡總是由不同因素共同造成的。其中，腦外傷約占全部的24%美國的建筑死亡人數[2-3]。因此，有一個加強現場安全政策和程序的迫切需求施工現場安全。個人防護裝備的使用（例如安全帶）可提供有效的風險管理。但是，工人并未完全遵守施工現場的安全規定出于各種原因的各種規定，即使以前已經對其進行過教育和培訓[4]。因此，現行的檢查實踐安全性主要取決于檢查員的手冊監控和報告。通常，在施工中使用監控攝像頭為框架站點，基于視覺的技術執行安全帶佩戴檢測通過多個階段，主要包括行人檢測[5-6]，安全帶本地化和安全帶識別。雖然進行了廣泛的研究，基于視覺的安全帶磨損檢測仍然具有挑戰性。首先，背景和行人狀態是由各種現場條件引起的，因此在特定場景下進行研究很難將其擴展到其他建筑工地。同時，存在距離相機較遠的小型個體很難將它們與背景雜波和其他重疊的實例。此外，在同一圖像區域，彼此部分遮擋，這也使得安全帶佩戴檢測困難。最后，直到現在還沒有公開可用的開放數據集，用于開發和評估安全帶各種情況下的磨損檢測算法。

在本文中，我們專門解決了戴安全帶的任務在施工現場檢測。目的是確定建筑工地上的所有人是否都戴安全帶。已有的安全帶穿戴檢測研究將其整個檢測流程分為工人檢測和安全帶穿戴識別兩個步驟。FANG Weili等[7]的研究提出使用基于ZFNet[8]特征提取網絡的Faster R-CNN模型檢測工地人員，然后在檢測出工地人員區域的基礎上將其輸入到深層的卷積神經網絡用于分類，以識別該工人是否穿戴安全帶。這種檢測流程一方面需要依賴較高的召回率和準確率以確保輸入到分類網絡的圖像為工人區域圖像，否則出現誤檢時會造成計算資源的浪費，而另一方面當檢測出多個工人區域時，需要多次輸入至分類網絡，將極大降低運行效率，同時兩個深層的卷積神經網絡部署于邊緣客戶端時在實時性方面也有待商榷。

1 國內外研究現狀

目前，在國內韓豫等主要使用滑動窗口模板的方式來檢測安全帶，其采用的匹配方式是歸一化相關系數法[9]。整體功能運行流程及實現方式分為3個步驟，首先，是身份識別，將待檢查人員站在深度攝像頭前進行圖像采集，從而定位到頭部人臉區域后調用compareHist（）對比直方圖函數，將獲取的人臉信息與工人信息庫中信息進行相似度比對，以此確認待檢查工人身份。若相似度低于閾值，即判斷為非法闖入，并發出警告。若高于相似度閾值，則進一步確認準入權限。其次，進行的是安全裝備檢查，將安全帶的圖像作為模板圖像，調用matchTemplate（）模板匹配函數進行模板匹配，對在待檢查工人的色彩圖像中搜索最相似區域。最后，是作業行為能力檢查，待檢查工人在深度相機鏡頭前做一套指定的運動動作，系統記錄該工人的骨骼關鍵節點間的角度變化，若在此過程中變化的行為與數據庫中記錄的行為信息不匹配，即認定該工人不符合要求，不適合施工作業，進而發出警告。盧煌等同樣運用的是基于滑動窗口的機制，主要運用HOG特征和SVM分類器來檢測建筑工地中高空作業人員，然后在每個檢測結果窗口進行色彩空間以識別安全帶[10]。以上的兩種安全帶檢測方法都是運用基于滑動窗口的方法，此類方法在時間成本上花費較大，整體檢測速度不是很理想，進而達不到很好的實時性，不利于實時運行。在圖像整體感受野上會達到不好的效果，導致在整體算法的魯棒性上有待提高。鄭翼等提出基于SSD深度神經網絡模型判別安全帶的檢測方法[11]。首先，采用背景建模方法，提取待檢測視頻圖像中的運動區域，作為待檢測區域；然后，采用人體檢測算法，識別出待檢測區域中的人體圖像，得到人體檢測結果，再運用深度神經網絡模型對待檢測區域中的人體的頭部和軀干部位分別進行檢測，進而得到安全帶的檢測結果；最后將上一步得到的結果進行綜合位置空間判定，若計算結果大于閾值，則判定該人體佩戴安全帶，否則沒有佩戴。李學鈞等則是先檢測出人體關鍵點然后在人體軀干關鍵點處截取軀干區域；其次對樣本圖像進行采集，將采集的樣本圖像進行預處理；然后采用遷移學習方法在所述預訓練模型上加載圖像樣本，每隔設定步輸出準確率，直到達到最優結果，保存安全帶佩戴分類模型，最后采用CNN模型識別是否佩戴安全帶[12]。楊奎軍提出一種在線式高空作業智能安全帶檢測監督裝置[13]。該裝置由控制單元、全景攝像機、傳感器及后臺4個部分組成。此檢測首先在掛鉤金屬傳感器接收到固定指令，然后運用全景攝像機拍照生成360度無死角的照片和視頻，并將拍得的照片和視頻上傳到云端，接著后臺人員進行二次核驗，最后當發現高空從業人員沒有掛系好安全帶的通過遠程激活控制單元的警報進行聲光報警。此方法能很好檢測到高空從業人員是否佩戴安全帶并且能發出警報，但由于天氣和光照等因素有時會對拍照造成一定影響，以及需要后臺人員監測，這樣整個檢測將達不到很好的實時性。衛潮冰等提出了一種基于CNN的智能監測識別檢測方法[14]。該方法首先通過相關樣本圖像訓練出所需的安全帶識別模型，然后利用所得到的模型對電力施工現場所拍攝的實時圖像進行檢測識別，從而實現智能化檢測。該種方法會因為人員遮擋的原因使得性能較差，同時，此方法只訓練同一工地場景圖像，從而普適性較差，不能很好進行普遍推廣。

在國外，FANG Weili等提出了基于CNN方法來檢測高空作業中從業人員是否佩戴安全帶[7]。主要是提出了兩個CNN檢測模型，首先是運用Faster RCNN模型檢測出是否為工人，其次在檢測出工人的時候，再運用CNN模型識別已檢測工人是否佩戴安全帶。此檢測模型的準確率達到99%，召回率為95%，分類模型分別為80%和98%。此方法雖然在準確率上取得不錯的效果，但由于采用了兩個神經網絡，整個檢測網絡不是端到端的，故在實時性方面有待商榷。Fernandez-Madrigal等的研究是基于傳感器的檢測方法[15]。該方法主要是部署了藍牙低功耗（BLE）信標，以劃定必須使用線束的區域，并檢測線束是否連接到相應的線束上工人進入這些區域時的生命線。進行基于本地估計，通過對RSSI測量值（擴展卡爾曼濾波器）進行統計過濾，對界定不同區域的信標與生命線中的信標之間的接近程度進行了評估，然后再使用有限狀態機風險狀態檢測器。

2 安全帶檢測框架圖

2.1 網絡框架

安全帶檢測網絡框架如圖1所示。

圖1安全帶檢測網絡框架

首先是圖像輸入，圖像大小為608×608。整個網絡框架由3部分組成，第一部分是特征提取模塊，在這部分中主要是由Conv+ReLU和Max pooling組成，分成5個Conv+ReLU小模塊,在每小模塊后都運用Max pooling。每一小模塊中運用不同的卷積層和Re?LU主要針對不同尺度目標的檢測，在第一小模塊中輸出76×76大小的圖像，第二部分輸出38×38的圖像。在第三模塊中為了提高小目標的檢測精度，運用3個較大尺度的卷積層和ReLU來增強上下文語義信息，此時再輸出76×76的圖像，第三部分輸出38×38的圖像，在最后一小模塊中輸出的是19×19的圖像。由于在特征提取時每次運用卷積網絡后難免會存在圖像語義信息丟失的現象，而ReLU激活函數的作用是增加了神經網絡各層之間的非線性關系，否則，如果沒有激活函數，層與層之間是簡單的線性關系，運用ReLU函數每層都相當于矩陣相乘，這樣很好能夠完成我們需要神經網絡完成的復雜任務。ReLU由于非負區間的梯度為常數，因此不存在梯度消失問題（Vanishing Gradient Problem），使得模型的收斂速度維持在一個穩定狀態，對增強上下文語義信息起到很好的效果。運用Max pooling的作用是因為保證特征的位置與旋轉不變性和減少模型參數數量，減少過擬合問題。在每次特征提取輸出后都會出現部分被數據丟失的現象,此時引入CBL，此模塊由Conv+Bn兩者組成，起到數據增強的作用。

在特征提取輸出圖像19×19的圖像后引入空洞卷積（DCM）[16]是為了解決傳統卷積和池化操作造成的內部數據結構丟失和空間層級化信息丟失，以及由于多次池化操作造成小物體信息無法重建的問題。為了使得在池化減少圖像尺寸以增大感受野和上采樣增大尺寸這個過程能保留更多特征信息，在不通過池化操作以擴大感受野的前提下引入空洞卷積。空洞卷積過程，引入了一個新的超參數d，（d-1）的值則為塞入的空格數，假定原來的卷積核大小為K，那么塞入了（d-1）個空格后的卷積核大小n為：

進而，假定輸入空洞卷積的大小為i，步長為s，空洞卷積后特征圖大小O的計算公式為：

引入深度可分離卷積（DSCM）[17]是為了減少神經網絡模型參數量和計算量而研究出來的一種輕量級卷積結構，并且由此構建的輕量級模型如MobileNet[18]等廣泛應用于移動端設備和嵌入式設備中。深度可分離卷積操作分為逐通道卷積和逐點卷積，前者在特征圖的每一個通道上進行普通卷積，而后者則是將逐通道卷積后的特征圖使用1×1大小的卷積核進行普通卷積，在同等輸入和輸出條件下，深度可分離卷積的參數量是標準卷積的

在特征融合模塊中運用每個Concat來進行張量拼接，在這一模塊中引入了SPP和PAN網絡，SPP模塊采用1×1、5×5、9×9、13×13的最大池化的方式，進行多尺度融合，由3個不同尺度的maxpool將前一個卷積層輸出的特征圖進行多尺度的特征處理，再與原圖進行拼接，一共4個scale，將不同尺度的特征圖進行Concat操作。相比于只用一個maxpool，本方法提取的特征范圍更大，而且將不同尺度的特征進行了有效分離。接著將不同尺度的特征圖進行Concat操作后輸出不同大小的特征圖，再將特征圖都進行下采樣操作，主要是增加感受野，提升小目標檢測精度，提高圖片的高分辨率，在FPN模塊中對不同尺度的圖片運用不同層次的卷積網絡進行上采樣操作，將輸出的特征圖進行Concat操作，再運用CBL進行數據增強。接著將不同尺度的特征圖運用不同層次的卷積網絡進行下采樣操作，主要為增大整體感受野，提升低分辨率的圖片精度。

最后是預測模塊，運用不同層次的卷積網絡，以及運用改進后的漸進注意力機制模塊，有利于增強安全帶佩戴檢測的特征，特別是用于檢測小尺度安全帶的特征，來輸出3種尺度大小的檢測圖。

2.2 漸進注意力機制

對于遠離攝像頭工地人員的安全帶佩戴檢測問題，由于此時工人的上半身區域在采集圖像中只占了一小部分，因此圖像在經過重復的下采樣操作后（如卷積和池化），特征的分辨率會逐漸降低，最終導致最高層特征圖即使能表達強語義信息，但此時的安全帶表示特征已經很少甚至消失。此時運用改進后的漸進注意力機制模塊成為有利于安全帶佩戴檢測的強特征，特別是用于檢測小尺度安全帶的特征。給定在第l-1層的特征圖θl-1∈RC×H×W，則該層的空間注意力特征圖αl-1由公式（3）和公式（4）計算得到：

其中，?表示卷積操作，Ws∈RC/2×C×3×3和Wm∈Rk×k表示卷積核，bs∈RC和bm∈R1表示偏置項。up(?)2代表以因子為2的上采樣操作，在這里采用的是雙線性采樣。公式（3）表示將對上一層次經過上采樣的特征圖進行通道減半的卷積，以提升特征抽象表示能力。公式（4）則表示對通道減半的特征圖以卷積的方式生成空間位置特征圖并使用Sigmoid(x)=1/(1+e-x)函數進行歸一化。現在θl-1的空間注意力特征圖αl-1∈[1,0]2H×2W就可以指導θl有選擇地生成強特征，如公式（5）所示。

2.3 損失函數

為使得本文整體網絡框架具有良好的性能，目標在減小預測值與真實值之間的差值，為獲取的訓練圖像標注了各個作業人員的位置以及是否佩戴安全帶，通過訓練圖像訓練卷積神經網絡獲得損失值，通過損失值更新網絡參數，直至網絡收斂，得到預置卷積神經網絡模型。為提高整體檢測性能以及達到實時性的效果，所提出損失函數主要從幾個方面考慮，分別是重疊面積、中心點距離和長寬比。故受回歸損失函數的啟發，本文提出的改進回歸框（improved bound?ing box regression，IBBR）損失函數定義為：

3 結果與討論

3.1 數據集統計

擬議的基準數據集是通過下載由搜索引擎使用關鍵字檢索到的Internet圖像生成的，該圖像涵蓋了場景、視覺范圍、照明、單個姿勢和遮擋的較大變化。此圖像數量為2627，已分為1313進行訓練（GDUTHWD trainval）和1314進行測試（GDUT-HWD test）。它包含8163個實例，分為2個類，每個實例都帶有一個類標簽及其邊界框。值得注意的是，在此數據集中，小規模實例（面積≤322像素）的數量最多，這給利用磨損檢測帶來了挑戰。因此，為了測試探測器在不同大小的物體上的能力，我們還根據其大小將實例劃分為3個比例類別：小物體（面積≤322像素）、中等物體（322<面積≤962）和大物體對象（面積大于962像素）。每個類別的實例如表1所示。

表1類別實例

請注意，標簽“無”表示未佩戴安全帶的人

3.2 評估指標

由于本文提出的安全帶佩戴檢測問題屬于多目標的檢測問題，因此在評價模型的性能時采用目標檢測領域最為流行的平均精確率均值（mean average precision，mAP）和類別平均精確度（average precision，AP）。其中，AP是由精確度和召回率曲線下的面積計算得到，而mAP則是計算安全帶兩個類別AP的平均值。安全帶某個類別的準確率和召回率由公式（7）和公式（8）計算得到。

其中TP定義為交并比（intersection over union，IoU）大于等于0.5的正確檢測數。FP定義為安全帶類別錯誤的檢測數，而FN為未檢測出來的類別真值檢測數。IoU由預測邊框Bp和真值邊框Bgt之間的重疊區域除以它們之間的并集區域得出。在實驗中，如不特殊說明，IoU設置值都為0.5。計算IoU值如公式（9）所示。

3.3 網絡參數配置及硬件實現

采用PyTorch軟件包訓練和測試所有的深度學習模型。所有網絡模型均在Intel Core i5-9600K CPU@3.40 GHz×6和NVIDIA GTX 2080 Ti GPU的電腦上進行訓練。所有測試任務均在Intel Xeon E5-2360 v3 CPU@2.40 GHz×16且沒有GPU的電腦上實現。

3.4 實驗結果

表2中顯示可看出在Faster R-CNN實驗中檢測精度是最低的，且在檢測速度上也是最慢的。在本文提出的方法中，在這幾個實驗結果對比，無論在檢測精度還是速度上都達到了最好的效果，從而說明本文提出方法的有效性。

3.5 檢測可視化圖

檢測可視化結果如圖2所示。

表2實驗結果對比

圖2

4 結語

用于識別安全帶使用情況的自動系統提供了一種減少人身傷害風險和提高建筑工地安全性的有效手段。先前的研究已經指出了通過計算機視覺技術而不是基于傳感器的方法來檢測安全帶的重要性。但是，大多數研究已經采用多階段方法來解決該問題，但在適應工地條件和實際可行性方面存在局限性。同時，在回顧文獻時，沒有基準數據集，由于機密性的限制，無法獲得該領域的公開數據和真實的工業數據。這項研究的目的是通過基于YOLO的方法從現場場景中識別任何個人的安全帶。因此，對所提出的基準數據集進行的大量實驗證明了所提出方法的有效性。在這項研究中，發現基于YOLO的安全帶磨損檢測方法在廣泛的現場條件（例如視覺范圍、照明、個人姿勢和遮擋）中具有顯著的可靠性和穩定性。關于在遠場圖像中識別小規模個體的安全帶磨損的問題，本研究發現，YOLO框架中的具有擴散卷積和深度分離卷積模塊的特征聚合可以提高性能。評估1309張圖像的測試集并與在訓練中訓練的現有流行目標檢測模型進行比較證明了其優越性，主要包括引入空洞卷積以改善接收場以增加高分辨率特征圖，將大大提高小尺度物體的檢測精度，減少神經網絡模型參數和計算量。深度可分離卷積簡化整體網絡復雜度，可以改善整體檢測速度，整體網絡檢測可以實現更好的實時性能，從而提高了在建筑工地上進行高空作業的安全性。

本文方法是基于YOLO的安全帶識別與檢測框架，創新點主要包括運用不同層次的Conv+ReLU激活函數和Max pooling以及提升感受野的空洞卷積和減少神經網絡模型參數量和計算量的深度可分離卷積。在針對小目標檢測上引入改進的漸進注意力機制，有利于進行多尺度檢測，在小目標檢測精度上提升顯著。整個網絡框架是端到端，達到很好的實時性和準確性。本方法在檢測精度上達到了很好的效果，特別是在小目標檢測上。但建筑工地中高空作業是高危工作，保障從業人員的安全極為重要，故在實時性上還有待提升，例如可以考慮采用簡化整個網絡模型的復雜度，提升整體檢測速度以達到更好的實時性。