輕量化改進的YOLOv5s 電廠人員行為檢測方法?

孫宏偉 王彥生 焦良葆 劉子恒 張智堅 孟 琳，2

（1.南京工程學院人工智能產業技術研究院 南京 211167）（2.江蘇省智能感知技術與裝備工程研究中心 南京 211167）

1 引言

隨著5G 通訊技術和新能源汽車的發展，電力需求量日益增加。在電力系統前端，尤其是具有安全風險的礦井、發電廠和變電站等環境中，電能在大量產出的同時也伴隨著風險的提高［1］。據國家能源局發布的2021 年1 月至10 月份的全國電力安全生產情況報告：全國電力系統發生人身傷亡事故32 起，死亡37 人；電力生產部分23 起，死亡26 人，占比達到71.9%。其中人員疏忽大意、違規進行生產活動所引起的事故占總事故的48.3%［2］，提高安全監管制度的效能可以顯著降低此類事故的發生。

由于現代視頻監控技術的發展，電力生產部門大范圍的使用視頻監控系統［3］。同時也配備了相應的監管部門，通過視頻監控對廠區內存在的風險隱患及時的進行發現、排查。然而，排查大量的視頻數據并尋找問題所在屬于長期視頻終端類工作，此類工作極易引起人的視覺疲勞，出現VDT 綜合癥：視力模糊、工作學習效率下降等癥狀［4］，引起監管人員對環境狀態的誤判和漏判。因此需要開發一套能夠識別人員行為狀態，判斷行為安全類別的自動檢測系統。

近年來，卷積神經網絡被廣泛應用于目標檢測方面，主要分為以Faster RCNN［5］為代表的Two stage和以YOLO［6］為代表的One stage兩大類［7］。前者首先生成大量候選框，再利用回歸和分類對候選區域進行處理，具有較高的精度；后者無需生成大量候選框，而是將特征提取、目標分類和位置回歸工作直接合并，加快了算法的檢測速度。2017 年Tsung-Yi Lin 等針對One stage 網絡訓練中樣本失衡問題提出Focal Loss 算法［8］，實現了One stage 網絡精度的極大提高，大幅縮小了和Two stage 網絡的精度差距。現階段，大量檢測算法的發展，推動了利用卷積神經網絡實現監控系統的智能化建設［9］。

火力發電廠內存在大型設備，廠區面積大，人物目標在監控畫面中所占比例較小的問題，傳統的目標檢測方案容易出現小目標特征提取不足，模型檢測能力變差［10］。本文提出槍球聯動機制，提高目標的像素占比，降低算法的檢測難度；同時，針對工業環境下部署大型GPU 服務器較為困難，對YO?LOv5s 進行改進，降低模型資源占用，加快模型預測速度，實現模型在輕量型邊緣計算設備上的實時預測，滿足廠區內大量監控攝像頭的計算需求。

2 槍球聯動機制

槍機具備廣視角和高成像質量的優勢，適合用于大范圍監控；球機具備轉動和變焦能力，適合用于對目標進行特寫處理。對此，本文提出槍球聯動機制：利用槍機對目標位置進行跟蹤檢測，球機獲取坐標后對目標進行光學放大處理，獲得較為清晰的目標圖像。

2.1 槍機畸變校準

光學設備在設計、制造和安裝過程中會引入畸變，畸變不影響設備的成像質量，但會引起像素坐標位置的改變，其畸變程度也會呈現非線性關系，越遠離成像中心，畸變程度越大［11］，如圖1。在槍球聯動系統中，槍機需要給球機提供較為準確的像素坐標位置，而槍機使用的廣角鏡頭帶來的畸變，嚴重影響了對目標的定位能力。本文所使用的海康威視iDS-2SE7C144MW-D 系列槍球一體機，其槍機存在明顯的桶形畸變如圖2。

圖1 桶形畸變

圖2 海康威視iDS-2SE7C144MW-D畸變

對畸變可以利用式（1）~（3）進行數學描述：

式（1）~（3）中（xd,yd）為畸變點的成像位置，（Dxr,Dyr）為徑向畸變量，（Dxt,Dyt）為離心畸變量，（Dxp,Dyp）薄棱鏡畸變，（Dx,Dy）為總畸變量。獲得畸變點位置和畸變量的對應關系后，由此可以展開對槍機成像的畸變校準如圖3。

圖3 實際坐標和成像坐標

2.2 槍球聯動位置匹配

在槍球聯動系統中，槍機和球機存在安裝位置不相同，無法簡單用一個坐標系統進行位置描述的問題。因此，需要對槍機和球機的坐標系統進行位置匹配［12］。借助歐氏距離計算槍機四個頂點位置像素信息和球機當前畫面的差異大小，球機初始化轉動一周后，獲得四個頂點對應歐氏距離最小時刻的球機位置，記為匹配坐標點（Xmin，Ymin，Xmax，Ymax）。即可利用式（4）~（5）對兩個坐標系統進行關聯匹配：

式（4）~（5）中(kx,ky)為匹配比例，(Xr,Yr)為匹配后球機坐標系的目標位置，(Xg,Yg)為匹配前槍機坐標系的目標位置，(width，hight)為槍機輸出尺寸。

3 網絡模型改進

3.1 YOLOv5s網絡模型介紹

YOLOv5s共有五個版本，分別是YOLOv5l、YO?LOv5m、YOLOv5n、YOLOv5s以及YOLOv5x，其差異在于網絡深度和寬度的不同［13］。其中，YOLOv5s的深度和寬度比例分別為0.33 和0.50，是YOLOv5 系列中較為輕量的模型［14］。YOLOv5sV6（下文簡稱YOLOv5s）版本為當前最新版本，相較5.0 版的YO?LOv5，新版本所有模型的平均精度均值mAP（mean Average Precision，mAP）提高了0.3%~1.1%，FLOPs 減少了約5%，減少了資源占用，輕微的提升了推理速度。YOLOv5s 擁有213 層網絡如圖4，包含Conv、CSP、SPFF和Upsample模塊，在640*640的輸入下，網絡參數共7.03M。

圖4 YOLOv5s網絡結構

3.2 YOLOv5s網絡模型改進

YOLOv5s網絡模型中有三個不同尺度的輸出，分別是80*80（640/8）、40*40（640/16）以及20*20（640/32）。同時，網絡中設置了三個不同大小的預置框，利用三個預置框來對三個尺度的輸出分別進行檢測，以此提高系統對不同尺度目標的檢測能力。其中，80*80 尺度的輸出在網絡模型中歷經更少的卷積層，包含較多的低層信息，適合用來檢測小尺度目標，因此，利用最小尺寸的預置框在該尺度中進行小目標檢測效果較好；而20*20 尺度的輸出，原始圖片信息在經歷大量卷積操作后，會保留高層信息，如結構、輪廓等，此類信息適合用于大尺度目標的檢測，所以使用最大規格的預置框來在該尺度輸出上檢測大尺度目標。

本文中待檢測行為如抽煙和安全帽佩戴等均為小尺寸目標檢測范疇［15］，其特征在深層卷積中容易丟失，引發漏報［16］，這給檢測網絡帶來了很大困難。對此，本文修改預設anchors，刪除了最大的預設anchors，將最小預設anchors 由［10*13，16*30，33*23］修改為［3*4，4*8，6*4］。修改后的三種an?chors 分別為［3*4，4*8，6*4］、［10*13，16*30，33*23］以及［30*61，62*45，59*119］，考慮到檢測環境為視頻監控畫面，監控中的待檢測目標尺度均很小，因此本文拋棄最大的anchors，加強對小尺寸目標的檢測能力。

在YOLOv5s 中，CSP 層 中 大 量 使 用 了Bottle?Neck 模塊，每個BottleNeck 模塊有兩個CBS 模塊，分別為1*1 和3*3。如圖5，該模塊利用1*1 的卷積模塊對輸入通道進行壓縮，實現數據的降維操作，以此降低3*3 卷積層的計算復雜度，實現在深度較高的網絡中減少參數的數量，從而減少計算量［17］。在YOLOv5s 中，CSP 模塊在調用BottleNeck 后繼續接入數個CBS 模塊，CBS 功能模塊能夠實現對輸入進行特征提取的功能，仔細研究BottleNeck 模塊的計算邏輯不難發現，為了降低計算量，該模塊對輸入首先進行降維處理，然后利用CBS 進行特征提取，提取完成后在進行一次升維，因此，BottleNeck模塊中的3*3CBS模塊是對降維后的數據進行特征提取，其相較CSP模塊中的其他CBS特征提取能力會更差。

圖5 BottleNeck作用原理

本文針對BottleNeck 模塊進行修改，提出Bot?tleNeck-S，在卷積前加入BN-SiLU 結構如圖6，此舉操作引入了BN-SiLU-weight 網絡結構，在文獻［18］中通過大量實驗證實了此種網絡結構，可以帶來更好的性能。同時刪除3*3CBS 模塊，將特征提取的重點放置到BottleNeck 外，通過犧牲部分網絡性能來進一步降低網絡模型參數，加快預測速度。

分別取9個發育時期的‘索邦’花被片在液氮條件下充分研磨，然后用EASY Spin Plus植物RNA快速提取試劑盒(艾德萊，北京)提取花被片及各器官組織總RNA，并反轉錄成cDNA，置于 -20℃ 冰箱保存、備用。

圖6 BottleNeck修改前后對比

4 實驗結果于分析

4.1 模型實驗環境

本文槍球聯動系統使用海康威視iDS-2SE7C144MW-D。網絡模型訓練平臺搭建在GPU 運算服務器上，硬件配置為AMD Ryzen Threadripper 3970X 32-Core，NVIDIA GeForce RTX 3090 顯 卡*3，128Gb 內 存。軟 件 配 置 為Ubun?tu18.04 版本系統，CUDDN 版本為8.0.5，CUDA 版本為11.5。

4.2 模型結果評價

本文使用數據集是從視頻監控截取的實時圖片，共計7341 張，包含cap、head、mask、face、map、fall和cigarette七大類。

本文模型精度評價指標使用查全率（Recall，R）、查準率（Precision，P）和平均精度均值。為了解釋P、R 和mAP，本文引入如下四個變量。TP 為真實值為正例且預測值為正例的樣本數量；FP 為真實值為反例但預測值為正例的樣本數量；FN 為真實值為正例但預測值為反例的樣本數量；TN 為真實值為反例且預測值為反例的樣本數量。則有如下定義：

查全率如式（6），表示所有樣本中正例被正確識別的比例。

查準率如式（7），表示所有被檢測為正例的樣本中，檢測正確的比例：

平均精度均值如式（8），表示各類的檢測器PR曲線下面積占比的平均值，該指標可以關聯P、R指標，展現模型性能：

其中，∑r=1，Pri表示PR 曲線上R=r-i時對應P的數值。

這三個指標越高，說明模型的檢測性能越強，檢測結果越好。依據模型訓練日志繪制如圖7。

圖7 中（a）和（b）分別為模型訓練過程的P、R和mAP，其中old 為原始的YOLOv5s 網絡模型，new為修改后的YOLOv5s-light網絡模型。從圖中可以看出，YOLOv5s-light網絡模型收斂速度會較慢，但最終P、R 性能和原始網絡十分接近，mAP0.5 差距也很小，mAP0.5：0.95較原始網絡有些許下降，但此部分對于網絡模型實際檢測結果影響較小，因此二者的性能指標十分接近。由此說明，YOLOv5slight網絡模型在模型精度上并未出現明顯降低。

圖7 模型指標

為了進一步體現YOLOv5s-light網絡模型的優勢，我們設置了如下的對照實驗：使用常見的YO?LOv3，YOLOv4-tiny 以及YOLOv5s 網絡模型，用同一批數據集進行訓練評測。最終從模型參數量、權重文件大小、P、R、mAP 以及推理時間來綜合評價各個模型，對比結果如表1。

由表1 中實驗數據可知，YOLOv3 網絡模型的性能指標最高，比YOLOv5s-light 在mAP 上高了0.8%，但其模型不屬于輕量級模型，參數量龐大，硬件資源占用高，推理耗時較YOLOv5s-light 增加了181%；YOLOv4-tiny 在推理時間上花費最少，但其網絡模型精度較YOLOv5s-light 降低了21.7%；YO?LOv5s-light 相較YOLOv5s，模型參數下降了30%，權重文件大小減小了28.1%，查準率上升了1.3%，查全率下降了3.3%，雖然最終mAP由0.967下降到0.962，降低了0.5%，但推理耗時由1.4ms 下降到1.1ms，推理速度提高了21.4%。

表1 對照實驗

為了驗證YOLOv5s-light 的普遍適用性，本文同時選用了擁擠行人場景的公開數據集WiderPer?son 進行測試，該數據集包含帶標簽的圖片8999張，區分pedestrians、riders、partially-visible persons、ignore regions 以及crowd 五大類，共計約40 萬個標注數據。利用YOLOv5s 和YOLOv5s-light 進行對比試驗，如表2。

表2 WiderPerson數據集對比實驗結果

由表2 中的實驗數據可知，在公開數據集Wi?derPerson 上，YOLOv5s-light 較YOLOv5s 在 模 型mAP 和PR 均有下降，mAP 指標降低了3.3%；推理耗時由1.2ms 下降到1.0ms，推理速度提高16.7%，符合上文模型性能特點。

本文通過修改預置框，提出BottleNeck-S 殘差卷積模塊，依賴模型使用環境，降低模型復雜度同時保持模型精度平緩變化。如圖8，分析可知，原YOLOv5s 模型生成的預測框如圖8（a），在窗簾、墻面、樹木等背景位置出現大量低置信度的head 和cigarette預測框；改進后的YOLOv5s-light網絡如圖8（b）在無效預測框的控制上明顯優于原始網絡，尤其在背景處的無效框大幅減少，大部分檢測框均位于目標周圍。

圖8 模型推理結果分析

綜上所述，YOLOv5s-light 相較于YOLOv5s 更加輕量化，模型推理速度大幅提高的同時，模型精度僅有輕微下降。由于參數的降低，在硬件資源占用上對邊緣設備部署十分友好，很容易部署在邊緣計算設備上。

4.3 系統結果分析

單純的YOLOv5s 和YOLOv5s-light 都存在對檢測畫面中的小目標檢測能力不足的問題，本文在小目標檢測方向提出槍球聯動機制，增加整個系統對小目標的檢測能力，評價指標使用查全率、查準率和平均精度均值，依據模型評價日志總結如表3。

表3 槍球聯動機制對照

由表3 分析可知，在引入槍球聯動機制后，網絡對目標的查全率上升了2.8%，查準率上升了0.5%，mAP 上升了1.9%。槍球聯動機制從尺度層面加強了系統對目標的檢測能力，實現了更高的查全率，尤其加強了系統對小目標的檢測能力。

5 結語

針對目前廠區監控畫面中待檢測目標太小，常見檢測算法無法有效檢測的情況，本文提出了槍球聯動機制，對待檢測目標進行光學放大，以此來彌補檢測算法對小目標檢測的不足。與此同時，針對現階段模型復雜度高，無法滿足邊緣計算設備實時檢測的需求，本文提出YOLOv5s-light網絡模型，對原始YOLOv5s 網絡模型進行進一步輕量化操作，實現模型參數下降30%，推理時間縮短21.4%，模型精度僅有輕微下降。最終，實現整套系統mAP提高了1.5%，模型大小下降28.1%，滿足輕量化的設計要求。下一步的研究重點是在面對多目標重疊、遮擋時，在保證速度的前提下，對模型識別能力進行進一步優化，提高識別能力。