基于改進YOLOv5s的指針式水表讀數檢測

何月, 王麗穎, 包霞, 褚燕華, 王月明

(內蒙古科技大學信息工程學院, 包頭 014017)

隨著計算機技術的發展,儀表檢測技術逐步興起,自動抄表和遠程抄表技術在數字智慧城市建設的背景烘托下已成為工業應用實踐的熱點話題和研究方向[1]。

目前,指針式儀表的讀數識別方法被很多研究學者提出,主要分為傳統算法和深度學習算法。指針式儀表讀數檢測方法[2]從階段上可分為檢測表盤階段[3-4]、提取指針階段[5-6]和讀數階段。深度學習算法目前主要用于檢測儀表表盤階段或提取指針階段。例如,李俊等[7]利用YOLOv4算法檢測儀表盤,通過Hough圓算法提取表盤、最小二乘法擬合指針所在直線。Wang等[8]通過神經網絡檢測子刻度盤的邊界框,結合透視變換修正水表的姿態,提出了一種多質心方法來準確獲取指針區域的角度。翟婭婭等[9]通過引入深度可分離卷積和壓縮與激發注意力機制的MobileNetv2瓶頸結構來改進YOLOv4網絡,并提出了基于邊界框定位的水表讀數提取方法。趙輝等[10]通過改進YOLOv3神經網絡,引入Res2Net殘差模塊和特征層融合,增強識別儀表讀數的泛化能力。金愛萍等[11]提出一種基于YOLOv5和U-net的指針式儀表讀數識別方法,通過YOLOv5檢測和提取儀表區域,再利用Hough圓檢測提取儀表盤,通過U-net網絡分割指針,最小二乘法擬合指針所在直線。萬吉林等[12]提出一種基于Faster R-CNN(region with convolutional neural network feature)目標檢測和U-Net圖像分割技術的指針式儀表讀數自動識別方法,利用Faster R-CNN檢測儀表圖像中表盤區域,采用改進的U-Net網絡有效的提取指針和刻度線,再用傳統算法擬合指針和刻度線。張尹人等[13]將角度回歸預測問題轉化為分類問題,提出一個旋轉目標檢測網絡R-YOLOv5,解決判斷指針方向問題。深度學習算法的引入雖然在很大程度上提高了檢測的精度,但上述方法階段較多,并且引入傳統方法容易逐步積累誤差,造成識別準確率下降,適用于儀表圖像較為清晰的情況。指針式水表作為常見的儀表種類因成本低廉、結構簡單被廣泛使用,但由于光照不均勻和表盤霧化等情況導致圖像不清晰,難以進行準確識別。

1 YOLOv5目標檢測算法

YOLOv5s的網絡結構主要由輸入網絡(Input)、特征提取網絡(Backbone)、特征融合網絡(Neck)、預測網絡(Predict)4個部分組成。

輸入端采用Mosaic數據增強,自適應錨框,圖像自適應縮放;特征提取網絡主要由Focus、C3和空間金字塔池化層(spatial pyramid pooling,SPP)等結構構成。其中,Focus結構進行切片操作,通過擴大通道數,利用卷積實現下采樣,在不增加模型計算量的前提下保留更多圖像特征;SPP結構通過1×1、5×5、9×9、13×13的最大池化層將任意大小的特征圖轉換成固定尺寸的特征向量;C3結構既用于特征提取網絡中負責提取特征,也用于特征融合網絡中負責融特征。特征融合網絡主要由特征金字塔網絡結構(feature pyramid network,FPN)和路徑聚合特征金字塔結構(path aggregation network,PAN)組合而成,實現強語義特征信息和強位置特征信息的特征融合。預測網絡采用完全交并比損失函數檢測目標的位置,根據置信度得分,采用非極大值抑制方法檢測目標類別。

2 改進的YOLOv5s算法

基于YOLOv5s作為研究的基礎網絡,技術路線如圖1所示,主要改進了四個方面:①在輸入端采用Mosaic和Mixup相結合的方法進行數據增強,豐富指針式水表的數據集,提高模型的泛化能力;②然后將特征融合網絡中的Concat網絡模塊替換成BiFPN加權雙向特征金字塔網絡,提高網絡融合的能力;③在特征融合網絡中嵌入CBAM(convolutional block attention module)注意力機制,加強網絡捕捉關鍵特征的能力;④將損失函數CIoU(complete intersection over union)替換成為SIoU (scylla intersection over union)損失函數,提高邊框回歸精度。

圖1 改進YOLOv5s的技術路線Fig.1 Technical route for improving YOLOv5s

2.1 Mosaic+Mixup數據增強算法

數據增強是通過計算機生成數據進而增加數據量的一種方式,可以提高模型的魯棒性。YOLOv5網絡中不僅采用了縮放、平移、旋轉、色彩變換等基本數據增強方法,還利用了Mosaic數據增強方法,增強結果如圖2(a)所示,取數據集中任意4張圖像進行隨機裁剪、縮放后,隨機排列最終形成一張圖像。本文中通過Mosaic和Mixup[14]相結合的方法進行指針式水表圖像數據增強處理,如圖2(b)所示,其中,Mixup是隨機將兩張圖像按比例進行混合。此方法豐富數據量,增加模型的泛化能力。

圖2 數據增強結果Fig.2 Data enhancement results

2.2 BiFPN加權雙向特征金字塔網絡

YOLOv5s網絡中的特征融合網絡由特征金字塔網絡結構和路徑聚合特征金字塔結構組合而成,如圖3(a)所示。FPN特征金字塔將深層特征圖攜帶的強語義特征信息通過上采樣方式與淺層特征圖進行融合;PAN將淺層特征圖攜帶的強位置特征信息通過下采樣方式與深層特征圖進行融合。該結構提升了網絡的特征融合能力,但增加了網絡的參數量和GPU的計算負擔。

圖3 FPN+PAN、BiFPN結構圖對比Fig.3 Comparison of FPN+PAN and BiFPN structure

采用BiFPN加權雙向特征金字塔結構實現更高效的多尺度特征融合,結構如圖3(b)所示,由于只有一個輸入節點對特征融合網絡的貢獻度較低,所以為減少參數減小計算負擔,將此類節點剔除,但是為了在一定程度上解決特征信息丟失問題,BiFPN結構在不增加網絡參數的前提下在輸入節點和輸出節點之間建立了一條融合路徑,以獲取充分的定位信息,實現更高層次的特征融合,使得特征融合網絡提高模型精度和泛化能力,在不增加運行成本的同時,降低漏檢率。

FPN+PAN結構在做特征融合時沒考慮到不同輸入特征有不同分辨率,對通過特征融合的輸出特征圖貢獻也不同,可能導致重要特征被忽略。為解決上述問題,引入了BiFPN,與FPN+PAN不同的是,BiFPN結構在融合不同分辨率的特征時,增加了一種加權融合機制,以便不同輸入特征對輸出特征的貢獻程度進行區分。對此,使用了快速歸一化方法,表達式為

(1)

式(1)中:Wi、Wj為對輸出結點起作用特征圖的(i、j為相應特征圖的個數)學習權重,且在激活函數的作用下保證W≥0,通常ε取0.000 01,用來避免數值不穩定;In,i為輸入特征圖;Out為特征融合后的結果。該方法將每個權重歸一化,權重值在(0,1)之間,以確保結果的相對穩定。

2.3 注意力機制

為了解決在特征融合過程中出現大量冗余信息,提高圖像處理效率和準確性。本文在特征融合網絡中引入通道與空間注意力模型CBAM,類似于人類的視覺系統,在大量信息中,獲取重點關注信息,將重點信息進行特征融合。CBAM注意力模型結構如圖4所示,CBAM注意力模型[15]由輸入特征F,通道注意力模塊(channel attention module,CAM),空間注意力模塊(spatial attention module,SAM)和輸出特征F2構成,CAM模塊的主要作用是將輸入特征F送入最大池化和平均池化得到兩個C×1×1的特征圖,再分別通過多層感知機,將多層感知機輸出的特征進行加和操作,經過sigmoid函數激活,得到通道注意力特征,最后與輸入特征F融合相乘,使神經網絡更關注于特征圖中的關鍵特征信息,判斷特征信息是否為關鍵特征信息,從而使關鍵特征信息發揮重要作用,非關鍵特征信息發揮次要作用甚至不發揮作用。SAM模塊是將繼CAM之后得到的F1,沿著通道維度進行最大池化和平均池化得到兩個1×H×W的特征圖,經過一個卷積將特征圖降維,再通過sigmoid激活,得到獲取關鍵特征信息位置的空間注意力特征,最后與攜帶通道注意力特征的特征圖F1融合相乘,得到輸出特征F2。故CBAM注意力模型既兼顧了空間維度上的關鍵特征信息,又兼顧了通道維度上的關鍵特征信息,從而實現了對關鍵信息聚焦、對其他信息關注度降低、對無關信息過濾。

圖4 CBAM注意力模塊結構圖Fig.4 Structure diagram of CBAM attention module

本文在特征融合網絡中添加了CBAM注意力機制模塊,通過對不同的特征分配不同的通道權重和空間權重,加強了模型對通道特征和空間特征的學習,以獲取特征層中更有意義的特征信息以及精確的位置信息。

2.4 SIoU損失函數

YOLOv5s采用CIoU Loss損失函數,但并沒考慮到真實框和檢測框之間角度不匹配的問題,導致在模型訓練過程中預測框在真實框附近震蕩,收斂速度慢且效率低。對于上述問題,本文將預測端中的CIoU損失函數替換為SIoU損失函數,SIoU損失函數充分考慮了真實框和預測框之間的向量角度,增加角度懲罰項,從而提高模型訓練速度和推理準確性。解決問題的思想是從方向上減少自由度的數量,角度成本沿X方向或Y方向將預測框中心坐標推到與真實框中心坐標齊平的位置,沿相關方向繼續接近真實框的中心坐標。

SIoU損失函數由距離成本、用于距離成本中的角度成本、形狀成本及IoU成本等4個成本函數組成。定義式為

(2)

式(2)中:IoU為真實框與預測框的交并比;Δ為真實框與預測框之間的距離損失;Λ為真實框與預測框之間的角度損失;Ω為真實框與預測框之間的形狀成本。引入角度成本的主要是為了解決因沒有考慮到真實框和預測框之間的向量角度而引發在訓練過程中預測框“四處游蕩”的問題。引入角度成本后的距離成本計算公式為

(3)

(4)

(5)

形狀成本的計算公式為

(6)

(7)

式中:w、h、wgt、hgt分別為預測框和真實框的寬、高;θ為對形狀成本的關注程度。

通過輸入端結合Mosaic、Mixup數據增強、特征融合網絡引入BiFPN和CBAM以及預測端引入SIoU-LOSS,改進算法的整體網絡結構如圖5所示。

圖5 改進YOlOv5s網絡結構Fig.5 Improved YOlOv5s network structure

3 實驗結果與分析

3.1 實驗環境與配置

本實驗的運行環境:CPU:15vCPU Inter(R) Xeon(R) Platinum 8358P CPU @ 2.60 GHz;運行內存90 GB。GPU:RTX 3090;顯存24 GB。鏡像:ubuntu 18.04;Python3.8;PyTorch1.7.0;CUDA版本為11.0。

3.2 數據集的采集及預處理

本實驗的數據集采集方式是線下現場拍攝,共采集指針式水表圖像2 600張。對采集到的水表數據集通過labelimg圖像標注工具進行手工標注,如圖6所示。按照水表子表盤0～9的讀數結果作為標簽進行分類標注,共10個類別,標注后得到.xml格式的標簽文件,再通過腳本文件將.xml文件中的信息進行歸一化處理,轉化成YOLOv5應用的.txt格式文件。最后本實驗按照14∶3∶3的比例將數據集劃分為訓練集、驗證集、測試集。

圖6 Labelimg標注示例圖Fig.6 Example diagram of Labelling

3.3 數據參數增強設置

為了使模型學習更多關于水表讀數的特征,增強模型的魯棒性,提升模型精度,本文中采用了HSV(hue saturation value)、平移、縮放、裁剪、透視變換、翻轉、Mosaic和Mixup等數據增強的方式對指針式水表圖像進行處理,本文中使用數據增強的參數列表設置如表1所示。

表1 數據增強的參數設置Table 1 Parameter setting of data enhancement

3.4 實驗評估指標

本實驗主要以Recall(召回率)、Precision(精確率)、mAP@0.5、mAP@0.5:0.95、FPS(檢測速率)作為實驗的評估指標。其中Precision、Recall、mAP的計算公式為

(8)

(9)

(10)

式中:TP表示樣本被本文正樣本且分類正確;FP表示樣本被分為正樣本而分類錯誤;FN表示樣本被分為負樣本而分類錯誤。在評估指標中,召回率衡量模型漏檢程度;精確率衡量模型錯檢程度;mAP衡量模型準確率隨召回率的變化趨勢;FPS衡量模型的檢測速率。

3.5 結果與分析

本文首先對比壓縮和激勵網絡模塊(squeeze-and-excitation network,SENet)、CBAM和坐標注意力機制(coordinate attention,CA)在不同網絡結構中的作用效果,綜合分析檢測結果選擇表現更好的注意力機制及其合適的位置;然后對比CIoU、EIOU(efficient intersection over union loss)、AlphaIoU、SIoU等損失函數在YOLOv5s網絡中的不同效果,選擇效果最優的損失函數,對其結果進行分析;接著,將數據增強(data enhancement,DE)、加權雙向特征融合金字塔(BiFPN)、注意力機制(CBAM)和損失函數(SIoU)四個改進點相互組合做消融實驗,觀察不同改進方法對網絡的提升情況;最后將改進算法與當前主流目標檢測算法進行對比,最終驗證本文提出算法的性能及優勢。

3.5.1 注意力機制對比實驗

為了驗證針對指針式水表數據集嵌入在特征融合網絡中的注意力機制中的CBAM注意力機制更有效,如圖7(a)所示,基于加入本文提出的數據增強方式的YOLOv5s網絡,通過在特征融合網絡中的三個C3模塊后均嵌入注意力機制進行驗證,參與驗證的注意力機制分別為SENet、CBAM、CA注意力機制,實驗結果如表2所示,實驗結果表明,模型在加入CBAM注意力機制后雖然速度上略慢于YOLOv5s網絡,但在mAP@0.5上展現的效果最好,mAP@0.5提升了1.8%。從整體看,加入CBAM注意力機制模塊的網絡檢測效果優于原網絡、加入SENet和CA注意力機制模塊的網絡。

表2 不同注意力機制嵌入特征融合網絡實驗結果Table 2 Experimental results of different attention mechanism embedding feature fusion network

圖7 CBAM注意力機制嵌入的位置Fig.7 Embedded location of CBAM attention mechanism

為了驗證CBAM注意力機制嵌入特征融合網絡中效果更佳,將CBAM注意力模塊變換而在骨干網絡中,具體嵌入位置如圖7(b)所示,實驗結果如表3所示,比嵌入骨干網絡模型的精度mAP@0.5高了1.0%,檢測速度每秒可多檢測1.57幀,證明了CBAM注意力機制嵌入在特征融合網絡中更有優勢。

表3 CBAM注意力機制嵌入不同位置的實驗結果Table 3 Experimental results of CBAM attention mechanism embedding in different locations

3.5.2 損失函數對比實驗

針對指針式水表數據集,為了驗證SIoU損失函數的有效性,通過單一變量法將YOLOv5s網絡中的CIoU損失函數分別替換為EIoU、A_I(AlphaIoU)、SIoU,在其他參數均固定的情況下進行損失函數對比實驗。實驗結果如表4所示,綜合來看,SIoU損失函數在損失函數對比實驗組中表現最好相較原模型的CIoU損失函數的精度高了1.9%。

表4 不同損失函數實驗結果Table 4 Experimental results of different loss functions

3.5.3 消融實驗

為了驗證改進方法的有效性,消融實驗將分別對YOLOv5s原模型及本文改進的模型進行對比實驗,消融實驗所增加的改進點及其實驗結果如表5所示。

表5 消融實驗結果Table 5 Results of ablation experiment

通過分析表5中原模型、方案1～4的實驗結果可以得出,基于YOLOv5原模型單獨添加改進點時,mAP@0.5、mAP@0.5:0.95都有所提高,犧牲部分檢測速度的情況下,這四個的改進點的加入都可以使得模型的檢測精度提升,表明可以緩解一定程度的因光照不均勻和水表表盤霧化干擾引起的漏檢和誤檢等問題,直接證明本文所提出的改進點均在模型檢測精度上有所提升。

通過方案1與方案3、方案2與方案5、方案4與方案6實驗結果對比充分證明了BiFPN加權雙向特征融合網絡對特征的融合性能更強,在檢測速度可接受的范圍內,使得模型提高檢測精度,從而提高水表讀數的檢測性能。

最終的網絡模型改進為方案7,經過改進點的全部添加,關于模型檢測精度的各項評估指標都有所提高,召回率提高至95.0%,精確率提高至90.0%,mAP@0.5和mAP@0.5:0.95提高至97.8%、88.5%,相比YOLOv5原始網絡提升了3.2%、1.6%。

3.5.4 不同模型的對比實驗

為了進一步驗證改進的YOLOv5s網絡在指針式水表讀數檢測上的優異性,采用相同的硬件和軟件環境以及相同的訓練集和測試集。本文算法與One-Stage檢測算法中的YOLOv5s、YOLOX、YOLOv7算法以及Two-Stage檢測中的Faster R-CNN網絡,不同目標檢測模型進行對比實驗,實驗結果如表6所示。

表6 不同模型的對比實驗結果Table 6 Comparative experimental results of different models

由分析表6不同模型的對比實驗結果可知,在檢測精度上,本文提出的改進模型有著顯著優勢,準確度高,雖然檢測速度并未達到最優,但依然可以滿足檢測任務的要求。從總體上看,在檢測性能方面保持著穩定的優勢。指針式水表讀數檢測結果如圖8所示,本文提出網絡模型可對在光照不均勻、水表表盤霧化等因素干擾下的圖像,提高檢測精度的同時,也可以保持較好的實時性,魯棒性更強,具有更強的泛化能力。

圖8 指針式水表數據集的部分預測效果圖Fig.8 Partial prediction effect diagram of pointer water meter data set

4 結論

本文為了提升指針式水表讀數檢測的準確率,提出一種改進YOLOv5s的指針式水表讀數檢測算法。該算法在YOLOv5s網絡的基礎上使用Mosaic和Mixup數據增強相結合的方式進行數據預處理,在特征融合網絡中使用BiFPN加權雙向特征金字塔模塊,添加了CBAM注意力機制模塊,采用SIoU Loss損失函數,使得mAP@0.5達到97.8%,對比YOLOv5s原網絡提升了3.2個百分點。實驗結果表明:該方法對指針式水表讀數檢測精度上有一定的優勢,改善了光照不均勻和水表表盤霧化的條件下指針式水表子表盤的漏檢、誤檢等問題。