改進YOLOX網絡的軸承缺陷小目標檢測方法

李亞東，馬 行，2，穆春陽，李建東

1.北方民族大學 電氣信息工程學院，銀川 750021

2.北方民族大學 寧夏智能信息與大數據處理重點實驗室，銀川 750021

3.北方民族大學 機電工程學院，銀川 750021

工業缺陷目標檢測是計算機視覺檢測中的特殊任務之一，在實際的工程項目中具有廣泛的應用價值。軸承是大型列車和小型家用車轉動關節的重要零件，在生產過程中不可避免地對其表面造成劃痕、凹槽等缺陷，嚴重影響其在使用過程中的機械性能。當軸承表面存在多缺陷，軸承與軸承之間相互重疊和遮擋時，導致小目標漏檢率高，因此應用計算機視覺完成檢測任務至關重要。

傳統的檢測方法依賴人工提取缺陷特征，比如陳金貴等人[1]采用背光源在軸承側面打光的方式，獲取缺陷區域圖像，再利用閾值分割和改進的Niblack算法將缺陷區域從原圖像中提取出來。該方法的識別精度受光強度的影響，需要人工補光才能獲取缺陷圖像。魏利勝等人[2]先對軸承圖像進行增強處理，然后對該區域的SIFT特征與軸承滾子模板SIFT特征進行匹配，最后用融合單應性約束策略對匹配點進行篩選，得到軸承滾子的檢測結果。該方法的識別精度依賴匹配模板的質量，若檢測環境存在多個缺陷目標以及小目標密集的情況時，特征模板的提取較為困難，小目標的漏檢率高。陳碩等人[3]提出一種軸承套圈端面檢測方法。首先對軸承套圈圖像進行邊緣檢測，定位套圈端面區域，并利用最小二乘法擬合端面輪廓以判別外形缺陷，再根據提取到的圖像特征完成缺陷的識別。該方法的應用場景單一，邊緣檢測方法不能滿足軸承與軸承之間存在重疊與遮擋情況下的識別。

隨著人工智能技術的發展，卷積神經網絡（convolutional neural network，CNN）[4]算法不斷被提出，并被應用于各種場景的檢測任務。比如徐鏹等人[5]基于YOLOv3[6]算法進行鋼板表面的缺陷檢測，首先使用輕量級網絡代替原模型的密集連接網絡，然后加入空洞卷積提高缺陷的檢測能力，最后使用并行結構進一步減少模型參數量。該方法的實時性有較大提升，但模型過于輕量化導致鋼板表面小目標缺陷識別精度較低。程婧怡等人[7]基于YOLOv3算法用于金屬表面缺陷識別，為解決小目標漏檢問題設計了一條新的特征通道，然后使用K-means++算法重新聚類金屬表面缺陷的錨框，最后引入DIoU損失函數。該方法相比于原模型，小目標識別率有所提升，但數據集缺陷目標過于單一，對于其他的缺陷檢測任務魯棒性較差，而且模型參數量較大，實時性較低。王紫玉等人[8]基于YOLOv4[9]算法進行銅帶表面的缺陷識別，針對缺陷形式多樣和位置隨機導致定位難的問題，提出基于IOU的K-means改進算法，檢測精度和速度有一定提升。若環境中存在多個重疊和遮擋的小目標時，其相交區域的IOU值計算并不準確，導致小目標的定位精度不理想。石振華等人[10]基于YOLOv3算法進行工件缺陷檢測，改進特征融合方式以減少冗余候選框的數量，該方法對于單一的缺陷目標識別精度較高，在小目標較為密集的情況下，改進的特征融合方法仍存在特征融合不充分的問題，且小目標的識別率需進一步提升。

現有的卷積神經網絡在工業缺陷檢測中取得良好的檢測效果，但也存在以下不足：（1）針對工業缺陷目標的檢測任務，過度依賴錨框聚類。（2）模型整體參數量較大，實時性較低。（3）軸承缺陷目標過于單一，對于重疊和遮擋下的小目標，識別率較低，無法滿足實際應用場景中的需求。（4）模型特征融合方法需進一步加強。

針對以上問題，本文基于無錨機制的YOLOX[11]模型提出一種多注意力特征加權融合算法。（1）引入更細粒度的特征提取模塊，增加模型對小目標的表達能力，并嵌入自注意力模型，進一步增加模型對淺層小目標的特征描述。（2）設計了一種內嵌坐標注意力機制的加權特征金字塔融合網絡，使模型對淺層特征和深層高級語義特征融合更充分，再通過注意力提高模型對顯著區域目標的關注度。（3）在檢測頭網絡中，設計并行的信息傳輸模塊，使高維特征并行化，提高模型推理速度。（4）模型后處理階段，引入解決正負樣本不平衡的Focal Loss損失函數，提高模型對高閾值正樣本特征的學習能力，進一步提高小目標識別率。實驗結果表明，本文提出的多注意力特征加權融合算法在面對軸承表面重疊和遮擋的小目標時，檢測精度和速度均有提升，滿足工業中對缺陷目標的檢測需求。

1 YOLOX算法改進

基于YOLOX算法，本文提出如圖1所示多注意力特征加權融合算法，該算法結構由特征提取骨干模塊、特征融合模塊、檢測頭模塊三部分組成。輸入寬高為416×416的RGB三通道圖像，首先通過改進的自注意力特征提取骨干模塊（Res2Block+COT）生成尺度為13×13、26×26、52×52的三條聚合細粒度信息的特征通道，其次將三個多尺度通道中的特征信息輸入改進的注意力加權特征金字塔融合模塊（CA-BiFPN），進行淺、深層細節信息和高級語義信息的交互融合，然后將融合后含有豐富語義信息的特征圖輸入改進的并行傳輸模塊（inception），最后送入檢測頭模塊進行后處理，得到最終的優化模型。

圖1 多注意力特征加權融合模型結構Fig.1 Structure of multi-attention feature weighted fusion model

1.1 改進的骨干網絡

骨干網絡用于提取圖像中的目標特征，包含邊緣特征、紋理特征等。原YOLOX模型中骨干網絡使用CSPDarknet53模塊，通過查閱文獻[12]以及后續對模型結構的深入了解，該種組合方式會導致模型在反向傳播過程中，神經元節點之間梯度重復，大大降低模型的學習表達能力。對于小樣本缺陷目標來說，模型的學習表達能力直接影響目標的識別精度，因此使用提取特征更細粒度的Res2Net[13]網絡重新構建新的骨干網絡模型。Res2Block能夠在更細粒度級別表示多尺度特征，不但緩解了梯度重復的問題，還使網絡具備更大的感受野，進一步增加淺層和深層特征的語義表達能力。Res2Block結構如圖2所示。

圖2 Res2Block模塊Fig.2 Res2Block module

該結構將輸入特征圖X分成s份分別進行處理，并且將不同分支間的特征再進行空間重構，Ki表示融合第i塊特征圖，Yi表示融合Xi分支的特征。其中Yi定義為式（1）：

改進后的骨干網絡信息參數如表1所示。

表1 骨干網絡參數信息結構Table 1 Structure of backbone network parameter information

1.2 自注意力模塊

Li等人[14]針對全局上下文特征信息設計了自注意力網絡（contextual transformer network，COTNet）。自注意力模型不但開啟了自然語言處理的新時代，在計算機視覺任務中也取得不錯的成果，相比視覺領域具有代表性的通道和空間注意力，如SENet[15]、CBAM[16]等，具有長距離信息建模和全局感知能力。針對軸承表面小缺陷目標和區域缺陷目標密集的問題，正確描述前景正樣本特征，能夠顯著提升缺陷目標的識別率。本文使用COT block自注意力模塊增加網絡對目標特征的關注程度，捕獲更加豐富的上下文信息，生成更具判別性的有用特征。COT block自注意力模塊如圖3所示。

圖3 COT block模塊Fig.3 COT block module

該模塊針對輸入特征X，定義query=X，key map=X，value map=X×Wv。在key map上進行k×k的分組卷積，來獲得靜態建模的上下文信息K1，然后將query和K1通道拼接的結果進行兩次連續的卷積得到具備豐富上下文信息的attention map，如式（2）。再將A（attention map）和V（value map）進行點積，得到具備動態上下文建模的K2，如式（3）：

添加自注意力模型至Res2Block模塊中，用以增加骨干網絡的感受野以及軸承缺陷目標的動靜態上下文建模，進一步提高模型的表達能力。

1.3 改進的注意力加權特征金字塔融合網絡

在原始YOLOX模型中，特征融合使用的是路徑聚合網絡（path aggregation network，PANet）[17]，該結構雖然構建了自底向上和自上而下的雙路結構，但是網絡層級之間特征利用率低，出現過多的冗余信息，導致模型特征融合不充分，丟失對淺層邊緣小目標和區域密集目標的特征描述。針對上述問題，EfficientDet[18]提出加權雙向特征金字塔網絡（bidirectional feature pyramid network，BiFPN），基于BiFPN結構，重新設計了適用于本文改進模型的三通道加權雙向特征金字塔融合網絡，如圖4所示。該結構將不同層級之間的特征交錯連接，同一層級保留原始特征，充分利用了淺層細節信息和深層高級語義信息，并且減少了節點之間的計算。

圖4 CA-BiFPN加權特征融合模塊Fig.4 CA-BiFPN weighted feature fusion module

如圖4所示，將52×52的特征圖進行卷積核大小為3×3，步長為1的卷積，得到26×26大小的特征圖，并將其與原該尺度大小的特征信息進行融合。再將融合后26×26的特征圖進行相同的卷積，得到13×13的特征圖，再與原尺度大小的特征信息進行融合。最后，將總的融合信息進行2倍和4倍的上采樣，再次將不同尺度的特征進行融合。

1.4 加權注意力

本文中采用嵌入坐標注意力（coordinate attention，CA）[19]的方式給CA-BiFPN特征融合模塊的多尺度通道分配不同分數的權值。嵌入坐標注意力的加權方式相比于傳統的隨機分配權值的方式，可以進一步增加模型的感受野，以及感興趣目標的關注度和小目標的位置敏感性。坐標注意力將輸入特征“分而治之”，結構如圖5所示。

(1)在偏好表達上 文獻[9]研究了得分偏好信息下的雙邊匹配問題，文獻[12]考慮了語言偏好信息下的雙邊匹配問題，二者均未考慮匹配主體的心理行為因素。本文針對具有得分和語言兩種形式偏好信息的雙邊匹配問題，考慮了匹配主體的心理行為因素，提出一種基于前景理論的雙邊匹配方法。與文獻[9，12]的方法相比，一方面本文將基于單一形式偏好信息的雙邊匹配模型拓展到多種形式情形，發展和完善了雙邊匹配理論；另一方面在實際匹配決策中，匹配主體是有限理性的，即匹配主體并非總是追求效用最大化，而表現為參照依賴和損失規避等，本文通過引入前景理論來描述匹配主體的心理行為，更加符合實際匹配情況。

圖5 坐標注意力結構圖Fig.5 Diagram of CA attention structure

利用(H,1)和(1,W)的池化核將輸入特征圖分割并壓縮，沿水平方向和垂直方向對每個通道進行平均池化（average pool），產生兩個獨立方向感知注意力特征圖zH和zW，大小分別是C×H×1和C×1×W。再將帶有方向信息的特征圖進行拼接，使用共享的1×1卷積生成過程特征圖f∈RC/r×1×(W+H)，r代表通道下采樣的比例系數。將過程特征圖在水平方向和垂直方向拆分成兩個獨立的向量f h、f w，然后分別通過卷積層調整維度大小得到f h∈RC×H×1和f w∈RC×1×W，最終經過激活函數Sigmoid（x）得到兩個獨立空間方向的注意力權值gh、gw，再對其進行拓展，作用于原輸入特征信息后得到對目標空間維度位置信息敏感的注意力模塊。

1.5 改進的特征并行傳輸模塊

Inception[20]結構改善了模型的寬度和深度，解決了大的卷積核難以訓練的問題。在檢測頭模塊中，三條檢測支路的特征向量都具有高緯度特點，為提升模型的推理速度，將串行傳輸的CBS結構設計為Inception并行傳輸，如圖6所示。其中CBS為標準卷積、批量標準化（batch normalization，BN）和SiLU激活函數。

圖6 改進Inception并行傳輸結構圖Fig.6 Diagram of improved Inception parallel transmission structure

首先利用1×1卷積將輸入特征分為并行結構，每條路徑的通道數各為原始通道數的；然后利用空間的1×3和3×1卷積提取特征；最后通過通道拼接恢復原始通道數。該設計使特征在空間維度上高效傳輸，并減少了部分計算量。

1.6 損失函數

軸承缺陷目標與軸承背景相似，當多缺陷目標之間存在重疊和遮擋時，前景正樣本和背景負樣本難以區分。在模型訓練過程中，背景負樣本數量過多，導致模型對前景正樣本目標的學習不夠。雖然精度很高但是召回率很低，模型性能不穩定。為解決這一問題，本文引入Focal Loss[21]損失函數替換置信度損失的交叉熵函數，Focal Loss函數定義如式（4）和（5）：

其中α∈是解決正負樣本比例不均的平衡系數，λ為控制難易分類樣本權重的平衡系數。pt為難易分類樣本的概率。

2 實驗數據與設置

2.1 實驗平臺

本實驗在Ubuntu 18.04操作系統下完成，服務器的GPU型號為NVIDIATesla P40，顯存為24 GB，4顯卡并行訓練，并通過CUDA 10.1對GPU進行加速。

2.2 數據集處理

圖7 部分數據集展示Fig.7 Partial dataset presentation

3 實驗結果與分析

本次實驗以YOLOX-S為基準模型。自制數據集以8∶1∶1的比例隨機劃分為訓練集、驗證集和測試集，并設置多組消融實驗驗證每個改進策略對初始模型的效果，進而得到最優模型。

本次實驗使用目標召回率（recall）、單個目標類別檢測精度（average precision，AP）、平均檢測精度（mean average precision，mAP）和檢測速度（frame per second，FPS）作為評價指標。

3.1 模型訓練

每個模型從零開始訓練，epoch設置為160輪，其中前20輪為模型熱身，即只進行前向推理，不進行梯度的反向傳播。優化器使用隨機梯度下降法（SGD），初始學習率為0.01，動量為0.937，并采用余弦退火學習策略，動態調整學習率。根據實驗室的硬件平臺，將一次輸入網絡的圖片量（batch size）設置為64。模型訓練過程loss曲線如圖8所示。

圖8 模型損失曲線Fig.8 Model loss curve

由圖8的損失曲線可得，隨著訓練次數不斷增加，模型的loss值逐步下降。本文改進算法模型的loss如圖8中曲線B所示，相比于原模型的loss曲線A，收斂速度更快，改進前與改進后模型損失分別收斂于3.45和2.50左右，證明本文提出的改進策略及參數設置合理，對提升模型識別精度有效。

3.2 消融實驗

在實景采集的軸承缺陷數據集上對各改進策略進行訓練和評估，不同改進策略對基準模型的影響如表2所示。

表2對本文中的改進策略進行實驗分析，其中實驗2～5為改進策略對基準模型（實驗1）的影響，可以看出改進策略使原模型的識別精度均有不同程度的提高。實驗2中使用Res2Block+COT模塊增強骨干網絡，mAP提高1.05個百分點，召回率提升了1.11個百分點，表明引入該優化策略可以有效增加模型對小感受野目標和大感受野目標邊緣信息的特征提取。實驗3改進CA-BiFPN加權特征融合模塊對網絡識別率提升貢獻最大，mAP提高1.84個百分點，召回率提升了2.56個百分點，表明該優化策略在一定程度上改善了原模型特征融合不充分的問題。淺層細節特征和深層語義特征存在更優的融合方式，也證明拋棄傳統的隨機加權方式，引入坐標注意力加權作用于改進特征融合網絡可以顯著提升模型的整體性能。實驗4改進特征并行傳輸模塊，mAP和recall與原模型持平，但其FPS提高了1 frame/s，參數量降低了0.2 MB，說明增加網絡的寬度，使高維特征并行傳輸可以有效提高模型的推理速度，具備更高的實時性。實驗5改進損失函數，mAP值提高0.26個百分點，檢測精度提升較少，但召回率提高1.67個百分點，說明該優化策略可以有效增加模型對前景正樣本目標的學習。

表2 消融實驗Table 2 Ablation experiments

實驗6～8對Res2Block中引入SE、CBAM、COT模塊對整體的優化策略進行比較分析，實驗結果顯示，Res2Block中引入COT自注意力模型對總的改進算法影響最大，這也充分說明自注意力將目標全局和局部信息結合起來，可以有效提升模型的識別率。此外，對于一些邊緣分辨率低且有用信息有限的小目標來說，自注意力能夠聚焦到隱藏特征下的有用信息，提高對目標的關注度。如實驗6、7所示，分別添加SE和CBAM到Res2Block中，在通道和空間維度上分別對目標進行加權關注，提升的mAP值相比較COT模塊較低，但模型的FPS較高。本文提出的改進策略（實驗8）有效提升了模型的平均檢測精度，mAP值提高4.04個百分點，并具有較高的檢測速度，值為73 frame/s。

為進一步證明改進自注意力模塊（實驗2）和本文提出的改進算法（實驗8），在軸承表面小目標檢測中的檢測效果，分別從特征圖可視化、recall、AP及漏檢率等方面進行評價分析。

（1）為證明改進Res2Block+COT模塊對骨干網絡特征提取性能的影響，將骨干網絡輸出通道維度大小為52×52的征圖進行可視化展示，如圖9所示。改進后的模型對軸承缺陷目標的全局關注度更顯著，對一些復雜的小目標表達能力更強。

圖9 特征圖可視化Fig.9 Feature map visualization

（2）在自制的軸承缺陷數據集中，凹槽類缺陷作為顯著性的小目標，在閾值（score threhold）都為0.5的情況下，本文提出的多注意力特征加權融合算法比原模型在凹槽缺陷上的recall值提升了6.78個百分點（如圖10），AP值提高了3.21個百分點（如圖11）。

圖10 凹槽類缺陷recall評價Fig.10 Recall evaluation of groove defects

圖11 凹槽類缺陷AP評價Fig.11 AP evaluation of groove defects

（3）如圖12則展示了改進前后模型在每類缺陷目標中的漏檢率。可以看出改進后的模型在凹槽小目標、特征淺顯的劃痕和擦傷目標中的漏檢率分別降低了6、9和7個百分點。

圖12 目標漏檢率對比Fig.12 Comparison of target missed detection rate

3.3 對比實驗

為進一步驗證本文提出的多注意力特征加權融合算法的有效性，將相同研究領域提出的算法進行比較分析，如表3所示。

表3中，Ours（S）為本文基于YOLOX-S提出的改進算法，Ours（L）為應用于本文策略提出的YOLOX-L改進算法。可以發現，Ours（S）算法相比于主流的二階段檢測算法Faster RCNN和一階段檢測算法YOLOv3、YOLOv4，平均檢測精度分別高出3.15個百分點、9.47個百分點、3.92個百分點，并且在檢測速度方面也分別高出65 frame/s、51 frame/s、48 frame/s。Ours（L）模型的mAP比原YOLOX-L模型提高2.31個百分點，達到95.42%，但模型參數量增加了27 MB，FPS降低了7 frame/s，相比于其他主流大型網絡算法仍具備較高的識別率和檢測實時性。通過對比實驗分析得到，本文基于YOLOX-S提出的改進算法具有更為均衡的檢測精度和檢測速度，部署到移動端，更能滿足工業檢測的需求。

表3 對比實驗Table 3 Contrast experiment

3.4 模型檢測效果分析

如圖13展示了原模型與本文改進模型在真實工作臺場景的檢測效果。每組圖中，左側均為原模型檢測效果圖，右側均為改進后的模型檢測效果圖。每張圖中綠色框表示擦傷缺陷、紅色框為凹槽缺陷、藍色框為劃痕缺陷。

在圖13中，（a）組檢測圖為軸承表面存在隱藏小目標場景，可以看出原模型未識別出軸承間的夾縫和軸承邊緣隱藏的小目標，而本文的改進模型則沒有出現隱藏小目標的漏檢。說明本文的改進策略Res2Block+COT和CA-BiFPN對隱藏小目標具有更高的敏感性。（b）組檢測圖為軸承表面存在淺顯小目標場景。淺顯的劃痕缺陷易受光強度的影響，原模型的檢測性能對外界因素的影響不具有魯棒性，而改進模型則將淺顯目標都識別出來，說明引入多注意力策略可以顯著增加模型對淺顯目標的關注度。（c）組檢測圖為缺陷目標重疊的場景，原模型在小區域內出現很多漏檢情況，而本文的改進模型則將漏檢的小目標都檢測出來，具有更強的檢測性能。通過對改進前后模型的檢測效果進行分析，本文提出的改進策略顯著提高了原模型對小目標的檢測性能，改進后的模型在隱藏目標場景、密集目標場景以及重疊目標場景具有更好的識別率和魯棒性。

圖13 模型檢測效果展示Fig.13 Model detection effect display

4 結論

針對深度學習模型在工業缺陷目標檢測中存在的不足，基于YOLOX算法，本文提出的多注意力特征加權融合算法，共涉及四點可行性的改進策略：（1）使用特征提取更細粒度的Res2Block模塊和自注意力模塊構建新的骨干特征提取網絡，增加模型對特征的表達能力；（2）提出坐標注意力加權的金字塔特征融合網絡，提高不同層間特征信息的利用率，增加邊緣目標和特征不明顯目標的細節信息；（3）利用Inception的并行結構改進檢測頭的高維特征串行傳輸模塊，提升模型的推理速度；（4）使用Focal Loss改進置信度損失函數，降低模型對背景無用信息的學習，提升目標的檢測率。

實驗結果表明，與原始YOLOX和目前一些主流算法相比，本文提出的改進算法檢測精度和實時檢測速度分別達到94.71%和73 frame/s。雖然改進策略有效提升了算法的精度，但是模型參數量增加了6.7 MB，檢測速度下降了8 frame/s。在未來的工作中，將繼續研究并不斷優化改進策略，使其能夠在最小化參數量的前提下，具備更優的識別率和實時性。