結合顯微視覺和注意力機制的毛羽檢測方法

唐嘉潞，楊鐘亮，張凇，毛新華，董慶奇

（1.東華大學 機械工程學院，上海 201620;2.曼徹斯特大學 科學與工程學院，英國 曼徹斯特 M139PL;3.北京中麗制機工程技術有限公司，北京 101111;4.浙江雙兔新材料有限公司，浙江 杭州 201620）

我國是世界第一的化纖生產大國，2020 年我國化纖產量為6 126.5 萬噸，同比增長4.1%，出口化纖產品總量466.06 萬噸，已成為國民經濟的重要支柱。化纖絲餅由絲束在卷繞機控制下繞紙筒卷裝形成[1]。毛羽是衡量化纖質量的重要指標之一，其成因通常包括機械原因造成的毛羽以及浮游毛羽[2]。過多的毛羽導致化纖質量下降，從而影響織物的強度、外觀光潔度、手感滑爽程度等。

絲餅出庫前的質檢主要通過工人使用手電筒照亮絲餅肉眼觀察，并根據瑕疵數量進行絲餅質量分級。目前，人工檢測存在一些問題：1)質檢員評價標準存在主觀差異，影響了檢測的準確率[3]；2)車間環境噪聲大、溫度和濕度高，不適宜工人長期工作[4]；3)檢測過程需要反復彎腰、蹲起、轉動手電筒，質檢員易產生疲勞，從而引起誤檢[5]；4)疫情導致勞動力成本不斷增加、招工難度進一步加大[6]。可見，在工業4.0 時代，人工檢測絲餅的方式難以滿足化纖生產企業智能制造的發展需求。因此，亟待一種更加智能、高效的瑕疵檢測方法,使得絲餅瑕疵在流水線中就能被快速、準確地識別，大幅提高生產效率，節省成本。

目前，毛羽智能檢測面臨以下兩個難點：1)細小的毛羽特征屬于微米級，普通相機很難抓取到毛羽圖像，易導致漏檢；2)毛羽和斷線不易分辨，易造成錯檢。針對以上問題，本文提出一種基于工業顯微相機的圖像獲取方法，以及結合注意力機制、特征融合和CenterNet 的毛羽目標檢測算法CenterNet-CBAM。通過與CenterNet、YOLOv4、Faster R-CNN、SSD 四種目標檢測算法的實驗結果相比，驗證了該方法在區分毛羽和斷線方面具有更好的效果。

1 相關工作

1.1 圖像處理的織物瑕疵檢測現狀

瑕疵檢測是滌綸絲餅生產過程中必不可少的環節。長期以來相關企業和科研機構針對傳統圖像識別方法進行了大量研究，取得了可觀的研究成果。但是基于圖像處理的瑕疵檢測方法仍存在以下問題：1)在對圖片進行預處理的過程中，由于圖片背景會隨著背景紋理的變化而發生改變，導致算法需要針對特定應用場景重新開發，系統通用性、魯棒性較差；2)在提取特征時，如紗線表面纖維的方向等[7]難以直接被觀察到的抽象變量，通常利用Gabor 濾波[8]、雙邊濾波[9]等方法進行處理，給開發過程帶來困難，進而對檢測的準確性產生影響；3)選擇圖片特征時，需要針對不同的瑕疵類型對圖片中的尺寸、形狀、紋理等多種缺陷特征進行人工提取，工作量較大[10]。

1.2 毛羽瑕疵目標檢測現狀

目標檢測的任務是找出圖像中所有需要被檢出的對象，確定其類別和位置。Ren 等[11]提出的two-stage 算法Faster R-CNN 是瑕疵檢測任務中的典型算法；車翔玖等[12]采用Faster R-CNN 調整區域推薦網絡在布匹瑕疵檢測中取得了良好效果。Redmon 等[13]提出分類和定位在一個步驟中完成的YOLO 算法；唐有赟等[14]將深度可分離卷積與YOLO 模型相結合，織物瑕疵識別準確率達到95.8%。布匹瑕疵與毛羽瑕疵相似，可以將Faster R-CNN和YOLO 應用到絲餅表面毛羽的檢測中。

絲餅表面瑕疵主要包括毛羽、油污、絆絲、成型不良等，而斷線是未捻入絲餅的絲束尾端，不屬于表面瑕疵。為了實現絲餅表面瑕疵的智能檢測，王澤霞等[15]利用最大池化層代替全連接層對AlexNet 網絡進行輕量化改進，檢測對象集中在油污等特征明顯的瑕疵上，未對微小的毛羽瑕疵進行檢測。針對這一問題，張君揚等[16]在SSD[17]中加入反卷積和特征融合對絲餅各類毛羽瑕疵檢測，但未區分毛羽和斷線。

1.3 顯微視覺

顯微視覺系統是借助顯微鏡或者顯微鏡頭構成的視覺系統[18]。經過顯微鏡頭放大后，顯微相機采集的圖像稱為顯微圖像。顯微鏡放大倍數高，采集圖像清晰，能夠有效觀察微觀結構，常應用于醫學[19]、IC 制造、微機電系統裝配等領域。在纖維檢測領域，路凱等[20]結合顯微視覺鑒別羊毛和羊絨，識別正確率為86%。

毛羽錨框尺寸小，且長寬差距大，通用的錨框尺寸不能適應，是典型的小目標檢測任務[21]。小目標檢測是目標檢測中的關鍵挑戰之一[22]。文獻[23]將低分辨率圖像反卷積至高分辨率，獲得了更多的細節；文獻[24]提出了視覺空間注意網絡VSA-Net，通過加入檢測目標所在環境提升小物體檢測準確率，增加上下文信息實現特征的補充；文獻[25]通過4 個尺度的特征層進行融合提升整體目標的檢測準確率，避免隨著網絡加深造成的細節特征丟失，增加淺層細節信息便于小物體檢測。2019 年，Zhou 等[26]提出的CenterNet 算法采用無先驗框的檢測方法，只負責預測物體的中心點，所以沒有尺寸限制，在抽雄期玉米雄蕊、糖尿病視網膜病變[27]等小物體檢測上展現優勢。通過CenterNet 檢測毛羽等小目標，可為化纖絲餅表面瑕疵檢測提供新的途徑。

1.4 注意力機制

經典卷積主要集中在空間局部特征提取上，未對全局及通道圖像信息進行篩選。為了在捕獲畫面中更重要特征信息的同時避免信息過載，提高任務處理的效率和準確性，許多國內外學者[28]利用神經網絡產生注意力，突出重點信息并弱化次要信息，逐漸在圖像領域成為研究熱點。

機器視覺中的注意力機制分為兩種，軟注意力機制和強注意力機制。其中，軟注意力機制通過神經網絡梯度計算得到注意力的權重，主要有兩種：一種是空間注意力機制，另外一種是通道注意力機制，以SE 模塊(squeeze-and-excitation module)[29]為代表。空間與通道注意力機制結合的CBAM(convolutional block attention module)，能夠提高網絡的學習效果。在熱軋鋼板表面缺陷檢測[30]和織物疵點檢測[25]中，嵌入CBAM 注意力機制能有效提升圖像分類的效果，經消融實驗顯示，加入CBAM 的ResNet50 網絡Top-1 Error 下降約2%。如果將CBAM 與目標檢測算法相結合，有望進一步提升毛羽瑕疵檢測的準確率。

2 本文方法

2.1 顯微視覺檢測平臺

2.1.1 視覺檢測系統設計

開發了表面缺陷檢測系統，將絲餅放置于流水線上，共分為5 個狀態，如圖1 所示。

圖1 圖像采集實驗平臺Fig.1 Image acquisition experimental platform

狀態1：絲餅在流水線上，處于待檢測狀態。

狀態2：絲餅進入檢測機構，激光傳感器檢測到絲餅，止動氣缸彈出。

狀態3：絲餅停在檢測位，底部電機旋轉，工業顯微相機開始檢測，絲桿在前后方向上進行調節，改變拍攝范圍，最終覆蓋絲餅表面。

狀態4：激光傳感器檢測到絲餅后，分流氣缸根據絲餅瑕疵檢測結果進行分流，分為A 等品和降等品。

狀態5：A 等品隨流水線進入包裝環節。

在特定角度提供光源照亮毛羽瑕疵，弱化絲餅表面反光對缺陷特征產生的影響，獲取如圖2所示特征亮、背景暗的圖片。下面將通過實驗確定最佳相機安裝位置及機器視覺光源配置。

圖2 被采圖像Fig.2 Acquired images

2.1.2 顯微相機

選擇焦距f=60 mm 的顯微鏡頭，畫面大小控制為可拍攝到瑕疵的最大畫幅。根據表1 所示鏡頭參數，表2 所示相機參數調節拍攝距離，改變拍攝視野。

表1 顯微鏡頭參數Table 1 Microscope lens parameters

表2 CMOS 相機參數Table 2 CMOS camera parameters

目標檢測過程中要求檢測的毛羽直徑為3 μ m，經燈光照射后特征放大，實際尺寸為30 μm。將最小檢測像素數Pmin設為2。水平和豎直方向的最大檢測尺寸如式（1）、（2）所示：

式中：Vh、Vv分別為水平視野和豎直視野，表示畫面所拍攝的尺寸；Rh、Rv分別為水平和垂直視野分辨率；P為像素。物距u和像距v的算法如式（3）、（4）所示，由此可知被檢瑕疵的物距為387.89 mm。

式中：f為焦距；Ch為COMS 設備的高度。電子、光學、顯示器放大倍率計算公式為

式中：Md為電子放大倍率，表示COMS 設備連接至15.6 寸顯示屏上成像后的放大倍率；Mo為光學放大倍率，表示芯片尺寸與視野尺寸的比值；Mm為顯示器放大倍率，表示被拍物體通過鏡頭和相機成像后顯示在顯示器上的放大倍數。

2.2 瑕疵檢測算法模型

2.2.1 瑕疵檢測算法框架

本文提出的CenterNet-CBAM 模型框架如圖3所示。斷線和毛羽的特征為中間粗，兩邊細，與CenterNet-CBAM 的熱力圖識別機制相對應，即中心點特征明顯，邊緣特征較弱。圖像傳入卷積網絡得到熱力圖，熱力圖峰值點即中心點，通過中心點和寬高預測，準確定位中心點位置和預測框的大小。

圖3 CenterNet-CBAM 模型框架Fig.3 CenterNet-CBAM framework

本文提出的CenterNet-CBAM 算法特點如下：

1) 無損圖像預處理。本次任務屬于小目標檢測，目標物體所占用的像素為2，原圖尺寸為1 920×1 080×3，經各項同性縮放生成與原圖近似的圖像1 920×1 088×3 輸入特征提取網絡，使圖片在卷積操作過程中能夠取整。

2)加入注意力機制和特征融合的卷積特征提取。使用Resnet50 特征提取網絡，通過5 次的卷積操作將圖片中的信息轉化為特征數組，為避免隨著網絡加深造成的細節特征丟失，將上采樣特征與下采樣特征融合，實現將底層的目標位置信息引入高層神經網絡結構。在conv1 的最大池化層后和Resnet50 特征提取網絡conv5 后引入CBAM 模塊。

3)加入NMS 的二次特征解碼。CenterNet 的非極大抑制選取特征點與其周圍的8 個點之間最大值，本次目標為線狀特征，容易產生多個中心點效果，如圖4 所示，后處理過程加入NMS，防止同一目標的復檢。

圖4 毛羽特征中心點預測結果Fig.4 Results of key-point heatmap of hairiness

2.2.2 瑕疵檢測算法流程

1）將尺寸為1 920×1 080×3 圖像輸入Resnet50網絡結構中，經過conv1 和conv2 的最大池化層，輸出作為特征圖F。

2）經通道注意力模塊，特征圖F經過平均池化(AvgPool)、最大池化(MaxPool)和激活函數相加接sigmoid 得到MC(F)，如式（5）所示：

3）將新特征圖F′′經conv2、conv3 得到240×136×512 的特征層；經conv4 得到120×68×1 024 的特征層；經conv5 得到60×34×2 048 的特征層；最后接入CBAM 模塊，計算過程如式（6）、（7）、（8）所示，輸出后特征尺寸保持不變。

4）利用初步特征獲得高分辨率特征圖，通過3 次反卷積進行上采樣，尺寸分別為120×68×256、240×136×128、480×272×64，分別與特征提取過程中的輸出特征F、F′、F′′進行特征融合。

5）從提取特征中獲取預測結果，這個特征層相當于將整個圖片劃分成480×272 個區域，每個區域存在一個特征點，如果某個物體的中心落在這個區域，那么就由這個特征點來確定。

6）利用特征層進行3 次卷積獲得熱力圖預測、中心點預測和寬高預測結果。

7）預測結果解碼，熱力圖預測，輸出尺寸為480×272×2，其中最后一維代表斷線和毛羽兩類瑕疵，預測是否有物體存在以及物體的種類；中心點預測結果為480×272×2，代表物體中心距離熱力點偏移的距離；寬高預測輸出結果為480×272×2，代表當前這個特征點對應的預測框的寬和高。

2.2.3 損失函數

損失計算分為3 個部分，最終損失值為

式中：Ldet為CenterNet 的損失函數；Lk為熱力圖損失；Lsize為寬、高損失；Loff為中心點偏移量損失；λsize和λoff為常數，分別為0.1 和1。

2.2.4 評價指標

本文采用精確度(precision)、召回率(recall)、AP 值和mAP 值作為模型的評價指標：

式中：P為精確度；R為召回率；TP 為正確檢測框；FP 為誤檢框；FN 為漏檢框；psmooth(R)為對P-R曲線進行平滑處理；dR表示用積分的方式計算平滑P-R曲線下方的面積；mAP 代表斷線和毛羽兩個類別的AP 均值。

3 毛羽瑕疵的顯微視覺檢測實驗

待檢測絲餅外徑為425 mm，內徑為140 mm，厚度為123 mm，絲束纏繞在紙筒上，產品材質為預取向絲，是拉伸絲和變形絲的基礎原料。表面光滑高亮，主體顏色為白色。由于毛羽、斷線瑕疵屬于高反光物體，對光源敏感，通過光源照射，被測產品瑕疵部分會產生高亮，與背景環境差異明顯。為避免拍攝環境中的雜光和倒影，搭建了全黑拍攝的圖像采集實驗平臺。

3.1 顯微視覺光源實驗

在控制其他條件不變情況下，對比不同光照下的產品照明效果，如圖5 所示。

圖5 光照強度對比Fig.5 Comparison of light intensity

經對比處理后的二值化圖像可以得出，產品在高亮燈光照射下拍攝效果更好，目標瑕疵更加清晰。當燈光過亮時，背景中形成亮點，導致圖像均勻性差。當燈光較弱時，瑕疵特征不明顯，不利于檢測。

對比不同顏色燈光對照射效果的影響，3 種色彩下調節RGB 通道閾值形成的二值化圖像差別不明顯。產品表面為白色，當使用彩色燈光照亮物體時，產品表面反射了所有的彩色光而呈現統一的顏色，瑕疵特征對色彩影響不敏感，由此可知光源波長對檢測效果產生影響不顯著，如圖6 所示。

圖6 光照色彩對比Fig.6 Comparison of lighting colors

對比兩種照明方式對成像效果的影響，明場照明需要用光源直接照射被測物，暗場照明則是通過被測物反射或者衍射的光線來觀測。光照的目的是提高對比度，突出目標對象，以便提取出其輪廓等物理特征。由于暗場入射光束有較大的傾斜角，當在黑暗的視野照明，即使很細的磨損也很容易識別，如圖7 所示。

圖7 照明方式對比Fig.7 Comparison of lightening mode

燈光數量對于瑕疵成像的影響，單向光照亮的毛羽范圍有限，毛羽特征連貫性差。加入垂直于切線的新燈光后，照亮范圍變大，毛羽整體更加連貫，邊緣更加明顯，如圖8 所示。

圖8 燈光數量對比Fig.8 Comparison of number of lights

通過不同角度下的打光效果對比，二值化圖像處理，發現光源在15°位置的照射效果最佳，如圖9 所示。

圖9 光照角度對比Fig.9 Comparison of lighting angles

結合上述實驗，組合出最佳的拍攝條件。在黑色背景下，結合兩個白色光源進行打光時成像效果最優。光源1 即白色LED 光源沿與絲餅表面夾角15°的方向打光，打光位置在顯微鏡正下方，照亮與絲線方向垂直的毛羽；側面的白色LED 光源2 照亮與絲線方向平行的毛羽，如圖10 所示。在這種情況下，被測絲餅成像輪廓更清晰，特征突出，對比度更高。

圖10 毛羽標簽圖像Fig.10 Hairiness image labeling

毛羽圖像經過人工標注，將瑕疵類別劃分為斷線、毛羽兩種，分類標準根據被檢瑕疵直徑確定。標注完畢后，選擇Pascal VOC 導出形式。

按照絲餅的瑕疵類型，將工業顯微相機采集的圖像進行篩選，除去失焦、過曝等成像不良的樣本，將最終的有效圖像劃分為3 種，分別為帶有斷線、毛羽和無瑕疵的圖像，合計1 614 張，如表3所示，選擇8∶1∶1 的訓練集、驗證集、測試集配比。

表3 采集圖像數量Table 3 Number of images acquired 張

3.2 算法對比實驗

實驗對比了CenterNet、YOLOv4、Faster R-CNN、SSD 四種網絡選出最優算法，均使用預訓練模型，訓練參數如表4 所示。

表4 4 種算法訓練參數Table 4 Training parameters of four algorithms

針對最優的CenterNet 進行優化，在Resnet50網絡中加入CBAM 模塊和特征融合。訓練參數如表5 所示。

表5 CenterNet-CBAM 訓練參數Table 5 CenterNet-CBAM training parameters

這些網絡模型均在Ubuntu(9.3.0)系統上進行訓練，使用GPU 加速。系統硬件為Intel(R) Core(TM) i5-10600KF CPU @ 4.10 GHz 和 32 GB RAM，NVIDIA GeForce RTX3090 24 GB。編程語言為 Python3.6，主要使用pytorch 平臺。

4 結果與討論

4.1 CenterNet-CBAM 識別結果

CenterNet-CBAM 的實驗結果如表6 所示，mAP 為92.95%，如圖11 所示。隨著召回率的提高，毛羽和斷線的準確率下降不明顯。

表6 CenterNet-CBAM 模型的識別結果Table 6 Identification results of CenterNet-CBAM %

圖11 CenterNet-CBAM 模型的識別結果Fig.11 Identification results of CenterNet-CBAM

4.2 CenterNet 的識別結果

CenterNet 的實驗結果如表7 所示。模型中斷線AP 值最高，為92.13%，毛羽特征識別準確率略低。準確率隨召回率下降速度慢，如圖12 所示。結合斷線和毛羽的特點，CenterNet 檢測目標選框的中間特征明顯，邊緣特征稀疏，取得了較好的識別效果。

表7 CenterNet 模型的識別結果Table 7 Identification results of CenterNet %

圖12 CenterNet 模型的識別結果Fig.12 Identification results of CenterNet

4.3 YOLOv4 識別結果

YOLOv4 實驗結果如表8 所示，毛羽召回率對準確率變化敏感，如圖13 所示。YOLO 采用了預定義候選區的方法，通過將圖片劃分為網格，在此實驗中難以完整地覆蓋整個畫面，在小目標識別的召回率上表現不佳。

表8 YOLOv4 模型的識別結果Table 8 Identification results of YOLOv4 %

圖13 YOLOv4 模型的識別結果Fig.13 Identification results of YOLOv4

4.4 Faster R-CNN 識別結果

Faster R-CNN 實驗結果如表9 所示，隨著召回率的上升，算法的精確率下降較快，召回率最大值為76.41%，如圖14 所示。此實驗中，該算法在特征提取完成后，目標特征圖高度抽象，特征信息較少。定位目標時使用固定目標框，對于毛羽、斷線這類形態不規則小物體效果不佳。

表9 Faster R-CNN 模型的識別結果Table 9 Identification results of Faster R-CNN %

圖14 Faster R-CNN 模型的識別結果Fig.14 Identification results of Faster R-CNN

4.5 SSD 識別結果

SSD 實驗結果如表10 所示，SSD 模型對斷線和毛羽的識別率較低，斷線的精確率隨著召回率的上升快速下降，如圖15 所示。需要人工設置預選框的最大值、最小值和寬高比值。而對于毛羽、斷線這類識別目標來說，比例和位置都有較強的隨機性。

圖15 SSD 模型的識別結果Fig.15 Identification results of SSD

表10 SSD 模型的識別結果Table 10 Identification results of SSD %

4.6 實驗結果討論

在被檢測的兩類目標中，斷線由于特征更加明顯，在準確率和召回率、AP 值上均優于毛羽，YOLOv4、Faster R-CNN 和SSD 算法目標檢測算法使用先驗框，即先在圖片上設定大量的先驗框，網絡的預測結果會對先驗框進行調整獲得預測框，受到被檢物體尺寸的限制，對小物體檢測效果不佳。CenterNet-CBAM 得到的瑕疵置信度和IOU 值都較高；CenterNet 中出現了部分目標未被檢出的情況；YOLOv4 對于毛羽瑕疵出現了錯檢的情況，部分毛羽被檢測為斷線；Faster R-CNN的識別結果出現了錯檢和復檢的情況；而SSD 的識別置信度較低，且有漏檢問題。綜合比較過后發現CenterNet-CBAM 算法識別效果最佳，如圖16所示。

圖16 不同算法毛羽檢測效果對比Fig.16 Detection effect comparison of different algorithms

在CenterNet-CBAM、CenterNet、YOLOv4、Faster R-CNN、SSD 五種算法中，mAP 值最高的是CenterNet-CBAM 算法，達92.95%，如圖17 所示。CenterNet 網絡中加入CBAM 后,加強提取任務相關的特征，抑制任務無關的特征，重新定義每個通道和空間特征的重要性，以較小的開銷達到提升網絡性能、提高模型識別率和加快模型收斂速度的效果。通過加入特征融合，強化了特征圖的細節信息，提高了小目標檢測能力。實驗結果表明，嵌入CBAM 注意力機制和特征融合的CenterNet 算法在準確率和召回率上有提升，相較于其他算法，本算法有更高的識別率，可以為化纖絲餅生產提供精準的檢測服務。

圖17 算法性能對比直方圖Fig.17 Algorithm performance comparison histogram

本文實驗也存在一定的局限性：1）單個相機的拍攝范圍有限，后期選用多相機陣列式組合可以提高采樣率；2）實驗后可以將毛羽進行進一步分類，通過更加精細的分類，有助于絲餅的分級工作，出現頻率較高的瑕疵類型歸因為設備故障，克服了傳統的人工檢測方式具有的滯后性，準確及時地根據缺陷類型來排除生產故障；3）后續研究將進一步更新模型，使用目標檢測中的非卷積算法ViT (vision transformer)等進行計算。

5 結束語

本文提出面向絲餅微小毛羽的檢測方法，通過搭建圖像采集平臺構建絲餅瑕疵數據集，使用放大鏡頭檢測微小物體特性，獲得新的絲餅瑕疵圖像。將注意力機制加入絲餅檢測算法當中，mAP 值達到92.95%，對比多種算法檢測結果后，驗證CenterNet-CBAM 在準確率、召回率上均有更好的表現，驗證了所提出的智能視覺檢測系統的有效性。