基于破壞學習的殘差網絡絲餅毛羽缺陷分類

張詩涵 景軍鋒 宋智偉

（西安工程大學，陜西西安，710600）

絲餅是為了方便化纖長絲的運輸、存放和包裝，將其有規律地纏繞在紙管上，形成餅狀物［1］。化學纖維以強度高、耐熱性好、耐輻射、彈性好等優勢廣泛應用于紡織行業以及其他領域［2?4］。在絲餅的制備過程中，由于機器纏繞的速度過高、張力不均勻等原因會形成各種各樣的缺陷［5］，其中毛羽缺陷最為常見。毛羽缺陷的存在嚴重影響絲餅的質量、外觀以及使用價值。毛羽缺陷按照形態可劃分為毛絲、毛圈和毛團3 種類型［6］，如圖1所示。不同類型的毛羽缺陷影響絲餅的質量評級，不同評級的絲餅影響后續成品的質量等級，因此針對絲餅表面存在的毛羽缺陷進行嚴格分類的任務是必不可少的。

圖1 毛羽缺陷圖片

在目前的化纖長絲制造企業中，對于絲餅表面毛羽的分類任務大多仍采用人工目視的方法。人工檢測一方面存在人為檢測效率低、主觀性強、易漏檢誤檢等問題；另一方面還可能對絲餅造成二次污染。近年來，隨著機器視覺和深度學習的快速發展［7］，采用視覺無損技術檢測絲餅表面缺陷的方法也逐漸出現。文獻［8］構建了一個具有特定結構的卷積核提取絲餅毛羽的特征，最終實現了對絲餅毛羽的定位和計數。該方法對于簡單的毛羽缺陷能夠實現很好的檢測效果，但是實際生產中的毛羽缺陷比較復雜，使用特定卷積核的魯棒性不強。文獻［9］使用改進的卷積神經網絡實現了絲餅表面的缺陷識別。使用深度學習的方法能夠很好地表現出絲餅的缺陷特征并實現較好的檢測結果。但該文獻針對的缺陷為絲餅表面的拌絲、成形不良和油污缺陷，這幾類缺陷之間的差異比較明顯，使得分類任務的難度并不大，對于絲餅毛羽缺陷的分類效果有待驗證。文獻［10］采用信息熵和能量的組合特征表征絲餅缺陷，最后使用閾值分割將缺陷和背景分離。該方法對于絲餅表面的壓痕、污漬等缺陷能夠實現較好的檢測效果，但不能實現絲餅毛羽缺陷的分類任務。

為解決絲餅毛羽缺陷的分類任務，本研究提出了一種基于破壞學習的殘差網絡絲餅毛羽缺陷分類方法。通過引入一種區域混亂機制將原圖進行破壞，使得卷積神經網絡必須更加專注于學習缺陷的局部細節特征；隨后提出一種對抗損失函數消除區域混亂機制引入的噪聲，使得網絡更具魯棒性；最后使用全局最大池化代替平均池化加強網絡的特征提取能力。試驗結果表明，經過破壞學習后的網絡性能有所提升，達到更高的分類精度，同時測試具有實時性，能夠滿足實際生產的需求。

1 絲餅毛羽圖像采集裝置設計

本研究所用絲餅圖像均來自生產線現場采集的圖片。由于毛羽缺陷絕大部分產生于表面，所以目前所需檢測的區域為絲餅的各表面，包括上表面、下表面和圓柱面。因化纖長絲的物理性質所致，絲餅表面光滑且高度反光，這導致絲餅毛羽缺陷無法與背景很好地區分開來，因此相機和光源的擺放位置會嚴重影響采集的圖片質量。經過調整相機和光源的擺放位置，得到最佳的光源和相機擺放位置為光源垂直于絲餅的表面打光，相機與光源垂直擺放采集絲餅表面圖像，采集裝置示意圖如圖2 所示。

圖2 采集裝置示意圖

從圖2 可以看出，在絲餅旋轉的過程中，1 號光源和1 號相機負責上表面的打光和采集，2 號光源和2 號相機負責圓柱面的打光和采集，下表面的操作方式與上表面相同。從圖2 還可以看出，采用這種光源和相機的位置組合方式拍攝得到的圖片缺陷與背景分離且清晰，不需要再對圖片進行過多的預處理操作［11］。

由于毛羽缺陷部分占整張圖片的比例小，且整張圖片的分辨率太大，所以需要對采集到的原圖進行感興趣區域（ROI）提取。設置圖像尺寸大小為256 pixel×256 pixel 能夠很好地展示毛羽缺陷，使一張圖片中僅包含一類缺陷，且該尺寸大小和神經網絡輸入尺寸相近，使神經網絡能直接提取到毛羽缺陷的特征信息。

2 絲餅毛羽分類算法

2.1 網絡結構

殘差網絡在加深網絡提取更豐富特征的同時解決了網絡退化問題。本研究以殘差網絡ResNet50［12］為骨干網絡進行改進，整體網絡結構如圖3 所示。網絡同時將絲餅原圖和通過區域混亂機制破壞后的圖片送入網絡中進行訓練，通過4 個Bottleneck 結構塊提取特征信息，圖4 展示了第一個Bottleneck 中的一個Block 的具體結構。在經過最后一個Bottleneck 結構塊后采用全局最大池化代替ResNet50 網絡中的平均池化［13］。平均池化考慮整張圖片的信息，對所有特征值求平均，而毛羽缺陷相對于整張圖片較小，使用平均池化會弱化絲餅的局部特征。而全局最大池化輸出整個特征圖的最大值，保留最顯著的特征，更適合絲餅毛羽的識別。分類網絡負責識別原圖和破壞圖像所屬的類別，由于通過區域混亂機制破壞圖像后會不可避免的引入噪聲，提出一種對抗損失函數消除噪聲對分類網絡的影響。最后通過最小化分類損失函數和對抗損失函數優化網絡結構，使網絡達到更好的分類效果。

圖3 絲餅毛羽分類網絡框架

圖4 Block 結構圖

2.2 區域混亂機制

由于絲餅表面缺陷在全局結構下類別之間差異較小，甚至人眼都不能準確分類。在使用神經網絡處理自然語言時，通過在句子中打亂單詞的順序可以讓神經網絡專注于區分有判別性的單詞，忽略不相關的單詞［14］。將這種思想應用于絲餅圖像上，如果將圖片的整體結構破壞，神經網絡不得不關注圖片的局部細節區域，從具有判別性的區域識別圖像類別。

本研究受到CHEN Y 等人［15］的啟發，提出一種在二維鄰域將圖片隨機打亂成局部區域的區域混亂機制。區域混亂機制示例如圖5 所示。 從圖5 可以看出，對于輸入圖片I，首先將圖像均勻地劃分為N×N個子區域，每個子區域用Ri，j表示，i和j分別為行列參數，其中1≤i，j≤N。對于第j列的圖像塊Ri，生成一個在范圍（-k，k）內隨機選擇的隨機向量a，其中k為定義鄰域范圍的可調參數（1≤k＜N），通過上述操作后第j列新排列的塊為Si=Ri+a。對于第i行的塊Rj，采用相同的操作處理，得到新的N×N個子區域Si，j。這種打亂方式既能夠破壞全局結構，又能夠使破壞在一個可控范圍內進行。

圖5 區域混亂機制示例

2.3 損失函數

在網絡的整體框架中，損失函數由分類損失函數和對抗損失函數兩部分組成。這兩種損失函數以端到端的方式共同促進破壞學習，使其中只有有區別的局部細節被增強，無關的噪聲信息被過濾掉。損失函數的構成如式（1）所示。式中，Lc和Ld分別表示分類損失函數和對抗損失函數。

2.3.1 分類損失

本研究使用有監督的方法，網絡訓練的輸入分別為原始圖片I，破壞后的圖片P（I）和圖片對應的標簽l。分類網絡將輸入圖像映射成概率分布向量G（I，θc），其中θc是分類網絡中所有可學習的參數。分類損失函數構成如式（2）所示。式中，M為訓練所用數據集。

由于全局結構已經被區域混亂機制破壞，因此網絡必須要找到類別之間存在細小差異的區域才能識別這些破壞后的圖片。

2.3.2 對抗損失

使用區域混亂機制破壞圖像并不一定總能為分類任務帶來有益信息，以圖5 為例，在隨機打亂局部區域時，區域混亂機制同時也引入了噪聲視覺模式。網絡從噪聲視覺模式中學習到的特征對分類任務是有害的。因此，提出了另外一個對抗損失函數Ld消除區域混亂機制帶來的噪聲信息。首先給每一張圖片貼上一個標簽向量d∈{0，1}2表示圖像是否被破壞，然后通過在網絡中新添加一個鑒別器來判斷圖像是否被破壞，鑒別器D公式如式（3）所示。

3 試驗結果與分析

本試驗所用計算機操作系統為Windows10，內存為64 GB，處理器為Intel（R）Core（TM）i7?5930K CPU（3.50 GHz），顯卡型號為NVIDIA GeForce GTX TITAN X，顯存大小為16 GB，采用Pytorch 深度學習開源框架進行網絡的構建和訓練。

3.1 數據集構建

根據相機實際拍攝過程中得到的圖片，專業檢測人員對所得圖片進行細致的分類工作，將數據集分為毛絲、毛圈、毛團、線頭、絲餅表面和螺旋紋共6 類，數據集中每種類別的代表圖片如圖6 所示。毛絲是纏繞過程中纖維斷裂在表面形成的一根單絲；毛圈是一根單絲的兩端嵌入在絲餅表面上形成的環狀缺陷；毛團是毛絲和毛圈組合而成的一種復雜混和缺陷；線頭是一股毛絲聚集而成的毛絲束；絲餅表面為相機拍攝的正常絲餅表面圖片；螺旋紋是絲餅纏繞過程中在表面形成的正常紋路。在這6 類圖片中，絲餅表面和螺旋紋這兩類圖片不屬于缺陷，通過將這兩類相機實際拍攝到的圖片加入到網絡中訓練，讓網絡能學習到更加精確的缺陷特征，減少誤檢和漏檢。

圖6 數據集構建

本試驗所構建的數據集總圖片數量為43 433張，其中毛絲圖片數量為11 245 張，毛圈圖片數量為11 012 張，毛團圖片數量為3 691 張，線頭圖片數量為4 897 張，絲餅表面和螺旋紋圖片分別為1 697 和10 891 張。網絡訓練按照9∶1 的比例劃分訓練集和驗證集，訓練集數量為39 039 張，驗證集數量為4 394 張。模型訓練完成后另設置測試集1 200 張圖片，每類圖片數量為200 張。

3.2 試驗結果與性能對比

由于引入區域混亂機制需要將圖片進行分塊處理，因此需要設置分塊的數量N，且分塊數量N需要被輸入圖片的大小整除。輸入圖片的尺寸為256 pixel×256 pixel，分別設置分塊數量為2、4、8進行試驗。試驗結果：當N=2 時，分類精度94.4%；當N=4 時，分類精度95.0%；當N=8時，分類精度94.5%。結果表明：N=4 時分類精度最高，為95.0%，因此選擇分塊的數量為4。

表1 為本研究方法在每類圖像中的分類準確率。從表1 可以看出，絲餅表面、螺旋紋和線頭這3 類圖片的分類準確率較高，達到98.0%以上，毛絲和毛圈這兩類圖片的分類準確率達到95.0%以上，分析原因為這幾類圖片特征之間的差異較大，每類圖片都有其獨特的特征，因此網絡能夠很好地完成分類。毛團的分類準確率較低，僅為83.5%。分析原因為實際生產過程中毛團出現概率較低，因此毛團訓練的圖片數量少，同時毛團的特征復雜并且與其他類型的缺陷相似度高，導致網絡無法很好地識別該類圖片。

表1 各類圖片測試分類準確率

圖7 展示了毛羽分類的混淆矩陣。從圖7 可以直觀地反映網絡的預測結果與真實標簽之間的差異。

圖7 混淆矩陣

表2 為本研究方法和其他方法對絲餅毛羽分類識別準確率的性能對比。

表2 絲餅毛羽分類模型準確率性能對比

Paddle 為百度開發的一種新的深度學習框架［16］，簡化了深度學習過程中繁雜的步驟，能輕松實現從數據集構建到模型訓練再到結果預測這一過程，絲餅毛羽缺陷在該框架下的分類準確率為91.4%。LI P 等人［17］使用一個二階甚至高階的統計方法來代替一階的全局平均池化，并將這種分類方法命名為Fast?MPN，本研究選擇該方法下的兩個經典分類骨干網絡進行測試，最終分類準確率為93.0%、92.5%。ZHOU M 等人［18］提出觀察對象的整體框架（LIO）學習結構信息來增強對物體的識別，使用該方法達到的分類準確率為94.1%。YANG Z 等人［19］提出了一種新穎的無需更多標注細節的自監督訓練機制，并把在這種方式下訓練出來的模型稱為NTS?Net，該方法最終實現90.5%的分類準確率。本研究選擇兩個經典分類骨干網絡進行評估，試驗結果表明，使用ResNet50 骨干網絡效果優于VGG16 的分類效果，最終選擇ResNet50 作為模型骨干。本研究在網絡最后一層卷積層后使用全局最大池化代替ResNet50 原網絡中的平均池化，試驗結果表明，使用全局最大池化后網絡的分類準確率（95.0%）高于平均池化的分類準確率（94.2%），這說明全局最大池化能更好地提取絲餅毛羽缺陷中更具判別性的特征，更加適合絲餅的毛羽分類任務。

不同模型訓練過程中分類準確率曲線展示如圖8 所示。

圖8 模型訓練分類準確率曲線對比

從圖8 可以看出，本研究所采用的方法在網絡進行一次迭代訓練后，模型就已經有較高的準確率，說明網絡能夠很好地提取到每類圖片的關鍵特征信息。隨著迭代次數的增加，模型的準確率較快趨于穩定，最終實現相對最好的識別準確率。

由于本研究所使用的方法在訓練過程不需要額外的標注信息，因此在預測階段沒有額外的計算量，經測試，本研究方法在測試階段平均每張圖片測試時間為30 ms，可滿足工業實時檢測的需求。

4 結束語

本研究使用一種破壞學習的卷積神經網絡方法實現對絲餅毛羽缺陷的分類工作。首先根據真實采集到的絲餅表面圖像進行數據集的構建。其次提出一種區域混亂機制破壞圖像的整體結構，使分類網絡更加注意圖片的局部細節，通過提出的對抗損失函數消除區域混亂機制引入的噪聲信息。同時使用全局最大池化代替分類原網絡中的平均池化，使分類網絡針對絲餅毛羽缺陷達到更高的分類精度。試驗結果表明，本研究提出的方法對絲餅毛羽圖像的識別平均準確率達到95.0%，平均每張圖片的測試時間為30 ms，可滿足工業生產中的精度和實時性要求。但本研究方法針對毛團這類圖片的分類準確率較低，之后的工作會重點針對毛團這類缺陷進行改進，提高此類圖片的分類準確率。