基于MTF-gcForest的帶鋼表面缺陷分類方法研究

馬文杰 王杰

摘要：針對帶鋼表面缺陷位置分布不均、類型復雜多樣的特點，為保證特征提取的維度豐富性與識別準確率，提出一種基于多紋理特征融合與gcForest集成學習相結合的帶鋼缺陷識別方法MTF-gcForest。首先提取帶鋼表面的灰度共生矩陣、局部二值模式、灰度游程矩陣特征，以充分挖掘帶鋼表面的紋理信息。然后，將歸一化處理后的特征進行融合，最后用gcForest分類器進行分類。實驗比較了單紋理特征和多紋理特征的性能表現，以及多種分類器的分類精度。實驗結果表明：基于MTF-gcForest方法的平均準確率達到97.22%，優于其他帶鋼表面缺陷檢測算法，具有較強的推廣意義。

關鍵詞：帶鋼；缺陷檢測；紋理特征；灰度共生矩陣；灰度游程矩陣；局部二值模式；gcForest

中圖分類號：TH13 ；TG316.1+92 文獻標志碼：A doi：10.3969/j.issn.1006-0316.2024.02.002

文章編號：1006-0316 （2024） 02-0007-07

Study On Surface Defect Classification Method forStripSteelBased on MTF-gcForest

MA Wenjie，WANG Jie

（ School of Mechanical Engineering， Sichuan University， Chengdu 610065，?China?）

Abstract：Aiming at the uneven distribution and complexity of strip steel surface defects， this paper proposes a strip defect classification method known?as?MTF-gcForest （Multi-Texture Fusion-gcForest） to ensure the dimensional richness and recognition accuracy of feature extraction. Firstly， the gray-level co-occurrence matrix （GLCM）， local binary patterns （LBP）， and gray-level run-length matrix （GLRLM） of the strip surface are extracted to fully excavate the texture information of the strip surface. Then， the features are normalized， fused， and finally classified with the gcForest classifier. The experiment compares the performance of single-texture feature and multi-texture feature and evaluates the classification accuracy of various classifiers. The experimental results show that the average accuracy rate based on the MTF-gcForest method reaches 97.22%， which is better than other strip surface defect detection algorithms with significant potential for widespread application.

Key words：strip steel；defect detection；texture feature；GLCM；GLRLM；LBP；gcForest

帶鋼是一種長而窄的卷狀扁平鋼材，在機械制造、航空航天、化工生產等領域有著廣泛應用。受限于原材料和加工工藝等因素，在生產過程中帶鋼表面會產生不同程度的缺陷，主要包括開裂、點蝕、表面裂紋等。這些缺陷不僅影響產品外觀，同時會降低帶鋼的耐腐蝕性、耐磨性、抗疲勞性等諸多性質。為控制帶鋼的表面質量，帶鋼行業先后發展出了人工檢測、渦流檢測、紅外檢測、漏磁檢測等檢測方式^[1-3]。

近年來，隨著機器視覺技術的高速發展，各種高效率的新型表面缺陷分類與識別算法大量涌現^[4]。周青山^[5]研究了GLCM（Gray-Level Co-occurrence Matrix，灰度共生矩陣）和HOG（Histogram of Oriented Gradient，方向梯度直方圖）在帶鋼缺陷分類上的應用，準確率分別為81.93%和88.83%。劉啟浪等^[6]從多尺度提取帶鋼的LBP（Local Binary Patterns，局部二值模式）傅里葉變換特征，利用SVM（Support Vector Machine，支持向量機）進行缺陷分類。王粟等^[7]提出一種引入高斯差分空間的改進多尺度LBP分類方法，分類精度達到95.7%。Zhou等^[8]提出一種混合數據驅動方法對鋼絲繩的缺陷進行分類，通過提取u-LBP和GLCM特征進行融合后降維，利用優化后的SVM進行分類，獲得比普通數據驅動方法更高的精度。王楊等^[9]利用MobileNet-V3和DenseNet神經網絡模型做電樞缺陷檢測，獲得了較好的檢測效果。楊婉琪^[10]針對帶鋼設計了十層的卷積神經網絡，分類精度達到94.89%。

基于深度學習的算法建模過程復雜，需要大量已標注樣本進行訓練，同時訓練過程還伴隨著參數調試繁瑣、計算開銷較大的問題^[11]。相較之下，基于紋理特征的數據計算相對簡單。但由于帶鋼表面缺陷情況復雜、各缺陷之間差異性較大，如果只提取單特征則有很大概率不能充分挖掘出圖像的特征。劉啟浪等^[6]和王粟等^[7]從多個尺度提取了LBP特征，但本質上仍然只提取了一個特征。Zhou等^[8]通過多特征融合和對鋼絲繩進行分類，但鋼絲繩的缺陷僅有兩類，而本文帶鋼缺陷有六類，且形態各異，故本文在Zhou等^[8]提取LBP、GLCM特征的基礎上，加入GLRLM（Gray-Level Run- Length Matrix，灰度游程矩陣）特征。GLRLM記錄了GLCM所忽略的像素間的游程長度信息，可作為對GLCM的有益補充，使提取的特征更加豐富。實驗證明通過該方法能獲得較高的準確率。同時，因各類缺陷復雜度不同，為避免參數冗余，本文將gcForest（多粒度級聯森林）^[12]作為分類器。該分類器具有計算開銷小、超參數少、模型復雜度可自適應伸縮的特點。經過試驗比較，該分類器較其他分類器有著更好的分類效果，滿足帶鋼缺陷分類要求。

由此，針對帶鋼缺陷分類問題，本文提出一種基于多紋理特征融合與集成學習gcForest相結合的帶鋼表面缺陷分類方法。該方法從圖像表面提取了LBP、GLCM、GLRLM三種特征進行融合，同時引入gcForest分類算法進行分類，在帶鋼表面缺陷分類問題中表現出了較高的準確率，對實際生產具有指導作用。

1??MTF-gcForest方法

1.1 特征提取

1.1.1??LBP

LBP由Ojala等^[13]提出，是一種兼具旋轉不變性和灰度不變性的局部紋理特征提取算子。原始的LBP算子以中間像素為閾值，對該像素的3×3領域進行二值化，產生一個8位二進制數，以此作為該像素的編碼。后來Ojala等^[13]將LBP算子的鄰域擴展到了任意鄰域，并以圓形鄰域代替了正方形鄰域。如圖1所示，取LBP算子的半徑為1，得到該像素的編碼為：00110110。實際帶鋼表面LBP特征提取結果如圖2所示。

1.1.2??GLCM

GLCM由Haralick等^[14]提出，反映了圖像灰度關于方向、相鄰間隔、變化幅度的綜合信息。定義為從灰度為i的像素點出發，與之間隔d、方向的灰度為j的像素點的數量或概率。計算為：

（1）

式中：G為最終的數量或概率；P為頻率；L為灰階數。

由于GLCM不能直接提供紋理特性，因此需要計算它的紋理統計屬性，常見的統計屬性共14種，本次實驗提取了其中常用的6種，分別計算為：

對比度＝?????????????（2）

相異性＝?????????????（3）

同質性＝?????????????（4）

角二階矩＝????????????????（5）

能量＝??????????? （6）

相關性＝?????（7）

式中：為頻率形式的GLCM矩陣；和分別為橫向和縱向灰度級的平均值，和分別為橫向和縱向灰度級的標準差。

本次實驗分別取0°、45°、90°、135°，d取1，共得到24維特征向量。GLCM的提取結果如圖3所示。

1.1.3??GLRLM

GLRLM定義為從灰度值為i的像素點出發，在方向，與其連續相鄰數為j的像素點的數量或概率，用表示。和GLCM類似，GLRLM也需要計算統計屬性。實驗中，分別取0°、45°、90°、135°，共得到11維特征向量。

1.2??gcForest

gcForest是周志華等^[12]提出的基于決策樹的集成方法，其包括了多粒度掃描和級聯結構兩個部分。

1.2.1 多粒度掃描

多粒度掃描首先對輸入的原始特征利用滑動窗口進行采樣，然后將得到的特征子樣本向量分別用隨機森林和完全隨機森林進行訓練，得到概率向量，最后將向量進行拼接作為輸出。過程如圖4所示，得到：

（8）

式中：S為特征向量個數；P為輸入向量維度；K為滑動窗口維度；為滑動步長。

每個森林輸出C維類向量，拼接后的輸出結果為2×S×C維向量。

1.2.2 級聯結構

多粒度掃描得到的特征向量，通過級聯森林處理后進行預測。

如圖5所示，級聯森林的層數由模型自適應調節，每一層都包含多個不同的隨機森林和完全隨機森林，它們會將每棵決策樹輸出的預測概率進行平均，多個森林的輸出結果構成類分布向量，并與原始的特征向量進行拼接作為該層輸出。每一層的輸出將會在驗證集上進行驗證，如果預測效果較前一層沒有明顯提升，則訓練過程終止。

1.3??MTF-gcForest

綜合以上描述，本文先提取帶鋼表面的LBP、GLCM、GLRLM特征，使其紋理信息得到充分挖掘，這些特征在歸一化后采用向量拼接方式進行融合。同時利用gcForest作為分類器進行分類，此即構成了MTF-gcForest（Multi- Texture Fusion-gcForest，多紋理融合多粒度級聯森林）帶鋼缺陷分類方法。本方法的流程圖如圖6所示。

2 實驗結果與分析

為測試MTF-gcForest方法的有效性，本文實驗選取NEU-CLS數據集^[15]進行驗證。該數據集共有1800幅圖像，如圖7所示，包含了六類常見的帶鋼表面缺陷，每類缺陷包含300幅圖像，圖像大小為200×200。

由于該數據集樣本量較小，為增加訓練的數據量、提高模型的泛化能力及魯棒性，本文對圖像進行了數據增強。增強后共得到14?400張圖像。

該實驗代碼用Python 3.7編寫，測試環境為Windows?10系統，Intel CPU i5 7300HQ，主頻2.50?GHz，內存16?GB。

首先，將增強后的數據集按照7：3的比例劃分為訓練集和測試集，分別提取數據的LBP、GLCM和GLRLM特征。然后將這些特征分別采取單獨、兩兩融合、全部融合的方式進行分類，前兩種的分類器為SVM和gcForest，第三種則以多個分類器進行比較測試。

實驗結果如表1所示，可以得出：

（1）隨著紋理特征的增多，各特征的分類準確率都獲得了不同程度的增強。全部融合的準確率優于兩兩融合的準確率，優于單特征的準確率。

（2）從單特征和雙特征分類的比較中可以看出，gcForest的準確率優于SVM。在三特征融合的比較中，gcForest較其他分類器取得了更高的分類精度。

由此可以得到如下結論：

（1）多特征融合的方法能充分挖掘帶鋼表面的紋理特征，準確率比單特征方法更高。

（2）gcForest較其他分類器有著顯著的優勢，更適合用于帶鋼缺陷分類任務。

在gcForest分類器中，采用了3個滑動窗口，掃描過程中隨機森林和完全隨機森林的個數分別均為500個。在級聯結構中，每個森林包含100棵樹，訓練自動終止于第4層，訓練時間110.69?s，測試時間1.853?s。

MTF-gcForest方法實驗結果如圖8所示。可以看出，在內含物和劃痕兩類中錯誤分類現象較多，這是由于數據集中有兩類缺陷共同存在的現象，如圖9所示。在排除這部分缺陷后，準確度獲得了進一步提升。

3 結論

本文提出了一種基于多紋理特征融合與集成學習gcForest相結合的帶鋼表面缺陷檢測方式，旨在提高帶鋼表面缺陷檢測的準確率。實驗結果表明，MTF-gcForest方法能充分挖掘帶鋼表面的缺陷特征，相較于單一特征提取方式與SVM分類方法擁有更高的準確率，分類精度達到了97.22%，具有廣泛的應用前景

參考文獻：

[1]趙亞飛. 基于渦流技術的鋼板表面缺陷檢測系統研究[D]. 沈陽：沈陽工業大學，2017.

[2]陳大鵬，毛宏霞，肖志河. 紅外熱成像無損檢測技術現狀及發展[J]. 計算機測量與控制，2016，24（4）：1-6.

[3]宋瑞祥. 冷軋板的生產和最新檢測系統[R]. 上海：上海寶鋼集團公司鋼研所科技信息中心，1995：21-26.

[4]鄭梁，劉桂然，朱孝晗. 多通道一維殘差卷積神經網絡在風力發電機組軸承故障智能診斷中的應用[J]. 機械，2023（3）：1-7.

[5]周青山. 面向帶鋼表面缺陷圖像的特征提取算法研究[D]. 武漢：華中科技大學，2016.

[6]劉啟浪，湯勃，孔建益，等. 基于多尺度LBP特征的帶鋼表面缺陷圖像SVM分類[J]. 組合機床與自動化加工技術，2020（12）：27-30.

[7]王粟，李庚，曾亮. 高斯差分空間的多尺度改進CLBP對帶鋼表面缺陷的分類[J]. 華僑大學學報（自然科學版），2020，41（4）：534-540.

[8]ZHOU P，ZHOU G，LI Y，et al.?A Hybrid Data-Driven Method for Wire Rope Surface Defect Detection[J]. IEEE Sensors Journal，2020（20）：8297-8306.

[9]王楊，王杰，劉劍歌，等. 基于機器視覺的電樞缺陷檢測系統[J]. 組合機床與自動化加工技術，2021（4）：116-120.

[10]楊婉琪. 基于卷積神經網絡的帶鋼表面缺陷圖像分類算法研究與實現[D]. 武漢：華中科技大學，2019.

[11]葉之騫，鐘紫鵬，鄧永聰，等. 基于Mixup數據增強的CNN-GRU深度學習電火花線切割放電狀態識別[J]. 機械，2023，（9）：8-15.

[12]ZHOU Z H，FENG，J. Deep forest： towards an alternative to deep neural networks[C]. IJCAI International Joint Conference on Artificial Intelligence，2017：3553-3559.

[13]OJALA T，PIETIK?INEN M，HARWOOD D. A comparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition，1996，29（1）：51-59.

[14]HARALICK，ROBERT M，SHANMUGAM，et al. Textural Features for Image Classification[J]. Systems， Man and Cybernetics，IEEE Transactions，1973（1）：610-621.

[15]K. SONG，Y. YAN.?A noise robust method based on completed local binary patterns for hot-rolled steel strip surface defects[J].?Applied Surface Science，2013（285）：858-864.

[16]Schonlau M，Zou?RY. The random forest algorithm for statistical learning[J]. Stata Journal，2020（3）：3-29.

[17]T. CHEN，C. GUESTRIN. Xgboost： A scalable tree boosting system[C]. In?Proceedings of the 22NdACM SIGKDD International Conference on Knowledge Discovery and Data Mining，ACM，2016：785-794.

[18]ANNA VERONIKA DOROGUSH，VASILY ERSHOV，ANDREY GULIN. CatBoost： gradient boosting with categorical features support[C]. Workshop on ML Systems at NIPS 2017，2017.

[19]GUOLIN KE，QI MENG，THOMAS FINLEY，et al.?LightGBM： A Highly Efficient Gradient Boosting Decision Tree[C]. Advances in Neural Information Processing Systems 30 （NIPS 2017），2017：3149-3157.