基于認知視覺的鋼材表面缺陷識別方法與系統研究

李伯釗，徐同明，周 力，馮煥虎

（浪潮通用軟件有限公司，濟南 250101）

0 引言

近年來，我國鋼鐵行業發展取得重大成就，今年是“十四五”開局之年，作為國民經濟的中流砥柱，鋼鐵行業發展同時面臨機遇和挑戰，尤其是如何追求高質量的發展。在鋼材生產過程中，由于工藝限制，鋼材表面難免會出現諸如裂痕、摻雜和斑塊等各類缺陷[1]。進行合理的質檢措施可盡早識別鋼材表面缺陷，及早返工返修，保證鋼材總體強度、抗腐蝕性和沖擊韌性等性能達標。傳統質檢措施工作量大，風險高，易出錯，而與之相對的智能質檢，主要通過機器視覺的方式進行。此過程降低了人力成本和勞動強度，全面優化了鋼材表面質檢效率。

因此，研究人員基于制造業場景的表面缺陷檢測進行了大量研究[2]，常用的方法有傳統圖像識別和機器學習兩種方式。二者的共性都是使用機器視覺技術對圖像進行采集，不同之處在于前者主要是使用微分，差分和濾波等算子進行一系列的數字圖像處理，最終得到識別結果[3，4]。而后者主要洞察大量圖像數據規律，通過機器學習訓練模型，再調用模型進行識別。傳統圖像識別方法專注于特征提取，將算法成功應用于表面缺陷識別中，且取得了較大成效，但也面臨著識別準確率，速度和抗干擾能力等不足的現狀。隨著人工智能的蓬勃發展，機器學習逐漸成為表面缺陷識別的主流方法。機器學習是人工智能領域的重要分支，圍繞神經網絡開展具體計算，而深度學習是以深度神經網絡為代表的特征提取方法[5]。深度學習的迭代訓練過程受模型結構和訓練參數的影響，訓練后將模型以權重知識的形式進行存儲，完成后續識別任務。與傳統機器學習相比，深度學習具備更高的學習表征能力。文獻[6]建立了卷積神經網絡模型，以進行帶鋼表面缺陷識別任務，并針對抑制模型過擬合展開研究；文獻[7]在InceptionV3的基礎上通過遷移學習，進行了熱軋鋼板表面缺陷識別工作，同時研究了訓練批次對識別準確率的影響；文獻[8]使用抗噪聲的超球體支持向量機分類模型進行鋼板表面缺陷識別，具備性能較高的效果；文獻[9]針對輪胎缺陷識別工作，建立了一種新型深度卷積稀疏編碼網絡，采用無監督訓練方式，降低了人工標注主觀性，提高了識別準確率；文獻[10]提出了一種改進的GoogLeNet算法，應用于鋅渣識別場景中，并與其他深度神經網絡模型進行了對比。以上文獻的思路均將深度學習成功應用于制造業表面缺陷識別中，且達到了較高的識別準確率。

綜合上述研究現狀，本文將基于認知視覺和遷移學習，研究更為準確、高速的端到端鋼材表面缺陷識別方法和視覺系統。首先建立鋼材表面缺陷識別數據集，并進行一系列預處理措施，其次設計應用遷移學習的鋼材表面缺陷識別方法，然后進行鋼材表面缺陷識別實驗與對比分析，最后設計云邊端協同的鋼材表面缺陷識別認知視覺系統，以驗證本文的研究內容在鋼材表面缺陷識別領域中的優勢。

1 鋼材表面缺陷數據集及預處理

鋼材表面缺陷識別數據集的建立是精準識別的前提，本文采用東北大學的NEU surface defect database（以下簡稱NEU）數據集[11]，整套數據集共有1800張圖像，涵蓋了六種缺陷類別，分別是裂紋（Crazing，Cr），摻雜（Inclusion，In），斑塊（Paches，Pa），表面麻點（Pitted Surface，PS），壓入氧化鐵皮（Rolled-in Scale，RS）和劃痕（Scratches，Sc），每種類別有300張圖像，圖像尺寸均為200×200像素，數據集樣本示例如圖1所示。本數據集的主要特點是不同類之間的缺陷特征存在相似性，即使是同類別，也有若干差異，因此，需在數據集預處理，深度神經網絡模型建立和模型訓練等環節進行優化改進，以提高識別效率和準確度。

圖1 鋼材表面缺陷數據集樣本

當在小數據集圖像上進行識別任務時，往往會出現過擬合的現象。即所訓練模型有較大概率會使用不相關的特征來進行預測。一個模型能否實用，取決于其針對關鍵特征的學習能力。數據集增強策略等預處理措施對提升模型準確率，泛化能力，降低損失和抑制過擬合等方面具備一定的促進作用。本文采用了剪切強度為0.2的逆時針剪切變換，幅度為0.2的隨機縮放，比例為0.2的水平和豎直偏移，隨機水平翻轉等數據集增強策略。這些數據集增強策略既可對數據集進行衍生擴充，又可弱化不相關的特征，為后續深度神經網絡模型訓練奠定基礎。

2 鋼材表面缺陷識別方法

2.1 深度神經網絡及遷移學習

深度神經網絡（Deep Neural Network，DNN）是多層人工神經網絡的有機組合，至少具備一層隱藏神經網絡[12]。與淺層次的神經網絡相比，其抽象程度更高，特征提取過程無需人工干預，由底層到高層進行表示學習，并在計算機視覺，自然語言處理，缺陷檢測和語音識別等深度學習領域具備重要意義。深度神經網絡分類廣泛，變體眾多，而其中的卷積神經網絡（Convolutional Neural Networks，CNN）較為典型，廣泛應用于圖像檢測識別任務中[13]，即使是在小數據集場合也具備較好的泛化能力，且無需過多的手工特征工程。其卷積過程運算式可簡單表示為：

式(1)中，f為激活函數，Ry為特征映射區域，l為層數，vi-1x為前一層的輸入，wlxy為卷積過程中的卷積核，x和y分別為卷積核的長度和寬度，bly為偏移量，vly為當前層的特征圖輸出向量。通常，CNN模型的建立過程遵循如下步驟[14]：1）卷積層（Convolutional Layer）初步提取圖像特征。2）池化層（Pooling Layer）進一步提取圖像關鍵特征。3）全連接層（Dense Layer）匯總卷積層和池化層提取到的所有特征。

4）輸出分類器以進行識別任務。

雖然CNN可應用于圖像識別任務，但是由于制造業領域數據集存在獲取困難，特征不明顯等自身特殊性，以及訓練過程對計算能力需求大等因素，直接使用CNN進行鋼材表面缺陷識別將具備一定難度。而遷移學習[15]正適宜解決此類問題，其本質是由參考領域向目標領域的學習表征，在預訓練模型的基礎之上，再次訓練針對新識別場景的模型，訓練過程相對較快，模型泛化能力好，尤其適用于目標數據量較小的識別任務，在制造業領域的應用具備實際意義。

2.2 深度神經網絡模型建立及優化

常見的深度神經網絡模型有AlexNet[16]，VGGNet[17]，InceptionNet[18]和ResNet[19]等，均可應用遷移學習進行訓練。本文使用VGG16卷積神經網絡進行優化建模，以完成鋼材表面缺陷識別任務。VGG16在ImageNet大型數據集上進行了預訓練，在此基礎上進行遷移學習將具備較理想的識別效果。

VGG16的原生結構如圖2所示，由13個卷積層，5個池化層和3個全連接層組成，圖2將卷積層，池化層和全連接層的標號定為Conv，Pool和Dense。

圖2共有六部分，前五部分是卷積層和池化層的組合，其中第一部分包括2個卷積層和1個池化層，第二部分包括2個卷積層和1個池化層，第三部分包括3個卷積層和1個池化層，第四部分包括3個卷積層和1個池化層，第五部分包括3個卷積層和1個池化層。最后一部分是3個全連接層外加Softmax輸出。VGG16使用維度相同的卷積核進行特征提取，并組成深層次的，多參數的，擬合能力高的網絡模型，以達到較好的圖像識別效果。

圖2 VGG16模型結構圖

先前提到全連接層的主要作用是匯總特征，即將輸出特征圖映射成向量，其計算式如式(2)所示，示意圖如圖3(a)所示。

圖3 全連接層與全局平均池化層對比

由于NEU數據集樣本數目較小，為抑制過擬合，本文在全局平均池化處理和Softmax之間加入隨機失活（Dropout）。未引入Dropout時的計算式為：

式(4)與式(3)相比，計算原理一致，但起始部分多了一個伯努利函數Bernoulli，作用于概率p，形成概率向量r(l)j，再與原始輸入y(l)相乘，得到新輸入，后續計算思路與式(3)相同。在不同的網絡結構中，Dropout的作用機制也不同，對于VGG16模型，Dropout可將整個特征圖的通道進行隨機置零。

針對帶Softmax的輸出，本文選擇交叉熵損失函數進行VGG16模型的評估，加快收斂速度，計算式如下：

其中，c為交叉熵損失，n為輸出類別，x為輸入樣本，y為實際輸出，a為模型預測輸出。

深度神經網絡模型訓練的實質是采用優化方法得到最小的損失。因此，確定損失函數后，還要進行優化函數的選型。本文使用Adam優化方法，其與傳統隨機梯度下降法（Stochastic Gradient Descent，SGD）相比，學習率可自適應，優化過程更加靈活。Adam優化方法的運算式可表示為：

其中，u和v為動量因數，lr為學習率，grakt為梯度，mt為對梯度的一階矩估計，nt為對梯度的二階矩估計，和為對矩估計的校正，從而形成近似對期望的無偏估計量，再結合式(10)即可對學習率施加一個動態的范圍Δθt。

采用Adam優化方法后，訓練過程中學習率不再一成不變，而是在約束范圍內動態可調的。特別是在迭代后期，過大的學習率易引發損失值振蕩發散，此時應采取動態改變學習率的策略進行微調。本文使用余弦退火策略動態改變學習率，計算式如下：

圖4 訓練早停流程圖

在圖4中，持續監測驗證集上的損失函數值，當連續N個迭代（epoch）未下降時，則停止訓練并存儲模型，否則將保持當前學習率繼續訓練。采用此種策略的好處是可及時獲取較優模型，減少不必要的epoch，提升訓練效率，避免隨著epoch的增加而發生過擬合的現象。

3 鋼材表面缺陷識別實驗與分析

3.1 實驗環境建立

為驗證所建立深度神經網絡模型的實際準確率和性能等，本文通過一系列遷移學習實驗進行測試驗證。實驗在Centos7操作系統進行，基于Google的TensorFlow框架，使用Python語言編碼，TensorFlow版本為2.0.0，Python版本為3.6.7。因VGG16參數較多，訓練時間長，故使用NVIDIA 的RTX 2080Ti顯卡加速訓練過程。

3.2 初始實驗結果及分析

本文將NEU數據集按照10：3：2的比例劃分，即對于每種缺陷類別的300張圖像而言，隨機選取200張作為訓練集，60張作為測試集，40張作為驗證集。結合上文所建立VGG16模型進行初始實驗，初始參數批尺寸設為32，epochs設為50，學習率設為10-5，Dropout系數設為0.5。由于數據集規模較小，而VGG16模型熵容量較大，直接訓練全部網絡易導致過擬合，故本文的實驗采用凍結部分模型層級和微調的方式完成遷移學習，即在遷移學習的基礎上進一步優化網絡參數，訓練新模型。本文所設計的VGG16模型共有19層，總參數為14717766，首先將凍結層數設為15，訓練過程中的趨勢如圖5所示。

在圖5 中，驗證集上的損失值初始較高，在1.28～1.29之間，隨著epoch的增加，損失快速下降，準確率也不斷提升，在第8個epoch后趨勢逐漸平穩，最終模型收斂于第19個epoch，驗證集上的損失值在0.0933～0.0936之間，準確率為98.06%。

圖5 訓練過程中的趨勢圖

為進一步驗證初始實驗所訓練模型對六類鋼材表面缺陷的具體識別效果，本文將模型在驗證集上的識別結果以混淆矩陣的形式表示，如表1所示。

表1 初始實驗結果在NEU數據集上的混淆矩陣

由表1可以看出，裂紋(Cr)，摻雜(In)，壓入氧化鐵皮(RS)和劃痕(Sc)達到了最佳識別效果，準確率為100%。相對而言，斑塊(Pa)和表面麻點(PS)識別效果則不理想，也拉低了總體識別準確率。尤其是表面麻點(PS)受光照影響，類間差異較大，各有兩張圖像被誤判為裂紋(Cr)和摻雜(In)。接下來將采用更豐富的數據集增強策略，并調節模型參數，進行對比實驗。

3.3 對比實驗結果及分析

為進一步驗證凍結層數目對識別結果的影響，本文以初始實驗為基礎，除依次減少VGG16凍結層數目外，其余參數保持不變，依次將凍結層數目設為13，11，7和4，實驗結果如表2所示，不同條件下的訓練過程趨勢對比如圖6所示。

表2 凍結層數目改變后的實驗結果

圖6 不同條件下的訓練過程趨勢對比圖

為使不同條件下的趨勢對比更清晰直觀，圖6適當縮小了橫縱坐標軸的范圍。而表2給出了不同凍結層數目下的訓練參數，訓練參數占總參數的百分比，驗證集上的損失值和驗證集上的準確率。隨著凍結層數目的減少，驗證集準確率整體呈現先上升后下降的趨勢。在凍結層數目為7的時候，模型識別效果為最優，驗證集準確率為99.92%，再增加凍結層數目時，驗證集準確率略有下降。在同樣使用NEU數據集的同一前提下，文獻[6]的識別準確率為99.5%，文獻[7]的識別準確率為99.8%，文獻[8]的識別準確率為98.52%。通過對比實驗，可得出以上文獻在NEU數據集上的識別準確率均屬于較高的水平，本文所建立的VGG16模型在凍結部分層級后進行微調，也達到了較為理想的識別效果，且避免了訓練全部網絡參數，在一定程度上提高了訓練效率。

4 鋼材表面缺陷識別認知視覺系統

4.1 系統云邊端協同架構設計

為增強所研究鋼材表面缺陷識別方法的實用性，本文設計了鋼材表面缺陷識別認知視覺系統，所設計系統基于云邊端協同思路，云邊端協同主要指云端，邊緣端和現場終端協同工作，有機統一，精準閉環。系統云邊端協同架構如圖7所示。

圖7 系統云邊端協同架構設計

圖7按照“云端管控-邊緣智能-多端適配”的思路展現了系統云邊端協同架構。云端實時性較低，主要實現管控類功能，包括模型訓練，評估，管理和部署，對歷史識別結果進行數據分析，以及封裝諸如模型調用和數據訂閱等對外服務；邊緣端的主要任務是對現場圖像進行預處理，調用模型完成缺陷識別，根據識別結果進行工序流轉，實現智能調度，所調用模型可預先部署到邊緣端，當識別結果置信度低于95%時，則將圖像傳至云端，調用部署在云端的模型進行二次識別，以提高識別準確率，而云端圖像庫因此不斷豐富更新，進而定期訓練新模型，以提高模型精度；現場終端以多種設備適配云端和邊緣端的不同功能，如云端的數據分析結果可在現場大屏進行可視化呈現，質檢人員可通過現場看板完成缺陷檢測分析，而數控機床，可編程邏輯控制器（Programmable Logic Controller，PLC），人機界面（Human Machine Interface，HMI）和工業相機等設備組成了系統的視覺采集模塊，主要負責拍攝待識別鋼材表面圖像。

4.2 系統視覺采集模塊設計

系統視覺采集模塊由PLC，HMI和工業相機等設備組成。PLC作為控制器，對數控機床進行運動控制，機床各軸通過伺服電機驅動。在機床工作臺放置待檢測鋼材，主軸末端安裝工業相機，將G指令下發到PLC，拍攝待識別鋼材表面的各個部位圖像。HMI可以對視覺采集模塊進行總體控制，包括參數配置，各軸點動和機床示教等。

4.3 系統缺陷識別功能開發

本文在浪潮智能物聯網平臺（inIoT）中做了進一步技術驗證。inIoT位于浪潮“云+邊+端”智能制造總體架構的邊緣端，涵蓋數據采集、設備建模、仿真監控、預警分析和智能服務等模塊，建立設備運維精細化閉環，實現數字化車間管理，廣泛應用于大型裝備，航空航天，船舶制造，橋梁工程和兵器裝備等行業中。而在inIoT中增添部分智能服務，對制造企業實現轉型升級具有重要意義。為此，本文基于Angular和Tornado框架在inIoT的生產檢驗模塊中開發了智能檢驗功能，頁面如圖8所示。

圖8 inIoT智能檢驗功能頁面

圖8所示功能主要以圖形化的方式實現調用深度神經網絡模型進行鋼材表面質量檢驗的過程。頁面主要分為兩部分，左半區為圖像顯示區，負責顯示待檢圖像；右半區為結果顯示區，負責顯示置信度和檢驗時間等檢測結果，還可對鋼材表面質量情況進行統計分析。智能檢驗功能將檢驗識別過程可視化，易于操作，人機交互性好，識別時間達到了毫秒級，既豐富了inIoT的功能，也將為云邊端協同系統在制造業場景表面缺陷識別中的應用提供有效依據。

5 結語

1）針對傳統鋼材表面缺陷識別方式準確率和效率較低的現狀，本文研究了一種高效準確的鋼材表面缺陷識別方法，在VGG16的基礎上進行遷移學習。在研究過程中，采取了數據增強，引入全局平均池化，Dropout，動態改變學習率和訓練早停等策略，以提高模型準確率，降低損失和抑制過擬合現象。

2）通過對比實驗和鋼材表面缺陷識別認知視覺系統設計的方式對鋼材表面缺陷識別過程進行了技術驗證。實驗采取凍結模型部分層級和微調的方式，測試了不同凍結層數目的識別效果，并與其他文獻進行了對比，實驗結果較為理想，準確率達到了99.92%，所研究內容也具備一定實用性。卷積神經網絡和遷移學習等技術的應用也不僅局限于鋼材表面缺陷識別，由于網絡對于特征的高效提取能力，其在多種自動化動態識別場景中也可提供一定借鑒。

3）本文的研究是在小數據集上進行的，在準確率和性能等方面仍有較大提升空間。后續將加大數據量，優化改進模型結構和訓練策略，并對比多種模型，得到更優結果。