基于深度卷積神經(jīng)網(wǎng)絡(luò)及遷移學(xué)習(xí)的紙病分類方法研究

曲蘊(yùn)慧 湯 偉 成爽爽

（1.西安醫(yī)學(xué)院計算機(jī)教研室，陜西西安，710021；

2.陜西科技大學(xué)電氣與控制工程學(xué)院，陜西西安，710021）

紙張抄造過程中出現(xiàn)的如臟點(diǎn)、孔洞、褶皺、劃痕、塵埃及裂縫等表面瑕疵統(tǒng)稱為紙病。紙病的出現(xiàn)會對紙張，尤其是對航天航空用紙、電容器紙及壁紙原紙等附加值高的特種紙張的后續(xù)使用帶來不良影響，甚至是巨大的經(jīng)濟(jì)損失。因此，需要在紙張抄造過程中及時發(fā)現(xiàn)這類紙張的表面瑕疵并進(jìn)行標(biāo)記處理，必要時甚至需要對紙病產(chǎn)生的原因進(jìn)行溯源[1-3]。紙病診斷技術(shù)是指通過工業(yè)相機(jī)在線采集紙張圖像來判斷紙張是否含有紙病，并對含有紙病的紙張圖像進(jìn)行紙病分類，對紙病大小、位置等信息識別。紙病診斷過程如圖1所示[4-6]。

由圖1可以看出，紙病分類是整個紙病診斷過程中非常關(guān)鍵的一步。精確地分辨出各類紙病，對于找出紙病成因、預(yù)警紙機(jī)故障有著重要的意義。

圖1 紙病診斷過程示意圖Fig.1 Schematic diagram of paper defects'diagnosis procedure

在紙病分類方面，目前研究最多的是采用人工神經(jīng)網(wǎng)絡(luò)來建立分類器。倪潔等人[7]利用BP神經(jīng)網(wǎng)絡(luò)建立紙病分類器來區(qū)分孔洞、塵埃、褶子和裂口4類紙病。魏愛娟等人[8]對BP神經(jīng)網(wǎng)絡(luò)收斂速度慢等問題進(jìn)行了改進(jìn)，采用學(xué)習(xí)樣本產(chǎn)生的總誤差來調(diào)整權(quán)值，提高BP算法的速度。支持向量機(jī)（Support Vector Machine，SVM）、二維小波變換、分型理論、徑向基神經(jīng)網(wǎng)絡(luò)（RBFNN）等在紙病分類方面的應(yīng)用都有相應(yīng)的研究[9]。目前，雖然紙病辨識分類算法研究很多，但大都是針對幾種較常見紙病進(jìn)行分類，對一些難點(diǎn)紙病的檢測效果不太理想。傳統(tǒng)的紙病辨識分類算法需要在特征提取的基礎(chǔ)上進(jìn)行，每加入一種需要辨識分類的紙病，就需要對其特征進(jìn)行研究提取，并對分類器進(jìn)行改造，所以識別種類和效率很難提高。

本課題針對現(xiàn)有算法在一些細(xì)微紙病（如褶皺、裂痕）上識別分類效果欠缺以及目前國內(nèi)大多紙病分類器可識別紙病種類少、識別精度不夠等問題和分類器可擴(kuò)展性差等問題，結(jié)合人工智能以及深度學(xué)習(xí)的原理，設(shè)計適用于紙病圖像的小樣本深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolution Neural Network，DCNN）分類器，提高紙病識別效率及精度，使紙病識別功能進(jìn)一步加強(qiáng)。

1 傳統(tǒng)紙病分類方法及所存在的問題

傳統(tǒng)的紙病分類方法主要由紙病特征提取和紙病分類2大部分組成，流程圖如圖2所示。

圖2 傳統(tǒng)紙病分類算法流程圖Fig.2 Flow chart of traditional paper defects classification algorithm

在進(jìn)行紙病分類前，首先需要提取可用于紙病分類的紙病圖像特征。用于紙病種類很多，很多紙病特征類似，差距很小，如何選擇能夠有效區(qū)分各類紙病的紙病特征是紙病特征提取的難點(diǎn)。在提取到紙病特征后，需使用相應(yīng)特征作為分類器數(shù)據(jù)，設(shè)計相應(yīng)分類器對紙病進(jìn)行分類。所以要獲得好的分類效果需要選擇大量不同類型的紙病特征，同時設(shè)計一個強(qiáng)大的多紙病圖像的分類器。

根據(jù)以上流程可知，傳統(tǒng)的紙病分類方法主要存在以下3方面的問題：①紙病圖像特征選擇和提取難度大。如利用灰度特征可以區(qū)分臟點(diǎn)和孔洞，但很難區(qū)分裂痕和孔洞；利用幾何特征可以區(qū)分裂痕和孔洞，但無法區(qū)分裂痕和褶皺；還有些紙病，需要一些更復(fù)雜的特征組合才能加以區(qū)分。故在傳統(tǒng)的紙病分類中，特征提取算法是整個過程的難點(diǎn)之一。②分類器的設(shè)計以及選擇難度大。紙病圖像分類器的設(shè)計需要綜合考慮收斂速度、過擬合問題、訓(xùn)練數(shù)據(jù)集大小等多種問題，因此目前大多紙病分類器的分類能力局限于4～5種最常見的紙病。③紙病圖像特征和分類器相適應(yīng)的問題。在傳統(tǒng)的紙病分類過程中，紙病特征提取算法和紙病分類算法為2大類算法，即分2個階段完成。所以會出現(xiàn)后一階段所設(shè)計的紙病分類器并不能完全適用特征提取算法所提取的紙病特征，從而導(dǎo)致所涉及的分類器在實(shí)際使用過程中分類效果不理想。

綜上所述，傳統(tǒng)的紙病辨識分類算法需要在特征提取的基礎(chǔ)上進(jìn)行，每加入一種需要辨識分類的紙病，就需要對其特征進(jìn)行研究提取，并對分類器進(jìn)行改造，所以識別種類和效率很難提高。故本課題提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）的紙病分類方法，可通過卷積操作自動提取紙病圖像深層次的特征，有效解決紙病特征量難確定及難點(diǎn)紙病特征量難構(gòu)建的問題，從而提高紙病辨識分類的精度及可擴(kuò)充性。

2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的紙病分類方法

2.1 深度卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）的研究始于20世紀(jì)八、九十年代，進(jìn)入21世紀(jì)后，隨著深度學(xué)習(xí)理論的提出和數(shù)值計算設(shè)備的改進(jìn)，CNN得到了快速發(fā)展。CNN是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feed forward Neural Networks），是深度學(xué)習(xí)（Deep Learning）的代表算法之一。卷積神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)（Repre?sentation Learning）能力，能夠按其階層結(jié)構(gòu)對輸入信息進(jìn)行平移不變分類（Shift-invariant Classifica?tion），因此也被稱為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)（Shift-invariant Artificial Neural Networks，SIANN）”。

CNN仿造生物的視知覺（Visual Perception）機(jī)制構(gòu)建，可以進(jìn)行監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)，其隱含層內(nèi)的卷積核參數(shù)共享和層間連接的稀疏性使得卷積神經(jīng)網(wǎng)絡(luò)能夠以較小的計算量對格點(diǎn)化（Gridlike Topology）特征，如像素和音頻進(jìn)行學(xué)習(xí)、有穩(wěn)定的效果且對數(shù)據(jù)沒有額外的特征工程（Fea?ture Engineering）要求。研究發(fā)現(xiàn)，通過增加CNN的深度可以增強(qiáng)CNN的表達(dá)能力，故使用深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）進(jìn)行圖像分類是當(dāng)今研究的熱點(diǎn)[10-11]。

2.2 基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)的選擇

在眾多基礎(chǔ)深度卷積神經(jīng)網(wǎng)絡(luò)中，VGG16的網(wǎng)絡(luò)具有分類性能好、網(wǎng)絡(luò)結(jié)構(gòu)規(guī)整、修改相對容易等特點(diǎn)，其網(wǎng)絡(luò)結(jié)構(gòu)及部分卷積層輸出特征如圖3所示[12]。

圖3中，輸入層圖像大小為224×224像素；VGG16共有13個卷積層。其中在第2、4、7、10、13層卷積層后各有1個最大池化層（max-pooling）。所有卷積層中的卷積核大小均為3×3，這樣采用多個較小的卷積核疊加達(dá)到較大卷積核的卷積效果方法，相當(dāng)于添加了隱式的正則化，可以提高網(wǎng)絡(luò)的分類能力，增加網(wǎng)絡(luò)的運(yùn)算速度。VGG16有3個全連接層神經(jīng)元個數(shù)，分別是4096、4096、1000，最后一層的1000對應(yīng)ImageNet圖像識別挑戰(zhàn)賽中要識別的類別數(shù)量（1000個）。之后通過Softmax層進(jìn)行轉(zhuǎn)換，便于與樣本數(shù)據(jù)進(jìn)行比較，計算誤差。

圖3 VGG16網(wǎng)絡(luò)結(jié)構(gòu)及部分卷積層輸出示意圖Fig.3 Network structure and output of some convolution layers of VGG16

總的來說，VGG16網(wǎng)絡(luò)集成了“更深的網(wǎng)絡(luò)架構(gòu)，準(zhǔn)確率更高”的信念。采用較小的過濾器實(shí)現(xiàn)了增加網(wǎng)絡(luò)深度的目的，同時避免參數(shù)過度膨脹的問題。鑒于以上分析，研究中采用VGG16網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，進(jìn)行改進(jìn)。

2.3 改進(jìn)VGG16紙病圖像分類器

2.3.1 微調(diào)深度卷積神經(jīng)網(wǎng)絡(luò)

在基于深度卷積神經(jīng)網(wǎng)絡(luò)的分類任務(wù)中，足夠數(shù)量的訓(xùn)練樣本可以避免嚴(yán)重的過擬合問題。但在目前紙病分類研究中，沒有公認(rèn)的紙病公共數(shù)據(jù)庫來進(jìn)行訓(xùn)練及性能測試，只能通過工業(yè)相機(jī)在實(shí)際生產(chǎn)線上采集足夠數(shù)量的圖像，然后通過人工在所有圖像中找出瑕疵，并對瑕疵進(jìn)行分類，建立數(shù)據(jù)庫來進(jìn)行研究比對，獲得的樣本數(shù)據(jù)量不足。在這種背景下，本課題結(jié)合遷移學(xué)習(xí)和微調(diào)深度卷積神經(jīng)網(wǎng)絡(luò)的思想來構(gòu)造深度卷積神經(jīng)網(wǎng)絡(luò)分類器[13]。

目標(biāo)數(shù)據(jù)集與原始數(shù)據(jù)集的相似程度不同，使用遷移學(xué)習(xí)的方法也將各不相同。主要有以下4種情形[14]：①目標(biāo)數(shù)據(jù)集較小，目標(biāo)數(shù)據(jù)集與原始數(shù)據(jù)集相似；②目標(biāo)數(shù)據(jù)集較小，目標(biāo)數(shù)據(jù)集與原始數(shù)據(jù)集差異較大；③目標(biāo)數(shù)據(jù)集充足，且目標(biāo)數(shù)據(jù)集與原始數(shù)據(jù)集相似；④目標(biāo)數(shù)據(jù)集充足，但目標(biāo)數(shù)據(jù)集與原始數(shù)據(jù)集差異較大。

在使用遷移學(xué)習(xí)進(jìn)行紙病分類的過程中，遷移學(xué)習(xí)方式的選擇及如何進(jìn)行微調(diào)，是提高分類準(zhǔn)確率和節(jié)省網(wǎng)絡(luò)訓(xùn)練時間的關(guān)鍵。對于紙病圖像分類任務(wù)而言，屬于以上情形的第②種，即紙病圖像數(shù)據(jù)集相對于原始數(shù)據(jù)集規(guī)模較小，目標(biāo)數(shù)據(jù)不足，所以選擇微調(diào)網(wǎng)絡(luò)后幾層；又因紙病圖像數(shù)據(jù)集與原始數(shù)據(jù)集的差異大，所以更高級的特征不同，則不用保留更高級的層，只需保留低層卷積層用于提取圖像紋理、邊緣以及形狀等基礎(chǔ)特征。因此，研究中凍結(jié)和微調(diào)策略相結(jié)合，使用ImageNet數(shù)據(jù)集訓(xùn)練好的VGG16卷積層的前7層，并凍結(jié)其相應(yīng)參數(shù)；從第9層開始隨機(jī)初始化參數(shù)，利用紙病圖像數(shù)據(jù)來逐層微調(diào)其后的網(wǎng)絡(luò)，具體思路如圖4所示。

圖4 微調(diào)VGG16網(wǎng)絡(luò)示意圖Fig.4 Schematic diagram of fine tuning VGG16 network

2.3.2 全連接層設(shè)計

原始VGG16網(wǎng)絡(luò)有3個全連接層，神經(jīng)元個數(shù)分別是4096、4096、1000，本課題根據(jù)紙病分類的實(shí)際情況，重新設(shè)計全連接層。

（1）改進(jìn)卷積層與全連接層之間的池化層，使用全局平均池化層，將卷積層出來的三維數(shù)組重塑為128位的向量。

（2）凍結(jié)前2個全連接層的神經(jīng)元個數(shù)及參數(shù)；將最后1個全連接層替換為具有6個神經(jīng)元的全連接層，使其滿足實(shí)驗(yàn)中所設(shè)計的5類紙病圖像以及1類正常圖像，共6類圖像的分類輸出。

（3）在全連接層中，采用Dropout算法降低神經(jīng)元之間的依賴性，從而防止過擬合現(xiàn)象的出現(xiàn)。

（4）在最后1個全連接層之后連接Softmax層，使用Softmax邏輯回歸函數(shù)計算輸入圖像屬于某類的概率，并將概率歸一到[0，1]空間。

（5）在激活函數(shù)方面，為防止梯度飽和效應(yīng)出現(xiàn)，采用修正線性單元ReLU作為激活函數(shù)。

2.3.3 基于深度卷積神經(jīng)網(wǎng)絡(luò)的紙病分類方法

本課題將深度卷積神經(jīng)網(wǎng)絡(luò)VGG16模型與遷移學(xué)習(xí)的方法相結(jié)合，采用ImageNet數(shù)據(jù)集對VGG16網(wǎng)絡(luò)進(jìn)行訓(xùn)練，凍結(jié)訓(xùn)練好的VGG16網(wǎng)絡(luò)卷積層的前7層，使用帶標(biāo)簽的紙病圖像數(shù)據(jù)集對后面卷積層進(jìn)行網(wǎng)絡(luò)微調(diào)，提取紙病圖像特征。最后經(jīng)改進(jìn)后的全連接層和Softmax層進(jìn)行紙病圖像分類，具體流程如圖5所示。

圖5中右半部分為采用ImageNet數(shù)據(jù)集來訓(xùn)練VGG16深度卷積模型的過程，此部分目前Matlab2019b以及Tensorflow的Keras中均已經(jīng)有訓(xùn)練好的模型可供調(diào)用，故在實(shí)驗(yàn)過程中，此部分直接進(jìn)行模型調(diào)用即可；左半部分為本章算法的流程，具體步驟如下。

圖5 基于深度卷積神經(jīng)網(wǎng)絡(luò)的紙病分類方法流程圖Fig.5 Flow chart of paper defects classification method based on deep convolution neural network

Step 1：數(shù)據(jù)預(yù)處理

對前期采用工業(yè)相機(jī)采集到的、并進(jìn)行預(yù)檢測后存儲到上位機(jī)的紙病圖像進(jìn)行歸一化處理，得到適用于分類器大小為224×224像素的紙病圖像。

Step 2：調(diào)用模型

調(diào)用深度學(xué)習(xí)庫中已經(jīng)訓(xùn)練成熟的VGG16深度卷積神經(jīng)網(wǎng)絡(luò)模型。

Step 3：使用遷移學(xué)習(xí)策略進(jìn)行模型的訓(xùn)練

根據(jù)2.3.1節(jié)的分析，對Step2中調(diào)用的模型，固定其卷積層前7層的參數(shù)；從第8層開始，使用自建的紙病圖像集對模型進(jìn)行訓(xùn)練，微調(diào)8～13層的卷積層參數(shù)。

Step 4：分類并輸出

使用上述全連接層對紙病圖像進(jìn)行分類，輸出圖像所屬的類別及概率。

3 實(shí)驗(yàn)

3.1 紙病圖像數(shù)據(jù)采集及預(yù)處理

本課題從實(shí)驗(yàn)室紙機(jī)設(shè)備通過工業(yè)相機(jī)采集臟點(diǎn)、孔洞、亮斑、褶皺、裂痕5類紙病圖像及無紙病圖像進(jìn)行研究。預(yù)處理過程中，采用工業(yè)相機(jī)采集紙病圖像。由于各種類型紙病幾何形狀各異，其最小外接矩形長寬和大小各異，故預(yù)處理過程中，需要對紙病圖像大小進(jìn)行統(tǒng)一。統(tǒng)一過程中，考慮到每幅紙病圖像應(yīng)能最大程度上表征紙病區(qū)域，同時盡可能降低算法復(fù)雜度，故在研究過程中，首先取紙病區(qū)域的最小外接正方形；然后將外接矩形圖像縮放到224×224像素；最后采用手工對每幅樣本圖像進(jìn)行標(biāo)簽，得到最終的紙病圖像數(shù)據(jù)集。

在樣本集的制作過程中，由于紙病的產(chǎn)生為小概率事件，而卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及測試又需要大量的數(shù)據(jù)集。雖然采用遷移學(xué)習(xí)以及微調(diào)深度卷積神經(jīng)網(wǎng)絡(luò)的方法可以減少對樣本數(shù)量的要求，但是足量的訓(xùn)練數(shù)據(jù)能夠避免嚴(yán)重的過擬合問題。故在紙病數(shù)據(jù)集制作過程中，為增加紙病圖像數(shù)據(jù)集的規(guī)模，實(shí)驗(yàn)過程中采用了鏡像、旋轉(zhuǎn)等操作（如對紙病圖像進(jìn)行90°、180°旋轉(zhuǎn)等，可在保持紙病圖像特征的情況下，增大紙病圖像數(shù)據(jù)集），以及對同一紙病在不同光源干擾下進(jìn)行多次采集來擴(kuò)充數(shù)據(jù)集，進(jìn)行數(shù)據(jù)增強(qiáng)。最終得到臟點(diǎn)圖像370張、孔洞340張、亮斑280張、褶皺350張、裂痕360張及正常紙張圖像300例，共計2000幅圖像作為紙病圖像數(shù)據(jù)集（紙病圖像數(shù)據(jù)集中的部分圖像數(shù)據(jù)如圖6所示），并按照4∶1的比例劃分訓(xùn)練集及測試集進(jìn)行紙病分類器的訓(xùn)練及數(shù)據(jù)測試。由于紙病數(shù)據(jù)集數(shù)量較少，故在實(shí)驗(yàn)過程中對訓(xùn)練數(shù)據(jù)集按3∶1劃分為訓(xùn)練數(shù)據(jù)集及驗(yàn)證數(shù)據(jù)集，使用交叉驗(yàn)證的方式有效防止過擬合現(xiàn)象的發(fā)生。

圖6 紙病圖像數(shù)據(jù)集Fig.6 Data set of paper defect images

3.2 環(huán)境及參數(shù)設(shè)置

3.2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)所采用的環(huán)境為：Win10操作系統(tǒng)，Intel?Core?i7-7500U CPU，8G內(nèi)存，256G固態(tài)硬盤。采用Matlab 2019b平臺進(jìn)行模型的搭建和訓(xùn)練。

3.2.2 網(wǎng)絡(luò)參數(shù)設(shè)置

（1）自監(jiān)督訓(xùn)練選擇的優(yōu)化器為：Sgdm。Sgdm采用基于動量的隨機(jī)梯度下降法，是目前使用最多的網(wǎng)絡(luò)訓(xùn)練方法，其得到的網(wǎng)絡(luò)穩(wěn)定，結(jié)果可靠。

（2）學(xué)習(xí)率的設(shè)置：由于本課題算法是對在ImageNet上已經(jīng)訓(xùn)練好的模型進(jìn)行遷移學(xué)習(xí)，所以網(wǎng)絡(luò)在原始數(shù)據(jù)集上已經(jīng)收斂，故應(yīng)設(shè)置較小的學(xué)習(xí)率在目標(biāo)數(shù)據(jù)集上進(jìn)行微調(diào)。實(shí)驗(yàn)過程中，設(shè)初始學(xué)習(xí)率為1e-4，采用動量對模型的學(xué)習(xí)率進(jìn)行調(diào)整，動量的設(shè)置值為0.9。

（3）設(shè)置訓(xùn)練的最大迭代次數(shù)為2000次（20輪，每輪100次），批大小Batch-size為64；Dropout（隨機(jī)失活）為0.5。

3.3 結(jié)果與分析

3.3.1 測試樣本分類結(jié)果及分析

實(shí)驗(yàn)過程中對紙病圖像數(shù)據(jù)集按照6∶2∶2進(jìn)行劃分，其中60%用于模型訓(xùn)練，20%用于驗(yàn)證，20%用于測試，同時按照上述參數(shù)進(jìn)行初始化設(shè)置。訓(xùn)練過程中，在訓(xùn)練集以及驗(yàn)證集上的準(zhǔn)確率及損失曲線圖如圖7所示。

圖7 訓(xùn)練輸出曲線Fig.7 Training output curves

采用測試數(shù)據(jù)集對訓(xùn)練好的模型進(jìn)行測試，部分樣本及其分類后輸出的結(jié)果如圖8所示。其中類型后面的數(shù)字為該樣本屬于此類別的概率，如dirty 0.95表示該樣本為臟點(diǎn)概率為95%。

圖8 本課題方法輸出的分類結(jié)果Fig.8 Output of classification results inthis study

實(shí)驗(yàn)過程對測試集中400例數(shù)據(jù)的分類情況進(jìn)行了統(tǒng)計，結(jié)果如表1所示。

由表1的數(shù)據(jù)結(jié)果可以看出，識別率最低的為亮斑，主要被識別為孔洞或難以檢出。通過對識別錯誤的樣本圖片觀察發(fā)現(xiàn)出現(xiàn)錯誤識別的主要情況有2種：①在紙病圖像數(shù)據(jù)采集時，由于采用的是頂光源與底光源的混合照射，如果頂光源亮度過高，采集到的亮斑區(qū)域的灰度值幾乎接近于正常紙張，肉眼也很難區(qū)分，所以會導(dǎo)致錯分；②識別錯誤的亮斑圖像與底光源照射強(qiáng)度過高時采集到的孔洞類型紙病圖片非常類似，系統(tǒng)很難區(qū)分，這也是孔洞類圖像識別錯誤所在。

表1 測試樣本分類結(jié)果Table 1 Classification results of the test samples

除以上2種情況外，當(dāng)紙病采集裝置的光源強(qiáng)度優(yōu)化適當(dāng)，采集到的亮斑圖像較清晰時，分類正確率較高。除亮斑外，其余類型紙病的識別正確率均在90%以上，識別效果良好。

3.3.2 不同分類方法對比分析

為進(jìn)一步驗(yàn)證本課題分類方法的有效性，將其廣泛使用的BP神經(jīng)網(wǎng)絡(luò)算法[15]、SVM算法[16-17]及AlexNet卷積神經(jīng)網(wǎng)絡(luò)分類算法進(jìn)行對比，結(jié)果如表2所示。

表2 4種算法性能對比Table 2 Performance comparison of 4 algorithms

由表2的結(jié)果可以看出，本課題所提出基于遷移學(xué)習(xí)策略的紙病分類方法在分類效果上較傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)及SVM的紙病分類方法，分類準(zhǔn)確率有了很大提高。尤其對于BP神經(jīng)網(wǎng)絡(luò)及SVM，在之前研究過程中，其分類準(zhǔn)確率可達(dá)95%以上，但這建立在對紙病圖像進(jìn)行了一系列預(yù)處理以及特征分析和提取的基礎(chǔ)上；而在本實(shí)驗(yàn)過程中，加入新的紙病后，在不改變前期所選擇的特征向量的前提下，分類準(zhǔn)確率有了明顯下降，由此可見傳統(tǒng)的紙病分類方法可擴(kuò)展性較差。對于AlexNet網(wǎng)絡(luò)及本課題所提出的基于遷移學(xué)習(xí)策略的分類方法，在實(shí)驗(yàn)過程中，其在驗(yàn)證集上的分類正確率分別為96.37%和96.46%；但由于紙病樣本數(shù)有限，導(dǎo)致訓(xùn)練樣本量不足，使采用AlexNet算法在測試集上的準(zhǔn)確率明顯下降。

3.3.3 凍結(jié)不同卷積層對比分析

為進(jìn)一步驗(yàn)證本課題所提出的遷移學(xué)習(xí)策略的有效性，研究過程分別凍結(jié)不同的卷積層參數(shù)，并對其分類正確率進(jìn)行了對比，對比效果如表3所示。其中，凍結(jié)0層表示直接用自建的紙病數(shù)據(jù)集對VGG16模型進(jìn)行訓(xùn)練。

表3 凍結(jié)不同層數(shù)后的正確率對比Table 3 Accuracy comparison after freeze on different layers

由表3可知，當(dāng)凍結(jié)層數(shù)過多時，由于紙病圖像數(shù)據(jù)集與ImageNet數(shù)據(jù)集差異較大，會導(dǎo)致分類準(zhǔn)確率較低；而當(dāng)凍結(jié)層數(shù)過少時，由于紙病數(shù)據(jù)集規(guī)模較小，在訓(xùn)練過程中容易出現(xiàn)過擬合現(xiàn)象。同時，在測試集上的正確率也難以提高。結(jié)果表明，本課題所提出的凍結(jié)VGG16模型前7層的方案在測試集上分類效果最佳，正確率可達(dá)到94%以上，而其余3種方案正確率均在92%左右。故本課題所提出的遷移學(xué)習(xí)策略在紙病分類過程中性能最好。

4 結(jié) 論

本課題將深度卷積神經(jīng)網(wǎng)絡(luò)VGG16模型與遷移學(xué)習(xí)的方法相結(jié)合，采用基于遷移學(xué)習(xí)策略建立紙病圖像識別分類模型，使用實(shí)驗(yàn)室紙病檢測系統(tǒng)采集建立的紙病圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證，其準(zhǔn)確率可達(dá)94.75%，并且收斂速度較快，在實(shí)驗(yàn)所用的訓(xùn)練集與驗(yàn)證集之間無過擬合現(xiàn)象的出現(xiàn)，效果良好。結(jié)果表明本課題所提出的方法在分類準(zhǔn)確性、實(shí)時性及可擴(kuò)展性方面較傳統(tǒng)方法有一定的改進(jìn)，更加適用于生產(chǎn)線上紙病的分類過程。