基于卷積神經網絡的藍印花布紋樣基元分類

賈小軍， 葉利華， 鄧洪濤， 劉子豪， 陸鋒杰

(1. 嘉興學院 數理與信息工程學院， 浙江 嘉興 314001； 2. 嘉興學院 設計學院， 浙江 嘉興 314001；3. 浙江涵普電力科技有限公司， 浙江 嘉興 314300)

藍印花布作為傳統印染面料，以其圖案紋樣造型樸素、粗獷，形式多樣、美感，表現手法簡練、完整，設計風格特征鮮明、筆斷意連而聞名于世[1-2]。隨著信息處理技術的快速發展及廣泛應用，作為國家非物質文化遺產的藍印花布的數字化傳承與創新逐漸受到重視，利用數字化復原和再現技術對藍印花布進行開發及創新已迫在眉睫，并逐步成為現實。藍印花布的數字化傳承及創新包括紋樣圖像的采集和存儲、復原和再現、展示與傳播、開發與創新等[3-4]。藍印花布紋樣的表現題材包括植物、動物、幾何圖形、文字、符號、器物和人物等，以單一、2種或2種以上的題材組合形成圖案。這些圖案以大小、形狀不同的幾何學上的點、線、面為基本元素(簡稱基元)，通過變化組織而成。點、線、面交錯斷開，互不相連，形成獨特的“筆斷意連”[5-7]。

點、線、面是構成藍印花布紋樣的基本元素，這些紋樣基元通過縮放、旋轉、局部變形，構成多種多樣、形態各異的紋樣。這里的“面”狹指具有某種象征意義的尺寸較小的獨立圖案。提取這些獨立的紋樣基元可以分析一張藍印花布紋樣由哪些基元組成。分離出這些基元并對其進行自動分類，形成各自的基元庫，可為重新創作新的紋樣圖案提供重要的原始素材，這對藍印花布的數字化繼承與創新起著極其重要的作用。

圖像分類是計算機視覺領域中的基礎及重要課題，其根本目的是根據圖像所具有的獨特特征將其劃分到預先設定的不同類別中。圖像分類的本質是通過計算機對圖像進行深層次地理解，分析其底層及高層特征后再進行分類。近年來，基于深度學習的方法在圖像分類研究中取得了令人注目的成績[8]。深度學習方法是含有多個隱層的感知器學習型網絡，通過自動學習，反饋、優化適合的圖像底層特征，并自動在高層階段組合和抽象底層特征形成高層表示。卷積神經網絡(CNN)是深度學習方法中應用最為廣泛，在獲取圖像分類特征方面最有效的模型[9]，其局部連接、權值共享及池化操作等特性使之可以有效地降低網絡的復雜度，減少訓練參數，使模型對平移、扭曲、縮放具有一定程度的不變性，并具有較強的魯棒性和容錯能力，也易于訓練和優化。CNN已在自然場景文本識別[10]、人臉及器官分類與識別[11-12]、行為識別[13]、農作物分類及識別[14-16]等方面廣泛應用并獲得了較好效果。近兩年來，卷積神經網絡在紡織品檢測方面也得到了一些應用。景軍鋒等[17]提出了應用深度卷積神經網絡的色織物缺陷檢測算法，可實現20種缺陷類型的分類檢測。王飛等[18]利用改進的AlexNet網絡模型，使用Sigmoid分類器，將鄂爾多斯標準羊絨與羊毛數據集對網絡進行50輪次的迭代訓練，測試準確率可達92.1%。何曉昀等[19]采用由13個卷積層、13個采樣層和4個池化層構成的Faster RCNN卷積神經網絡模型進行訓練，然后進行異性纖維檢測驗證，籽棉圖像中的異性纖維的檢出率可達到90.3%。王雯雯等[20]提出了一種應用卷積神經網絡的細紗斷紗錠位識別方法，神經網絡識別的準確率達97%以上。汪珊珊等[21]提出了融合手工情感特征的基于卷積神經網絡的織物圖像情感分類方法，情感分類準確率為89.7%。

目前，雖然CNN得到了較為廣泛的應用，但此理論應用于藍印花布紋樣基元處理的研究比較鮮見。本文在采集了大量藍印花布紋樣圖案的基礎上，借助紋樣基元提取算法，獲得了大量原始樣本基元，利用CNN對這些基元自動進行分類訓練。根據紋樣基元的特點，改進及優化CifarNet卷積神經網絡[22]的結構與參數，從而建立了基于卷積神經網絡的藍印花布紋樣基元的分類模型，以實現紋樣基元的自動分類，并為傳承和創新數字化藍印花布圖案提供重要的基礎素材，同時也為進一步研究藍印花布紋樣提供新思路。

1 紋樣基元提取

1.1 紋樣基元

點、線、面元素被廣泛地應用在傳統藍印花布紋樣圖案上，眾多傳統藍印花布紋樣由密集的點、線、面等基元構成。它們以單獨或組合基元的方式，形成以點(線、面)構型、點線(面)構型、線面構型、點線面構型等幾種紋樣圖案。點、線、面3種基元通過大小、疏密、虛實、旋轉、規則或不規則等造型，塑造了具體或抽象的紋樣圖案。本文通過對128張傳統藍印花布紋樣的分析，對點、線、面這3種基元從幾何形狀、象征意義、使用頻率等關鍵因素綜合考慮，將其細分為12類。在同一類中，紋樣基元可進行尺度變化、也可進行旋轉。反之，大小、旋轉方向各異但形狀相似的紋樣基元視為同一類，以實現藍印花布紋樣基元的準確分類。這12類常見的紋樣基元如圖1所示。

1.2 基元提取

紋樣基元構成了藍印花布圖案，需要將這些基元從采集的藍印花布圖案中提取出來，形成獨立的子圖像，并集合為訓練樣本庫。本文課題組根據紋樣基元的特點，在前期提出了相應的提取算法[23]。

要實現藍印花布紋樣中各基元的提取，需對獲得的藍印花布的數字化圖像進行二值化。藍印花布圖像二值化后，每個紋樣基元由1個閉合的輪廓圍成。假設每張藍印花布圖像中有t個紋樣基元，每個基元產生1個輪廓，二值化后的整張藍印花布圖像將產生t個輪廓，可用式(1)表示一張藍印花布圖像中所有紋樣基元的輪廓。

(1)

在獲得的藍印花布圖像中，由于手工制作的因素，圖像中會有疵點，這些疵點通常以孤立點的方式存在。這里的孤立點指輪廓線上的像素極少，非需要的紋樣基元輪廓，需要剔除，可以在提取輪廓時設定一個閾值T，將輪廓線上的像素數目小于這個閾值的輪廓剔除，其定義如下：

(2)

式中：Num(·)表示統計輪廓線上的像素個數；CNq表示新生成的第q個輪廓。

根據得到的帶有序號的輪廓圖像，將其按序號順序截取，生成獨立的紋樣基元子圖像并進行保存，形成基元子圖像?；獔D像的大小由其輪廓線像素的坐標確定，取輪廓線像素的x坐標的最大值與最小值之差以及輪廓線像素的y坐標的最大值與最小值之差，將差值的最大值作為子圖像的寬度和高度，所以得到的紋樣基元子圖像是一個寬度和高度相等的子圖像。整個藍印花布紋樣基元提取過程如圖2所示。圖2(a)為藍印花布初始圖像。為植物紋樣的藍底白花圖案。經圖像預處理，得到二值化圖像。調用輪廓跟蹤方法，得到二值圖像中各紋樣基元的輪廓，利用提出的算法生成帶有序號的獨立的紋樣基元子圖像，各基元子圖像間尺寸大小不同但每個子圖像自身寬度和高度相等?；訄D像按輪廓序號依次提取，圖2(b)中共有106個輪廓，因此會生成106個紋樣基元子圖像。由于篇幅關系，圖2(c)中僅給出前40個紋樣基元子圖像。對這些基元進行分類，可歸屬于12類中的米粒紋、貝殼紋、柱形紋、圓形紋等類別。

2 卷積神經網絡構建

2.1 卷積神經網絡

卷積神經網絡利用網絡空間關系減少需要學習的參數量以提高前向BP算法的訓練性能。CNN由輸入層、隱含層和輸出層組成。隱含層包含若干不同數量的卷積層、池化層和全連接層。整個網絡的訓練過程分為前向傳播和反向傳播。前向傳播是用當前網絡參數對輸入的數據進行分類；反向傳播用來更新網絡訓練參數。

1) 前向傳播。對于整個網絡，假設原始訓練集圖像數據{(x,y)|(x(1),y(1)),…,(x(m),y(m))}由m個已標記的樣本構成，其中類別標簽y可取H個不同的值，即分類類別，其值可表示為y(h)∈{1,2,…,H}。經過卷積層、池化層和全連接層處理后，通過邏輯回歸分類器輸出分類結果y，對于各層特征的運算如下：

(3)

式中：x(l)表示第l層的輸出；xi表示輸入向量；?表示卷積運算；Wi表示該層對應的卷積核權值；s表示輸入的特征圖集合；bi表示偏置矩陣；i表示網絡的層數；f(·)表示本層的非線性激活函數。常用的激活函數有Sigmoid、Tanh和ReLU等。本文選擇ReLU作為卷積層和全連接層的激活函數，輸出層采用Softmax函數并輸出分類標簽。若P(y)表示預測當前迭代中歸屬每一類別的概率，其值計算如下：

(4)

式中：T為矩陣轉置。Wi表示該層對應的卷積核權值；xi和xj分別表示第i和j層的輸入向量；bi和bj分別表示第i和j層的偏置矩陣。

2) 反向傳播。又稱為誤差傳播。對于m個訓練樣本，通過網絡的前向傳播，結果會輸出每個類別線性預測的結果，根據這個結果和網絡期望的輸出，可以定義網絡的整體目標函數如下：

(5)

式中：J(·)表示網絡損失函數；(xi,yi)表示網絡反向傳播的輸入，即式(3)中最后一層網絡的輸出；W表示本次迭代的權值；λ表示相應的歸一化權重衰減系數。在訓練過程中，為了更新式(5)中的網絡權重，使用優化算法對每層的參數W和b進行求導，得到網絡參數的更新值，其規則如下：

(6)

2.2 模型構建

CifarNet網絡模型已在CIFAR-10和CIFAR-100帶標簽的各類自然場景目標圖像分類中取得較好成績。針對藍印花布紋樣基元的圖像特征，對CifarNet網絡結構進行改進及優化，對輸入的特征圖數量進行調整，改變池化組合方式以及增加一層丟棄層，得到新的網絡模型。然后利用改進的網絡模型對藍印花布紋樣基元子圖像進行分類訓練。改進的CifarNet網絡模型結構如圖3所示。

1) 輸入層。提取出來的藍印花布紋樣基元，雖然每個子圖像的寬度和高度相等，但各個子圖像尺寸大小不盡相同，必須按比例統一縮放到32像素×32像素。

2) 卷積層。卷積層用于提取圖像特征，C1、C2、C3均為卷積層，使用的卷積核大小為5×5，步長為1，寬度高度均填充2個像素。輸入的圖像經過3層卷積運算后，分別得到48個32像素×32像素的特征圖、64個16像素×16像素的特征圖和128個8像素×8像素的新特征圖。在提取圖像特征時，均使用ReLU激活函數。

3) 池化層。S1、S2、S3為池化層，該層的每個單元與上層卷積特征圖的3×3鄰域相連接，步長為2。其中，S1采用最大值池化方式，S2和S3都采用均值池化方式。通過3層池化處理后，輸出的特征圖大小分別為16像素×16像素、8像素×8像素和4像素×4像素。

4) 全連接層。FC1及后一層為全連接層，其中，FC1輸出的特征向量數為256，其后一層為12，通過Softmax分類器，計算出屬于每個輸出類別的概率，得到最終的分類結果。在FC1的輸出端，連接有一個丟棄層dropout，它是為了防止神經網絡過擬合的正則化方式，降低了過擬合的風險，本研究中的dropout參數設置為0.25。

3 結果與分析

3.1 實驗環境及樣本準備

實驗操作平臺為Windows 7、64位操作系統，Intel?CoreTMi7-7700 K CPU，4.20 GHz x8處理器，GPU使用英偉達GTX 1080，采用16 nm制作工藝，顯存類型GDDR5X，容量8 GB，核心頻率為1 645～1 785 MHz，深度學習平臺采用Caffe框架。

對于采集的原始藍印花布圖像，人工剔除其中有明顯缺陷的圖像，如嚴重畸變、相互粘連、形狀損壞等，得到用于實驗的圖像共128張。利用上述算法提取紋樣基元。對過度重復的同一類別紋樣基元的數量進行控制，隨機選擇其中一部分基元作為樣本，形成共21 212張紋樣基元圖像的數據集，分為12種類型：圓形紋、米粒紋、柱形紋、貝殼紋、菱形紋、龜背紋、三角紋、月形紋、四葉紋、魚鱗紋、山形紋、三節紋。其中，16 970張作為訓練樣本，4 242張作為測試樣本，訓練樣本約為測試樣本的4倍。每種類型包含訓練樣本約1 400張和測試樣本約350張。為了檢驗模型的識別效果，在獲得的紋樣基元中，除了用于訓練的樣本數據外，還建立了約2 500張左右的檢測樣本集，用于12種紋樣基元的分類識別，每類樣本數量約為200張左右。

3.2 分類訓練過程及分析

采用帶動量因子(momentum)的小批量隨機梯度下降法(SGD)對網絡進行訓練，訓練及測試樣本的數據批量值均為128，帶動量因子設置為0.9。在訓練過程中，迭代次數為50 000，初始學習率設為0.01，訓練過程中每次隨機選擇128張圖像進行訓練，每張圖像都會多次使用，并選擇128張圖像進行交叉驗證，每迭代200次對訓練進行評價。訓練過程中，訓練損失值、測試損失值及測試準確率隨訓練進行而變化的過程如圖4所示。

訓練損失值是指訓練集在模型中的預測結果與真實結果的誤差、測試損失值是指測試集在模型中的測試結果與真實結果的誤差，測試準確率是指隨機選取圖像進行準確分類的百分比。對于訓練過程，訓練損失值和測試損失值越小學習效果越好，測試準確率越大越好。每次訓練的預測值會與實際值相比較并通過反向傳播以改變網絡的各層權重，從而優化網絡參數，提高網絡性能。從圖4中觀察發現，測試集的分類準確率在訓練過程中不斷提升(見圖4(a))，訓練損失值及測試損失值不斷降低(見圖4(b))，迭代一定次數后，網絡性能趨于穩定。在前10 000次迭代訓練過程中，測試準確率提升迅速，之后測試準確率基本穩定在99%以上；訓練損失值和測試損失值前10 000次迭代時下降較快，之后在0.03以下維持平穩，特別是訓練損失值，趨于平穩后，接近于0.000 1。

迭代10 000次以后，測試準確率上升比較緩慢，而訓練損失值和測試損失值在迭代10 000次以后也下降緩慢。在迭代25 000次之后，模型基本收斂到最佳。為了防止過擬合，在全連接層后增加了一層丟棄值，丟棄值設為0.25。將設置好的網絡模型多次進行相同訓練(保持網絡結構參數及訓練初始參數)，觀測到測試分類準確率為(99.61±0.05)%，證明此模型在得到較高測試分類準確率的同時能有效限制過擬合。根據訓練損失值、測試損失值和測試準確率的變化可以看出網絡模型的訓練效果較為理想，提出的CNN模型具有準確分類藍印花布紋樣基元的能力。

3.3 對比實驗及分析

1) 網絡模型對分類準確率的影響。卷積神經網絡通常使用Softmax分類器進行目標分類，如LeNet-5、CifarNet、AlexNet、GoogLeNet等。在分類器設計方面，支持向量機(SVM)[25]也具有良好的分類效果。為驗證本文網絡模型的分類性能，對使用Caffe平臺的原型LeNet-5、CifarNet網絡模型以及根據CifarNet模型輸出結果再利用SVM分類器進行分類的3種方法，從平均分類準確率、訓練時間2個維度與本文方法進行比較，結果如表1所示。

表1 4種分類方法的性能比較Tab.1 Performance comparison of 4 classification methods

從表1可以看出，本文提出的改進的CifarNet網絡模型的平均分類準確率高于其他3種方法，平均分類準確率達99.61%。由于本文方法在提取特征圖以及網絡層數量上均大于原型的LeNet-5和CifarNet，因此訓練時間最長。SVM分類器僅加在輸出層，用來對分類結果打分，因此其訓練過程與本文方法相似，性能差不多。時間上僅相差1.5 min，對于目前計算機硬件配置來說，時間上的差異已微不足道。LeNet-5模型用時最少，但平均分類準確率最低。

2) 池化策略對分類準確率的影響。池化層位于卷積層之后，用來降低卷積層輸出的特征向量，其策略有最大值池化和平均池化2種方法。最大值池化用于更好地保留紋理上的特征，平均池化能保留整體數據的特征和突出背景的信息。在CifarNet網絡模型中，有3個3×3鄰域、步長為2的池化層S1、S2和S3。不同的池化策略組合對測試的平均分類準確率有影響。假設用S1+S2+S3表示3層池化的組合，其組合方式可分為：Max+Max+Max，用大寫字母A表示；Ave+Ave+Ave，用大寫字母B表示；Max+Max+Ave，用大寫字母C表示；Max+Ave+Ave，用大寫字母D表示。A、B、C、D在不同的池化策略下得到的平均分類準確率分別為97.23%、99.02%、98.50%、99.61%。

可知3個池化層采用Max+Ave+Ave的池化組合方式，其平均分類準確率最大，而Max+Max+Max相對來說最低。對于藍印花布紋樣基元圖像來說，其最明顯的特征是基元形狀及邊緣輪廓，紋理特征不明顯，背景單一，因此在S1層采用Max池化能保留淺層紋理特征，在S2層和S3層采用Ave池化，可以更多地保留圖像背景信息，利于提取關鍵特征，因而提升了平均分類準確率。

3) 模型效果驗證。按照圖3所示的網絡模型，為了驗證模型的可靠性與實際泛化性能，使用訓練好的模型對紋樣基元樣本進行識別。用于識別實驗的檢測樣本數量為1 200張，每類樣本100張，來自于2 500張檢測樣本集中的一部分。對原型LeNet-5、CifarNet網絡模型以及根據CifarNet模型輸出結果再利用SVM分類器進行分類的3種方法及本文方法進行識別，結果如表2所示。

表2 4種方法的識別率Tab.2 Recognition rates of four methods %

從表中可以看出，本文改進的模型分類識別準確率最高，表現較LeNet-5、CifarNet以及SVM分類器模型更好。這主要是因為LeNet-5模型最初的設計是用于較簡單的數字識別，模型層次少，特征數量有限。后面3種方法識別準確率都達到了97%以上，用于紋樣基元的分類識別表現較好。結合實驗數據綜合分析，所設計的網絡模型為最佳。在進行12類基元識別時，圓形紋、龜背紋和四葉紋之間存在一定的誤判，米粒紋和貝殼紋之間，柱形紋和三節紋之間也存在這種情況。原因在于其特征具有一定的相似性。而對于菱形紋、三角紋、月形紋、魚鱗紋和山形紋，特征獨特，識別率較高，識別結果也較符合主觀視覺特征效果。

4 結束語

藍印花布是國家非物質文化遺產，利用圖像處理技術對其進行傳承及創新是很有必要的，然而目前這方面的研究還不多，需要更多研究人員參與進來。本文利用提取藍印花布紋樣基元的算法從原始藍印花布紋樣圖案中提取獨立的基元圖像。對提取到的大量的基元圖像進行分類，作為各種類別的基元圖庫，為此提出了一種基于改進的CifarNet網絡結構的卷積神經網絡進行分類訓練。根據基元圖像的形狀特征，分為12類，建立了相應的訓練樣本和測試樣本。利用建立的網絡模型進行分類訓練，其平均分類準確率達99.61%，檢測平均準確率達98.5%。通過和另外3種分類方法的比較，驗證了提出的網絡模型進行紋樣基元分類的可行性及有效性，為藍印花布紋樣基元的自動分類打下了基礎。對于新得到的基元圖像，可以根據網絡的測試結果自動進行分類，這對于藍印花布的傳承與創新，將起到積極的作用。