基于CNN池化和進化策略的一般神經網絡圖像分類研究

摘要：網絡的爆炸式發展產生了海量的圖像，圖像標簽的錯誤和缺失比較常見，圖像分類研究很有必要。CNN池化能夠提取到輸入矩陣的重要特征，降低數據的維度。進化策略是模仿生物“優勝劣汰”進化方式的一種啟發式算法，能快速找到問題的解。本文基于CNN池化提取一組有正確標簽的圖像的特征，搭建層數為3的神經網絡，進化策略優化初始權重，通過訓練集訓練分類模型，通過測試集來驗證模型的優劣，并使最終的模型實現對未知類別圖像的高效分類。實例驗證階段收集10類100張犬類圖片，按照各研發步驟進行實驗，算法結果驗證了進化策略優化權重的必要及神經網絡模型的高效。

關鍵詞：CNN池化;進化策略;神經網絡;圖像分類

【Abstract】Theexplosivedevelopmentofthenetworkhasproducedalargenumberofimages，andtheerrorsandmissingofimagelabelsaremorecommon，andtheresearchonimageclassificationisnecessary.CNNpoolingcanextractimportantfeaturesoftheinputmatrixandreducethedimensionalityofthedata.Evolutionarystrategyisaheuristicalgorithmthatimitatestheevolutionarymethodof"survivalofthefittest"ofbiology，whichcanquicklyfindthesolutionoftheproblem.BasedonCNNpooling，thepaperextractsthefeaturesofasetofimageswithcorrectlabels，buildsaneuralnetworkwiththreelayers，optimizestheinitialweightsbyevolutionarystrategy，trainstheclassificationmodelthroughthetrainingset，andverifiestheprosandconsofthemodelthroughthetestset.Thefinalmodelrealizestheefficientclassificationofunknowncategoryimages.Intheinstanceverificationstage，100dogpicturesof10categoriesarecollected，andtheexperimentiscarriedoutaccordingtotheabovesteps.Thealgorithmresultsverifythenecessityoftheevolutionstrategytooptimizetheweightandtheefficiencyoftheneuralnetworkmodel.

【Keywords】CNNpooling;evolutionarystrategy;neuralnetwork;imageclassification

作者簡介：高滔（1994-），男，碩士研究生，主要研究方向：車間調度、智能算法。

0引言

隨著互聯網技術的飛速發展，在對互聯網的使用中也隨即產生了海量的圖像。目前網頁上的很多圖像都沒有或沒有正確標簽，并在缺乏先驗知識的情況下，對圖像的分類進行識別也仍具有一定難度。很多時候各關鍵詞也不能鏈接到正確的圖像，即會帶來一定誤導，所以良好的圖像分類意義重大。

人工神經元網絡（ArtificialNeuralNetwork，ANN）是模擬生物神經網絡，由若干個神經網絡組成的動態系統。其中，里程碑式的成就即是由Rosenblatt提出的單層感知機模型，Rumelhart等人[1]則提出了誤差訓練傳播算法的多層前饋反向傳播網絡BP網絡，Hinton等人[2]又在《Science》發文剖析了多隱藏層的優點，至此深度學習的提出就使得神經網絡的研究逐漸成為熱點。在上世紀末，已有人開始從事卷積神經網絡（ConvolutionalNeuralNetwork，CNN）方面的相關研究，也取得了一些成果，但很難拓展，直到2012年大規模視覺識別挑戰競賽CNN取得最好的效果，由此才吸引大量關注[3]。進化策略是由德國Rechenberg和Schwefe模擬生物進化的方式提出的算法，與遺傳算法不同的是其存在外形參數，并認為基因改變無法改變結果的分布[4]。

現有的分類技術大多屬于監督學習，需要大量標簽數據訓練模型[5]。零樣本分類是一種跨模態學習，當前的熱門研究領域之一，其在應用初期的圖像分類任務現已擴展到了其他方面[6-7]。卷積神經網絡在圖像分類的應用是當前的主流，取得了眾多可觀成果[8-10]，但在一些領域也受到一些挑戰，ResNet-50網絡中的Softmax分類器不能夠很好地區分提取到的特征[11-12]。目前，卷積神經網絡對圖像分類的研究，經常用到的圖像去噪方法、也就是本文選用的NL-means算法[13]，Softmax-Loss在單類別分類問題中的應用要更多些[14-15]。

綜上可知，神經網絡在圖像分類的研究較多，研究成果相當豐富。但大多數都是在特定情況下集中在分類模型的選擇和參數的優化上，重點就是算法層面的改進。基于此，本文應用CNN的池化提取特征，進化策略優化初始權重，搭建相關神經網絡模型并進行訓練，最終在具體的實例中驗證了模型的效率。

1研究方法

1.1池化

池化類似于過濾，用過濾得到輸出代替輸入（本文中的輸入、輸出皆是二維矩陣）。相關參數有輸入x、核kernel、輸出y、Padding加零、X寬高分別是WX、WH，核的參數有寬W、高H、步長stride，其寬高分別是S_width，S_height。池化一般有3種：MaxPooling、MinPooling、MeanPooling，分別表示最大、最小、均值池化。池化的流程步驟可表述為：

對輸入X進行加零（Padding=1，X外部加一圈零），從左到右，從上到下依次用核去掃描X，步長stride控制每次移動的距離，stride有2個參數，分別控制右移和下移的幅度，核覆蓋超過X邊界的部分補零，依次對核覆蓋的區域取最大值、最小值或均值組成輸出y。池化的示例如圖1所示。由圖1可知，核長寬都是2，步長的2個參數都是2。

1.3神經網絡

神經網絡也對應著輸入X，輸出Y，不同的是其引入權重W、偏置b和激活函數F（x），激活函數有sigmoid（x），softmax（x），relu（x）等等。

按學習方式，神經網絡可分為監督式學習和非監督式學習，兩者間的區別是有無標簽（目標值）。對于分類問題，常用的方法是監督式學習。其大致步驟就是：初始化W，b，計算模型輸出Y，與標簽t進行比較，通過彼此間的差異來調整W和b，并引入學習率LR表示調整幅度的大小，最終達到訓練模型的效果。通常，損失函數loss（x）可表示兩值間差異。研究中，常見的損失函數有均方差，交叉熵，常用的算法是梯度反向傳播算法。下面就本文用到的函數及模型給出對應的數學表示：

2實驗及結果分析

2.1數據收集及處理

本文收集了10種犬的圖片，分別是：藏獒、哈士奇、柴犬、貴賓犬、杜賓犬、吉娃娃、邊境牧羊犬、薩摩耶犬，英國斗牛犬，金毛尋回犬。每種10張，共100張圖片。每張圖都是jpg格式，并對每張圖的像素進行調整，均調整為121×121。對部分圖片處理后的縮影見圖2。

對于數據處理，研究中擬依次展開的步驟詳情見如下：

（1）通過python的圖像處理模塊把每張圖像轉為灰度圖，并通過自定義函數把每張圖讀為二維矩陣，因為矩陣上的值在0～255之間，每個矩陣都除255，做歸一化處理。返回矩陣的行和列，對應圖像的width，height，分別是121，121。現有100個121×121的矩陣。

（2）對這100個矩陣做maxpool池化處理，核的W=H=3，步長，S_width=3，S_height=3，padding=0，由式（2），式（3）知處理后的矩陣行列C=R=[（121-3）/3]+1=40，變為100個40×40的矩陣。其池化的工具是tensorflow模塊里面的相關函數。

（3）把矩陣變為100個1600×1的矩陣并豎直合并，變換為100×1600×1的矩陣，降維為100×1600，其矩陣的每一行就表示一張圖片。對矩陣的每一行的標簽進行編碼，采用獨熱編碼（One-HotEncoding）。編碼完成后與前一個矩陣合并，矩陣變為100×1610，保存在Excel中。

（4）復制一份數據，與之前數據合并，變為200×1600，并隨機打亂矩陣的行。讀取前面的160行作為訓練集，用作模型的訓練，讀取最后40行用作為測試集，用作模型的測試。

處理后的部分數據縮影見圖3。

2.2模型搭建

本文搭建的是3層神經網絡，第一層是輸出層，第二層是隱藏層，激活函數是sigmoid，第三層輸出層，激活函數是softmax。隱藏層的神經元數采用Masters（1994），即：

NHN≈（NINP*NOUT）1/2.（10）

輸出神經元1600，輸出神經元10（10類），隱藏神經元數NHN≈1600×10≈126。

隱藏層和輸出層的權重矩陣的值都從標準正態分布中生成，初始b都為0.1。

其中，隱藏層矩陣是1600×126，輸出層矩陣是126×10。損失函數采用交叉熵函數。學習率設為0.1。

2.3進化策略生成初始權重

初始權重相當于尋找滿意解的起點，好的初始權重能使算法收斂更快，運用進化策略對初始權重進行尋優，算法步驟可簡化為2步：

（1）隨機初始化多個輸出層矩陣權重當作DNA，也就是問題的多個解，隨機初始化多個變異強度與之對應。

（2）計算多個解下的輸出，因為適應度函數（目標函數）是最值函數，把交叉熵當作適應度函數。對初始矩陣進行進化策略迭代，尋找最優的權重矩陣。

初始的500個權重矩陣和對應的變異強度矩陣都是從標準正態函數中生成。本文初始化500個DNA，即500個權重矩陣，每次產生200個子代，種群變為700個DNA，每次淘汰交叉熵大的200個DNA，經過多次迭代后種群還是500個DNA，最終輸出交叉熵最小的權重矩陣。

2.4算法測試

保持其他神經網絡的各參數不變，參見2.2節的模型搭建，迭代次數都設為1000次，分別輸出不加入進化策略（隨機輸出層權重矩陣）和加入進化策略（進化策略找到較好的初始矩陣）的結果。該結果表示每次通過模型迭代去計算測試集的正確率。結果正確的依據就是每次測試集的輸出與測試標簽在對應位置處的誤差在較小的范圍內，否則認為不正確。研究得到的實驗結果如圖4～圖6所示。3個結果都是多次實驗得到較為平均的結果。其中，圖6是學習率LR=0.3的未加入進化策略的仿真結果。

由圖4～圖6可以看出，考慮CNN池化提取圖像特征正確率都較高。結果中，加入進化策略的正確率95%，未加入進化策略正確率為85%，學習率調整為0.3時正確率在迭代次數800次左右就達到100%。

3結束語

經由本文研究可以看出，基于CNN池化提取特征的訓練模型都取得較好的結果，加入進化策略對初始權重選擇的結果則優于未加入的。這就說明，考慮CNN池化和進行策略在一般神經網絡是可行的，其效果也較好。從圖6也可以看出，調整學習率能使算法快速收斂，同時表明該問題對學習率也比較敏感。

本文也有一些不足：數據量小，搭建的神經網絡層數并不深，若面臨更復雜的分類問題，該系統可能無法通過訓練得到較好的模型。為此，下一步的研究展望是：增大數據量，使模型具有普遍性;效果不好時加大神經網絡層數，啟用更優秀的激活函數;考慮對其他參數也同步進行調整，而不能僅僅局限在初始權重上。

參考文獻

[1]RUMELHARTDE，HINTONGE，WILLIAMSRJ.Learningrepresentationsbyback-propagatingerrors[J].Nature，1986，323（6088）：533-536.

[2]HINTONGE，SALAKHUTDINOVRR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science，2006，31（5786）：3504-3507.

[3]周飛燕，金林鵬，董軍.卷積神經網絡研究綜述[J].計算機學報，2017，40（6）：1229-1251.

[4]馮春時.群智能優化算法及其應用[D].合肥：中國科學技術大學，2009.

[5]LECUNY，BENGIOY，HINTONG.Deeplearning[J].Nature，2015，521：436-444.

[6]JIZhong，YUYunlong，PANGYanwei，etal.Manifoldregularizedcross-modalembeddingforzero-shotlearning[J].InformationSciences，2017，378：48-58.

[7]XUBaohan，FUYanwei，JIANGYugang，etal.Heterogeneousknowledgetransferinvideoemotionrecognition，attributionandsummarization[J].IEEETransactionsonAffectiveComputing，2018，9：255-270.

[8]趙新秋，賀海龍，楊冬冬，等.基于改進的卷積神經網絡在圖片分類中的應用[J].高技術通訊，2018，28（11）：930-936.

[9]閆河，王鵬，董鶯艷，等.改進的卷積神經網絡圖片分類識別方法[J].計算機應用與軟件，2018，35（12）：193-198.

[10]常亮，鄧小明，周明全，等.圖像理解中的卷積神經網絡[J].自動化學報，2016，42（9）：1300-1312.

[11]程德強，陳亮亮，蔡迎春，等.邊緣融合的多字典超分辨圖像重建算法[J].煤炭學報，2018，43（7）：2084-2090.

[12]唐文杰，朱家明，徐麗.基于NL-Means的雙水平集腦部MR圖像分割算法[J].計算機科學，2018，45（S2）：256-258，277.

[13]張秀玲，周凱旋，魏其珺，等.多通道交叉融合的深度殘差網絡脫機手寫漢字識別[J].小型微型計算機系統，2019，40（10）：2232-2235.

[14]常川.基于ResNet深度網絡的人類蛋白質圖譜圖像分類方法研究[J].醫學信息學雜志，2019，40（7）：45-49.

[15]王文成，蔣慧，喬倩，等.基于ResNet50網絡的十種魚類圖像分類識別研究[J].農村經濟與科技，2019，30（19）：60-62.