基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別研究綜述*

黃志強(qiáng) 李軍

（重慶交通大學(xué)機(jī)電與車輛工程學(xué)院）

20 世紀(jì)40 年代神經(jīng)元的概念首次被引入計(jì)算機(jī)領(lǐng)域，開啟了神經(jīng)網(wǎng)絡(luò)的大門。在2005 年之后，神經(jīng)網(wǎng)絡(luò)因?yàn)楫?dāng)時(shí)解決了梯度彌散問題而得到了廣泛應(yīng)用、出現(xiàn)大量已標(biāo)注的數(shù)據(jù)和GPU 的快速發(fā)展。神經(jīng)網(wǎng)絡(luò)算法在圖像和字符識別領(lǐng)域起著重要作用，如欺詐檢測、人臉識別、醫(yī)學(xué)病理的判斷等等，還可以對股票價(jià)格、經(jīng)濟(jì)走勢等廣義上的模型做預(yù)測，其克服了傳統(tǒng)模型不能預(yù)測復(fù)雜的非線性模型的缺點(diǎn)，因此越來越多的學(xué)者投身于該領(lǐng)域。文章從理論和算法的可行性等方面詳細(xì)介紹了各種算法的優(yōu)點(diǎn)和缺點(diǎn)，并針對各類算法在圖像識別中存在的問題提出一些改進(jìn)建議，為今后更進(jìn)一步地深入研究提供了參考。

1 圖像識別分類

圖像識別是為了將不同類別的圖像劃分到不同的類別中，引入卷積神經(jīng)網(wǎng)絡(luò)是為了達(dá)到最小的分類誤差，獲得最高的識別率。圖像識別問題總體[1]上可以分為跨物種語義級分類、子類細(xì)粒度圖像分類以及實(shí)例級圖像分類。

跨物種語義級分類是為了識別不同種類的對象，此類算法的特點(diǎn)是存在較小的類內(nèi)方差，較大的類間方差；子細(xì)粒度圖像分類是在同一大類實(shí)現(xiàn)其子類的細(xì)分，此類檢測對分類器的要求更高；實(shí)例級圖像分類在實(shí)現(xiàn)前2 種圖像分類的基礎(chǔ)上，同時(shí)還需要識別不同的個(gè)體。目前廣泛使用的是基于實(shí)例級的圖像分類技術(shù)，在滿足精度要求的同時(shí)，也能達(dá)到較好的速度要求。

2 圖像識別算法

2.1 傳統(tǒng)檢測算法

傳統(tǒng)的圖像識別算法包括微分算子邊緣檢測算法、Canny 邊緣檢測算法、角點(diǎn)檢測算法等。文章將對后2 種常用的算法作詳細(xì)說明。

1）Canny 邊緣檢測算法一般包含 4 個(gè)步驟[2]：濾波、梯度幅值和梯度方向計(jì)算、非極大值抑制計(jì)算、邊緣檢測與連接。首先通過高斯濾波函數(shù)去除圖像的噪聲，并對圖像進(jìn)行平滑處理，接著通過一階有限差分法分別對濾波后的圖像水平和垂直方向的像素點(diǎn)進(jìn)行偏導(dǎo)求解，再使用非極大值抑制算法將局部最大值之外的正負(fù)梯度值設(shè)置為0，最后通過不相同的2 個(gè)閾值對候選邊緣圖像中的像素進(jìn)行處理，保留兩閾值范圍內(nèi)的像素，最終檢測出物體。

傳統(tǒng)的Canny 邊緣檢測算法降噪能力較差，針對這一情況，文獻(xiàn)[3]提出同時(shí)使用4 個(gè)具有各向異性的5階差分模板檢測多個(gè)方向上的像素點(diǎn)，不僅能夠檢測上、下、左、右4 個(gè)領(lǐng)域的灰度加權(quán)值，同時(shí)還能夠檢測對角線方向的值。為了提高Canny 算法的自適應(yīng)能力，文獻(xiàn)[4]采用自適應(yīng)中值濾波和形態(tài)學(xué)閉合運(yùn)算來防止多方向梯度幅值計(jì)算時(shí)邊緣信息被弱化，同時(shí)利用目標(biāo)與背景的最佳分離點(diǎn)是最優(yōu)梯度下最大的類間方差與最小的類內(nèi)方差這一概念，來計(jì)算Canny 算法中的上下閾值，以此來提高其自適應(yīng)能力。

2）角點(diǎn)檢測算法[5]是通過一個(gè)固定像素窗口在圖像中進(jìn)行任意方向的滑動，比較滑動前后窗口中的像素灰度值，如果存在較大的變化，則可判斷出該像素內(nèi)存在角點(diǎn)。角點(diǎn)檢測算法分為3 類[6]：基于二值圖像的角點(diǎn)檢測、基于灰度圖像的角點(diǎn)檢測和基于邊緣輪廓的角點(diǎn)檢測。

傳統(tǒng)的Harris 角點(diǎn)檢測算法精度較低，抗噪性差，文獻(xiàn)[7]將Sobel 算法和Harris 算法結(jié)合，首先使用Sobel 算法進(jìn)行角點(diǎn)初選，將非極大值抑制算法中的矩形模板用圓周模板替代，以此來提高檢測精度，最后使用臨近點(diǎn)剔除法提高算法的抗噪性。文獻(xiàn)[8]通過比較階梯邊緣、L 型拐角、Y 或 T 型拐角、X 型拐角和星型拐角的強(qiáng)度變化特性后，提出利用多尺度各向異性高斯方向?qū)?shù)濾波器，從輸入圖像中提取灰度變化的新方法，該方法能夠連續(xù)地提取圖像中的邊緣點(diǎn)和角點(diǎn)特征。

2.2 神經(jīng)網(wǎng)絡(luò)算法

通過模擬人腦運(yùn)轉(zhuǎn)建立的神經(jīng)網(wǎng)絡(luò)算法，是一種非線性動力學(xué)系統(tǒng)，通過大量輸入神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)，能夠?qū)崿F(xiàn)各種傳統(tǒng)算法所不能達(dá)到的目標(biāo)。許多曾經(jīng)嚴(yán)重依賴于手工提取特征的機(jī)器學(xué)習(xí)任務(wù)（如目標(biāo)檢測、機(jī)器翻譯和語音識別），如今都已被各種端到端的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法徹底改變了。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法[9]主要分為卷積神經(jīng)網(wǎng)絡(luò)、注意力神經(jīng)網(wǎng)絡(luò)、自編碼神經(jīng)網(wǎng)絡(luò)、生成網(wǎng)絡(luò)和時(shí)空網(wǎng)絡(luò)5 大類。

卷積神經(jīng)網(wǎng)絡(luò)是所有其他復(fù)雜網(wǎng)絡(luò)的基礎(chǔ)，但是由于其結(jié)構(gòu)簡單，不能在復(fù)雜環(huán)境中實(shí)現(xiàn)較高精度的分類任務(wù)，為此研究者提出了一些比較典型的CNN 框架[10-12]：LeNet、AlexNet、GooleNet、VGGNet、ResNet。一般情況下研究者會將其融合使用，使其效果更佳。文章將重點(diǎn)介紹卷積、注意力、生成對抗神經(jīng)網(wǎng)絡(luò)和金字塔神經(jīng)網(wǎng)絡(luò)。

2.2.1 注意力神經(jīng)網(wǎng)絡(luò)

注意力神經(jīng)網(wǎng)絡(luò)包含編碼器和解碼器2 部分[13]，編碼器為采用加權(quán)組合的方式對輸入的參數(shù)進(jìn)行編碼，得到一組向量，解碼器采用RNN 結(jié)構(gòu)對該組向量進(jìn)行解碼，引入注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)更容易分析圖像信息集中的那一部分，從而會忽略一些細(xì)節(jié)信息，因此文獻(xiàn)[14]通過ResNet 提出利用注意力機(jī)制實(shí)現(xiàn)特征的軟閾值化，網(wǎng)絡(luò)中輸出的閾值是各個(gè)特征通道的絕對值的平均值與一組0 和1 之間的系數(shù)的乘積，這樣能夠確保所有的閾值都為正數(shù)，而且不會使所有的輸出都為0，使得該網(wǎng)絡(luò)能夠適用于噪聲含量不同的樣本中，避免了人工設(shè)置閾值所需要的專業(yè)知識不足的問題。此外，針對低分辨率圖像在較深的網(wǎng)絡(luò)中會丟失大量信息的問題，文獻(xiàn)[15]提出了通道注意力機(jī)制，通過對特征通道之間的相互依賴性建模來自適應(yīng)地重新縮放每個(gè)通道的特征，設(shè)計(jì)出一個(gè)RIR（Residual In Residual）架構(gòu)，其中 RG（Residual Group）作為基本模塊，LSC（Long Skip Connection）則用來進(jìn)行粗略的殘差學(xué)習(xí)，在每個(gè)RG 內(nèi)部則疊加數(shù)個(gè)簡單的殘差塊和SSC（Short Skip Connection）。LSC、SSC 和殘差塊內(nèi)部的短連接可以允許豐富的低頻信息直接通過恒等映射向后傳播，這可以保證信息的流動，加速網(wǎng)絡(luò)的訓(xùn)練。

2.2.2 生成對抗神經(jīng)網(wǎng)絡(luò)

生成對抗神經(jīng)網(wǎng)絡(luò)由生成器和判別器組成[16]，生成器首先接收一個(gè)隨機(jī)噪聲信號，產(chǎn)生相應(yīng)的虛擬樣例，判別器則將虛擬樣例與真實(shí)樣例作比較，并給真實(shí)樣例盡可能大的概率，給虛擬樣例盡可能小的概率，反復(fù)迭代后，直至判別器無法區(qū)分樣例的真實(shí)情況。但是該方法在訓(xùn)練時(shí)不穩(wěn)定，不能生成離散的數(shù)據(jù)，由此文獻(xiàn)[17]提出了一種端到端多任務(wù)生成對抗網(wǎng)絡(luò)（MTGAN），其生成器是一個(gè)超分辨率網(wǎng)絡(luò)，它可以將小的模糊圖像采樣成精細(xì)的圖像，并恢復(fù)詳細(xì)的信息，以便進(jìn)行更精確的檢測。鑒別器是一個(gè)多任務(wù)網(wǎng)絡(luò)，它用真/假分?jǐn)?shù)、對象類別分?jǐn)?shù)和邊界盒回歸偏移量來描述每個(gè)輸入圖像塊。同時(shí)將鑒別器中的分類和回歸損失反向傳播到生成器中，使生成器恢復(fù)更多的細(xì)節(jié)以便于檢測。文獻(xiàn)[18]提出了一種卷積編/解碼器框架來提取圖像輪廓，并由生成性對抗網(wǎng)絡(luò)來支持，以提高輪廓質(zhì)量。傳統(tǒng)的圖像到圖像模型只考慮預(yù)測值與地面真實(shí)值之間的損失，而忽略了結(jié)果的數(shù)據(jù)分布與地面真實(shí)值之間的相似性。基于這一觀察結(jié)果，文章提出的生成對抗神經(jīng)網(wǎng)絡(luò)旨在提高檢測的準(zhǔn)確率。所得到的方法包含2 個(gè)模型，即編碼器-解碼器模型和鑒別器網(wǎng)絡(luò)，編碼器-解碼器模型使用來自VGG16 預(yù)訓(xùn)練模型的微調(diào)的二進(jìn)制交叉熵?fù)p失來更新權(quán)重，而鑒別器網(wǎng)絡(luò)采用地面事實(shí)和預(yù)測輪廓作為判別的輸入。

2.2.3 金字塔網(wǎng)絡(luò)

金字塔神經(jīng)網(wǎng)絡(luò)的出現(xiàn)大大提高了小物體的識別率，其將原始圖片縮放為不同的大小[19]，分別對這些圖片提取特征進(jìn)行預(yù)測，由于每次特征提取和預(yù)測都是獨(dú)立進(jìn)行的，這樣會造成不同層級之間信息不能共享，增加網(wǎng)絡(luò)的計(jì)算時(shí)間。為此，文獻(xiàn)[20]使用特征轉(zhuǎn)化和特征融合2 個(gè)模塊，將圖像金字塔得到的淺層空間信息和細(xì)節(jié)信息融合到主干網(wǎng)絡(luò)中，讓網(wǎng)絡(luò)能夠提取足夠的淺層圖像信息，和來自深層語義的信息，從而可以減少特征未對準(zhǔn)和細(xì)節(jié)丟失的影響。所得到的特征也既包含了豐富的語義信息，又補(bǔ)充了淺層的空間細(xì)節(jié)信息，從而提升網(wǎng)絡(luò)對小目標(biāo)檢測的性能。為了克服使用多尺度圖片金字塔計(jì)算量大的問題，文獻(xiàn)[21]設(shè)計(jì)了自上而下、自下而上、融合-分割3 種模式，分別檢測小型、大型、中型物體，最后使用混合特征金字塔網(wǎng)絡(luò)將其特征融合使用，以繼承3 種模式的優(yōu)點(diǎn)。

2.2.4 自編碼神經(jīng)網(wǎng)絡(luò)

自編碼網(wǎng)絡(luò)由負(fù)責(zé)降維的編碼器和負(fù)責(zé)升維的解碼器組成[22]，其目的是為了在輸出層重新構(gòu)建輸入數(shù)據(jù)，讓輸出數(shù)據(jù)與輸入數(shù)據(jù)相同，這就可以看作是一種無監(jiān)督學(xué)習(xí)方法。自編碼神經(jīng)網(wǎng)絡(luò)最簡單的方法可以通過2 個(gè)恒等函數(shù)表達(dá)式來完成，但是這樣會造成隱藏層無法被表達(dá)，多尺度信息丟失。針對這些問題，文獻(xiàn)[23]提出分兩階段提取圖像的深度多尺度信息，先通過堆疊稀疏自動編碼器（SSAE）提取圖像的多尺度信息，再通過一維平均合并策略來降低特征維數(shù)，這樣可使神經(jīng)網(wǎng)絡(luò)在隱藏層神經(jīng)元較多的情況下依然能夠提取樣本的深層特征和結(jié)構(gòu)。而文獻(xiàn)[24]利用稀疏自動編碼器降低圖像的特征維度，并重新構(gòu)建圖像中的感性區(qū)域，再從該區(qū)域進(jìn)行特征提取，該方法可減少無用特征所占用的計(jì)算空間，提高最終的識別率。

3 結(jié)論

文章主要分析了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)，對其原理以及當(dāng)前的運(yùn)用現(xiàn)狀進(jìn)行了研究。當(dāng)今圖像識別中已廣泛應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，未來圖像識別應(yīng)用的環(huán)境將更加復(fù)雜，單獨(dú)使用某一類卷積神經(jīng)網(wǎng)絡(luò)技術(shù)時(shí)會存在一定的局限性，為了提高特殊環(huán)境下的識別率，如在目標(biāo)顏色與背景顏色一致，多個(gè)目標(biāo)重疊在一起，識別的目標(biāo)遮擋嚴(yán)重等極端環(huán)境下，可將不同的卷積神經(jīng)網(wǎng)絡(luò)技術(shù)相結(jié)合，充分利用各自的優(yōu)點(diǎn)，同時(shí)可以針對不同物體的特殊結(jié)構(gòu)使用相應(yīng)的神經(jīng)網(wǎng)絡(luò)，進(jìn)一步提高物體的識別率。