面向圖像目標(biāo)識(shí)別的輕量化卷積神經(jīng)網(wǎng)絡(luò)

史寶岱，張 秦，李 瑤，李宇環(huán)

（空軍工程大學(xué) 研究生學(xué)院，西安 710051）

0 概述

自深度學(xué)習(xí)［1］的概念被提出以來(lái)，圖像分類領(lǐng)域迎來(lái)了重要的發(fā)展時(shí)期。深度學(xué)習(xí)方法有很多，包括自動(dòng)編碼器［2］、置信網(wǎng)絡(luò)［3］、卷積神經(jīng)網(wǎng)絡(luò)［4］，其中卷積神經(jīng)網(wǎng)絡(luò)在目前深度學(xué)習(xí)算法中占有重要地位。為了提高識(shí)別準(zhǔn)確率，通常會(huì)使神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)更復(fù)雜、層數(shù)更深，如文獻(xiàn)［5］提出的ALexNet 模型，含有61M 的參數(shù)量；文獻(xiàn)［6］提出的ResNet50 模型，參數(shù)量達(dá)到了25M。但在現(xiàn)實(shí)生活中計(jì)算資源往往有限，載體趨向小型化、可移動(dòng)，因此文獻(xiàn)［7］提出的計(jì)算速度更快且保有相當(dāng)準(zhǔn)確率的神經(jīng)網(wǎng)絡(luò)更具實(shí)用性。

輕量化神經(jīng)網(wǎng)絡(luò)越來(lái)越為人們所重視，常見(jiàn)的做法是提出新的網(wǎng)絡(luò)結(jié)構(gòu)或者壓縮現(xiàn)有的網(wǎng)絡(luò)。Google提出面向嵌入式設(shè)備的小型輕量化網(wǎng)絡(luò)MobileNets 系列，其中MobileNetV1［8］用深度可分離卷積替代了傳統(tǒng)卷積，令每一個(gè)通道都包含了全部信息，達(dá)到模型壓縮的目的。MobileNetV2［9］引入倒殘差和線性瓶頸結(jié)構(gòu)，進(jìn)一步優(yōu)化了網(wǎng)絡(luò)；MobileNet V3［10］先利用文獻(xiàn)［11］中的Mnasnet 進(jìn)行粗略的搜索，再利用感知算法NetAdapt［12］進(jìn)行搜索微調(diào)，在減少模型延時(shí)的同時(shí)保持了原有的精度水平。同樣，文獻(xiàn)［13］提出利用深度可分離卷積替換InceptionV3［14］的卷積操作，將通道相關(guān)性和空間相關(guān)性分開(kāi)進(jìn)行了處理，得到Xception 模型。此外，曠視科技提出可用于移動(dòng)設(shè)備的ShuffleNet系列，其中ShuffleNetV1［15］引入了逐點(diǎn)群卷積和通道混洗，大幅減少了1×1 卷積操作的數(shù)量。文獻(xiàn)［16］對(duì)現(xiàn)有網(wǎng)絡(luò)進(jìn)行了對(duì)比實(shí)驗(yàn)，得出4 條準(zhǔn)則，進(jìn)而改進(jìn)得到ShuffleNetV2，該模型給算力有限的嵌入場(chǎng)景提供了一個(gè)高效的架構(gòu)。

參數(shù)壓縮的途徑有模型蒸餾、低秩分解、網(wǎng)絡(luò)剪裁、量化等。其中，模型蒸餾即知識(shí)蒸餾，將教師網(wǎng)絡(luò)的經(jīng)驗(yàn)遷移學(xué)習(xí)到學(xué)生網(wǎng)絡(luò)中。TIAN 等［17］指出基礎(chǔ)的知識(shí)蒸餾只適用于輸出為類別的情況，并不適合跨模態(tài)蒸餾。網(wǎng)絡(luò)裁剪的基本做法是剪除模型中不重要的部分，同時(shí)弱化對(duì)模型精度的損失，例如文獻(xiàn)［18］提出一種利用偏置參數(shù)進(jìn)行網(wǎng)絡(luò)裁剪的方法，文獻(xiàn)［19］提出一種基于灰色關(guān)聯(lián)算法的剪枝方法。

移動(dòng)式平臺(tái)在生活中大量存在，但這些平臺(tái)的存儲(chǔ)能力有限，這就要求設(shè)計(jì)者在保持準(zhǔn)確度的前提下，盡量降低網(wǎng)絡(luò)模型的計(jì)算量。目前提出的網(wǎng)絡(luò)在目標(biāo)分類上也取得了較好的成果，但網(wǎng)絡(luò)參數(shù)量和復(fù)雜度依然較高。

本文提出一種輕量化的卷積神經(jīng)網(wǎng)絡(luò)ConcatNet，通過(guò)采用特征拼接的方式，將深度可分離卷積、通道注意力和通道混洗有機(jī)地結(jié)合在一起，在保持一定準(zhǔn)確率的同時(shí)，大幅降低參數(shù)量和計(jì)算復(fù)雜度。

1 相關(guān)工作

1.1 深度可分離卷積

與傳統(tǒng)卷積相比，深度可分離卷積將通道域和空間域分開(kāi)處理，可以在犧牲少量精確度的前提下，大幅降低模型所需的計(jì)算量和參數(shù)量，加快模型的處理速度。深度可分離卷積包括深度卷積Depthwise 和逐點(diǎn)卷積2 個(gè)結(jié)構(gòu)，如圖1 所示。

圖1 深度可分離卷積結(jié)構(gòu)Fig.1 Structure of depthwise separable convolution

在二維平面進(jìn)行深度卷積操作，將單個(gè)卷積核應(yīng)用到每個(gè)通道上，樣本輸入大小設(shè)為W×K×H，其中：W為圖像高度；K為圖像寬度；H為圖像通道數(shù)。這里選用3×3×1 的卷積核，經(jīng)過(guò)H個(gè)卷積操作后，得到H個(gè)W×K特征圖。逐點(diǎn)卷積類似于普通卷積，可以對(duì)通道數(shù)進(jìn)行調(diào)整。卷積核大小設(shè)為1×1×3，數(shù)量設(shè)為N，則最終得到W×K×N大小的特征圖。

相對(duì)應(yīng)的計(jì)算量為：

標(biāo)準(zhǔn)卷積對(duì)應(yīng)的計(jì)算量為：

將深度可分離卷積和普通卷積的計(jì)算量相比，得到比值如下：

由上述公式可知，當(dāng)卷積核大小為3×3 時(shí)，深度可分離卷積可以將參數(shù)量減少到普通卷積的1/9 左右，極大地增加了網(wǎng)絡(luò)的運(yùn)算速度，因此本文在構(gòu)建模型時(shí)均采用深度可分離卷積。

1.2 通道混洗

通道混洗由ZHANG 等［15］提出，用于解決不同組之間信息不流通的問(wèn)題。本文從特征圖入手，將來(lái)自不同支路的特征圖用concat 函數(shù)組合在一起，但拼接得到的特征只能在通道進(jìn)行相加，信息流通不暢。雖然可以采用1×1 卷積混合通道間信息，但是會(huì)帶來(lái)參數(shù)量大幅增加的問(wèn)題。然而，通道混洗可以在不增加計(jì)算量和參數(shù)量的前提下，完成通道間的信息混合，增強(qiáng)分類效果，示意圖如圖2 所示。圖2（a）是分組卷積后沒(méi)有經(jīng)過(guò)通道混洗的情況，各通道信息之間沒(méi)有信息交換，因此無(wú)法保證最終分類的效果。圖2（b）是在分組卷積之后加入了通道混洗，將分組后特征圖均勻打亂并重新排列。本文利用通道混洗操作整合了支路信息，提升了模型運(yùn)算的效率。

圖2 通道混洗示意圖Fig.2 Schematic diagram of channel shuffle

1.3 通道注意力

在計(jì)算機(jī)視覺(jué)領(lǐng)域，添加注意力機(jī)制已經(jīng)成為提高模型性能的常用手段，文獻(xiàn)［20］總結(jié)了注意力機(jī)制在自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音識(shí)別等領(lǐng)域的應(yīng)用現(xiàn)狀。軟性注意力是神經(jīng)網(wǎng)絡(luò)中的常用方式，主要分為通道注意力和空間注意力2 種，可以根據(jù)特征的重要程度生成對(duì)應(yīng)的權(quán)重，從而合理分配算力。文獻(xiàn)［21］提出擠壓和激勵(lì)網(wǎng)絡(luò)，將ImageNet 數(shù)據(jù)集的Top-5 error 降到了2.251%，主要貢獻(xiàn)是提出了通道注意力的一種實(shí)現(xiàn)方式，先利用全局平均池化將特征圖壓縮成一個(gè)實(shí)數(shù)，然后將這個(gè)實(shí)數(shù)輸入到由2 個(gè)全連接層組成的小網(wǎng)絡(luò)里，輸出值是每個(gè)特征圖對(duì)應(yīng)的權(quán)重，最后將這個(gè)權(quán)重和原特征值相乘，從而讓通道權(quán)重分配更加準(zhǔn)確。

但僅采用全局平均池化獲取特征圖的信息并不夠準(zhǔn)確，因?yàn)橐坏┯龅秸?fù)激活值相抵的情況，特征圖就會(huì)變模糊，進(jìn)而造成信息丟失。為降低信息的損失，本文同時(shí)采用全局平均池化和全局隨機(jī)池化提取中間特征圖的信息，其中全局平均池化可以較好地保留背景信息，而全局隨機(jī)池化按概率值選取特征，具有較強(qiáng)的泛化性，兩者相結(jié)合可以減少信息的丟失。本文首先由2 種池化操作將輸入特征圖F分別壓縮成2 個(gè)實(shí)數(shù)向量，令兩者相加取平均值；接著，借鑒文獻(xiàn)［22］提出的超輕量級(jí)通道注意力網(wǎng)絡(luò)（Efficient Channel Attention Net，ECA-Net），并利用自適應(yīng)一維卷積替代全連接層，完成局部的跨信道交互，如此只會(huì)增加很少的參數(shù)量。剩余的過(guò)程與ECA-Net 網(wǎng)絡(luò)類似，最終得到了通道的權(quán)重，也避免了特征維度的降低，有助于提高準(zhǔn)確率，詳情可以參考文獻(xiàn)［12］。M(F)的計(jì)算公式如式（4）所示：

其中：M(F)為經(jīng)過(guò)通道注意力模塊之后，輸出的特征；σ代表sigmod 操作；CK代表卷積操作；K代表卷積核大小。本文在構(gòu)建網(wǎng)絡(luò)模型時(shí)加入了通道注意力模塊，提升模型的信息提取能力。

2 網(wǎng)絡(luò)構(gòu)建

要想完成卷積神經(jīng)網(wǎng)絡(luò)的輕量化，就要用較簡(jiǎn)單的方式實(shí)現(xiàn)網(wǎng)絡(luò)效率的最大化。本文提出的ConcatNet主要采用特征拼接的方式實(shí)現(xiàn)，ConcatNet的具體結(jié)構(gòu)如圖3所示，其中a、b、c分別1為3個(gè)支路的權(quán)值系數(shù)。

圖3 ConcatNet 結(jié)構(gòu)Fig.3 Structure of ConcatNet

相比于灰度圖，彩色圖像的顏色分布較復(fù)雜，傳遞的信息更豐富，含有的數(shù)據(jù)量更大，但處理的時(shí)間和難度也隨之增大。而灰度圖數(shù)據(jù)量小，便于處理，雖然缺失了一定的顏色等級(jí)，但從其亮度等級(jí)上看，與彩色圖一致，兩者各有利弊。為豐富特征輸入的維度，本文將輸入圖像分為兩路：1 支路轉(zhuǎn)換為灰度圖輸入，3 支路直接輸入，維持其彩色圖特征，兩路分開(kāi)并行處理，經(jīng)過(guò)一個(gè)卷積層后，將輸出特征圖拼接起來(lái)，構(gòu)成2 支路，特征拼接利用concat 函數(shù)完成，但concat 函數(shù)只能完成通道數(shù)的疊加，并不能完成2 個(gè)支路信息的整合，因此采用通道混洗處理拼接之后的特征圖。

圖3 中1、2、3 支路用于特征提取的卷積層均由4 個(gè)3×3 卷積層構(gòu)成，不同的是卷積核個(gè)數(shù)，這里卷積層的數(shù)量由實(shí)驗(yàn)得出，具體見(jiàn)下文。1 支路卷積核的個(gè)數(shù)分別是32、32、64 和128，2 支路卷積核的個(gè)數(shù)分別是96、192、384 和384，3 支路卷積核的個(gè)數(shù)分別是64、64、128 和256，在支路前3 個(gè)卷積層后添加一個(gè)最大池化用于去除冗余信息，在第4 個(gè)卷積層后添加一個(gè)全局平均池化用來(lái)代替全連接層，將特征圖降成一維。為降低網(wǎng)絡(luò)的參數(shù)量，完成網(wǎng)絡(luò)的輕量化，本文采用深度可分離卷積。

為增強(qiáng)支路的特征提取能力，將有限的算力用在重要的特征上，考慮到卷積操作本身包含了空間注意力，擬在每條支路上加入2 個(gè)改進(jìn)后的通道注意力模塊，抑制通道域的無(wú)用信息，通過(guò)實(shí)驗(yàn)得出每條支路均加入2 個(gè)通道注意力模塊效果最好。具體實(shí)驗(yàn)如下：首先，把3 條支路的輸出值用concat 函數(shù)拼接起來(lái)并組合特征，將3 路通道進(jìn)行疊加，加入通道注意力模塊，在將拼接特征輸入之前進(jìn)行篩選，將有用支路的特征放大；之后，利用通道混洗加強(qiáng)通道間的信息流動(dòng)；最后，采用1×1 卷積層代替全連接層進(jìn)行分類，以避免破壞圖像的空間結(jié)構(gòu)，而且輸入圖像的尺寸不會(huì)受到限制，至此模型構(gòu)建完畢。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文首先在文獻(xiàn)［23］總結(jié)公布的CIFAR-10、CIFAR-100這2個(gè)數(shù)據(jù)集上初步評(píng)測(cè)模型的效果，這2個(gè)數(shù)據(jù)集在圖像分類領(lǐng)域中比較常用，而且兩者較適用于訓(xùn)練輕量化神經(jīng)網(wǎng)絡(luò)，CIFAR-10 和CIFAR-100 數(shù)據(jù)集均含有60 000 張32×32 像素的圖片，其中50 000 張用于訓(xùn)練，10 000 張用于測(cè)試，不同的是前者有10 個(gè)類別，而后者為100 個(gè)類別。因此CIFAR-100 數(shù)據(jù)集用于訓(xùn)練的圖像就少于CIFAR-10 數(shù)據(jù)集，準(zhǔn)確率也較低。之后，在大型的彩色光學(xué)數(shù)據(jù)集ImageNet 上測(cè)試模型效果，ImageNet 數(shù)據(jù)集共128 張，分為1 000 個(gè)類別，現(xiàn)已成為圖像領(lǐng)域的標(biāo)準(zhǔn)數(shù)據(jù)集。

3.2 訓(xùn)練細(xì)節(jié)

將圖像隨機(jī)進(jìn)行左右旋轉(zhuǎn)以增加樣本數(shù)量，為便于處理，將圖像進(jìn)行歸一化。硬件：顯卡為RTX2060，4 GB 獨(dú)顯，CPU 為i7-10750H，運(yùn)行內(nèi)存為16 GB。軟件采用GPU 版本的tensorflow 1.14.0框架，python 3.1。采用步數(shù)作為迭代指標(biāo)，而不用epoch，總步數(shù)設(shè)置為30 000，每一步訓(xùn)練的批量大小設(shè)置為64。初始學(xué)習(xí)率設(shè)為0.003，每過(guò)10 000 步，學(xué)習(xí)率降為上一次學(xué)習(xí)率的0.3 倍，采用隨機(jī)梯度下降法，動(dòng)量設(shè)置為0.9。為全面衡量算法性能的好壞，本文對(duì)算法模型的準(zhǔn)確度、參數(shù)量、計(jì)算復(fù)雜度等參數(shù)進(jìn)行分析。

3.3 支路卷積層對(duì)算法效果的影響

模型主要依靠支路的卷積層提取圖像特征，除了卷積核的數(shù)量，3 條支路的卷積設(shè)置也相同。本實(shí)驗(yàn)在不插入通道模塊的前提下完成，且支路末端的乘法器權(quán)值均設(shè)為1，依次將卷積塊的數(shù)量設(shè)置為3、4、5，選用的數(shù)據(jù)集為CIFAR-10，實(shí)驗(yàn)結(jié)果如表1所示。

表1 支路卷積層的數(shù)量對(duì)比Table 1 Comparison of the number of branch convolution layers

由表1 可知，算法參數(shù)量和計(jì)算復(fù)雜度均隨著卷積層的增加而增加，Top-1 和Top-5 精度大體也遵循此趨勢(shì)，當(dāng)卷積層數(shù)分別為4、5 時(shí)，兩者精度相當(dāng)，幾乎沒(méi)有提升，但參數(shù)量卻增加了70%，計(jì)算復(fù)雜度增加了1.85×106，因此，本文選擇在支路上設(shè)置4 個(gè)卷積層。

3.4 通道模塊對(duì)算法效果的影響

要想在完成網(wǎng)絡(luò)輕量化的同時(shí)保持精確度，通道注意力就顯得尤為重要，其插入位置和插入的數(shù)量均需經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證。本文在支路上設(shè)置2 個(gè)通道注意力模塊，每條支路的卷積塊數(shù)量定為4，支路末端權(quán)重均設(shè)為1，現(xiàn)在需要對(duì)放置通道模塊的支路進(jìn)行仿真對(duì)比，結(jié)果如表2 所示。

表2 通道注意力模塊實(shí)驗(yàn)Table 2 Channel attention module experiment

由表2 可知，由于插入的通道模塊只有一維卷積操作，因此無(wú)論在幾個(gè)支路加入通道模塊，參數(shù)量都幾乎不會(huì)增加，但模型的復(fù)雜度會(huì)隨著插入模塊數(shù)量的增加而增加。當(dāng)3 個(gè)支路均插入通道模塊時(shí)，復(fù)雜度也只有3.41×106，不算高，但模型的準(zhǔn)確率卻達(dá)到實(shí)驗(yàn)最高值，所以本文選擇在每條支路上均插入通道注意力模塊。

3.5 迭代步數(shù)

本文用步數(shù)代替迭代周期，所以選擇一個(gè)合適的步數(shù)尤為重要。本文先后將步數(shù)設(shè)置為20 000、25 000、30 000、35 000、40 000，把CIFAR-10 數(shù)據(jù)集Top-1 精度作為指標(biāo)，實(shí)驗(yàn)結(jié)果如表3 所示。

表3 迭代步數(shù)實(shí)驗(yàn)Table 3 Iterative steps experiment

由表3 可知，當(dāng)步數(shù)為30 000 時(shí)，識(shí)別率為88.89%，而當(dāng)步數(shù)再增加時(shí)，網(wǎng)絡(luò)發(fā)生了過(guò)擬合，識(shí)別率逐漸下降，因此本文將步數(shù)設(shè)置為30 000。

本文提出的ConcatNet 網(wǎng)絡(luò)和其他輕量級(jí)網(wǎng)絡(luò)在CIFAR-10數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果對(duì)比如表4所示。由表4可知，ConcatNet的Top-1 精度比MoblileNet1/2 的Top-1精度低1.27 個(gè)百分點(diǎn)，但Top-5 精度提高了0.12%，識(shí)別率相似，但參數(shù)量比MobileNetV2 減少了51.4%，計(jì)算復(fù)雜度比MobileNetV2 減少了44.8%，大幅降低了對(duì)計(jì)算平臺(tái)的要求。

表4 輕量級(jí)網(wǎng)絡(luò)在CIFAR-10 數(shù)據(jù)集上的對(duì)比Table 4 Comparison of lightweight networks on the CIFAR-10 data set

3.6 CIFAR-100 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

ConcatNet 模型在CIFAR-10 數(shù)據(jù)集上表現(xiàn)較好，但CIFAR-100 數(shù)據(jù)集比前者多了90 個(gè)類別，雖然超參數(shù)設(shè)置一樣，但識(shí)別難度較大，其識(shí)別結(jié)果如表5 所示。由表5 可知，與MobileNetV2 相比，本文模型Top-1 和Top-5 的精度均要低1～2 個(gè)百分點(diǎn)，總體來(lái)說(shuō)準(zhǔn)確度相當(dāng)，但參數(shù)量和計(jì)算復(fù)雜度均要低50%左右，在輕量化上更為先進(jìn)。

表5 輕量級(jí)網(wǎng)絡(luò)在CIFAR-100 數(shù)據(jù)集上的對(duì)比Table 5 Comparison on the lightweight network CIFAR-100 data set

3.7 ImageNet 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果

將實(shí)驗(yàn)批量大小設(shè)置為96，步數(shù)設(shè)置為50 000，其他超參數(shù)保持不變，將本文模型與MobileNetV2模型進(jìn)行比較，實(shí)驗(yàn)結(jié)果如表6 所示，這兩個(gè)網(wǎng)絡(luò)的精度相近，但本文網(wǎng)絡(luò)的參數(shù)量降低了43.52%，計(jì)算復(fù)雜度降低了39.73%。

表6 輕量級(jí)網(wǎng)絡(luò)在ImageNet 數(shù)據(jù)集上的對(duì)比Table 6 Comparison on the lightweight network ImageNet data set

4 結(jié)束語(yǔ)

本文提出一種輕量化的圖像識(shí)別網(wǎng)絡(luò)，利用特征拼接、通道混洗等方法構(gòu)建3 條支路，并在支路卷積上采用深度可分離卷積。在輸出階段，采用先篩選再混洗的方式，從而在保持網(wǎng)絡(luò)輕量化的同時(shí)，保證模型精度不降低。實(shí)驗(yàn)結(jié)果表明，與當(dāng)前先進(jìn)的輕量化卷積神經(jīng)網(wǎng)絡(luò)MobileNetV2 相比，本文網(wǎng)絡(luò)在保持精確度相當(dāng)?shù)那闆r下，將網(wǎng)絡(luò)參數(shù)量和復(fù)雜度降低了約50%。但實(shí)際應(yīng)用環(huán)境較復(fù)雜，下一步將推進(jìn)網(wǎng)絡(luò)的輕量化研究，引入高效且輕量的注意力機(jī)制，增強(qiáng)該網(wǎng)絡(luò)的泛化性、魯棒性。