面向移動端的輕量化卷積神經網絡結構

畢鵬程，羅健欣，陳衛衛，鄧益儂，劉 禎

(中國人民解放軍陸軍工程大學 指揮控制工程學院，江蘇 南京 210007)

0 引言

自AlexNet[1]贏得ILSVRC2012[2]挑戰賽以來，各種新型網絡結構層出不窮，一次次刷新ImageNet分類的準確率。這些結構包括VGGNet[3]、GoogLeNet[4]、ResNet[5]、DenseNet[6]、SE-Net[7]和神經網絡架構自動搜索[8]，以上卷積神經網絡發展的總體趨勢是使用更深層更復雜的網絡來實現更高的準確度。但是準確度的提高并不一定會使網絡在模型尺寸和運行速度方面更有優勢。就模型尺寸而言，深層復雜的卷積神經網絡擁有大量參數，保存這些參數對設備內存要求很高。運行速度方面，大量實際應用均要求實時性，往往是毫秒級別，這對設備的計算能力要求很高。當前，移動和嵌入式設備大量普及，這些設備的計算資源和存儲資源往往十分有限。因此只有在準確度、尺寸和速度方面取得很好的權衡，即在有限計算力之下實現最優的精度，才能將卷積神經網絡更好地應用于移動端。

本文提出了一種輕量化的高效卷積神經網絡結構S-MobileNet，其可以方便地部署在移動平臺上。該網絡結構是基于神經網絡輕量化領域的先進結構MobileNetV2[9]改進而來的，旨在保證同等準確度水平的前提下進一步減少模型參數量和降低計算復雜度。

1 相關工作

近幾年，調整深度神經網絡結構以在準確度、尺寸和速度之間實現最佳平衡已經成為一個很受關注的研究領域。這一研究領域的目標是確定一個模型，該模型參數量很少，預測速度很快，同時能保持準確度。

為了解決這個問題，可行的做法是對現有的卷積神經網絡模型進行壓縮，使得網絡擁有更少的參數，同時能降低模型的計算復雜度。這些壓縮算法大致可以分為四類[10]：參數修剪和共享、低秩分解、遷移/壓縮卷積濾波器和知識蒸餾。基于參數修剪和共享的方法關注于探索模型參數中冗余的部分，并嘗試去除冗余和不重要的參數。基于低秩分解技術的方法使用矩陣/張量分解估計深層卷積神經網絡中最具信息量的參數。基于遷移/壓縮卷積濾波器的方法設計了特殊結構的卷積濾波器以減少存儲和計算復雜度。而知識蒸餾則學習了一個精煉模型，即訓練一個更加緊湊的神經網絡以再現大型網絡的輸出結果。

除了對現有的網絡模型進行壓縮，還可以重新設計新的網絡結構，使得參數量少、速度快的同時，依然保持較高的準確度，即輕量化網絡模型設計。近年來，眾多輕量化網絡結構紛紛被提出，如SqueezeNet[11]、MobileNetV1[12]、MobileNetV2、ShuffleNetV1[13]和ShuffleNetV2[14]等。在這些網絡結構中，MobileNetV2和ShuffleNetV2實現了最先進的性能。MobileNetV2利用深度可分離卷積、線性瓶頸和反向殘差結構在兼顧參數量和計算復雜度的同時實現了較高的準確度。而ShuffleNetV2采用通道混洗的方法混合通道間的特征信息，與采用逐點卷積方法來混合通道之間特征信息的MobileNetV2相比，少了大量的參數數量和計算復雜度，因此在保證準確度的同時在模型運行速度方面取得了不錯的效果。

2 S-MobileNet結構

總的來說，S-MobileNet是采用通道混洗方法改進MobileNetV2的基本構建模塊后得到的網絡結構。受益于這種方法，S-MobileNet可以在保證準確度的同時獲得較小的模型尺寸和較低的計算復雜度。

2.1 回顧MobileNetV2

MobileNetV2的基本構建模塊使用了三個關鍵結構，即深度可分離卷積、反向殘差和線性瓶頸結構。

深度可分離卷積對于許多高效的神經網絡結構來說都是非常關鍵的組件[12]。基本思路是將一個標準卷積分解成兩步來實現，第一步是深度卷積，即對每個輸入通道用單個卷積核進行卷積運算；第二步是一個1×1卷積，即逐點卷積，負責通過計算輸入通道間的線性組合來構建新的特征。如圖1所示，(a)表示一組空間尺寸為K×K的標準卷積核，卷積核通道數為N，數量為M；(b)表示標準卷積分解成的一組深度可分離卷積，包含一組空間尺寸為K×K的深度卷積核和一組空間尺寸為1×1的逐點卷積核。

圖1 標準卷積結構和深度可分離卷積結構

此時，假設輸入特征為RH×W×N，輸出特征為RH×W×M，則標準卷積層的計算復雜度為HWNMK2，參數量為NMK2。深度可分離卷積包含一組RK×K×1×N深度卷積核和一組R1×1×N×M逐點卷積核，則深度可分離卷積的計算復雜度為HWNK2+HWNM，是標準卷積的1/M+1/K2，因為網絡結構中M?K2，MobileNetV2使用K=3，即深度可分離卷積計算復雜度降低了標準卷積的8～9倍。同理，深度可分離卷積層的參數量減少了標準卷積層的8～9倍。

殘差網絡使信息更容易在各層之間流動，包括在前向傳播時提供特征重用，在反向傳播時緩解梯度消失，梯度更容易流動到淺層網絡中去，解決了網絡退化問題，即隨著層數的增加，訓練集上的準確度飽和甚至下降的問題。這樣能夠通過單純地增加網絡深度來提高網絡準確度。傳統的殘差結構特征通道維度先縮減后擴展，如圖2(a)所示，而MobileNetV2中的反向殘差結構shortcut連接的是瓶頸層，特征通道維度先擴展后縮減[9]，如圖2(b)所示。這樣做是因為傳統殘差結構中間的3×3標準卷積計算量太大，先用一個1×1卷積來降低通道維度，目的是減小計算量，而MobileNetV2使用深度卷積替換了3×3標準卷積，雖然極大地減少了計算量和參數量，但提取的特征也會相對減少，如果再進行壓縮，能提取的特征將更少，影響模型的準確度。因此為了在準確度、參數量和計算量之間取得更好的平衡，采用反向殘差結構，先對通道進行擴展，深度卷積能提取更多特征，保證模型準確度。

圖2 殘差結構和反向殘差結構

線性瓶頸就是去掉了低維度輸出層后面的非線性激活層，目的也是為了保證模型的準確度[9]。圖3(a)、(b)為MobileNetV2基本構建模塊，(a)為卷積步長為1的構建模塊，(b)為空間下采樣構建模塊。去除了低維度1×1卷積層后的非線性激活函數ReLU6變為線性輸出。這樣做主要是因為通過低維度輸出層之后，特征信息更集中在縮減后的通道中，此時加上一個非線性激活函數，比如ReLU6，ReLU6會使負值輸入的輸出為0，這樣就會有較大的信息丟失，影響準確度。為了減少信息丟失，在通道維度縮減的那一層，即瓶頸層的輸出不接非線性激活函數，所以是線性瓶頸。

2.2 網絡結構設計

如上所述，MobileNetV2使用的這些方法對于其保證準確度、減少參數量和降低計算復雜度至關重要，因此在S-MobileNet網絡結構中依然沿用這三種方法。與此同時，采用深度可分離卷積雖然極大地降低了計算復雜度，減少了參數量，但因為MobileNetV2網絡結構在每個構建模塊中都引入了擴展因子，這樣1×1卷積所占的參數量和計算量依然較高，而1×1卷積的作用在于混合通道間的特征信息。

圖3 MobileNetV2和S-MobileNet的構建模塊

此時想到，ShuffleNet[13]提出的通道混洗方法能很好地解決分組卷積之后分組間“信息流通不暢”的問題，即分組間的特征信息沒有得到混合的問題，此問題會影響模型的準確度。圖4(a)表示分組卷積之后沒有進行通道混洗，(b)表示分組卷積之后進行了通道混洗，(c)操作同(b)，混洗操作是均勻打亂而不是隨機打亂順序。而MobileNetV2構建模塊中采用的深度卷積是分組卷積的特殊形式，即分組數與通道數相等的分組卷積。

圖4 通道混洗

因此，本文采用通道混洗替代一部分1×1卷積的方法來改進MobileNetV2的瓶頸模塊，形成S-MobileNet的基本模塊。如圖3(c)、(d)所示，改進包含shortcut連接的瓶頸塊，即卷積步長為1并且輸入輸出特征通道數相等的瓶頸塊。在此類瓶頸塊開始，c個特征通道的輸入被分為兩支，分別帶有c-c′和c′個通道。一個分支不進行任何操作，另一個分支與原瓶頸塊結構一致，即先用1×1卷積提升通道數，再用深度卷積提取特征，然后用1×1卷積降低通道數，并去除低維度輸出層后的ReLU6函數。卷積之后，把兩個分支拼接起來，從而輸出通道數與輸入相等。然后進行與ShuffleNetV2相同的通道混洗操作來保證兩個分支間能進行信息交流。之后，下一個瓶頸塊開始運算。注意，MobileNetV2中的加法操作不再存在，這樣做的目的是為了減少元素級別操作，從而減少模型運算時間，提升速度[14]。采用這種通道分割的方法，每個瓶頸塊只有c′個通道特征需要進行卷積運算，相比于原網絡c個通道特征均進行卷積運算，極大地降低了計算復雜度，減少了參數量。

空間下采樣瓶頸塊沒有shortcut連接，因此不引入通道分割和通道混洗方法，與原網絡結構保持不變。同樣地，卷積步長為1但輸入輸出通道數不相等的瓶頸塊也沒有shortcut連接，因此也保持不變。構建模塊卷積部分的具體實現與MobileNetV2保持一致，如表1所示，對于一個分辨率為H×W的輸入特征，擴展因子為t，深度卷積核空間尺寸為3，卷積步長為s，卷積部分輸入通道數為N，輸出通道數為M，則計算復雜度是HWNt(N+9/s2+M/s2)，參數量為Nt(N+9+M)。

表1 S-MobileNet構建模塊卷積部分的實現

上述構建模塊被重復堆疊以構建整個網絡，為簡單起見，本文采用與ShuffleNetV2一樣的做法，令c′=c/2，整體網絡結構與MobileNetV2保持一致，如表2所示。表2每行描述了1個或多個相同層的序列，重復n次。所有序列相同的層有相同的輸出通道數c，序列第一層的步長為s，其他層步長為1。所有空間卷積核尺寸使用3×3的大小。擴展因子t總是應用在表1描述的輸入中。

表2 S-MobileNet整體網絡結構

S-MobileNet參數量減少、速度提升的同時還能保持準確度的原因主要是采用了通道分割的方法。在每個塊中，一半的特征通道(當c′=c/2時)直接通過塊并加入下一個瓶頸塊，這可以被視為一種特征重用，在ShuffleNetV2中已經被證明這種重用模式與DenseNet[6]的特征重用模式是一致的，都有利于提高模型的準確度[14]。

3 實驗結果與分析

在CIFAR-10、CIFAR-100和ImageNet三種圖像分類數據集上對本文提出的S-MobileNet進行了實驗評測。實驗結果表明本文提出的卷積網絡結構比MobileNetV2的網絡模型參數量減少了近1/3，計算復雜度降低了近40%，同時保持了同等水平的模型準確度。除了實現S-MobileNet之外，本文還在這三種圖像分類數據集上實現了MobileNetV2作為實驗對比。在這三組實驗中，除了網絡結構不同外，其他實驗設置如數據處理方法、初始化方法、批大小、訓練輪次等均保持一致。

3.1 CIFAR-10數據集

CIFAR-10[15]數據集是一個由50 000張訓練圖像和10 000張測試圖像組成的彩色圖像分類數據集。圖像大小為32×32，包含10個不同的物體類別。在實驗中，通過隨機水平翻轉圖像來對訓練數據進行擴增處理。本文提出的網絡結構在CIFAR-10數據集上的實驗結果及對比如表3所示。在準確度方面，S-MobileNet在TOP-1精度方面與MobileNetV2保持相當，在TOP-5精度上甚至要高于MobileNetV2。與此同時，參數量和計算復雜度較MobileNetV2降低了35%和38%。

表3 兩個網絡在CIFAR-10上的表現對比

3.2 CIFAR-100數據集

CIFAR-100[15]數據集和CIFAR-10數據集的組成方式基本一致。區別在于CIFAR-100數據集中具有100類不同的圖像，每種類別的圖像數量少于CIFAR-10數據集，只有CIFAR-10數據集中的1/10，因此區分難度較大，測試準確度比CIFAR-10數據集低。本文提出的網絡結構在CIFAR-100數據集上的實驗結果及對比如表4所示。在準確度方面，S-MobileNet與MobileNetV2保持相當水平，與此同時，參數量和計算復雜度較MobileNetV2降低了34%和37%。

表4 兩個網絡在CIFAR-100上的表現對比

3.3 ImageNet數據集

ImageNet數據集是一個由1 281 670張訓練圖像和50 000張測試圖像組成的彩色圖像分類數據集。圖像大小為224×224，包含1 000個不同的物體類別。實驗結果及與MobileNetV2網絡模型的對比如表5所示。在準確度方面，S-MobileNet與MobileNetV2保持相當水平，但參數量和計算復雜度較MobileNetV2降低了23%和38%。

表5 兩個網絡在ImageNet上的表現對比

4 結論

本文提出了一種輕量化的高效卷積神經網絡結構S-MobileNet。與神經網絡輕量化領域的先進結構MobileNetV2相比，S-MobileNet在保持同等準確度水平的前提下，模型參數量減少了近1/3，模型計算復雜度降低了近40%。本文提出的S-MobileNet是一種能夠方便地遷移到各移動平臺上的通用卷積神經網絡結構，可以應用到多種任務中，如物體檢測、語義分割、人臉識別等。由于時間和實驗條件有限，本文只在圖像分類任務中對S-MobileNet的有效性進行了驗證。分類任務的實驗結果表明，S-MobileNet確實是一種高效的神經網絡結構。在以后的工作中，筆者會進一步研究S-MobileNet在計算機視覺其他方面的表現，如物體檢測及語義分割等，以探究S-MobileNet的高效性和通用性。