基于改進深度殘差網絡的圖像分類算法

儲岳中，汪佳慶，張學鋒，劉 恒

(1. 安徽工業大學計算機科學與技術學院 安徽 馬鞍山 243032；2. 安徽省工業互聯網智能應用與安全工程實驗室 安徽 馬鞍山 243023)

自從深度殘差網絡ResNet 被提出來并在ILSVRC2015 比賽中取得冠軍后，許多研究者把目光放在了ResNet 的改進工作上，由此出現了一大批優秀的基于殘差結構的卷積神經網絡。目前為止改進大體上可分為4 類：1)是對輸入模塊的數據進行split-transform-merge 操作，例如使用分組卷積的ResNext[1]和使用層級殘差結構的Res2Net[2]，它們能在降低消耗的同時增加網絡的精度。2)在殘差結構里引入注意力機制，例如加入通道自注意力機制的SENet[3]、加入多尺度自適應調節感受的SKnet[4]、使用分組注意力機制的ResNeSt[5]。注意力機制的使用可以讓網絡有偏向地選擇重要的特征圖進行特征提取，從而提高精度。3)優化模塊拓撲結構，例如使用預先激活方式的ResNetV2[6]，使網絡易于優化并提高模型的正則化，以及每個stage 采用不同模塊來優化拓撲結構的IResNet[7]，加強了信息在網絡間的傳播，減少了信息損失。4)對殘差網絡整體進行優化，例如提出讓網絡變得更寬的WRN[8]和建立密集連接從而緩解梯度消失、加強特征傳播的DenseNet[9]。

上述網絡大部分都是在ResNet 的瓶頸結構基礎上進行改進的。瓶頸結構由一條主干和一條殘差支路組成，主干上數據先由1×1 點卷積進行降維，再經過3×3 卷積塊進行特征提取，最后由1×1 點卷積升維，卷積過程中還使用BN 操作進行歸一化以及Relu 函數增加非線性。先降維最后升維的操作大大降低了3×3 卷積所需的計算量。傳統的觀點認為影響準確率的主要是3×3 卷積核，所以多數工作都是對其進行改進，而選擇保留降維升維的1×1卷積核。瓶頸結構比較簡單，但網絡結構上也存在冗余，因此后面出現的殘差網絡如ResNext 才能在不過多增加計算量的前提下提高準確率。冗余的產生主要來自升維操作時生成的過多的類似特征圖[10]。傳統的改進方法偏向于增加升維時輸入數據的特征圖數量[8]以及復雜性[1-2,4]。這兩種操作都能有效減少瓶頸結構輸出信息的冗余。但考慮到冗余性還和分類任務的類別數有關，類別數越大，需要的有效特征圖數量也就越多。在面對如10 分類這樣的分類任務時，傳統的瓶頸結構及其改進還是不可避免地產生過多的冗余特征圖。這些冗余雖然保證了網絡對輸入信息的充分理解，但過多的冗余信息會導致計算資源的浪費。

針對這個問題，本文對瓶頸結構里的升維操作進行了改進。利用殘差結構建立了升維操作輸入和輸出之間的通路，并使用連接操作代替殘差結構中的加法。由于用到了殘差結構和連接操作，把這個結構命名為RC。RC 結構不僅減少了升維操作的計算量和參數量，而且提高了反向傳播時的梯度傳遞，在面對分類數較少的任務時能夠有效提升網絡精度。由于RC 結構能和很多殘差網絡相結合，在多個數據集上進行了多組對比實驗，結果顯示基于RC 的瓶頸結構在面對分類數較少的任務時，效率和精度都有所提升。

1 研究方法

1.1 冗余性分析

圖1a 為ResNet 原文[11]中提出的一個瓶頸結構案例。輸入數據的特征圖通道數為256，經過降維、特征提取后，升維復原成256 個通道，并與支路傳來的數據相加作為輸出。比起直接使用一個3×3 卷積核進行特征提取，這樣做無疑大大降低了運算量，但精度也會受到影響。圖1b 為保證輸入輸出特征通道數不變的情況下，只使用一個3×3 卷積核進行特征提取的情況。在cifar10 上做了個簡單的對比實驗，相關配置和實驗部分一致，實驗結果如表1 所示。ResNet#為將ResNet29 中的瓶頸結構替換為圖1b 時的情況，結果顯示使用瓶頸結構后計算量和參數量大大減少了(表格里M 為million，B為billion)，但在SGD 和Adam 這兩種優化器下，準確率都減少了2%～3%。

圖1 瓶頸結構案例和未使用瓶頸結構案例

表1 ResNet29 和ResNet#實驗對比

在圖1 中，兩種模塊的輸出都是256 個通道，但實驗結果表明，圖1b 結構有著更好的特征表達能力，其輸出的特征圖所含信息更有效。圖1a 輸出的特征圖雖然也是256 個通道，但相較圖1b 的輸出特征圖存在一些冗余信息。設瓶頸結構中3×3卷積核輸出通道數為n，1×1 卷積核升維所產生的通道數為m，則存在一個比例s=m/n，s 越大代表特征圖通道數上升比例越大。文獻[7]設計了更寬的ResNet，即m 不變的情況下n 更大的ResNet網絡，實驗表明增加n 能有效增加ResNet 模塊的特征表達能力。反過來也能得到：ResNet 瓶頸結構中，m 不變的情況下，n 越小，s 越大，模塊的特征表達能力越弱，冗余性越高。因此與s=4 的ResNet 網絡不同，后面新出現的殘差網絡都選擇了較小的s 值。

瓶頸結構的冗余性除了和s 值有關外，還和任務的類別數有關，以cifar10 和cifar100 為例，進行了3 組對比實驗，如表2 所示。k 為n 不變的情況下s 縮放的倍率，k 越小，瓶頸結構輸出的特征圖通道數m 就越少。從表中可以看出ResNet29(k=1)在cifar10 和cifar100 上準確率相差很大。100 分類相較10 分類，對網絡的精確度要求更高，本文認為，在其他條件不變的情況下，分類任務的類別數越大，維持精度所需的輸出特征圖就越多。而ResNet29 的網絡結構每層輸出的特征圖是固定的，所以它在10 分類問題上存在的冗余特征圖可能非常多。為了驗證這個猜想，對k={3/4, 1/2}的情況進行了測試。表2 顯示，在cifar10 上，k=1 和k=3/4 的結果十分相似，但k=3/4 時，瓶頸結構輸出特征圖的數量相較k=1 減少了25%，由此可見ResNet29 在cifar10 上存在相當多的冗余，而在cifar100 里k＜1 時準確率明顯下降，這說明在處理分類數較多的任務時，特征圖的冗余性會有所降低，削減輸出特征圖的通道數會使得圖像特征表達不充分，從而影響最終的準確率。

表2 不同 k 值的ResNet29 的對比實驗

1.2 RC 結構

上節分析了瓶頸結構冗余性產生的原因，消耗資源生成冗余的特征圖明顯是不合適的，為了盡量減少這種額外的消耗，設計了新的升維操作，即RC 結構。RC 結構如圖2 所示，把輸出 Y分為y和y′兩部分， y直接由x得到， y′由x經過1×1 點卷積生成，最后把兩者連接起來作為輸出。

圖2 基于RC 的瓶頸結構

RC 降低了計算量和參數，假設點卷積的輸入特征圖的大小為n×w×h，n 為通道數，輸出特征圖的通道數為m。單樣本情況下傳統的升維操作運算量為：

參數量為：

RC 結構下的運算量為：

參數量為：

p′=n×(m-n)

很明顯l ＞l′、p ＞p′，升維操作的消耗大大減少。

RC 結構將x 直接與輸出連接起來，反向傳播時加強了這部分的梯度傳遞，這使得RC 結構在降低了消耗的同時還能增加網絡精度。

1.3 RC 結構適用性分析

雖然RC 模型輸出的通道沒有改變，但經過1×1 點卷積生成的特征圖減少了，這有可能導致升維時輸入的信息沒有被完全表達。根據1.2 節的假設，傳統瓶頸結構的升維操作里，點卷積是權重形狀為[m,n,1,1]的張量，設其權重W=[w1,w2,···,wm]，其中 wi是[n,1,1]的張量，則升維操作的運算可以簡略為：

式中， W和 W′是隨著反向傳播而不斷變化的張量；W′′則是固定的，且(W′⊕W′′)與 W的形狀都是[m,n,1,1]，因此(W′⊕W′′)是 W的一種部分權重固定不變的特殊情況。當瓶頸結構存在大量冗余時，通過W′輸出的較少數量的特征圖能夠充分表達輸入數據的特征，引入RC 結構后的瓶頸結構的特征表達能力就不會受到影響，但當瓶頸結構的冗余性較低時， W 比RC 結構里的W′⊕W′′有更多可以訓練的權重，具有更好的特征表達能力，于是就可能出現引入RC 結構后瓶頸結構的特征表達能力不如原來的情況。因此RC 結構更適合存在較多冗余信息的網絡，例如處理分類數較少的分類任務時。

2 實驗與分析

實驗部分首先進行了RC 結構關于反向傳播的測試，以驗證1.2 節的結論。而后分別在cifar10、cifar100 和TinyImageNet 這3 個數據集上進行了RC結構的功能性驗證，實驗選用的網絡為ResNet、WRN、ResNetV2、ResNext、SENet、Res2Net 和SKNet，最后將前面表現得優秀的網絡在遙感影像數據集上進行測試以驗證其遷移性。

2.1 RC 反向傳播測試

為了驗證RC 結構對反向傳播的影響，在圖2的結構上做了些修改，如圖3 所示， x與一個單位陣E 相乘從而得到y，由于y=x×E=x，所以圖3結構下的y與圖2 結構下的是一致的，但在訓練過程中利用代碼中斷y=x×E這一過程里的梯度傳遞，這種結構記為RC_S。

圖3 中斷反向傳播的RC

如表3 所示，由于ResNet 在10 分類問題上存在大量冗余，所以中斷了y 到x 梯度傳播的ResNet 29_RC_S 與ResNet29 訓練結果相似，但引入了梯度傳播后，ResNet29_RC 的準確率比改進前提高了1.28%。由此可見，直接將x 作為部分輸出能帶來精度提升，這也是后面實驗里引入RC 結構的殘差網絡能比原版表現更優秀的原因。

表3 RC 的反向傳播測試

2.2 cifar 數據集實驗

cifar 數據集包括cifar10 和cifar100，分別對應10 分類和100 分類任務。由于cifar 的圖片大小為32×32，所以本文選用ResNext29_32×4d 作為基礎框架，并在其基礎上搭建了需要測試的網絡。訓練批次為120，優化器選取的是SGD，初始學習率為0.1，并且采用每隔30 輪學習率除以10 的調整策略，對于數據預處理，采用的是隨機裁剪、隨機反轉和標準化。對實驗結果采用的是去掉極小值后取平均值的統計方法，每個數據都是3 組及以上樣本的平均值。

首先對 ResNet、 WRN、 ResNetV2(PreAct-ResNet)、ResNext、Res2Net、SKNet 和引入SE 結構的ResNet 進行測試，實驗結果如表4 所示。除了SKNet 外，其余殘差網絡引入RC 后的準確率在cifar10 上都有所增長。而在cifar100 上，Res2Net準確率降低了，一方面RC 結構在處理分類數較多的問題時會出現特征表達不完全的情況，另一方面Res2Net 引入的多尺度信息可能會和RC 結構產生一定沖突，如果這種沖突直接作用在Linear 層，會對分類產生較大影響。于是將Res2Net29_RC 的最后一個瓶頸結構替換為原來的結構，為了方便描述，這種針對Res2Net 的改進記為RC_res2。結果顯示，Res2Net_RC_res2 在cifar10 的準確率有了進一步提升，而且在cifar100 上也超過了原版。

表4 cifar 數據集的實驗

除了Res2Net 外，也對SEResNet 做出了特殊改進，如圖4 所示。RC 結構之所以能提高準確率，是因為將輸入升維操作的數據直接作為輸出的一部分，從而加強了這部分的梯度傳遞。而在與SELayer 結合的時候， y參與了自注意力機制的情況下可能會影響到其梯度傳遞，所以設計了圖4b的結構。為方便區分，這種結構記為RC_se。表4 顯示，在cifar 數據集上，SEResNet29_RC_se 的準確率和效率比SEResNet29_RC 與SEResNet29 更加出色。

圖4 針對SEResNet 做出的特殊改進

此外，對于SKNet 與RC 結合的失敗，本文也做出了各種改進，但準確率都達不到原版的效果，引入RC 結構后，SKNet 的特征表達能力受到很大的負面影響。SKNet 較小的s 值(SKNet 瓶頸結構的s=2)是影響因素之一，根據1.1 節的分析，越大的s 值代表網絡的冗余性越多，與RC 結構的結合效果就越好。本文嘗試增大SKNet 的s 值，發現s 值增大時，RC 結構起到了提高準確率的作用，這說明SKNet 也是遵行“冗余性越高，與RC 結構結合效果越好”這一結論。因此SKNet 與RC 結構結合失敗的原因目前只能歸結為：SKNet 瓶頸結構的輸出特征圖冗余性較低，加入RC 結構后會影響其特征表達能力。

2.3 TinyImageNet 實驗

TinyImageNet 是200 類的ImageNet 子集，圖片大小為64×64，本文以ResNet50 作為基礎，搭建需要測試的網絡，訓練相關設置和cifar 保持一致。訓練結果如表5 所示。正如1.3 節分析的，RC結構不適合分類數較大的任務，在2.2 節cifar100的實驗里也出現Res2Net-RC 的準確率有所下降的情況，而在200 類的TinyImageNet 里，這一特性更加明顯，除了SEResNet50 外，其余網絡的準確率都出現了小幅下降。所以RC 結構并不適合處理分類數較多的任務，且不同殘差網絡對應的分類數臨界值也會有所不同，需要根據具體情況判斷是否使用RC 結構。

2.4 更多的數據集

為了驗證RC 結構的有效性，針對遙感影像數據做了額外的實驗，數據集選用了12 分類的SIRIWHU Dataset[12]與21 分類的UC Merced Land-Use DataSet[13]，采用4∶1 的比例劃分為訓練集和測試集。與前面實驗不同的是，采用Adam 作為訓練優化器，學習率初始值為0.001，每隔30 個批次除以2，訓練120 個批次，選用ResNet50 為基礎網絡，實驗結果如表6 所示。SIRI-WHU Dataset的圖片大小為224×224，UC Merced Land-Use DataSet的圖片大小為256×256，面對圖片大小在200 以上的數據集時，RC 在ResNetV2(PreActResNet)上表現得并不理想，但在其他網絡上都有一定的提升。

表5 TinyImageNet 的實驗

表6 遙感影像數據集的實驗

3 結 束 語

本文分析了殘差網絡的冗余性，針對瓶頸結構進行了改進，使用RC 代替原來的升維操作。RC使用殘差結構和連接操作，降低了升維操作的計算量和參數量，并增強了梯度傳播。利用cifar 數據集和tinyImagenet 數據集在多種殘差網絡上進行了測試，驗證了RC 在較少類別分類任務上的有效性。最后還在遙感影像識別領域做了額外的實驗。本文的實驗部分也存在一些問題沒有得到解答，例如在SKNet 上直接套用RC 結構并沒有發揮出理想的效果，根本原因是什么？能不能做出有效改進？兩個瓶頸結構之間的升維降維操作是否存在冗余計算，可否進一步降低計算量等。RC 結構還有值得挖掘的地方，期待未來的研究能完善它。