CIRBlock：融合低代價卷積的輕量反向殘差模塊

余海坤，呂志剛，，王 鵬，李曉艷，王洪喜，李亮亮

1.西安工業大學 電子信息工程學院，西安 710021

2.西安工業大學 機電工程學院，西安 710021

3.西安工業大學 發展規劃處，西安 710021

近年，基于視覺的卷積神經網絡（convolutional neural network，CNN）已經被廣泛應用在目標分類、目標檢測等視覺任務中，并且已經取得較好的效果。現有的卷積神經網絡模型在準確率和泛化能力表現較好，但往往性能的提升，伴隨著網絡深度和寬度的升高、參數量變大、模型復雜度快速升高，最終導致模型難以在低算力設備部署。由于卷積神經網絡本身就具有較高的計算和參數冗余性，設計較低復雜度并能保證特征提取能力的輕量級卷積神經網絡成為近年來主流研究方向[1-3]。

目前人工設計的輕量級卷積神經網絡已經取得了令人矚目的成績，其主要目的在于設計更高效的網絡計算方式，包括對卷積操作和網絡架構進行改進[4]，以此構建輕量級卷積模塊和網絡架構。Simonyan 等[5]在VGG中，將單層的大尺寸卷積替換為多層小卷積，在大幅減少網絡參數的同時仍能獲得相同的感受野，為網絡結構的輕量化指明了方向；Chollet[6]提出的Xception及Howard等[7]提出的MobileNet 利用深度可分離卷積降低標準卷積模塊的復雜度；Ma等[8]提出ShuffleNetV2利用逐點分組卷積降低了逐點卷積的計算量，并利用通道混洗加強特征圖組間信息交流。上述工作極大地促進了輕量級神經網絡的發展。Sandler 等[9]提出MobileNetV2 和Howard等[10]提出的MobileNetV3受到廣泛應用，二者均采用了反向殘差結構和深度可分離卷積，采用點卷積形成的特征冗余結構和深度卷積代替標準卷積，在保證網絡性能基礎上，大幅降低了運算量和參數量，但較多的點卷積運算仍然具有較大計算復雜度。而IGCNets[11]、IGCV2[12]、EspNetV2[13]、ANTNet[14]等提出采用分組點卷積來進一步減少點卷積計算量，但分組卷積會破壞點卷積融合所有通道信息的能力，削減了點卷積原有的作用。而Han 等[15]提出的GhostNet 利用計算代價小的低代價操作從原始卷積的特征中挖掘特征，并將低代價操作引入到反向殘差結構的所有點卷積中，降低了點卷積的計算量。但GhostNet 引入的低代價操作采用大尺寸深度卷積，并對每個點卷積都增加了深度，仍可進一步優化計算量。

為了在保證神經網絡基礎模塊特征提取能力的同時，最大程度降低模塊復雜度，本文采用反向殘差結構設計了一種新的輕量級卷積神經網絡模塊（cheap inverted residuals block，CIRBlock），主要包括以下工作：（1）針對反向殘差的冗余計算進行輕量設計，通過低代價操作和旁路信息特征復用降低模塊計算復雜度；（2）對輕量化后的結構進行特征通道信息增強設計，引入通道混洗、通道注意力和跨分支信息融合，設計出兩種步長的輕量級模塊CIRBlock；（3）利用CIRBlock人工搭建了具有不同復雜度等級的分類模型CIRNet。在VGG16[5]架構上的分類實驗表明，本文提出的CIRBlock能夠在更低的參數量和計算量下，達到和現有輕量級模塊相當的分類精度；基于CIRBlock 模塊搭建的CIRNet在多個分類數據集上獲得了比其他輕量級神經網絡更優的分類性能。

1 反向殘差結構及已有改進

MobileNetV2 中構建了具有線性瓶頸的反向殘差塊（inverted residuals block，IRB）進行特征提取，能夠在較低計算復雜度下進行有效的特征提取，其結構如圖1 所示。反向殘差結構中主要采用了深度可分離卷積，而深度可分離卷積利用深度卷積（depthwise convolution，DW Conv）和點卷積（pointwise convolution，PW Conv）分別進行單個通道內的特征提取和所有通道的特征整合。

圖1 MobileNetV2的反向殘差結構Fig.1 Inverted residuals block of MobileNetV2

標準的反向殘差結構可以表示為：

則反向殘差結構的三個變換中的卷積操作的參數量和計算量的比值為：

其中，t為第一個點卷積進行升維的通道倍率，在原始的反向殘差結構中一般取6，k為深度卷積的尺寸。由公式（6）（7）可見在網絡的大部分層，兩個點卷積比深度卷積具有更高的時間和空間復雜度，同時三個卷積的復雜度同升維的倍率t及輸入通道數呈正相關。如果通過降低t來降低計算量，會改變高維特征通道數，對特征多樣性會造成較大影響。MobileNetV3 中采用神經網絡架構搜索針對每一層升維的倍率t進行超參優化，需要較為復雜的搜索過程來達到精度和復雜度平衡，沒有從本質上對反向殘差結構進行優化。同時反向殘差結構的點卷積雖然結構簡單，但計算量相對較大，具有較大的壓縮空間。

現有許多工作利用分組卷積降低反向殘差結構的點卷積的復雜度，但分組卷積阻隔了通道間信息交流，產生的特征圖不能表征所有輸入通道，影響網絡性能，且最終獲得的壓縮效益不高。而GhostNet 針對標準卷積特征映射的冗余性，基于部分原始標準卷積產生的特征映射，采用一系列低成本操作來替換原始的部分計算。具體地，GhostNet在其構建的基礎模塊Ghost Block中將反向殘差結構的兩個點卷積都替換為計算量更低的Ghost Module，保留了部分標準點卷積，并將剩余的計算以較低的計算代價完成。其中的低代價操作為3×3和5×5 深度卷積。雖然GhostNet 降低了點卷積的冗余計算，但其對升維點卷積和降維點卷積運算都以相同比例替換為低成本模塊，并采用較大尺寸深度卷積作為低代價操作，仍有提升精度和降低計算量的空間。

2 輕量化卷積神經網絡模塊設計

2.1 反向殘差結構輕量設計

本文考慮到用于升維的點卷積具有較多冗余度，以及GhostNet設計的低代價操作的有效性，采用低代價升維變換C(J(·))取代升維變換G(·) 。其中J(·) 為融合變換，利用點卷積進行所有輸入通道的融合；C(·) 為低代價擴展變換，采用低代價操作進行通道的擴展。

其中，s為低代價升維變換的擴展比，?為低代價操作，本文選擇的低代價操作是1×1深度卷積，即分組數等于輸入通道數的1×1分組卷積。對于降維變換I(·)，考慮到其將高維特征映射到低維空間，變換本身就需要有較大程度的信息損失，故不進行修改。在輸出通道相同時，原始升維變換G(·) 和低代價升維變換C(J(·))中卷積的參數量和計算量之比為：

可見當低代價升維變換的擴展比越高，用于升維的計算量越低，但低代價產生特征的多樣性也越低，會造成較大程度的精度損失，所以需要針對計算量和精度進行相應權衡。

本文按照當輸入輸出通道大小相等時具有最小化內存訪問量的設計策略，將原始標準卷積產生的特征通道數設定為和輸入通道數相同，原始的點卷積操作將所有通道信息重新整合，生成的新特征圖和輸入具有相同的通道數，即，再利用低代價擴展變換C(·) 對x′進行通道的擴展。此時低代價升維變換的擴展比s和點卷積升維的倍率t相等，即s=t。若輸入通道數遠大于6時，由公式（9）（10）可知，此時在相同的輸入通道數下，升維的倍率t即為采用低代價變換所取得的壓縮比。在GhostNet 中的研究表明低代價變換引入的比例過大會導致網絡性能的顯著下降，所以為了保證低代價升維變換的有效性，s和t的取值不能過大，因此在反向殘差結構中會導致后續的降維階段的輸入輸出通道之比降低，影響反向殘差結構的有效性。

為了解決降維前后的通道之比降低的問題，同時進一步對模塊進行輕量化設計，本文引入旁路分支并進行特征重用。即利用點卷積的部分輸出信息直接作為模塊輸出的一部分，來降低特征提取階段的深度卷積和降維階段的點卷積的輸出通道數，以保證降維操作前后的通道比值較大，保證反向殘差結構的有效性。

具體地，首先本文復用的特征為僅經過融合變換J(·) 的特征x′，為利用點卷積進行通道信息融合的特征，從中選擇部分特征作為旁路，直接和反向殘差結構的輸出在通道維度上拼接。則此時的輕量反向殘差結構為：

旁路分支的引入減少了反向殘差結構的輸出通道，則降低升維的倍率不會影響降維前后的通道之比，避免了低代價操作引入帶來的精度損失，保證反向殘差結構的有效性。通過特征復用方便了梯度的反向傳播，使得網絡更容易訓練。由公式（6）（7）可知，降低升維倍率、減少反向殘差結構輸出通道均能夠較大程度降低模塊的參數量和計算量。本文提出的經過輕量設計的反向殘差結構如圖2所示。

圖2 反向殘差結構輕量設計Fig.2 Lightweight inverted residuals block

圖2 中，input 和output 分別為模塊的輸入和輸出，Act代表激活函數，利用低代價升維變換C(J(·))來簡化原始升維變換G(·) 的計算，并復用其中的融合變換J(·)中標準點卷積產生的特征圖作為輸出的一部分，減少原始反向殘差結構的輸出通道，極大程度減少反向殘差結構的計算代價，但存在通道信息交流不足的問題，對精度產生影響。本文通過對特征通道信息進行增強設計來彌補上述輕量設計帶來的精度損失[16]。

2.2 特征通道信息增強

本文基于對反向殘差結構的輕量化設計，進一步對特征通道信息進行增強，加強通道間有效信息交流，以較低的計算代價獲得精度的提高。

SENet 中的實驗表明在網絡的特定位置通過插入通道注意力模塊能夠對通道信息進行增強，同時增加的額外計算代價較小[17]。本文考慮到SE通道注意力模塊會對特征進行重標定，無法在通道壓縮后進行，故將通道注意力模塊插入到降維變換I(·) 前，把經過特征提取后的特征作為SE 模塊的輸入，對通道的相關性進行評估。定義通道評估函數M(·)，其輸出為長度等于輸入通道數的一維向量。然后利用輸出的一維向量對SE模塊的輸入特征進行歸一化操作Fscale(·,·)，挑選重要的特征通道進行增強，使得有效特征通道信息進一步增強，增強通道信息的有效性。

在不進行下采樣和通道擴展時模塊的輸入和輸出尺寸完全一致，可以將輸入直接和輸出進行殘差連接，防止發生網絡退化。最終本文設計的步長為1 的輕量級模塊CIRBlock的結構如圖3（a）所示。

圖3 不同步長的CIRBlock結構圖Fig.3 CIRBlock structure diagram with different stride

對于需要進行下采樣的模塊，會在特征提取深度卷積時進行特征圖尺寸的改變，使得特征圖信息受到不可逆的損失，故本文針對下采樣模塊進行了額外的增強設計。在下采樣模塊設計中，本文使得主分支和旁路分支具有相同的輸入特征，即旁路分支的信息不經過通道選取，為x′的等價特征。每個分支都采用步長為2的3×3深度卷積進行下采樣特征提取。定義下采樣時的特征提取函數為H′(·)，在主分支中表示為，在旁路分支中表示為，則此時下采樣的本文設計的反向殘差結構可以表示為：

旁路分支進行下采樣操作后，還可以通過低代價擴展變換C(·)，并和主分支信息進行通道信息融合，進一步加強主分支通道信息多樣性。則此時的中間特征x′′變為：

本文所設計的步長為2 的CIRBlock 結構如圖3（b）所示。具體地，如圖4為步長為2時，模塊的特征圖變換過程。從公式（16）可知，新增加的部分能夠充分利用主分支和旁路分支的特征提取結果，幾乎不引入額外的操作即可以利用兩個通道的信息來增強主分支的特征多樣性，以減少下采樣帶來的信息損失。本文設計的輕量反向殘差結構通過對特征通道進行信息增強，保證了輕量模塊的精度和泛化能力，從而實現速度和精度平衡。

圖4 步長為2時的CIRBlock的特征圖變換Fig.4 Feature map transformation of CIRBlock with stride 2

本文和現有的設計方法不同，雖然采用1×1深度卷積引入了分組點卷積但是仍然利用融合變換J(·) 保留了點卷積融合所有通道信息的優點，并且較大程度減少了參數量和計算量。相較于將所有的點卷積利用低代價操作替換，本文僅利用低代價操作進行通道的擴張，將冗余度較低的壓縮點卷積操作保留，保證高維到低維映射的有效性。此外旁路分支的引入能夠直接減少輸出通道數，并針對不同步長的模塊進行特征復用設計，進一步增強通道的多樣性。

2.3 基于CIRBlock模塊的分類網絡CIRNet構建

利用本文設計的CIRBlock通過堆疊進行層和基礎骨干網絡的設計，不經過復雜的參數調整和網絡架構搜索，來進一步驗證CIRBlock 的有效性。本文所設計的CIR Layer 結構如圖5 所示，其中第一個CIRBlock 的步長由當前層是否進行下采樣決定，若進行下采樣操作則步長為2，采用如圖3（b）所示。

圖5 CIR Layer結構圖Fig.5 Structure diagram of CIR Layer

CIR Layer 中的CIRBlock 的個數由參數n(n∈N*)決定。通過對CIR Layer的堆疊，本文所設計的分類網絡CIRNet的結構如表1所示。

表1 CIRNet backbone結構Table 1 Structure of CIRNet backbone

若輸入圖像尺寸較小，如32×32 像素的圖像數據，則骨干網絡第一個CIR Layer的步長設置為1。本文的分類器利用全局平均池化層和一個全連接層替代多個全連接層，最后一個全連接層的輸出通道數為需要分類的種類數。

3 實驗數據與結果分析

本文通過CIFAR[18]和Mini-ImageNet[19]分類數據集來驗證所提方法在不同分辨率的自然場景下對常見物體分類實驗的有效性，如表2所示為數據集簡介。CIFAR為小尺寸自然場景標準彩色圖像分類數據集，本文采用CIFAR-10[18]和CIFAR-100[18]進行輸入尺寸為32×32下不同分類數量的實驗。Mini-ImageNet為大規模自然場景分類數據集ImageNet[20]的子集，常見物體類別多并比CIFAR數據集具有更大的輸入尺寸，更具工程應用價值。本文在保證樣本分類均衡前提下，將原Mini-ImageNet的訓練集和測試集重新按照8∶2進行隨機劃分。

表2 本文采用的分類數據集Table 2 Classification dataset used in this paper

本文利用Pytorch（CUDA 11.2）和MMCV深度學習庫[21]，在配備Intel?CoreTMi7-9700 CPU和單張NVIDIA RTX 2080 super顯卡的主機上進行各模型實驗。在相同的數據集上均采用相同的預處理和訓練策略進行實驗。采用SGD優化器，動量0.9，權重衰減1E-4，初始學習率0.1，consine 學習率策略，初始5 個輪次進行warm up。在CIFAR-10 和CIFAR-100 數據集的batch size 為128，訓練300個輪次后進行測試，Mini-ImageNet數據集的batch size為32，訓練100個輪次后測試。

在測試數據集對訓練好的分類網絡進行實驗，分類精度為被正確分類的樣本數與總樣本數之比。分類網絡的理論復雜度指標采用FLOPs和參數量，實際測試速度指標采用在推理測試集時的平均幀率（frame per second，FPS）。

3.1 相同網絡架構的輕量級模塊對比實驗

本文所設計的輕量化卷積模塊CIRBlock可以方便地替換或插入到現有的網絡架構上，以此輕量化現有網絡架構。在CIFAR-10和CIFAR-100數據集上利用VGG16網絡架構，將本文設計的CIRBlock 模塊和目前具有代表性的輕量級模塊進行目標分類對比實驗，實驗結果如表3所示。

表3 VGG16使用不同卷積模塊在CIFAR實驗結果對比Table 3 Comparison of experimental results of different module with VGG16 architectures in CIFAR

其中VGG16-normal為原始的VGG16網絡，VGG16-IRB為采用MobileNetV2的反向殘差塊替換原始的3×3標準卷積，VGG16-Ghost為采用GhostNet的Ghost Module替換標準卷積，VGG16-CIR 為利用本文所提的CIRBlock 替換標準卷積所得。通過實驗可知，超參數s低代價升維變換的擴展比對模塊的精度和復雜度影響較大，當s=3 時能夠使得網絡的精度和復雜度達到更好的平衡，故本文設計的CIRBlock的s=3，此時CIRBlock在CIFAR數據集上，CIRBlock相比于反向殘差塊FLOPs減少58.1%，參數量減少55.5%，精度損失小于0.4%。本文所設計出的輕量級模塊CIRBlock無論是參數量還是計算量，均大幅低于MobileNet 系列的反向殘差結構和GhostNet 所提的Ghost 輕量化卷積模塊，并且在精度上可以達到近似或超越的程度。

3.2 不同網絡架構的輕量級分類網絡對比實驗

將構建的輕量級分類網絡CIRNet和現有的輕量級網絡結構進行目標分類對比實驗，包括MobileNet系列、ShuffleNet 系列。表4 為不同網絡架構在CIFAR-10 和CIFAR-100目標分類數據集實驗的結果。

表4 不同網絡架構在CIFAR的實驗結果對比Table 4 Comparison of experimental results of different network architectures in CIFAR

其中對MobileNetV3和ShuffleNetV2進行不同寬度和深度的調整。從表4 可以看出本文設計的CIRNet 在兩個數據集上獲得最高的分類精度，參數量最低，計算量低于其他網絡取得最高分類精度的模型，體現本文設計的CIRNet能夠在精度和復雜度中達到較好的平衡。

考慮到CIFAR數據集的尺寸較小，其結果不能完全表征網絡的擬合能力，故本文在圖像尺寸為224×224的Mini-ImageNet上與現有輕量級卷積神經網絡模型進行對比。同時為了保證對比的有效性，本文按照模型FLOPs劃分四個復雜度級別：75 MFLOPs以下、75～150 MFLOPs、150～250 MFLOPs 和250 MFLOPs 以上，測試了不同寬度和深度的現有網絡與本文所提的CIRNet在四個復雜度級別的分類精度和運行速度，從而驗證CIRBlock 在不同復雜度模型的有效性和魯棒性。在Mini-ImageNet數據集，不同網絡架構的不同復雜度模型的實驗對比結果如表5所示。

表5 不同網絡架構在Mini-ImageNet的實驗結果對比Table 5 Comparison of experimental results of different network architectures in Mini-ImageNet

表中加粗數據為所處計算復雜度等級中最優的分類精度和模型。其中CIRNet tiny、CIRNet small、CIRNetlarge為CIRNet通過僅調整網絡深度和寬度所得。對于上述CIRNet 的深度除CIRNet tiny 的CIR Layer3 中n=2，其余均按照表1 設置；網絡的不同寬度通過各層輸出通道數進行改變設置，如表6所示。

表6 不同復雜度CIRNet的各層輸出通道對比Table 6 Comparison of output channel number at each layer of CIRNet with different complexity

從表5可見，本文提出的輕量級卷積神經網絡CIRNet通過簡單的深度和寬度調整設計，能夠在不同的復雜度級別取得最高的分類精度。特別的，本文構建的CIRNet small在精度和GhostNet 1.5×相當時，FLOPs僅為后者的33%。將各網絡架構在不同計算量下獲得的最佳精度進行對比，如圖6 所示，用來表征網絡架構在不同等級計算復雜度的分類精度表現，在相同的分類精度下，取得更小的復雜度和更快的推理速度代表輕量級目標分類模型的性能更優。

由圖6可見，在Top-1精度取得76%左右時，本文的CIRNet的計算量僅為現有網絡架構的20%～40%。實驗表明，本文所設計的輕量級卷積模塊通過簡單堆疊所組成的目標分類網絡模型，不經過復雜的參數調整和神經網絡架構搜索，在Mini-ImageNet 數據集上就能夠領先于現有的網絡架構。

為了更好地說明CIRNet的優越性，在Mini-ImageNet數據集上，采用Grad CAM++和Guided Backpropagation方法可視化具有相同復雜度的不同網絡結構的預測表現，最終可視化結果如圖7所示。其中圖7（a）和（l）分別為來自數據集的malamute 和carton 類的圖片，圖7（b）～（f）和（m）～（q）分別為MobileNetV2、MobileNetV3、ShuffleNetV2、GhostNet和CIRNet網絡的Guided CAM++可視化結果，圖7（g）～（k）和（r）～（v）為對應網絡的Guided Backpropagation可視化結果。

圖7 Mini-ImageNet上不同模型的可視化結果Fig.7 Visualizations of different models on Mini-ImageNet

可以看到，在相同復雜度級別下，CIRNet 的Grad CAM++熱圖中顯示的區域相比于其他網絡結構更為符合人對于該類別的主觀感受。如圖7（d）（e）（n）（o）均顯示對應網絡對類別主體關注較片面，圖7（f）（p）（q）能夠較好地將前后景分離，并對顯著區域給予更多關注。其次在利用Guided Backpropagation 進行可視化的結果中，CIRNet 的細節比其他網絡更清晰、粒度更細，可見CIRNet可以更好地關注與最后分類結果息息相關的區域。

4 結束語

本文首先分析了輕量級卷積神經網絡常用的反向殘差結構及其現有改進的不足，對反向殘差結構進行輕量設計，得到復雜度更低的反向殘差模塊CIRBlock。其次為了恢復輕量設計帶來的性能損失，對不同步長的模塊進行通道信息增強設計，得到兩種步長的CIRBlock。最后通過CIRBlock 人工堆疊構建輕量級目標分類網絡CIRNet。實驗表明，在相同的VGG16 架構上達到相當的分類精度時，使用CIRBlock 相比于其他輕量級模塊具有更低的計算代價和參數量。構建出的不同計算復雜度等級的CIRNet，在圖像分類數據集CIFAR和Mini-ImageNet 上，相比于同等級計算量的其他輕量級分類網絡，均取得更高的分類準確度。