基于雙通道交叉融合的卷積神經(jīng)網(wǎng)絡(luò)圖像識別方法研究

摘" 要：針對單通道卷積神經(jīng)網(wǎng)絡(luò)的特征提取不夠充分、深度網(wǎng)絡(luò)存在訓練困難的問題，提出一種雙通道交叉融合的卷積神經(jīng)網(wǎng)絡(luò)模型。該模型包括三個特征提取階段，每個階段分兩條通道進行圖像卷積，當兩條通道的卷積結(jié)束后進行特征交叉融合，經(jīng)過三次交叉融合后輸入到全局平均池化層以及全連接層中得到分類結(jié)果。將該模型應(yīng)用于Cifar10、Cifar100和Fashion-MNIST的圖像分類任務(wù)以驗證模型的有效性。結(jié)果表明，雙通道交叉融合模型可以在當前支持GPU加速的主流筆記本電腦上進行訓練，在同樣規(guī)模的數(shù)據(jù)集上具有比同類其他模型更好的分類性能。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；雙通道；融合；分類；準確率

中圖分類號：TP391.4；TP183" 文獻標識碼：A" 文章編號：2096-4706（2024）12-0047-06

Research on the Image Recognition Method of Convolutional Neural Networks Based on Dual-channel Cross-fusion

HUANG Manman， WANG Songlin， ZHOU Zhenggui， HOU Xiuli

（School of Information and Artificial Intelligence， Anhui Business College， Wuhu" 241002， China）

Abstract： In response to the problems of insufficient feature extraction in single-channel Convolutional Neural Networks and the difficulty in training deep networks， a dual-channel cross-fusion Convolutional Neural Networks model is proposed. This model includes three feature extraction stages， with each stage performing image convolution through two separate channels. After the convolution of the two channels is completed， feature cross-fusion is carried out. After three rounds of cross-fusion， the features are input into a global average pooling layer and a fully connected layer to obtain classification results. This model is applied to image classification tasks on Cifar10， Cifar100， and Fashion-MNIST to verify its effectiveness. The results show that the dual-channel cross-fusion model can be trained on current mainstream laptops that support GPU acceleration， and it exhibits better classification performance than other similar models on datasets of the same scale.

Keywords： Convolutional Neural Networks; dual-channel; fusion; classification; accuracy

0" 引" 言

自2012年AlexNet [1]模型在ImageNet圖像分類比賽中嶄露頭角以來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）被廣泛應(yīng)用于不同的計算機視覺領(lǐng)域，如圖像分割[2]、目標跟蹤[3]、物體檢測[4]等。為了不斷地提升圖像分類準確率，研究人員從很多方面開展了研究。在加深網(wǎng)絡(luò)深度方面，Lin [5]等在NIN中使用1×1卷積核將特征信息進行跨通道融合，提升了模型的特征表達能力。Simonyan等[6]利用3×3卷積核，將網(wǎng)絡(luò)深度擴展到19層，所構(gòu)建的VGG模型在ImageNet圖像分類中取得了不錯的效果。在加寬網(wǎng)絡(luò)寬度方面，Szegedy等[7]提出了GoogLeNet模型，該模型共22個卷積層，由多個Inception模塊組成，每個模塊均包含多個不同尺寸的卷積核，能有效地提取多尺度信息，從而提升圖像分類精度。按照以往單純地加深網(wǎng)絡(luò)深度，網(wǎng)絡(luò)的性能卻越來越差，出現(xiàn)了梯度消失問題。He等[8]提出了ResNet模型，通過引入殘差學習解決了梯度消失問題，使得網(wǎng)絡(luò)層次達到了152層乃至1 000層。Huang等[9]受此啟發(fā)提出了性能更為優(yōu)越的DenseNet模型用于圖像分類。近幾年，研究人員又把研究重心放在了改變卷積方式方面，基于深度可分離卷積結(jié)構(gòu)，Howard等[10]面向移動端應(yīng)用提出了MobileNet模型。

以上模型通過加深網(wǎng)絡(luò)深度和寬度、引入殘差學習、改變卷積方式等，雖然在一定程度上提升了模型的性能，但是這些模型主要在大型數(shù)據(jù)集上進行訓練，需要較高的訓練平臺，這樣模型應(yīng)用就具有一定的局限性。另外，如何高效地訓練一個深層網(wǎng)絡(luò)仍然是一個挑戰(zhàn)，諸如采用Dropout 技術(shù)、批歸一化、殘差連接和優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)可提升信息流動，從而訓練更深的網(wǎng)絡(luò)。鑒于此，本文在單通道卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，結(jié)合人眼視覺原理，提出了一種雙通道交叉融合的卷積神經(jīng)網(wǎng)絡(luò)模型。在物體分類數(shù)據(jù)集Cifar10和Cifar100以及服裝分類數(shù)據(jù)集Fashion-MNIST上進行實驗，與主流模型Highway、ResNet、MobileNet等相比，本文模型取得了更優(yōu)越的分類性能。

1" 相關(guān)工作

目前，從深度融合網(wǎng)絡(luò)的結(jié)構(gòu)上來看，很多經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)模型都有深度融合的思想，如GoogLeNet、ResNet、HighwayNetworks [11]等均有深度融合的影子。尤其是GoogLeNet模型中的Inception系列和ResNeXt [12]都對深度融合結(jié)構(gòu)做了深入研究。面對這些層數(shù)極深的網(wǎng)絡(luò)，其融合次數(shù)也相應(yīng)增多，這使得網(wǎng)絡(luò)可以獲取更多的基礎(chǔ)信息和更佳的流動信息。

深度融合的方式多種多樣，例如GoogLeNet模型由多個Inception模塊組成，每個模塊的結(jié)尾使用拼接融合。ResNet使用加法融合，可以看作是深度融合的一種特例。譚震等[13]利用多個不同卷積尺度的卷積通路并行提取信息特征，并進行信息的分類預(yù)測，具有比同類其他模型更好的性能。張李煒等[14]采取了并聯(lián)式結(jié)構(gòu)，通過2次通道提取特征，將特征融合起來，相較于其他模型，準確率更高，整體效果更好。在圖像數(shù)據(jù)Cifar10和Cifar100這種小型數(shù)據(jù)集上，采用單通道卷積網(wǎng)絡(luò)學習整個圖像細節(jié)較為困難，通過雙通道交叉融合方式，使得兩條通道聯(lián)合學習，減少特征信息損失，能夠提取圖像的深層特征，有效提升模型在數(shù)據(jù)集上的分類精度。

2" 模型及結(jié)果分析

2.1" 雙通道交叉融合模型的建立

人眼視覺原理表明，當人們用眼睛觀察目標時，通過兩條視覺神經(jīng)傳遞信息，再通過漆狀體和視交叉后形成交叉混合信息供大腦進行分析。針對單通道卷積神經(jīng)網(wǎng)絡(luò)提取到的圖像信息不充分的問題，受人眼視覺原理啟發(fā)，本文提出了一種雙通道交叉融合的模型結(jié)構(gòu)，如圖1所示。

其中，兩條通道的卷積深度控制在11層，并遵循以下三個設(shè)計規(guī)則：

1）整個模型主要分三個特征提取階段，每個階段包含兩條通道，兩條通道中的特征尺寸和卷積核的數(shù)量均相等，每個階段的特征提取結(jié)束后進行融合。

2）當特征圖尺寸減半時，卷積核的數(shù)量相應(yīng)增加，并直接使用步長為2的卷積層進行下采樣。

3）與ResNet模型相同，尾部采用全局平均池化層和全連接層輸出分類結(jié)果。

卷積層的數(shù)學表達式如式（1）所示：

（1）

其中" 為上一層的輸出特征圖， 為卷積核的權(quán)值， 為每個特征圖的偏置項， 為激活函數(shù)。

本文給出了兩條通道特征融合的數(shù)學表達式，如式（2）和式（3）所示：

（2）

（3）

式（2）中， 為第一條通道的卷積輸出， 為第二條通道的卷積輸出，f （x）為兩條通道輸出特征的融合函數(shù)， 為融合后的輸出。式（3）中，z為融合后的輸出特征圖數(shù)量，s為融合類型。

2.2" 尺度融合方式

在尺度融合方式上，主要觀察相同尺度網(wǎng)絡(luò)融合和不同尺度網(wǎng)絡(luò)融合的分類性能。以圖1中階段2為例，有兩種融合方式，如圖2所示。兩種融合方式的主要區(qū)別在于步長為2的下采樣層，左圖的兩條通道采用相同尺度的卷積核進行下采樣，右圖的兩條通道采用不同尺度的卷積核進行下采樣。這樣左圖可以看作是兩個相同網(wǎng)絡(luò)的交叉融合，右圖可以看作是不同網(wǎng)絡(luò)的交叉融合。

2.3" 特征融合方式

Caffe深度學習框架里的Concat層和Eltwise層用于特征融合。前者是拼接融合，要求特征圖的尺寸必須相同，對于特征圖數(shù)量沒有要求。后者的融合方式有相加融合（Sum）、最大值融合（Max）、點乘融合（Product）三種，常用的是相加融合，進行特征融合時，要求特征圖的尺寸和數(shù)量必須相同。以階段2為例，特征融合示意圖如圖3所示，左邊為拼接融合，右邊為相加融合。為了能夠觀察兩種融合方式的性能，模型中每個階段的雙通道卷積層的輸出特征圖數(shù)量均保持一致。

2.4" 模型參數(shù)設(shè)置

表1給出了一種不同尺度網(wǎng)絡(luò)融合的模型參數(shù)設(shè)置。其中，每種網(wǎng)絡(luò)均包含11層的卷積，兩種網(wǎng)絡(luò)的下采樣層分別使用步長為2的卷積核3×3和5×5。

3" 實驗設(shè)置與結(jié)果分析

3.1" 實驗設(shè)置

為了評估本文模型的有效性，在物體分類數(shù)據(jù)集Cifar10和Cifar100上進行模型分類效果的實驗。

3.1.1" 數(shù)據(jù)集

Cifar10數(shù)據(jù)集包含10種類別的彩色圖像，分別是飛機、汽車、船、卡車、馬、鳥、狗、貓、鹿、青蛙，每類有6 000張，共60 000張，其中50 000張作為訓練圖像，10 000張作為測試圖像，該數(shù)據(jù)集的部分樣本如圖4所示。Cifar100與Cifar10類似，包括100類，每類圖像數(shù)量是600，共60 000張圖像，其中50 000張訓練圖像和10 000張測試圖像。以上兩個數(shù)據(jù)集的圖像像素均為32×32，相比之下，Cifar100種類明顯多于Cifar10，而且每個種類圖像數(shù)量更少，在分類時更加困難。

3.1.2" 圖像預(yù)處理

數(shù)據(jù)增強是從每張圖像的5個方位隨機裁剪生成28×28像素的圖像，再進行翻轉(zhuǎn)操作可以將圖像數(shù)量擴增為原始圖像數(shù)據(jù)的10倍，如圖5所示。

3.1.3" 實驗平臺

實驗平臺的計算機配置為神舟筆記本Intel Core i5-8265U CPU、Windows 11操作系統(tǒng)、8 GB內(nèi)存以及單條NVIDIA-GTX 1050 Ti GPU顯卡，編程環(huán)境為Python 3.6，深度學習框架為Caffe。

3.1.4" 訓練參數(shù)設(shè)置

為了適應(yīng)當前訓練平臺，訓練批次設(shè)置為64，測試批次設(shè)置為100。經(jīng)過多次實驗，本文給出了在Cifar10和Cifar100上的訓練參數(shù)設(shè)置：在Cifar10上訓練時，學習率為0.001，變化方式為poly，gamma為0.9，power為1.5，最大迭代100 000次；在Cifar100上訓練時，學習率為0.008，學習率變化方式為multistep，gamma為0.2，stepvalue為24 000、48 000和72 000，最大迭代80 000次。

3.2" 實驗結(jié)果及分析

表2列出了在尺度融合上的參數(shù)量以及在Cifar10和Cifar100上的分類準確率。由于待分類的圖像種類數(shù)量不同，模型參數(shù)量有略微的差別，本文用“～”表示采用相同模型訓練的參數(shù)量。

從表2可以看出，雙通道交叉融合CNN模型的準確率明顯優(yōu)于單通道CNN模型，說明雙通道融合更有利于特征提取。但是由于是兩條通道進行交叉融合，雙通道融合模型的參數(shù)量要高于單通道模型。從雙通道CNN模型的性能來看，采用相同尺度Net-1+Net-1和Net-2+Net-2模型比采用不同尺度Net-1+Net-2模型的分類準確率分別高出0.06%、0.18%和0.11%、0.31%，說明相同尺度網(wǎng)絡(luò)交叉融合的分類性能要優(yōu)于不同尺度網(wǎng)絡(luò)的交叉融合。綜合評價來看，Net-1+Net-1模型性能較優(yōu)，其參數(shù)數(shù)量比其他兩種類型的雙通道CNN模型更少，而與獲得最高準確率的Net-2+Net-2模型相比，模型的準確率僅僅分別低了0.05%和0.13%。

表3列出了在特征融合方式上的參數(shù)量以及在Cifar10和Cifar100上的分類準確率。以Net-1+Net-1為例，從表3可以看出，當特征融合方式為拼接（Concat）融合時，模型參數(shù)有2.11M，在Cifar10和Cifar100上的最優(yōu)分類準確率分別為92.23%和71.08%；當特征融合方式為相加（Sum）融合時，模型參數(shù)有1.78M，在Cifar10和Cifar100上的最優(yōu)分類準確率分別為92.37%和71.95%。同理，對于Net-2+Net-2為研究對象來說，發(fā)現(xiàn)采用特征融合方式為相加（Sum）融合時，類性能更為優(yōu)越。

表4給出了以本文實驗平臺為例，兩種特征融合模型的一些性能參數(shù)。總體來看，模型訓練消耗的GPU顯存不超過3.5 GB，生成的模型大小不足10 MB，訓練平臺要求不高，可以在當前支持GPU圖像加速的主流筆記本電腦上訓練本文模型。

3.3" 與其他模型對比

表5列出了實驗中兩個分類性能較優(yōu)的雙通道交叉融合模型與主流模型以及改進模型的性能對比。表5中的主流模型MobileNet和VGG19的網(wǎng)絡(luò)層次均較深，計算量大，對訓練平臺要求較高，文獻[12]在單條NVIDIA TITAN Xp GPU（12 GB）上訓練了以上模型，并給出了在Cifar10和Cifar100上的分類性能。

從表5可以看出，Net-2+Net-2模型在Cifar100的分類準確率為72.08%，其分類性能超過SqueezeNet模型1.50%，超過MobileNet模型2.14%，超過Highway模型4.32%，證明了本文模型的優(yōu)越性。但與深度更深和參數(shù)更多的VGG19模型相比，在Cifar10上高了1.29%，在Cifar100上低了1.66%，分類準確率相差較小。總體來看，本文模型在參數(shù)較少的條件下，與主流模型以及改進模型相比具有同樣甚至更優(yōu)越的分類性能。

為了進一步評測模型在具體應(yīng)用中的性能，實驗選取了服裝分類數(shù)據(jù)集Fashion-MNIST [17]進行遷移學習。該數(shù)據(jù)集包含10類灰度化的服裝，是一個替換MNIST手寫數(shù)字集的圖像數(shù)據(jù)集，被廣泛應(yīng)用于評估模型性能，表6給出了本文中兩種模型以及其他模型在Fashion-MNIST上的性能對比。

從表6可以看出，Net-2+Net-2模型具有2.38M參數(shù)，在Fashion-MNIST上的分類準確率為93.41%，超過SqueezeNet模型3.41%；而與主流模型GoogLeNet、VGG16和DenseNet121相比，Net-2+Net-2模型以更少的參數(shù)量達到了同樣水平的準確率，特別是與GoogLeNet相比，模型參數(shù)僅占其2.36%。

綜上所述，可以得到以下結(jié)論：

1）在控制了單通道卷積層的深度的情況下，使用雙通道交叉融合可以提取更為豐富的圖像特征，進而提升模型的分類性能。

2）相同尺度卷積交叉融合的分類性能要優(yōu)于不同尺度卷積的交叉融合。

3）相加融合的參數(shù)量低于拼接融合，但是分類性能更為優(yōu)越。

4" 結(jié)" 論

為了充分提取圖像識別率，提出了一種雙通道交叉融合的卷積神經(jīng)網(wǎng)絡(luò)模型，該模型包括三個階段的雙通道交叉融合，通過雙通道的聯(lián)合學習圖像特征以及交叉融合，使得卷積層的特征信息流動更為流暢，進而提升了圖像分類精度，同時模型擁有較少的參數(shù)量。在同樣規(guī)模的數(shù)據(jù)集上，本文模型具有比同類其他模型更好的分類性能，能夠在當前主流的筆記本電腦上進行訓練，為其他單通道模型的特征提取提供了新的思路。另外，本文的雙通道交叉融合模型仍有很大的提升空間，可以在更高的平臺上，通過加深卷積深度，結(jié)合更多高效的深度學習方法，進一步提升模型的分類性能。

參考文獻：

[1] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks [J].Communications of the ACM，2017，60（6）：84-90.

[2] 朱素杰.改進卷積神經(jīng)網(wǎng)絡(luò)的船舶紋理圖形分割方法 [J].艦船科學技術(shù)，2023，45（8）：177-180.

[3] 張瑤，盧煥章，張路平，等.基于深度學習的視覺多目標跟蹤算法綜述 [J].計算機工程與應(yīng)用，2021，57（13）：55-66.

[4] 侯越千，張麗紅.基于Transformer的多尺度物體檢測 [J].測試技術(shù)學報，2023，37（4）：342-347.

[5] LIN M，CHEN Q，YAN S C. Network in Network [J/OL].arXiv：1312.4400 [cs.NE].（2013-12-16）.https：//arxiv.org/abs/1312.4400.

[6] SIMONYAN K，ZISSERMAN A. Very Deep Convolutional Networks For Large-scale Image Recognition [J/OL].arXiv：1409.1556 [cs.CV].（2014-09-04）.https：//arxiv.org/abs/1409.1556.

[7] SZEGEDY C，LIU W，JIA Y Q，et al. Going Deeper with Convolutions [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Boston：IEEE，2015：1-9.

[8] HE K M，ZHANG X Y，REN S Q，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：770-778.

[9] HUANG G，LIU Z，MAATEN L V D，et al. Densely Connected Convolutional Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：2261-2269.

[10] HOWARD A G，ZHU M，CHEN B，et al. Mobilenets： Efficient Convolutional Neural Networks for Mobile Vision Applications [J/OL].arXiv：1704.04861 [cs.CV].（2017-04-17）.http：//www.arxiv.org/abs/1704.04861.

[11] XIE S N，GIRSHICK R，DOLLáR P，et al. Aggregated Residual Transformations for Deep Neural Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：5987-5995.

[12] SANTOS A G，SOUZA C O D，ZANCHETTIN C，et al. Reducing SqueezeNet Storage Size with Depthwise Separable Convolutions [C]//2018 International Joint Conference on Neural Networks （IJCNN）.Rio de Janeiro：IEEE，2018：1-6.

[13] 譚震，郭新蕾，李甲振，等.基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的管道泄漏檢測模型研究 [J].水利學報，2023，54（2）：220-231.

[14] 張李煒，李孝忠.基于改進CNN和BiGRU雙通道特征融合的風電機組故障診斷模型 [J].天津科技大學學報，2023，38（1）：55-60+69.

[15] SRIVASTAVA R K，GREFF K，SCHMIDHUBER J. Highway Networks [J/OL].arXiv：1505.00387 [cs.LG].（2015-05-03）.https：//arxiv.org/abs/1505.00387.

[16] 張曉青，劉小舟，陳登.面向移動端圖像分類的輕量級CNN優(yōu)化 [J].計算機工程與設(shè)計，2024，45（2）：436-442.

[17] XIAO H，RASUL K，VOLLGRAF R. Fashion-MNIST： A Novel Image Dataset for Benchmarking Machine Learning Algorithms [J/OL].arXiv：1708.07747 [cs.LG].（2017-08-25）.https：//arxiv.org/abs/1708.07747v1.

[18] SUN Y N，XUE B，ZHANG M J. Evolving Deep Convolutional Neural Networks for Image Classification [J].IEEE Transactions on Evolutionary Computation，2020，24（2）：394-407.

[19] OYEDOTUN O K，SHABAYEK A E R，AOUADA D，et al. Highway Network Block with Gates Constraints for Training Very Deep Networks [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Salt Lake City：IEEE，2018：1739-1749.

[20] CHENG X M，HE J N，HEA J B，et al. Cv-CapsNet： Complex-valued Capsule Network [J].IEEE Access，2019（7）：85492-85499.

[21] 張文韜，張婷.基于遷移學習的卷積神經(jīng)網(wǎng)絡(luò)圖像識別方法研究 [J].現(xiàn)代信息科技，2023，7（14）：57-60.

作者簡介：黃曼曼（1991—），女，漢族，安徽阜陽人，助教，碩士研究生，研究方向：圖像識別。