基于多核密集連接網絡的無人機低質圖像分類識別方法

陳科羽 謝春 徐梁剛 陳鳳翔

摘? 要：在使用無人機進行拍攝時，通常會拍攝到一些存在霧霾、雨條紋、雨滴、陰影以及模糊的低質圖像。目前針對各類低質圖像的恢復增強算法大都只解決了某一類低質圖像的恢復問題，如何將各類低質圖像進行識別分類仍然是一大難題。針對該問題提出了一種用于低質圖像分類的多核密集連接網絡，針對低質圖像上的特征尺寸存在較大差異，采用三個大小不同的密集連接模塊提取不同尺寸的特征。經過試驗證明，該網絡能夠有效識別分類各類低質圖像和清晰圖像。

關鍵詞：低質圖像；CNN；圖像分類；圖像恢復

中圖分類號：TP183；TP391.4? 文獻標識碼：A? 文章編號：2096-4706（2023）08-0099-04

Abstract： When using UAV for shooting， some low-quality images with haze， rain streaks， raindrops， shadows and blurring low-quality are usually captured. At present， most of the restoration and enhancement algorithms for all kinds of low-quality images only solve the restoration problem of a certain kind of low-quality images. How to recognize and classify all kinds of low-quality images is still a big problem. To solve this problem， a multi-core dense connection network for low-quality image classification is proposed. In view of the large differences in feature sizes on low-quality images， three dense connection modules with different sizes are used to extract features of different sizes. Experiments show that the network can effectively recognize and classify all kinds of low-quality images and clear images.

Keywords： low-quality image; CNN; image classification; image restoration

0? 引? 言

由于自然環境的復雜多變性，常常會出現一些霧霾、暴雨、強光等極端環境。無人機視覺系統在極端環境下會拍攝到大量的低質圖像，這些低質圖像統稱為低質圖像，低質圖像將會導致視覺系統無法對目標物體進行有效的識別和檢測，難以正常工作。針對實際工程中常會遇到的各類極端環境，結合已有的恢復算法，整理出了五類常見的低質圖像：霧霾、雨條紋、雨滴、低照度、模糊。針對上述的五類低質圖像，目前已有大量的恢復算法，例如用于霧天圖像恢復的暗通道先驗去霧算法[1]、DehazeNet算法[2]和AOD-Net算法[3]等；用于雨條紋圖像恢復的DID-MDN去雨條紋算法[4]和GCANet算法[5]等；用于雨滴圖像恢復的基于GAN的單一圖像去雨滴算法[6]；用于陰影圖像恢復的RetinexNet算法[7]和EnlightenGAN算法[8]；用于模糊圖像恢復的DeBlurGAN算法[9，10]、SRN-DeblurNet算法[11]等。上述的這些算法有效解決了某一類低質圖像如何恢復增強的問題，但是在實際工程中，如何將這些低質圖像從龐大的數據庫中篩選出來并進行識別分類仍然是一個問題。因此，本文提出了一種用于低質圖像分類的多核密集連接網絡，相比于現有的DenseNet、VGG16等網絡，在低質圖像數據集上具有更高的分類準確率，能夠實現對低質圖像的有效分類。

1? 相關工作及數據集構建

對于極端環境下拍攝到的低質圖像，劉振宇等人提出了一種基于偏色因子以及色度分量的低質圖像分類方法[12]。通過構建物理模型，對清晰、霧霾、雨雪、沙塵四類圖像進行區分，該方法能夠對低質圖像進行區分，但是類別相對較少，精細度不足。

天氣圖像分類任務與本文所提出的低質圖像分類任務類似。天氣圖像分類需要識別出每張圖像所屬的天氣類別，例如晴天、霧天、多云、雨天、雪天等。目前天氣圖像分類的方法大多都是基于CNN完成的，這些方法大致可以分為兩類：第一類通過語義分割、目標檢測等方法識別出圖像上存在的輔助分類信息，例如晴天圖像上存在的陰影、多云圖像上存在的云彩、雨天圖像上存在的潮濕的地面等，從而提高天氣圖像分類的準確率，例如Zhao和Li[13，14]通過多任務模型同時對天氣圖像進行分類和語義分割，通過兩個任務之間的內在聯系使得分類準確率得到提高。Shi等人[15]通過Mask R-CNN將天氣圖像進行劃分為幾個部分，再使用VGG16進行特征提取。Lin等人[16]則是采用語義分割對圖像進行劃分，提取出輔助分類信息。第二類則是關注于不同天氣圖像上存在的對比度、亮度等顏色差異，通過特征融合等方法改進卷積神經網絡結構，提高準確率。例如Zhang等人[17]針對天氣圖像設計了新的特征提取方法，將天空、陰影、雨帶、雪花和暗通道的特征作為圖像的局部特征，使每一個特征都可以指示一種特定的天氣。將對比度和飽和度特征作為可以指示多種天氣的全局特征，通過字典學習對上述提取出的特征進行學習分類。Roser等人[18]提取圖像的對比度、最小亮度、清晰度、色調和飽和度等特征，通過SVM對圖像進行分類。郭志強等人[19]同時采用人工特征和深度特征，設計了新的特征提取方法提取圖像的對比度、飽和度等特征作為人工特征，采用AlexNet模型提取圖像的深度特征，將兩類特征進行融合，采用線性分類器進行分類。在本文的低質圖像分類任務中，由于雨滴圖像和雨條紋圖像難以標注，模糊圖像的環境背景復雜多變，上述的兩類天氣圖像分類方法在本任務上并不適用。

為了有效解決低質圖像的分類問題并對多核密集連接網絡進行訓練，需要構建一個由各類低質圖像構成的數據集。在本文所構建的低質圖像數據集中有六類圖像，其中包含五類常見的低質圖像（霧霾、雨條紋、雨滴、陰影、模糊）和一類清晰圖像，每類1 200張圖像，如圖1所示。

2? 網絡結構

隨著CNN的飛速發展，出現了眾多優秀的網絡模型，例如VGG16、DenseNet等，這些現有的網絡能夠對低質圖像進行分類，但是由于低質圖像上存在的不同尺度的特征，其分類準確率并不高。因此，提出了一種基于多核密集連接的網絡模型，該模型主要由密集連接部分、注意力部分和分類部分組成，如圖2所示。密集連接部分主要由三個卷積核大小不同的密集連接模塊構成，用以提取低質圖像上不同尺寸的深度特征；注意力部分則是集成了通道注意力模塊和空間注意力模塊，用以放大特征圖上的有效信息；分類模塊則主要由卷積層和全連接層構成，從而得到最終的分類結果。

在密集連接部分中，單個密集連接模塊不能很好地提取出低質圖像上的所有特征，因此采用了三個卷積核大小不同的密集連接模塊，其具體區別在于密集連接模塊中瓶頸層的第二個卷積核大小不同，分別為3×3、5×5、7×7。密集連接模塊的結如圖3所示，每個密集連接模塊均由6個瓶頸層（Bottleneck Block）和6個過渡層（Transition Layer）組成，每個瓶頸層之間由過渡層連接。在密集連接模塊中，輸入圖像依次通過每個瓶頸層，其中瓶頸層5的輸入圖像為過渡層1和4的輸出進行拼接后的圖像，瓶頸層6的輸入圖像為過渡層2和5的輸出進行拼接后的圖像，最后將過渡層1-6的輸出圖像經過上采樣后與該密集連接模塊的輸入圖像進行拼接，得到該密集連接模塊的最終輸出特征圖。

注意力部分主要由通道注意力模塊和空間注意力模塊構成，如圖4所示，其輸入圖像為三個密集連接模塊的輸出特征圖與原始輸出圖像拼接后的圖像，即Concat[Input，DB1，DB2，DB3]。通過空間注意力機制為拼接后的特征圖每個通道分配不同的權重，在進行空間注意力機制時，過多的通道數會導致信息冗余，無法有效放大空間維度上的重要信息，因此在空間注意力模塊之前引入了一個卷積層，將特征圖壓縮至3通道，去除了部分無效的信息。

在分類部分中，其結構借鑒了帶有批量歸一化層的VGG16模型，如圖5所示。主要包括兩個卷積層、兩個全連接層、一個批量歸一化層（BN層）和一個平均池化層，在該部分，兩個卷積層的卷積核大小均為3×3；第一個全連接層的輸入尺寸為249 696，輸出尺寸為512；第二個全連接層的輸入尺寸為512，輸出尺寸為6。

3? 實驗結果與分析

3.1? 訓練細節

在Pytorch框架下進行訓練，對輸入圖像進行隨機水平翻轉或豎直翻轉，隨機概率均為0.5，優化算法采用Adam算法，損失函數采用Cross Entropy Loss函數，其公式為：

其中，p表示真實值，q為預測值。

在構建的低質圖像數據集上進行訓練和測試，將數據集劃分為訓練集、驗證集和測試集，其中訓練集每類800張，驗證集每類200張，測試集每類200張。保存在驗證集上召回率的最優模型作為最終模型。在其中使用了BN層[20]（Batch Normalization），BN層的公式為：

其中μ為一個Batch內xi的均值，σ2為一個Batch內的xi的標準差，ε為一個較小的常數，防止出現除零錯誤，γ和β為可學習的參數。BN層的輸出值將會受到Batch Size大小的影響，在進行驗證和測試時需要將BN層去掉。

3.2? 實驗結果

在包含六類圖像的低質圖像數據集上進行測試，在本次實驗中，采用以下幾種模型進行測試對比：完整的多核密集連接網絡（Ours）、DenseNet169、ResNet18、VGG16。為了衡量各個模型的性能，采用召回率（Recall，R）和精確率（Precision，P）以及整體的平均召回率（Average Recall，AR）和平均精確率（Average Precision，AP）指標進行評價，召回率和精確率的計算方法為：

其中，TP（True Positive）表示圖像標定為正樣本，分類結果為正樣本；FN（False Negative）表示圖像標定為正樣本，分類結果為負樣本；FP（False Positive）表示圖像標定為負樣本，分類結果為正樣本。

根據表1的實驗結果可以看出，現有的DenseNet、VGG16等結構的精確率和召回率只能達到88.53%和88.25%，無法滿足分類需求，而具有三個密集連接模塊的多核密集連接網絡的精確率和召回率則是達到了92.78%和92.58%，其分類性能得到了提高。

同時，為了證明三個密集連接模塊的有效性，對多核密集連接網絡進行了消融實驗，分別采用只有單個密集連接模塊的多核密集連接網絡進行了測試，測試模型有如下幾類：1）Ours：完整的多核密集連接網絡；2）Single1：只有密集連接模塊1的多核密集連接網絡，其卷積核大小為3×3；3）Single2：只有密集連接模塊2的多核密集連接網絡，其卷積核大小為5×5；4）Single3：只有密集連接模塊3的多核密集連接網絡，其卷積核大小為7×7；5）Single1+3：由密集連接模塊1和3構成的多核密集連接網絡。實驗結果如表2所示。

根據表2的實驗結果，具有單個密集連接模塊以及兩個密集連接模塊的多核密集連接網絡其召回率和精確率均可以達到90%以上，但仍然要低于具有三個密集連接模塊的完整多核密集連接網絡，也進一步說明了三個不同卷積核大小的密集連接模塊在低質圖像特征提取中的有效性。

4? 結? 論

在本文中，由于目前各類低質圖像恢復算法都只是單一地解決了某一類低質圖像的恢復增強問題，而在實際工程環境狀況復雜多變，需要一種分類識別方法來將各類低質圖像區分開，因此，提出了一種基于密集連接網絡的多核密集連接網絡，能夠有效地區分出各類低質圖像和清晰圖像，以便于更好的處理無人機在極端環境下采集到的低質圖像。

參考文獻：

[1] HE K M，SUN J，TANG X O. Single Image Haze Removal Using Dark Channel Prior [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353.

[2] CAI B L，XU X M，JIA K，et al. DehazeNet：An End-to-End System for Single Image Haze Removal [J].IEEE Transactions on Image Processing，2016，25（11）：5187-5198.

[3] LI B Y，PENG X L，WANG Z Y，et al. An all-in-one network for dehazing and beyond [J].arXiv：1707.06543 [cs.CV].[2022-09-02].https：//arxiv.org/abs/1707.06543.

[4] ZHANG H，PATEL V M. Density-Aware Single Image De-raining Using a Multi-stream Dense Network [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：695-704.

[5] CHEN D D，HE M M，FAN Q N，et al. Gated Context Aggregation Network for Image Dehazing and Deraining [C]//2019 IEEE Winter Conference on Applications of Computer Vision（WACV）.Waikoloa：IEEE，2019：1375-1383.

[6] QIAN R，TAN R T，YANG W H，et al. Attentive Generative Adversarial Network for Raindrop Removal from A Single Image [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：2482-2491.

[7] WEI C，WANG W J，YANG W H，et al. Deep Retinex Decomposition for Low-Light Enhancement [J/OL]. arXiv：1808.04560 [cs.CV].[2022-09-03].https：//arxiv.org/abs/1808.04560v1.

[8] JIANG Y F，GONG X Y，LIU D，et al. EnlightenGAN：Deep Light Enhancement without Paired Supervision [J].IEEE Transactions on Image Processing，2021，30：2340 - 2349.

[9] KUPYN O，BUDZAN V，MYKHAILYCH M，et al. DeblurGAN：Blind Motion Deblurring Using Conditional Adversarial Networks [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：8183-8192.

[10] KUPYN O，MARTYNIUK T，WU J R，et al. DeblurGAN-v2：Deblurring（Orders-of-Magnitude） Faster and Better [C]//2019 IEEE/CVF International Conference on Computer Vision（ICCV）.Seoul：IEEE，2019：8877-8886.

[11] TAO X，GAO H Y，WANG Y，et al. Scale-recurrent Network for Deep Image Deblurring [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：8174-8182.

[12] 劉振宇，江海蓉，徐鶴文.極端天氣條件下低質圖像增強算法研究 [J].計算機工程與應用，2017，53（8）：193-198+245.

[13] ZHAO B，HUA L L，LI X L，et al. Weather recognition via classification labels and weather-cue maps [J].Pattern Recognition，2019，95：272-284.

[14] LI X L，WANG Z G，LU X Q. A Multi-Task Framework for Weather Recognition [C]//Proceedings of the 25th ACM international conference on Multimedia. Mountain View：Association for Computing Machinery，2017：1318-1326.

[15] SHI Y Z，LI Y X，WEI X，et al. A Faster-RCNN Based Chemical Fiber Paper Tube Defect Detection Method [C]//2017 5th International Conference on Enterprise Systems（ES）.Beijing：IEEE，2017：173-177.

[16] LIN D，LU C W，HUANG H，et al. RSCM：Region Selection and Concurrency Model for Multi-Class Weather Recognition [J].IEEE Transactions on Image Processing，2017，26（9）：4154-4167.

[17] ZHANG Z，MA H D，FU H Y，et al. Scene-free multi-class weather classification on single images [J].Neurocomputing，2016，207：365-373.

[18] ROSER M，MOOSMANN F. Classification of weather situations on single color images [C]//2008 IEEE Intelligent Vehicles Symposium.Eindhoven：IEEE，2008：798-803.

[19] 郭志強，胡永武，劉鵬，等.基于特征融合的室外天氣圖像分類 [J].計算機應用，2020，40（4）：1023-1029.

[20] IOFFE S，SZEGEDY C. Batch normalization： Accelerating deep network training by reducing internal covariate shift [C]//Proceedings of the 32nd International Conference on International Conference on Machine Learning.Lille：MLR.org，2015，37：448-456.

作者簡介：陳科羽（1993.10—），男，漢族，貴州興義人，工程師，部門副總經理，本科，研究方向：數字輸電專業化運維技術。