基于深度學(xué)習(xí)特征融合的遙感圖像場(chǎng)景分類應(yīng)用

王李祺　張成　侯宇超　譚秀輝　程蓉　高翔　白艷萍

摘要 針對(duì)傳統(tǒng)手工特征方法無法有效提取整體圖像深層信息的問題，本文提出一種基于深度學(xué)習(xí)特征融合的場(chǎng)景分類新方法.利用灰度共生矩陣（GLCM）和局部二值模式（LBP）提取具有相關(guān)空間特性的紋理特征和局部紋理特征的淺層信息；通過基于AlexNet遷移學(xué)習(xí)網(wǎng)絡(luò)提取圖像的深層信息，在去除最后一層全連接層的同時(shí)加入一層256維的全連接層作為特征輸出；將兩種特征進(jìn)行自適應(yīng)融合，最終輸入到網(wǎng)格搜索算法優(yōu)化的支持向量機(jī)（GS-SVM）中對(duì)遙感圖像進(jìn)行場(chǎng)景分類識(shí)別.在公開數(shù)據(jù)集UC Merced的21類目標(biāo)數(shù)據(jù)和RSSCN7的7類目標(biāo)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明，5次實(shí)驗(yàn)的平均準(zhǔn)確率分別達(dá)94.77%和93.79%.該方法可有效提升遙感圖像場(chǎng)景的分類精度.關(guān)鍵詞 圖像分類；卷積神經(jīng)網(wǎng)絡(luò)；灰度共生矩陣；局部二值模式；遷移學(xué)習(xí)；支持向量機(jī)

中圖分類號(hào)TP183

文獻(xiàn)標(biāo)志碼A

0 引言

隨著遙感技術(shù)的不斷發(fā)展[1]，遙感圖像分類被廣泛應(yīng)用于土地管理、城市規(guī)劃、交通監(jiān)管等眾多領(lǐng)域[2].然而，目前遙感場(chǎng)景圖像包含的信息和結(jié)構(gòu)豐富復(fù)雜，如何合理利用遙感圖像中豐富的信息獲取精準(zhǔn)有效的特征，還面臨諸多挑戰(zhàn)[3].

遙感圖像場(chǎng)景分類中常用傳統(tǒng)手工特征提取圖像的特征，包括顏色直方圖、紋理特征、全局特征信息 （GIST）、尺度不變特征變換 （SIFT）等.李孚煜等[4]指出基于SIFT的遙感圖像配準(zhǔn)技術(shù)在尺度旋轉(zhuǎn)不變性上具有優(yōu)勢(shì)；許君一等[5]將灰度共生矩陣（GLCM）作為主成分分析（PCA）的第一主分量，充分利用了GLCM在獲取紋理特征上的穩(wěn)健性.盡管傳統(tǒng)手工特征具有較好的穩(wěn)定性和表達(dá)整體淺層信息的能力，直接應(yīng)用于低分辨率遙感圖像場(chǎng)景分類任務(wù)中是可行的，但傳統(tǒng)手工特征過于依賴人工設(shè)計(jì)且無法有效提取高分辨率遙感圖像特征信息，使得在分類任務(wù)中不具有廣泛應(yīng)用能力.

為了有效解決上述問題和依靠單一特征導(dǎo)致模型缺乏泛化能力和分類性能低下的情況，學(xué)者們先后提出多種特征融合分類方法.陳旭等[6]提出基于GLCM和Tamura融合特征的紋理材質(zhì)分類算法，通過提升GLCM的旋轉(zhuǎn)不變性和減少大量的冗余信息，增強(qiáng)算法的魯棒性和分類性能；張慶春等[7]采用多特征融合的算法提取局部熵、紋理特征等多個(gè)特征提高圖像的分類性能；王鈺等[8]采用新空間特征——二階矩特征和光譜特征融合的方法實(shí)現(xiàn)道路精化；康健等[9]利用RFB模塊獲取高階水體語義信息與多尺度，將初始多尺度特征與原始特征進(jìn)行深層次融合，完成多尺度特征的提取，增強(qiáng)高階水體語義信息特征.這些方法在考慮全局特征信息的同時(shí)，保留了淺層局部信息，通過淺層信息和全局特征信息融合的方法，在一定程度上提高了算法的泛化能力和分類性能.然而，這種特征融合會(huì)增加計(jì)算量，從而導(dǎo)致模型復(fù)雜度的增加和過擬合情況的發(fā)生.因此，本文算法中引入PCA模塊，選用合適的主成分貢獻(xiàn)率，去除冗余信息的同時(shí)提升模型分類性能

近年來，因深度學(xué)習(xí)算法在圖像識(shí)別方面表現(xiàn)出的優(yōu)越性，眾多學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)（CNN）引入遙感圖像場(chǎng)景分類中.盡管目前CNN在場(chǎng)景分類方法中取得了較好的結(jié)果，但深度學(xué)習(xí)需要大量的數(shù)據(jù)標(biāo)簽，在可供學(xué)習(xí)樣本較少的遙感圖像場(chǎng)景分類領(lǐng)域，難以獲取更可靠的圖像特征信息.遷移學(xué)習(xí)通過ImageNet預(yù)訓(xùn)練網(wǎng)絡(luò)，在小樣本條件下的場(chǎng)景分類中能夠獲得較好的效果.Han等[10]利用預(yù)訓(xùn)練的AlexNet網(wǎng)絡(luò)結(jié)合空間金字塔池化方法提高場(chǎng)景分類精度.有研究表明，提取CNN的深層特征進(jìn)行不同方式的特征融合，最終將融合特征輸入SVM（支持向量機(jī)）分類，效果優(yōu)于CNN直接分類.因此本文選用網(wǎng)格搜索優(yōu)化的SVM（GS-SVM）作為最終的分類器.Li等[11]指出在場(chǎng)景分類中融合預(yù)訓(xùn)練的CNN特征相比于原始CNN特征表現(xiàn)出更好的區(qū)分能力.Lu等[12]采用一種應(yīng)用于場(chǎng)景分類的特征聚合（FACNN），通過預(yù)訓(xùn)練的CNN作為特征抽取器探索語義標(biāo)簽信息來學(xué)習(xí)圖像特征.

綜上所述，基于傳統(tǒng)手工特征依賴人工設(shè)計(jì)、表達(dá)特征能力弱，特征融合增加模型復(fù)雜度和計(jì)算量，深度學(xué)習(xí)在缺乏大量數(shù)據(jù)標(biāo)簽時(shí)性能不佳，所以，本文提出基于深度學(xué)習(xí)特征融合的遙感圖像場(chǎng)景分類方法（GL-LBP-CNN），對(duì)數(shù)據(jù)集UC Merced的21類和RSSCN7數(shù)據(jù)集的7類圖像進(jìn)行分類.利用GLCM和LBP（局部二值模式）提取具有相關(guān)空間特性的紋理特征和局部紋理特征的淺層特征，再利用基于AlexNet網(wǎng)絡(luò)的遷移學(xué)習(xí)（AleCNN）提取全連接層的深度特征，并將提取的淺層特征與深度特征自適應(yīng)融合后通過PCA降低冗余信息，最后輸入到GS-SVM中進(jìn)行分類.

1 特征提取高分辨率遙感圖像場(chǎng)景分類主要利用圖像的空間信息和少量的光譜信息來識(shí)別遙感圖像的場(chǎng)景類別[13].本文在進(jìn)行遙感圖像分類時(shí)，通過灰度共生矩陣提取具有相關(guān)空間特性的紋理特征，然而只關(guān)注整體的紋理特征具有局限性，局部二值模式可以有效地提取遙感圖像的局部紋理特征，最終構(gòu)建一個(gè)整體特征與局部特征相融合的淺層紋理特征.再加入基于AlexNet網(wǎng)絡(luò)的遷移學(xué)習(xí)模塊提取遙感圖像深層特征，最后將淺層特征與深層特征進(jìn)行特征融合得到遙感圖像最終特征.

1.1 灰度共生矩陣

1.2 局部二值模式

1.3 遷移學(xué)習(xí)

2 本文方法

結(jié)合上述3種特征提取使用GS-SVM（網(wǎng)格搜索支持向量機(jī)）作為分類器，提出GL-LBP-CNN方法.

2.1 GS-SVM模型

2.2 方法步驟

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)在MATLAB R2019b的環(huán)境下進(jìn)行，處理器型號(hào)為AMD Ryzen5 3500X.本文模型實(shí)驗(yàn)中在UC Merced數(shù)據(jù)集上訓(xùn)練集和測(cè)試集分別為每類的80%和20%，在RSSCN7數(shù)據(jù)集上訓(xùn)練集和測(cè)試集均為每類的50%.AlexNet預(yù)訓(xùn)練網(wǎng)絡(luò)基于ImageNet數(shù)據(jù)集，實(shí)驗(yàn)中批量大小為10，初始學(xué)習(xí)率為0.0001， 迭代次數(shù)為 10 次.實(shí)驗(yàn)部分采用分類精度、時(shí)間開銷、混淆矩陣、F1和kappa系數(shù)作為評(píng)價(jià)指標(biāo).

3.3 對(duì)比實(shí)驗(yàn)為對(duì)比手工特征模塊相較于單一手工特征的性能，將兩個(gè)基準(zhǔn)數(shù)據(jù)集通過GLCM-LBP、GLCM和LBP手工特征進(jìn)行分類精度、F1和kappa系數(shù)比較.結(jié)果如表1所示.

由表1可知：在UC Merced 數(shù)據(jù)集上GLCM-LBP模塊相較于GLCM和LBP單個(gè)特征在分類精度上分別提高19.53個(gè)百分點(diǎn)和4.53個(gè)百分點(diǎn)，在F1分?jǐn)?shù)和kappa系數(shù)上均有不同程度的提升；在RSSCN7數(shù)據(jù)集上GLCM-LBP模塊相較于GLCM和LBP單個(gè)特征在分類精度上分別提高17個(gè)百分點(diǎn)和2.28個(gè)百分點(diǎn)，同樣在F1分?jǐn)?shù)和kappa系數(shù)上都有更佳的表現(xiàn).結(jié)果表明傳統(tǒng)手工特征提取的淺層特征，經(jīng)過融合特征后表達(dá)圖像信息的能力優(yōu)于單一特征，且兩種不同的淺層特征可以起到信息互補(bǔ)的作用，從而增強(qiáng)模型的泛化能力和分類性能.然而，不管是GLCM-LBP模塊還是GLCM和LBP這種單一手工特征，在兩個(gè)基準(zhǔn)數(shù)據(jù)集上均沒有取得優(yōu)良的分類性能，表明手工特征無法有效提取圖像更高層的語義信息和有效解決高分辨率遙感場(chǎng)景圖像分類的能力.圖6和圖7是GLCM-LBP模塊分別在UC Merced 數(shù)據(jù)集和RSSCN7數(shù)據(jù)集的混淆矩陣.由UC Merced 數(shù)據(jù)集的混淆矩陣可知，建筑物、密集住宅、路口、中型住宅、稀疏住宅、儲(chǔ)油罐和網(wǎng)球場(chǎng)7個(gè)類別的分類精度沒有超過83.1%，而這些類別具有圖像復(fù)雜的特征，且建筑物、密集住宅、中型住宅、稀疏住宅具有類間相似高、類內(nèi)相似低的特性，極大地干擾了模型分類的性能.密集住宅類別中分類錯(cuò)誤的圖像大多被誤分類到了其他3類.由RSSCN7數(shù)據(jù)集的混淆矩陣可知，工業(yè)、居民區(qū)和停車場(chǎng)3個(gè)類別的分類精度沒有超過81.14%，其中工業(yè)類別分類錯(cuò)誤的圖像有78.79%被錯(cuò)誤分類到居民區(qū)和停車場(chǎng)中，居民區(qū)類別分類錯(cuò)誤的圖像有84.21%被錯(cuò)誤分類到工業(yè)和停車場(chǎng)中，停車場(chǎng)類別分類錯(cuò)誤的圖像有81.25%被錯(cuò)誤分類到工業(yè)和居民區(qū)中.因此，傳統(tǒng)手工特征無法充分表達(dá)復(fù)雜特征圖像的信息，且無法有效解決類間相似高、類內(nèi)相似低的問題.

將GL-LBP-CNN方法在UC Merced數(shù)據(jù)集上與SVM-LDA[18]、MU-DenseNet[19]、FK-S[20]和MS-DCNN[21]比較，在RSSCN7數(shù)據(jù)集上與S-head-attention[22]、M-head-attention[22]、pre-trained Resnet50 features+SVM[23]和TLMoE-Resnet50[23]比較，結(jié)果如表2所示.

由表2可知，在UC Merced 和RSSCN7數(shù)據(jù)集上GL-LBP-CNN分別取得了94.77%和93.79%的分類精度，均優(yōu)于對(duì)比方法.本文方法不僅在分類精度上具有優(yōu)越性，還具有較強(qiáng)的泛化能力，能適用于多種場(chǎng)景分類數(shù)據(jù)集.

3.4 消融實(shí)驗(yàn)為了更深入探究預(yù)訓(xùn)練AlexNet不同維數(shù)的全連接層表達(dá)圖像信息的能力，實(shí)驗(yàn)對(duì)比了64維、256維和512維全連接層輸出的特征，結(jié)果如表3所示.

由表3可知：在UC Merced數(shù)據(jù)集和RSSCN7數(shù)據(jù)集中，預(yù)訓(xùn)練AlexNet的全連接層的維數(shù)和時(shí)間開銷成正比，且倍數(shù)基本保持一致；在兩個(gè)數(shù)據(jù)集中，AlexNet-256的分類精度均優(yōu)于AlexNet-64和AlexNet-512.結(jié)果表明，全連接層輸出特征維數(shù)過高，會(huì)產(chǎn)生一定的冗余信息，在SVM分類器中效果不理想.特征融合后場(chǎng)景圖像輸出特征維數(shù)增加，模型的復(fù)雜度和計(jì)算量有所提高，大大增加了模型的時(shí)間開銷.本文通過對(duì)比不同的主成分貢獻(xiàn)率對(duì)GL-LBP-CNN分類精度和時(shí)間開銷的影響以獲取一個(gè)較優(yōu)的參數(shù).結(jié)果如表4所示.

由表4可知，在UC Merced數(shù)據(jù)集上，主成分貢獻(xiàn)率為95%時(shí)分類精度最高，達(dá)94.77%，當(dāng)主成分貢獻(xiàn)率為50%時(shí)，分類精度只有77.14%，表明在PCA降維過程中丟失了過多有效信息.在權(quán)衡時(shí)間開銷和分類精度的過程中，分類精度是至關(guān)重要的，因此選擇95%主成分貢獻(xiàn)率.在RSSCN7數(shù)據(jù)集上，主成分貢獻(xiàn)率為90%時(shí)分類精度最高，為93.79%，當(dāng)主成分貢獻(xiàn)率為50%時(shí)，分類精度僅為83.07%，綜合分類精度與時(shí)間開銷，最終選擇90%主成分貢獻(xiàn)率.上述實(shí)驗(yàn)結(jié)果表明，特征融合在增加模型復(fù)雜度和計(jì)算量的同時(shí)會(huì)產(chǎn)生冗余信息，在一定程度上會(huì)降低模型的分類精度.而本文引入的PCA方法可以有效降低冗余信息和模型計(jì)算量，在保證分類精度的同時(shí)，減少時(shí)間開銷.為探究在GL-LBP-CNN方法中淺層信息對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)提高場(chǎng)景分類性能的有效性，將GLCM和LBP單一手工特征分別和AleCNN融合，結(jié)果如表5、6所示.

由表5可知，不同的手工特征對(duì)于AleCNN提取的圖像信息有不同程度的補(bǔ)充.在UC Merced數(shù)據(jù)集上，LBP-AleCNN和GLCM-AleCNN的分類精度優(yōu)于AleCNN.盡管GLCM的分類精度低于LBP，但在對(duì)AleCNN的特征信息補(bǔ)充上略微優(yōu)于LBP，表明兩種紋理特征在作用于深層語義特征時(shí)，會(huì)有不同的信息補(bǔ)充.在RSSCN7數(shù)據(jù)集上，LBP-AleCNN和GLCM-AleCNN的分類精度也優(yōu)于AleCNN.實(shí)驗(yàn)結(jié)果表明淺層特征對(duì)于提高AleCNN場(chǎng)景分類能力具有一定的有效性.由表6可知，兩個(gè)數(shù)據(jù)集上GL-LBP-CNN相較于預(yù)訓(xùn)練AleCNN在F1和kappa系數(shù)上均取得更優(yōu)的結(jié)果，表明GL-LBP-CNN方法在每類的準(zhǔn)確率和召回率上達(dá)到較高的精度且預(yù)測(cè)結(jié)果和實(shí)際分類結(jié)果具有較好的一致性.

圖8和圖9是GL-LBP-CNN方法分別在UC Merced 數(shù)據(jù)集和RSSCN7數(shù)據(jù)集的混淆矩陣.將圖8與圖6比較，可知建筑物、密集住宅、路口、中型住宅、稀疏住宅、儲(chǔ)油罐和網(wǎng)球場(chǎng)7個(gè)類別的分類精度都有不同程度的提高，7類的平均分類精度由原來的64.29%上升到了87.14%.將圖9和圖7比較，可知工業(yè)、居民區(qū)和停車場(chǎng)3個(gè)類別的分類性能得到大幅度提升，其中居民區(qū)類別分類錯(cuò)誤率僅有0.5%，且沒有被錯(cuò)誤分類到工業(yè)和停車場(chǎng)中，停車場(chǎng)類別分類錯(cuò)誤率僅有8%，且被錯(cuò)誤分類到工業(yè)和居民區(qū)中的圖像大幅度減少.表明GL-LBP-CNN方法極大地增加了模型表達(dá)復(fù)雜圖像信息的能力，有效地解決了類間相似高、類內(nèi)相似低的問題.

4 結(jié)論本文提出的GL-LBP-CNN方法，不僅能提取圖像的整體與局部相結(jié)合的淺層特征，還融入AleCNN提取的深度特征.通過PCA降維有效地解決了特征維數(shù)擴(kuò)大后計(jì)算量增加等問題，在不影響分類精度的同時(shí)，提高了算法的分類效率.并采用網(wǎng)格搜索優(yōu)化SVM以提高分類器分類的性能.在UC-Merced數(shù)據(jù)集和RSSCN7數(shù)據(jù)集中的實(shí)驗(yàn)結(jié)果表明，本文模型優(yōu)于對(duì)比方法，5次平均分類精度分別達(dá)94.77%和93.79%.未來將進(jìn)一步優(yōu)化預(yù)訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)以及從通道注意力、多尺度特征融合、優(yōu)化分類器角度出發(fā)，設(shè)計(jì)出更加輕量高效的方法.

參考文獻(xiàn) References

［1］Zhao B，Zhong Y F，Xia G S，et al.Dirichlet-derived multiple topic scene classification model for high spatial resolution remote sensing imagery[J].IEEE Transactions on Geoscience and Remote Sensing，2016，54（4）：2108-2123

[2] Chen S Z，Tian Y L.Pyramid of spatial relatons for scene-level land use classification[J].IEEE Transactions on Geoscience and Remote Sensing，2015，53（4）：1947-1957

[3] Yu D H，Guo H T，Xu Q，et al.Hierarchical attention and bilinear fusion for remote sensing image scene classification[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2020，13：6372-6383

[4] 李孚煜，葉發(fā)茂.基于SIFT的遙感圖像配準(zhǔn)技術(shù)綜述[J].國(guó)土資源遙感，2016，28（2）：14-20LI Fuyu，YE Famao.Summarization of SIFT-based remote sensing image registration techniques[J].Remote Sensing for Land & Resources，2016，28（2）：14-20

[5] 許君一，徐富寶，張雅瓊，等.基于灰度共生矩陣的未利用地疑似污染遙感識(shí)別[J].北京工業(yè)大學(xué)學(xué)報(bào)，2018，44（11）：1423-1433XU Junyi，XU Fubao，ZHANG Yaqiong，et al.Monitoring suspected pollution on unutilized land using gray-level co-occurrence matrices[J].Journal of Beijing University of Technology，2018，44（11）：1423-1433

[6] 陳旭，高亞洲，陳守靜，等.基于T-GLCM和Tamura融合特征的紋理材質(zhì)分類[J/OL].南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版）：1-11[2022-03-05].http：//kns.cnki.net/kcms/detail/32.1801.N.20211123.2031.004.htmlCHEN Xu，GAO Yazhou，CHEN Shoujing，et al.Classification of textured materials based on T-GLCM and Tamura fusion features[J/OL].Journal of Nanjing University of Information Science & Technology （Natural Science Edition）：1-11[2022-03-05].http：//kns.cnki.net/kcms/detail/32.1801.N.20211123.2031.004.html

[7] 張慶春，佟國(guó)峰，李勇，等.基于多特征融合和軟投票的遙感圖像河流檢測(cè)[J].光學(xué)學(xué)報(bào)，2018，38（6）：320-326ZHANG Qingchun，TONG Guofeng，LI Yong，et al.Riverdetection in remote sensing images based on multi-feature fusion and soft voting[J].Acta Optica Sinica，2018，38（6）：320-326

[8] 王鈺，何紅艷，譚偉，等.一種多特征融合的高分辨率遙感圖像道路提取算法[J].遙感信息，2019，34（1）：111-116WANG Yu，HE Hongyan，TAN Wei，et al.High resolution remote sensing image road extraction algorithm based on multi-feature fusion[J].Remote Sensing Information，2019，34（1）：111-116

[9] 康健，管海燕，于永濤，等.基于RFA-LinkNet模型的高分遙感影像水體提取[J].南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，15（2）：160-168KANG Jian，GUAN Haiyan，YU Yongtao，et al.RFA-LinkNet：a novel deep learning network for water body extraction from hig-resolution remote sensing images[J].Journal of Nanjing University of Information Science & Technology （Natural Science Edition），2023，15（2）：160-168

[10] Han X B，Zhong Y F，Cao L Q，et al.Pre-trained AlexNet architecture with pyramid pooling and supervision for high spatial resolution remote sensing image scene classification[J].Remote Sensing，2017，9（8）：848

[11] Li E Z，Xia J S，Du P J，et al.Integrating multilayer features of convolutional neural networks for remote sensing scene classification[J].IEEE Transactions on Geoscience and Remote Sensing，2017，55（10）：5653-5665

[12] Lu X Q，Sun H，Zheng X T.A feature aggregation convolutional neural network for remote sensing scene classification[J].IEEE Transactions on Geoscience and Remote Sensing，2019，57（10）：7894-7906

[13] 錢曉亮，李佳，程塨，等.特征提取策略對(duì)高分辨率遙感圖像場(chǎng)景分類性能影響的評(píng)估[J].遙感學(xué)報(bào)，2018，22（5）：758-776QIAN Xiaoliang，LI Jia，CHENG Gong，et al.Evaluation of the effect of feature extraction strategy on the performance of high-resolution remote sensing image scene classification[J].Journal of Remote Sensing，2018，22（5）：758-776[14] 聶光濤，黃華.光學(xué)遙感圖像目標(biāo)檢測(cè)算法綜述[J].自動(dòng)化學(xué)報(bào)，2021，47（8）：1749-1768NIE Guangtao，HUANG Hua.A survey of object detection in optical remote sensing images[J].Acta Automatica Sinica，2021，47（8）：1749-1768

[15] 余東行，張保明，趙傳，等.聯(lián)合卷積神經(jīng)網(wǎng)絡(luò)與集成學(xué)習(xí)的遙感影像場(chǎng)景分類[J].遙感學(xué)報(bào)，2020，24（6）：717-727YU Donghang，ZHANG Baoming，ZHAO Chuan，et al.Scene classification of remote sensing image using ensemble convolutional neural network[J].Journal of Remote Sensing，2020，24（6）：717-727

[16] Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90

[17] 張成，侯宇超，焦宇倩，等.基于三通道分離特征融合與支持向量機(jī)的混凝土圖像分類研究[J].圖學(xué)學(xué)報(bào)，2021，42（6）：917-923ZHANG Cheng，HOU Yuchao，JIAO Yuqian，et al.Research on concrete image classification based on three-channel separation feature fusion and support vector machine[J].Journal of Graphics，2021，42（6）：917-923

[18] Zhang F，Du B，Zhang L P.Saliency-guided unsupervised feature learning for scene classification[J].IEEE Transactions on Geoscience and Remote Sensing，2015，53（4）：2175-2184

[19] 張艷月，張寶華，趙云飛，等.基于雙通道深度密集特征融合的遙感影像分類[J].激光技術(shù)，2021，45（1）：73-79ZHANG Yanyue，ZHANG Baohua，ZHAO Yunfei，et al.Remote sensing image classification based on dual-channel deep dense feature fusion[J].Laser Technology，2021，45（1）：73-79

[20] Zhao B，Zhong Y F，Zhang L P，et al.The fisher kernel coding framework for high spatial resolution scene classification[J].Remote Sensing，2016，8（2）：157

[21] 許夙暉，慕曉冬，趙鵬，等.利用多尺度特征與深度網(wǎng)絡(luò)對(duì)遙感影像進(jìn)行場(chǎng)景分類[J].測(cè)繪學(xué)報(bào)，2016，45（7）：834-840XU Suhui，MU Xiaodong，ZHAO Peng，et al.Scene classification of remote sensing image based on multi-scale feature and deep neural network[J].Acta Geodaetica et Cartographica Sinica，2016，45（7）：834-840

[22] 李彥甫，范習(xí)健，楊緒兵，等.基于自注意力卷積網(wǎng)絡(luò)的遙感圖像分類[J].北京林業(yè)大學(xué)學(xué)報(bào)，2021，43（10）：81-88LI Yanfu，F(xiàn)AN Xijian，YANG Xubing，et al.Remote sensing image classification framework based on self-attention convolutional neural network[J].Journal of Beijing Forestry University，2021，43（10）：81-88

[23] 龔希，陳占龍，吳亮，等.用于高分辨遙感影像場(chǎng)景分類的遷移學(xué)習(xí)混合專家分類模型[J].光學(xué)學(xué)報(bào)，2021，41（23）：2301003GONG Xi，CHEN Zhanlong，WU Liang，et al.Transfer learning based mixture of experts classification model for high-resolution remote sensing scene classification[J].Acta Optica Sinica，2021，41（23）：2301003

Remote sensing image scene classification based on deep learning feature fusion

WANG Liqi ZHANG Cheng HOU Yuchao TAN Xiuhui CHENG Rong GAO Xiang BAI Yanping

1School of Mathematics，North University of China，Taiyuan 030051

2School of Information and Communication Engineering，North University of China，Taiyuan 030051Abstract In view that traditional manual feature extraction method cannot effectively extract the overall deep image information，a new method of scene classification based on deep learning feature fusion is proposed for remote sensing images.First，the Grey Level Co-occurrence Matrix （GLCM） and Local Binary Patterns （LBP） are used to extract the shallow information of texture features with relevant spatial characteristics and local texture features as well;second，the deep information of images is extracted by the AlexNet migration learning network，and a 256-dimensional fully connected layer is added as feature output while the last fully connected layer is removed;and the two features are adaptively integrated，then the remote sensing images are classified and identified by the Grid Search optimized Support Vector Machine （GS-SVM）.The experimental results on 21 types of target data of the public dataset UC Merced and 7 types of target data of RSSCN7 produced average accuracy rates of 94.77% and 93.79%，respectively，showing that the proposed method can effectively improve the classification accuracy of remote sensing image scenes.

Key words image classification;convolutional neural network （CNN）;grey level co-occurrence matrix （GLCM）;local binary patterns （LBP）;migration learning;support vector machine （SVM）