基于改進Yolo v3算法的遙感建筑物檢測研究

董 彪，熊風(fēng)光，韓 燮，況立群，徐清宇

1.中北大學(xué) 大數(shù)據(jù)學(xué)院，太原 030051

2.北方自動控制技術(shù)研究所 仿真裝備研發(fā)部，太原 030051

1 引言

隨著遙感技術(shù)的發(fā)展，遙感圖像幅員更加遼闊，包含的信息更加復(fù)雜，因此其已被廣泛應(yīng)用于圖像識別、語義識別、視頻分析、文本分析和大數(shù)據(jù)分析等領(lǐng)域[1]。遙感圖像中對固定地物與移動地物的檢測一直是研究熱點，其中固定地表建筑物是人類主要活動場所，因此對該類目標實現(xiàn)檢測顯得尤為重要。考慮到實際工程應(yīng)用中實時性是一個極為重要的問題，且檢測目標（建筑物）小，對建筑物檢測也造成了極大的困難。故而，如何實現(xiàn)對遙感圖像中該類建筑物的檢測是目標檢測領(lǐng)域的一個研究難點[2]。

相比傳統(tǒng)的根據(jù)建筑物顏色、形狀、紋理等提取簡單特征的目標檢測算法，基于深度學(xué)習(xí)的目標檢測利用深度神經(jīng)網(wǎng)絡(luò)強大的特征學(xué)習(xí)能力來解決復(fù)雜的遙感圖像檢測問題，更能滿足今天遙感圖像中目標檢測的要求[3]。本文的研究重點為固定地表中的建筑物檢測，以基于深度學(xué)習(xí)的目標檢測算法Yolo v3為研究基礎(chǔ)，并以修改特征圖分辨率、調(diào)整先驗框維度為改進方向，加強對小型建筑物的檢測，生成更適合遙感建筑物檢測的網(wǎng)絡(luò)模型。

2 相關(guān)工作

從遙感圖像中檢測建筑物有傳統(tǒng)算法和基于深度學(xué)習(xí)的算法兩大類。傳統(tǒng)目標檢測算法是一種基于人工設(shè)計特征的分類方法，利用了建筑物某一方面的特征，如顏色、形狀等，雖然具有一定的檢測效果，但是在檢測精度和檢測速度上具有較大的局限性。如文獻[4]提出一種陰影驗證的建筑物檢測方法，該方法通過建筑物的陰影、形狀以及顏色特征結(jié)合起來檢測建筑物，對特征簡單的建筑物檢測效果良好，但對于復(fù)雜特征的建筑物檢測，該方法無法滿足工程應(yīng)用中對檢測精度及實時性的要求。與之相比，基于深度學(xué)習(xí)的檢測算法以其適應(yīng)能力強、檢測效率高而得到了廣泛應(yīng)用，該類檢測算法以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，具有強大的特征表示能力，在背景模糊、地理環(huán)境復(fù)雜的情況下，仍然能夠?qū)W習(xí)到有用的特征，大幅提高了物體檢測精度，適用于當今遙感圖像復(fù)雜多變的場景，具有非常好的泛化能力和魯棒性[5]。如文獻[6]提出一種端到端的密集反卷積神經(jīng)網(wǎng)絡(luò)，將圖像中的抽象特征與細節(jié)特征結(jié)合，能夠捕捉到目標建筑物的細微復(fù)雜特征；文獻[7]中使用金字塔技術(shù)構(gòu)建多級訓(xùn)練的樣本，提出候選建筑區(qū)域檢測建筑物，在檢測精度及實時性方面有顯著提升。

目前基于深度學(xué)習(xí)的檢測算法可以分為兩類：基于區(qū)域的目標檢測算法和基于端到端的目標檢測算法。前者先由算法生成一系列作為樣本的候選框，再通過卷積神經(jīng)網(wǎng)絡(luò)進行樣本分類，這類算法在檢測精度和定位精度上占優(yōu)，代表算法有：Faster RCNN[8-9]和Fast RCNN等；后者不生成候選框，直接將目標邊框定位的問題轉(zhuǎn)化為回歸問題，這類算法在檢測速度上占優(yōu)，代表算法有：Yolo[10-11]系列和 SSD[12]等。

考慮到目前遙感技術(shù)的發(fā)展，需要對上千平方公里圖像進行處理，而且目標小、背景復(fù)雜度高，因此檢測速度及泛用性是首先考慮的問題，所以本文將基于深度學(xué)習(xí)的Yolo v3檢測算法應(yīng)用于建筑物的檢測，并在檢測小型建筑物方面提出改進。

3 改進Yolo v3算法

3.1 Yolo v3原理

Yolo v3 是基于端到端的檢測算法，網(wǎng)絡(luò)結(jié)構(gòu)分為骨干網(wǎng)絡(luò)（Darknet-53）和檢測網(wǎng)絡(luò)。Darknet-53由52個卷積層和1個全連接層組成，構(gòu)成了一個53層的卷積神經(jīng)網(wǎng)絡(luò)（CNN），并輸出13×13、26×26和52×52三種尺度的特征，送入檢測網(wǎng)絡(luò)。檢測網(wǎng)絡(luò)對三種尺度的特征回歸，預(yù)測出多個預(yù)測框，并使用非極大抑制（NMS）算法刪除置信得分較低的預(yù)測框，保留置信得分較高的預(yù)測框為目標檢測框，從而得到目標的類別和位置，檢測流程如圖1。

圖1 Yolo v3檢測流程

（1）邊界框預(yù)測：檢測網(wǎng)絡(luò)對13×13、26×26和52×52三種尺度的特征回歸，預(yù)測出多個預(yù)測框，在檢測的過程中，每個網(wǎng)格會產(chǎn)生多個邊界框，每個邊界框都要預(yù)測邊界框位置信息(x,y,w,h)和置信度（confidence）。置信度是邊界框所含目標的可能性Pr(object)與邊界框準確度IOU的乘積，計算公式如式（1）所示：

若網(wǎng)格中包含某個目標則Pr(object)=1 ，否則表示真實標注框與預(yù)測框的交并比，用來衡量預(yù)測邊界框的準確性，當IOU=1 時，說明真實標注框與預(yù)測框重合。

（2）分類：對包含目標的網(wǎng)格預(yù)測多個類別概率，用Pr(classi|object)表示。為了得到每個邊界框的分類信息，將邊界框所屬網(wǎng)格的類別概率與邊界框的置信度相乘得到置信度評分，如公式（2）所示，其代表了邊界框中目標屬于某個類的概率。

在模型訓(xùn)練中，將邊界框每個類別的置信度評分按高低排序，將置信度得分小于設(shè)定閾值的邊界框的置信度設(shè)為0，然后再用非極大值抑制算法（NMS）去掉重復(fù)率較大的邊界框，最后每一個邊界框只保留置信度評分大于0且最高的類，從而檢測出各類目標。

3.2 改進Yolo v3

Yolo v3算法的網(wǎng)絡(luò)權(quán)重是基于COCO數(shù)據(jù)集訓(xùn)練測試所得，COCO數(shù)據(jù)集包括80種類別目標，且該數(shù)據(jù)集目標與本文檢測的遙感建筑物尺度差異較大，故而原Yolo v3 算法不適用本文應(yīng)用場景，尤其是對小型建筑物的檢測表現(xiàn)不好。

目前隨著Yolo v3 的廣泛應(yīng)用，已有相關(guān)文獻針對具體場景做出了相應(yīng)改進。文獻[13]提出一種基于Yolo v2 的船舶檢測算法Yolt，該算法網(wǎng)絡(luò)結(jié)構(gòu)與Yolo v2 相比，最大的修改是最后輸出特征尺寸為26×26，加強了對小目標的檢測，結(jié)果表明在稀疏的小目標場景下檢測效果良好，但在目標密集的場景下表現(xiàn)不好[13]；文獻[14]提出了一種基于Yolo v3改進的電氣元件檢測算法，通過對PASCAL VOC 和KITTI 數(shù)據(jù)集進行k-means 聚類分析，調(diào)整先驗框維度，并在原來三種尺度的特征圖上增加104×104 的特征圖，達到加強小目標檢測的能力，結(jié)果表明在文獻提供的電氣元件的數(shù)據(jù)集中表現(xiàn)良好，但該應(yīng)用場景不具有泛用性[14]。

故本文在以下兩方面進行改進：一是修改特征圖分辨率，擴大感受野，減少語義特征丟失；二是使用k-means算法對本文的遙感建筑物數(shù)據(jù)集進行聚類分析，得到對應(yīng)的先驗框維度[15]。

3.2.1 修改特征圖分辨率

Yolo v3 為加強對小目標的檢測，借鑒了特征金字塔網(wǎng)絡(luò)FPN（Feature Pyramid Network），將高層特征與淺層特征信息融合，采用多個尺度融合的方式，在多個尺度的特征圖上進行位置和類別預(yù)測，但Yolo v3網(wǎng)絡(luò)結(jié)構(gòu)采取的三個尺度的特征融合方法對遙感圖像中檢測較小的目標有不利的影響，13×13的特征圖語義丟失嚴重，易造成小目標丟失。考慮到特征的分辨率將直接影響小目標的檢測和整體性能指標，所以在Darknet-53基礎(chǔ)上對原特征圖三個尺度的分辨率13×13、26×26 和52×52修改為兩個較大尺度的分辨率26×26和52×52。

修改后的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖2所示，將原網(wǎng)絡(luò)結(jié)構(gòu)26×26的特征圖分辨率作為第一尺度；將 L61（61層）結(jié)果進行五次卷積操作（Convolutional Set），首先為了提升計算效率進行1×1 卷積操作降維，然后上采樣（Up Sample），再與 L36（36層）融合，最后融合之后采用3×3的卷積核對融合結(jié)果進行卷積，目的是消除上采樣的混疊效應(yīng)，如此就得到了一個新的特征圖52×52，作為第二尺度特征。

圖2 修改后的網(wǎng)絡(luò)結(jié)構(gòu)

經(jīng)修改后，本文對Yolo v3 改進的網(wǎng)絡(luò)結(jié)構(gòu)能夠在深層網(wǎng)絡(luò)中保持較高分辨率和較大的特征圖的感受野，以增強對小目標的檢測能力。

3.2.2 k-means聚類分析調(diào)整先驗框維度

Yolo v3 借鑒先驗框來預(yù)測邊界框坐標，使用kmeans 算法預(yù)測得到9 個先驗框，并將其均分到3 個尺度特征圖，以此來獲得更多的目標邊緣信息。Yolo v3中計算得到的9 組先驗框維度分別為（10，13），（16，30），（33，23），（30，61），（62，45），（59，119），（116，90），（156，198），（373，326），但是在本文應(yīng)用場景中，Yolo v3算法中計算得到的先驗框維度不適合建筑物的檢測。因此，在遙感建筑物檢測場景下，使用k-means 算法對自制的建筑物數(shù)據(jù)集進行聚類分析，得到先驗框維度，從小到大分別為：（49，47），（92，50），（52，97），（175，51），（142，95），（74，200），分辨率較小的26×26 特征圖有較大的感受野，故采用較大的先驗框（175，51），（142，95），（74，200），分辨率較大的52×52的特征圖有較小的感受野，故采用較小的先驗框（49，47），（92，50），（52，97），如表1所示。

表1 數(shù)據(jù)集的先驗框

4 實驗結(jié)果及分析

4.1 數(shù)據(jù)集制作

本文使用的數(shù)據(jù)集來自我國北方某城市的衛(wèi)星圖像，使用谷歌地圖下載，圖像尺寸為25 km×25 km，對圖像裁剪及篩選，使用標注工具labelImg 進行標注，制作本文的數(shù)據(jù)集。

labellmg 是專門為Yolo 系列算法的網(wǎng)絡(luò)訓(xùn)練準備數(shù)據(jù)的工具，利用該標注工具，手動完成矩形框標注，最后得到xml文件，操作界面如圖3所示。一共得到1 000張訓(xùn)練集和200張測試集。

圖3 標注界面

4.2 實驗過程及平臺

本文采用計算機為筆記本電腦，配置為Intel i7-9750H，32 GB內(nèi)存，64位Windows 10操作系統(tǒng)；開發(fā)環(huán)境為tensorflow1.14，opencv4.1，python3.7。

原Yolo v3 及本文改進算法都是在keras 環(huán)境下運行，以1 000張遙感圖像為訓(xùn)練集，200張做測試集，初始階段學(xué)習(xí)率為0.001，衰減系數(shù)為0.000 5，為使損失函數(shù)進一步收斂，在訓(xùn)練迭代次數(shù)為 25 000次時，學(xué)習(xí)率降低為0.000 1。最終，loss 值穩(wěn)定在0.5 左右，迭代至30 000次停止，如圖4。

圖4 損失值曲線

4.3 實驗結(jié)果與分析

4.3.1 本文網(wǎng)絡(luò)模型檢測結(jié)果

本文網(wǎng)絡(luò)模型基于Yolo v3 算法，通過修改特征圖分辨率及使用k-means 算法對本文遙感建筑物數(shù)據(jù)集進行聚類分析，加強對小型建筑物的檢測。經(jīng)過本文網(wǎng)絡(luò)模型檢測，選取尺寸相差較大、排列密集的建筑物檢測場景做樣例分析，結(jié)果如圖5。

圖5 網(wǎng)絡(luò)模型檢測結(jié)果

從檢測結(jié)果可以看出，本文對Yolo v3進行改進，通過選擇合適的特征圖分辨率及調(diào)整先驗框維度提高了對小型建筑物的檢測能力，對場景中排列密集建筑物（樣例1）、尺度差距大（樣例2）、背景復(fù)雜度高（樣例3）及在有道路下的建筑物（樣例4）做到了很好的識別效果，尤其對于小型建筑物的檢測效果良好。

4.3.2 評價指標

本文采用平均檢測精度（mAp）、召回率（recall）、平均檢測時間（time）作為檢測評價指標。其中精度和召回率分別定義為：

以遙感建筑物為例，TP、FP分別表示檢測模型將建筑物檢測正確與錯誤的數(shù)量，F(xiàn)N表示誤檢的數(shù)量。召回率（recall）表示能夠正確識別建筑物的概率；precision表示已識別為建筑物的檢測精度，對precision 取平均值，以平均檢測精度（mAp）作為評價指標；time 表示平均每張檢測時間。

4.3.3 本文網(wǎng)絡(luò)模型效率對比分析

本文針對遙感圖像中的小型建筑物展開研究，選取建筑物排列密集（a組）和相對尺寸差距大（b組）兩種場景做對比分析，經(jīng)過本文網(wǎng)絡(luò)模型（Article method）與原Yolo v3算法檢測結(jié)果對比如圖6所示。

圖6 檢測結(jié)果對比

對比實驗結(jié)果可以看出，a 組的小型目標建筑物排列密集，b組目標建筑物尺度差距相對較大。原Yolo v3算法對小型建筑物（a1、b1）的檢測效果表現(xiàn)不好，在場景a1中右方排列密集的小型建筑物和在場景b1中下方的小型建筑物都出現(xiàn)了漏檢；本文網(wǎng)絡(luò)結(jié)構(gòu)（Article method）的檢測結(jié)果（a2、b2）很好地實現(xiàn)了小型目標建筑物的檢測，在排列密集和相對尺度大的兩種場景中都能對小型建筑物做到了很好的檢測效果，且對于相同目標的檢測，本文改進的網(wǎng)絡(luò)結(jié)構(gòu)相比原Yolo v3算法的檢測精度也有提高。

基于深度學(xué)習(xí)的目標檢測算法分為基于區(qū)域的目標檢測算法和基于端到端的目標檢測算法。Yolo v3算法是一種基于端到端的檢測算法，為驗證本文改進網(wǎng)絡(luò)的優(yōu)越性，故與主流算法進行對比分析。因此，本文設(shè)計實驗：以本文自制遙感建筑物數(shù)據(jù)集為實驗數(shù)據(jù)集，200 張作為測試集，通過本文改進網(wǎng)絡(luò)結(jié)構(gòu)（Article method）與原 Yolo v3 算法、同樣基于端到端的 SSD 算法及基于區(qū)域的Faster RCNN 算法在平均檢測精度（mAp）、平均每張檢測時間（time）及召回率（recall）等方面做效率比較，效率分析如表2所示。

表2 效率分析

從實驗結(jié)果可以看出，在平均檢測精度（mAp）方面，原Yolo v3 算法的平均精度為85.94%，SSD 算法的平均精度為80.49%，F(xiàn)aster RCNN 算法的平均精度為93.81%，本文改進網(wǎng)絡(luò)結(jié)構(gòu)（Article method）平均精度為 91.29%，比 Faster RCNN 算法略低，較原Yolo v3 算法和SSD 算法提高了5.35%和10.8%；而在檢測時間（time）方面，原Yolo v3算法的檢測時間為0.041 s，SSD算法的檢測時間為0.253 s，F(xiàn)aster RCNN算法的檢測時間為2.37 s，本文改進網(wǎng)絡(luò)結(jié)構(gòu)（Article method）的檢測時間為0.042 s，僅比原Yolo v3 算法的檢測時間多0.001 s，較SSD算法和Faster RCNN算法快了0.211 s和2.328 s，很好地滿足了實時性；在召回率（recall）方面，原Yolo v3 算法的召回率為93.27%，SSD 算法的召回率為90.84%，F(xiàn)aster RCNN 算法的召回率為97.33%，本文改進網(wǎng)絡(luò)結(jié)構(gòu)（Article method）的召回率為95.61%，比Faster RCNN 算法略低，較原 Yolo v3 算法及 SSD 算法提高了2.34%和4.77%。

故本文改進網(wǎng)絡(luò)結(jié)構(gòu)（Article method）在保持了原算法速度優(yōu)勢的基礎(chǔ)上，提高了平均檢測精度和召回率，所以本文提出的基于Yolo v3的改進網(wǎng)絡(luò)模型對遙感建筑物檢測效果更好。

5 結(jié)束語

本文針對遙感建筑物的檢測，對小型建筑物檢測難度大的問題進行研究，提出了基于深度學(xué)習(xí)的Yolo v3改進算法，以修改特征圖分辨率、調(diào)整先驗框維度為方向得到一種適合遙感建筑物檢測的網(wǎng)絡(luò)模型，加強了對小型建筑物的檢測能力。實驗結(jié)果表明，本文提出的方法在滿足了實時性的基礎(chǔ)上，有效解決了遙感圖像中固定地物建筑物檢測過程中存在的小型建筑物檢測難度大的問題。接下來將針對遙感圖像中移動地物做研究。