深度卷積網(wǎng)絡(luò)支持下的遙感影像井蓋部件檢測(cè)

楊夢(mèng)圓,劉 偉,2,尹鵬程,謝 夢(mèng)

(1. 江蘇師范大學(xué)地理測(cè)繪與城鄉(xiāng)規(guī)劃學(xué)院，江蘇 徐州 221116； 2. 資源與環(huán)境信息系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室, 北京 100101； 3. 徐州市國(guó)土資源局，江蘇 徐州 221006)

城市部件普查是現(xiàn)代化城市管理發(fā)展的必然要求。目前大多數(shù)城市部件調(diào)查依然利用全站儀等原始測(cè)量方法人工采集。為了減少人力和時(shí)間投入，研究者提出了多種部件測(cè)量方法，主要有無(wú)人機(jī)航測(cè)、移動(dòng)測(cè)量采集車、車載激光掃描等[1- 5]。以上方法在一定程度上減少了作業(yè)人員的工作量，但并沒有徹底擺脫外業(yè)采集任務(wù)量大和內(nèi)業(yè)加工處理復(fù)雜的弊端，而且對(duì)于車載設(shè)備，部件提取范圍十分有限。在過去的幾十年中，研究者已經(jīng)開發(fā)了大量用于從航空和衛(wèi)星圖像中檢測(cè)物體的方法，有基于不可變形模板和可變形模板匹配的方法[6]；基于先驗(yàn)知識(shí)即幾何信息和上下文信息的方法[7]；基于圖像分割和對(duì)象分類的對(duì)象檢測(cè)方法[8]；基于機(jī)器學(xué)習(xí)的特征提取，如定向梯度(HOG)特征[9- 11]、紋理特征、稀疏表示(SR)[12]、類Haar特征[13]、可選特征融合、降維及分類器訓(xùn)練[14- 16]等方法。以上方法雖然在某些特定物體檢測(cè)任務(wù)中取得了一定的成功，但只能提取出淺層的特征，當(dāng)需要提取更深層次的特征時(shí)，這些方法的描述能力明顯不足。

2006年，文獻(xiàn)[17]在特征學(xué)習(xí)和深度學(xué)習(xí)方面取得了突破性進(jìn)展。該方法無(wú)需人工設(shè)計(jì)特征結(jié)構(gòu)，通過深層次的神經(jīng)網(wǎng)絡(luò)以自動(dòng)方式直接從數(shù)據(jù)提取不同尺度的高層次特征。目前，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)可以分為兩類：①two- stage檢測(cè)算法，其將檢測(cè)問題劃分為兩個(gè)階段，首先產(chǎn)生候選區(qū)域(region proposals)，然后對(duì)候選區(qū)域分類，這類算法的典型代表為基于region proposal的R- CNN系算法，如R- CNN[18]、Fast R- CNN[19]、Faster R- CNN[20]等。②one- stage檢測(cè)算法，其不需要region proposal階段，直接產(chǎn)生物體的類別概率和位置坐標(biāo)值，比較典型的算法如YOLO[21]和SSD[22]。雖然Faster R- CNN、YOLO和SSD在貓、狗、汽車及人等在自然場(chǎng)景中的檢測(cè)取得了較好的效果，但對(duì)于像井蓋部件這樣的小目標(biāo)，在遙感影像中的檢測(cè)還是一個(gè)較大的挑戰(zhàn)。主要原因是遙感影像中的井蓋即使在0.1 m×0.1 m分辨率的高分影像中，其寬度也僅有5～8個(gè)像素，而Faster R- CNN、YOLO和SSD等深度學(xué)習(xí)方法對(duì)于井蓋這樣的小目標(biāo)經(jīng)過多次降采樣，輸出特征僅有初始圖像的1/16，導(dǎo)致其難以有效地檢測(cè)小目標(biāo)物體。HED[23]是一種多尺度、多融合的網(wǎng)絡(luò)，可以從多個(gè)層次提取目標(biāo)信息。本文對(duì)HED網(wǎng)絡(luò)進(jìn)行改進(jìn)，并在其尾部添加兩層卷積匹配，構(gòu)建HED- C網(wǎng)絡(luò)，可以有效檢測(cè)各種不同大小的井蓋部件，實(shí)現(xiàn)端到端的井蓋目標(biāo)檢測(cè)，有效提高城市井蓋部件目標(biāo)檢測(cè)的效率和精度。

1 HED- C目標(biāo)檢測(cè)網(wǎng)絡(luò)

HED- C通過對(duì)HED進(jìn)行改進(jìn)而成，HED本質(zhì)上是一個(gè)邊緣檢測(cè)網(wǎng)絡(luò)，可以較好地檢測(cè)出物體邊緣。HED基礎(chǔ)網(wǎng)絡(luò)采用VGG16網(wǎng)絡(luò)模型。HED能夠從多個(gè)尺度產(chǎn)生預(yù)測(cè)，其架構(gòu)包括一個(gè)具有多個(gè)側(cè)輸出的單流深度網(wǎng)絡(luò)，類似于深度監(jiān)督網(wǎng)絡(luò)，隱藏層監(jiān)督可以改善圖像分類任務(wù)的優(yōu)化和泛化，如果需要統(tǒng)一輸出，多側(cè)輸出還可以靈活地添加額外的融合層。在對(duì)HED邊緣檢測(cè)網(wǎng)絡(luò)進(jìn)行改進(jìn)的基礎(chǔ)上，在其尾部增加了兩層進(jìn)行卷積匹配，實(shí)現(xiàn)井蓋目標(biāo)的高精度檢測(cè)，改進(jìn)后的HED- C網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。由于檢測(cè)目標(biāo)是非常小的城市井蓋部件，使用1×1小卷積核、尾部裁剪和保持輸入大小對(duì)HED網(wǎng)絡(luò)進(jìn)行了改進(jìn)，確保每一層特征輸出不隨深度的增加而急劇減少。具體原因如下：①由于檢測(cè)目標(biāo)井蓋較小，通過使用1×1的卷積核，一方面可以減少卷積參數(shù)；另一方面可以增加網(wǎng)絡(luò)容量和模型復(fù)雜度，更有效地進(jìn)行小目標(biāo)檢測(cè)。②HED的側(cè)輸出層(side- output)連接在VGG16的最后一層卷積層上，分別為C1_2、C2_2、C3_3、C4_3、C5_3，即使在采用1×1卷積核的情況下，在C5_3之后的池化層，其輸出大小也僅有初始輸入圖像的1/32，對(duì)于井蓋這樣的小目標(biāo)完全無(wú)法適用，因此剪除了網(wǎng)絡(luò)的全連接層和SoftMax層，包括C5后面的池化層。③把VGG16每一組最后一個(gè)卷積層的特征輸出，由于每一組得到的卷積特征尺寸是不一樣的，通過轉(zhuǎn)置卷積(transposed convolution)對(duì)每一組得到的特征進(jìn)行擴(kuò)展，可以使特征輸出保持輸入大小，更好地適應(yīng)檢測(cè)井蓋這樣的極小目標(biāo)。為充分利用隱藏監(jiān)督層對(duì)邊緣效果的增益作用，HED- C保留了HED網(wǎng)絡(luò)的隱藏深度監(jiān)督和多側(cè)輸出結(jié)構(gòu)。同時(shí)，新加入的卷積層的感受野與輸出層的感受野一致，用于目標(biāo)物體特征匹配。加入兩層卷積有兩點(diǎn)原因：①HED網(wǎng)絡(luò)檢測(cè)后，大幅減少了井蓋部件的復(fù)雜度，在其后連接卷積層更容易實(shí)現(xiàn)目標(biāo)檢測(cè)；②整個(gè)檢測(cè)網(wǎng)絡(luò)形成一個(gè)連通的整體，可實(shí)現(xiàn)端到端的檢測(cè)。

2 試驗(yàn)與分析

2.1 試驗(yàn)數(shù)據(jù)與平臺(tái)

遙感影像數(shù)據(jù)來自江蘇省鎮(zhèn)江市2017年0.05 m空間分辨率的航攝影像。已有該地區(qū)所有的井蓋部件調(diào)查成果文件(矢量點(diǎn))，可以方便地對(duì)影像中的井蓋進(jìn)行樣本批量標(biāo)注。考慮到GPU處理效率和井蓋尺寸，相鄰影像重疊率設(shè)置為5%，影像尺寸裁剪為300～1024像素，丟棄沒有井蓋目標(biāo)的圖像塊。批處理后的影像共有2382塊(共有井蓋目標(biāo)23 252個(gè))，其中的1500塊影像作為訓(xùn)練數(shù)據(jù)集，500塊影像作為驗(yàn)證數(shù)據(jù)集，其余382塊影像作為測(cè)試數(shù)據(jù)集。本試驗(yàn)基于深度學(xué)習(xí)框架caffe進(jìn)行，并在配備2個(gè)GPU的服務(wù)器上執(zhí)行。Mini- batch大小設(shè)置為10，學(xué)習(xí)率設(shè)置1e- 6，每個(gè)側(cè)輸出層的損失權(quán)重αm設(shè)置為1，動(dòng)量設(shè)置為0.9，初始化側(cè)輸出層權(quán)重設(shè)置為0，初始化融合層權(quán)重設(shè)置為0.2，權(quán)重衰減值設(shè)置為0.000 2，訓(xùn)練迭代次數(shù)為10 000，在5000之后將學(xué)習(xí)率除以10。

2.2 試驗(yàn)結(jié)果與分析

圖2為HED- C網(wǎng)絡(luò)的6個(gè)輸出層所檢測(cè)的遙感影像信息，可以明顯看出，側(cè)輸出層1—5的細(xì)節(jié)詳盡程度越來越低，第6層融合層邊緣明顯且保留部分細(xì)節(jié)信息。出現(xiàn)這樣的結(jié)果是由于HED- C網(wǎng)絡(luò)本身就是多尺度融合網(wǎng)絡(luò)，隨著Side- output層感受野不斷變大，造成局部細(xì)節(jié)信息的逐漸減少，融合層由于獲得了多尺度信息使得局部細(xì)節(jié)得以保留。

表1是7種不同方法的定量比較結(jié)果，表1中，(Ours- fuse為僅利用最后一層融合層的檢測(cè)結(jié)果；Ours- fusion2為井蓋目標(biāo)在side- output1、side- output2、side- output3、side- output4、side- output5和融合層中出現(xiàn)2次的融合結(jié)果；Ours- fusion3，Ours- fusion4依次類推)采用查準(zhǔn)率、召回率和F1- score 3個(gè)指標(biāo)進(jìn)行比較：①與FasterR- CNN相比，YOLOv3的檢測(cè)查準(zhǔn)率和FasterR- CNN相近，YOLOv3在召回率和F1上稍有提高。SSD召回率最高，但精度最低。在查準(zhǔn)率和召回率的綜合考量下，YOLOv3井蓋檢測(cè)結(jié)果最好，因其采用了Darknet- 53深層網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，可以得到遙感影像更多的局部細(xì)節(jié)。②由于井蓋部件尺寸較小，與其他3種檢測(cè)方法相比，通過多個(gè)側(cè)輸出層融合的方法可以顯著提高井蓋目標(biāo)檢測(cè)的性能，實(shí)現(xiàn)井蓋目標(biāo)的最優(yōu)或次優(yōu)目標(biāo)檢測(cè)，這說明本文方法對(duì)于井蓋這樣的小目標(biāo)檢測(cè)是有效的。7種方法相比，Ours- fusion 4獲得最優(yōu)檢測(cè)查準(zhǔn)率，Ours- fusion 2獲得最佳檢測(cè)召回率。這說明井蓋部件出現(xiàn)4次的融合結(jié)果可以有效地提高目標(biāo)檢測(cè)的查準(zhǔn)率，但對(duì)井蓋部件召回率有較大影響；井蓋部件出現(xiàn)2次的融合結(jié)果可以有效地提高井蓋部件檢測(cè)召回率，但對(duì)井蓋部件查準(zhǔn)率有較大影響。綜合考慮，井蓋部件出現(xiàn)3次融合的效果最好，檢測(cè)查準(zhǔn)率、召回率和F1- score有較好的綜合表現(xiàn)，這是由于大多數(shù)井蓋部件在5個(gè)側(cè)輸出層和1個(gè)融合層中出現(xiàn)3次。

表1 7種檢測(cè)方法的結(jié)果比較

井蓋部件的檢測(cè)結(jié)果如圖3所示。方框表示檢測(cè)到的井蓋部件，有些井蓋部件密集出現(xiàn)，而且周圍背景較為復(fù)雜，通過該方法可以較好地檢測(cè)出大部分井蓋部件，驗(yàn)證了本文方法的有效性。

3 結(jié) 語(yǔ)

遙感影像中的目標(biāo)檢測(cè)在軍事和民用領(lǐng)域都起到至關(guān)重要的作用。然而，由于光照、陰影、極化、視角等導(dǎo)致的物體變化，使得遙感影像的目標(biāo)提取具有高度復(fù)雜性。本文通過改進(jìn)邊緣檢測(cè)網(wǎng)絡(luò)，提出HED- C網(wǎng)絡(luò)模型，使得井蓋目標(biāo)能夠多尺度、多水平地特征響應(yīng)和輸出，提高小目標(biāo)的檢測(cè)能力，而且可實(shí)現(xiàn)端到端的目標(biāo)檢測(cè)。該網(wǎng)絡(luò)模型對(duì)遙感影像獲取形狀小目標(biāo)(井蓋部件)的準(zhǔn)確率和召回率有較大提高，在遙感影像上表現(xiàn)出優(yōu)良的檢測(cè)效果，其中，召回率可達(dá)92.72%，查準(zhǔn)率可達(dá)86.40%。通過本文方法可以較好地提高井蓋部件提取的效率和精度，為數(shù)字化城管提供高精度井蓋部件數(shù)據(jù)。