基于瓦片重疊法的在線高分遙感圖像目標(biāo)智能提取方法研究

禹政陽(yáng) 陳 軍 江明樺 馬世巖 秦 鑫

(1.成都信息工程大學(xué)資源與環(huán)境學(xué)院,四川 成都 610225;2.四川省水利科學(xué)研究院,四川 成都 610072)

0 引言

從海量的、有噪聲和模糊隨機(jī)的遙感影像中提取出有用信息,一直是遙感信息提取和識(shí)別領(lǐng)域的研究難點(diǎn)與熱點(diǎn)。隨著人工智能技術(shù),尤其是深度學(xué)習(xí)的突破,基于人工智能的遙感信息提取已成為重要的研究方向[1-2]。隨著研究的深入,大量人工智能模型應(yīng)用于圖像處理領(lǐng)域,如 AlexNet[3],VGGNet[4],GoogleNet[5]、UNET[6]、Mask R-CNN[7]等。Mask RCNN模型屬于一種實(shí)例分割的圖像智能算法,不僅能準(zhǔn)確識(shí)別出感興趣目標(biāo)在圖像上的位置,而且還能以掩膜方式標(biāo)記目標(biāo)[8-15]。將其應(yīng)用于遙感圖像的目標(biāo)提取,是地表機(jī)器智能感知的重要手段。

然而,遙感目標(biāo)智能提取的研究目前主要集中于本地遙感影像[16-17]。作為一種寶貴的在線資源,在線遙感影像的空間目標(biāo)智能提取具有重大的理論意義和實(shí)踐價(jià)值,但該領(lǐng)域目前仍鮮有相關(guān)研究。受限于顯卡的存儲(chǔ)和計(jì)算能力限制,Mask R-CNN模型的輸入圖像大小受一定限制。區(qū)別于本地影像,在線遙感影像覆蓋全球范圍。如何從大量在線遙感瓦片中有效提取空間目標(biāo),是亟待解決的關(guān)鍵問(wèn)題。

本文以18級(jí)在線遙感影像為數(shù)據(jù)源,開(kāi)展了在線遙感影像的目標(biāo)提取研究,提出了一種瓦片重疊法的在線高分遙感圖像目標(biāo)智能提取方法。該方法在保證目標(biāo)提取效率的同時(shí),提高了目標(biāo)檢測(cè)精度,為地表機(jī)器智能感知提供了新的途徑。

1 空間目標(biāo)與數(shù)據(jù)源選擇

1.1 空間目標(biāo)選擇

在高分遙感影像上,人工構(gòu)筑物一般具有相對(duì)的穩(wěn)定形態(tài)特征和光譜特征,是Mask R-CNN模型容易提取的目標(biāo)。圖1展示了幾種典型的空間目標(biāo)(運(yùn)動(dòng)場(chǎng)、城市路口、跨河大橋)的形態(tài)特征和光譜特征。從形態(tài)特征上看,運(yùn)動(dòng)場(chǎng)主要由球場(chǎng)和周?chē)乃苣z跑道構(gòu)成,一般呈現(xiàn)為橢圓形或矩形;城市路口是城市道路交叉的地方,道路交叉是其典型的形態(tài)特征,具體分為十字型路口、三叉型路口等,城市路口往往可見(jiàn)人工繪制的斑馬線;跨河大橋?yàn)榭缭胶恿鞯牡缆凡糠?呈現(xiàn)為條形。從光譜特征上看,由人造草坪或者塑膠構(gòu)成的球場(chǎng)區(qū)域在真彩色圖像上呈現(xiàn)淺綠色,由塑膠構(gòu)成的跑道一般呈現(xiàn)橙色;城市路口、跨河大橋光譜特征主要取決于鋪面材料,水泥沙路反射率較高,在干爽狀態(tài)下呈灰白色,瀝青路反射率較低,呈暗色調(diào)。本文以運(yùn)動(dòng)場(chǎng)、城市路口、跨河大橋?yàn)槔?探討在線遙感影像的空間目標(biāo)智能提取方法。

圖1 典型樣本的空間目標(biāo)標(biāo)記

1.2 數(shù)據(jù)源選擇

運(yùn)動(dòng)場(chǎng)、城市路口、跨河大橋等屬于微觀地物。18級(jí)在線遙感影像的空間分辨率約為0.6 m,運(yùn)動(dòng)場(chǎng)、城市路口、跨河大橋清晰可見(jiàn)。因此,以在線遙感影像18級(jí)為數(shù)據(jù)源,嘗試提取指定空間范圍內(nèi)的空間目標(biāo)。

2 基于Mask R-CNN的高分遙感影像空間目標(biāo)提取模型的建立

2.1 Mask R-CNN模型概述

Mask R-CNN模型是經(jīng)典的實(shí)例分割模型,從Faster R-CNN發(fā)展而來(lái)。Faster R-CNN將特征提取、區(qū)域建議、目標(biāo)框定、目標(biāo)分類(lèi)整合到一個(gè)網(wǎng)絡(luò)中,實(shí)現(xiàn)了圖像中目標(biāo)的識(shí)別及框定。由于Faster R-CNN僅能預(yù)測(cè)出目標(biāo)在圖像上的范圍,He等[7]將Faster R-CNN中的RoI Pooling層替換成RoIAlign層,提升了目標(biāo)框的預(yù)測(cè)精度。同時(shí),在網(wǎng)絡(luò)中添加了預(yù)測(cè)目標(biāo)掩膜(Mask)分支,構(gòu)建了Mask R-CNN模型。

Mask R-CNN模型所返回的目標(biāo)數(shù)據(jù)有兩部分,即目標(biāo)的預(yù)測(cè)框和掩膜數(shù)據(jù)。預(yù)測(cè)框包含目標(biāo)的分布范圍、目標(biāo)類(lèi)別和概率。其中,分布范圍由矩形的4個(gè)角點(diǎn)的圖像坐標(biāo)確定,即像素點(diǎn)在柵格圖像上的序號(hào);目標(biāo)類(lèi)別以編碼方式表示,來(lái)源于訓(xùn)練時(shí)的目標(biāo)類(lèi)別編碼;目標(biāo)概率是指該目標(biāo)框?qū)儆谠撃繕?biāo)類(lèi)別的概率。掩膜數(shù)據(jù)為一個(gè)大小為28×28的二維數(shù)據(jù),它將預(yù)測(cè)框劃分為28行、28列具有相同大小的單元,每一個(gè)單元給出目標(biāo)在該位置上存在的概率。通過(guò)設(shè)定掩膜的概率閾值,即可得到目標(biāo)在預(yù)測(cè)框中的分布區(qū)域。

2.2 訓(xùn)練與測(cè)試樣本數(shù)據(jù)集的建立

Mask R-CNN是一種監(jiān)督學(xué)習(xí)型神經(jīng)網(wǎng)絡(luò),需要準(zhǔn)備訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的每一張圖片均為18級(jí)在線遙感影像的某一個(gè)局部區(qū)域,且需事先勾繪出其上的所有運(yùn)動(dòng)場(chǎng)、城市路口和跨河大橋。將球場(chǎng)的外邊界封閉成的規(guī)則區(qū)域作為運(yùn)動(dòng)場(chǎng)的勾繪區(qū)域;將人行斑馬線封閉形成區(qū)域作為城市路口的勾繪區(qū)域;跨河大橋則勾繪出橫跨河流的橋梁部分,見(jiàn)圖1,紅色方框?yàn)槟繕?biāo)標(biāo)繪輪廓。

為提高模型的魯棒性,采集不同光照條件、不同拍攝角度和不同區(qū)域的遙感影像作為訓(xùn)練樣本。為提高模型訓(xùn)練精度,應(yīng)正確標(biāo)繪每一個(gè)樣本包含的所有空間目標(biāo)。以全國(guó)為范圍,隨機(jī)采集一定數(shù)量的樣本,構(gòu)建訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。其中,訓(xùn)練數(shù)據(jù)集共1000個(gè)樣本,包含1258個(gè)目標(biāo);測(cè)試數(shù)據(jù)集共200個(gè)樣本,包含266個(gè)目標(biāo),見(jiàn)表1。

表1 樣本數(shù)據(jù)集各目標(biāo)數(shù)量及測(cè)試精度

2.3 模型訓(xùn)練與測(cè)試

將數(shù)據(jù)集代入模型中學(xué)習(xí)。采用隨機(jī)梯度下降法(SGD)進(jìn)行學(xué)習(xí),學(xué)習(xí)率為0.001,權(quán)重衰減設(shè)置為0.0005;訓(xùn)練共計(jì)800輪,損失值達(dá)到最低并趨于穩(wěn)定。訓(xùn)練完成后,利用測(cè)試數(shù)據(jù)集進(jìn)行測(cè)試,并設(shè)定目標(biāo)類(lèi)別概率閾值和掩膜概率閾值提取圖像上的空間目標(biāo)及掩膜。實(shí)驗(yàn)發(fā)現(xiàn),類(lèi)別概率閾值越低,召回率越高,但精確率越低,這說(shuō)明較低的類(lèi)別概率閾值將導(dǎo)致在沒(méi)有目標(biāo)的區(qū)域預(yù)測(cè)出大量無(wú)效的目標(biāo)。為降低模型的錯(cuò)誤率,需要較高的類(lèi)別概率閾值,但又會(huì)出現(xiàn)部分目標(biāo)無(wú)法預(yù)測(cè)。通過(guò)反復(fù)實(shí)驗(yàn),將運(yùn)動(dòng)場(chǎng)、城市路口和跨河大橋的類(lèi)別概率閾值分別設(shè)為0.98、0.97和0.97,測(cè)試數(shù)據(jù)集總體召回率為84.5%,精確率為96.4%;當(dāng)掩膜概率閾值設(shè)定為0.5時(shí),預(yù)測(cè)的掩膜區(qū)域與目標(biāo)分布區(qū)域擬合效果最佳,掩膜精度為83.5%(表1)。

3 基于瓦片重疊法的在線遙感影像空間目標(biāo)提取

以在線遙感影像為數(shù)據(jù)源提取空間目標(biāo),需要以瓦片為基本單元,利用前述模型進(jìn)行目標(biāo)檢測(cè)與提取。基于瓦片重疊法的在線遙感影像空間目標(biāo)提取方法,是將若干瓦片組合成一個(gè)檢測(cè)單元,通過(guò)相互重疊的檢測(cè)單元來(lái)實(shí)現(xiàn)在指定空間范圍內(nèi)的空間目標(biāo)提取。

3.1 瓦片序列的求取

在線遙感影像以瓦片金字塔進(jìn)行組織,將全球范圍的遙感影像,按照固定的若干個(gè)比例尺(瓦片級(jí)別)和指定圖片尺寸切成若干行及列的正方形圖片,以指定的格式保存為圖像文件,按一定的命名規(guī)則和組織方式存儲(chǔ)到目錄系統(tǒng)或數(shù)據(jù)庫(kù)系統(tǒng)中,形成金字塔模型的靜態(tài)地圖緩存。以google和天地圖在線遙感影像為例,它們以Web墨卡托投影組織影像金字塔數(shù)據(jù)。每一個(gè)瓦片的寬度和高度均為256個(gè)像素。

在在線遙感影像上提取空間目標(biāo),需要先指定提取的空間范圍,依據(jù)空間范圍獲取瓦片序列。設(shè)地圖上某一點(diǎn)的經(jīng)緯度為(gx,gy),求取在層級(jí)為L(zhǎng)時(shí)該點(diǎn)的像素坐標(biāo):

式中,Px、Py為該點(diǎn)在層級(jí)L上的像素坐標(biāo)。其中:

根據(jù)像素坐標(biāo),求取該點(diǎn)所處的瓦片在給定層級(jí)L的瓦片行列位置:

式中,Tx、Ty為瓦片在層級(jí)L下的行列位置,int為取整函數(shù)。

設(shè)待提取空間目標(biāo)的經(jīng)緯度范圍的左上角和右上角分別為(gx1,gy1)、(gx2,gy2),利用式(1)～(3)可求得待提取的瓦片序列:

式中,Ts為瓦片序列,txy為序列中的每一個(gè)瓦片,(Tx1,Ty1)、(Tx2,Ty2)分別表示待提取的空間范圍左上角和右下角的瓦片行列位置。

3.2 在線遙感影像目標(biāo)檢測(cè)單元的空間目標(biāo)提取

3.2.1 檢測(cè)單元的定義

在18級(jí)高分遙感影像上,瓦片的一個(gè)像元的分辨率約為0.6 m,單個(gè)瓦片在水平和垂直方向上代表實(shí)地距離約154 m。這種空間尺度,對(duì)于空間尺寸稍大的空間目標(biāo),一個(gè)瓦片難以完整地表示。本文以單個(gè)瓦片的寬度和高度的2倍作為一個(gè)檢測(cè)單元,其寬度和高度均為512個(gè)像素。

3.2.2 檢測(cè)單元上空間目標(biāo)的矢量化與空間坐標(biāo)的求取

首先,將檢測(cè)單元的局部遙感影像代入前述模型,提取其空間目標(biāo)預(yù)測(cè)框及掩膜;然后,利用空間目標(biāo)的預(yù)測(cè)框,將空間目標(biāo)的掩膜重采樣至原圖像分辨率,并以0.5為閾值,對(duì)空間目標(biāo)掩膜逐像素處理。當(dāng)掩膜值≥0.5賦值為1,否則賦值為0;在此基礎(chǔ)上,將掩膜二值圖值為1的像素塊矢量化得到空間目標(biāo)的外邊界。

空間目標(biāo)的掩膜按雙線性插值方式進(jìn)行重采樣。設(shè)待插值位置坐標(biāo)為(x,y),(x0,y0)、(x1,y0)、(x0,y1)、(x1,y1)分別為待插值位置左上、右上、左下和右下最鄰近掩膜像元的坐標(biāo),其概率值分別為z00、z10、z01和z11。首先,在x方向進(jìn)行內(nèi)插,得到z0和z1:

然后,在y方向插值得到待插值位置的掩膜概率z:

設(shè)檢測(cè)單元的左上角空間坐標(biāo)為(L,T),空間分辨率為(Cx,Cy),將空間目標(biāo)的矢量轉(zhuǎn)換為空間坐標(biāo):

式中,(x,y)和(X,Y)為分別為空間目標(biāo)的像素坐標(biāo)和空間坐標(biāo)。

3.3 基于瓦片重疊法的空間目標(biāo)提取

3.3.1 無(wú)縫不重疊瓦片拼接法及其問(wèn)題

無(wú)縫不重疊瓦片拼接法是在線遙感影像上提取空間目標(biāo)的最簡(jiǎn)單直接的方式。從瓦片序列的左上角第一個(gè)瓦片開(kāi)始,步長(zhǎng)為2,按從左向右、從上到下的順序依次遍歷每一個(gè)瓦片,與右側(cè)和下側(cè)的3個(gè)相鄰?fù)咂喜橐粋€(gè)檢測(cè)單元,構(gòu)成512×512的局部遙感影像,利用模型提取其上的空間目標(biāo)。當(dāng)所有檢測(cè)單元的空間目標(biāo)提取完成后,匯總得到最終的空間目標(biāo)序列。

由于瓦片的劃分是固定的和靜態(tài)的,不可避免出現(xiàn)空間目標(biāo)跨越瓦片的情況,如圖2所示(圖中綠線劃分的每一個(gè)方形格網(wǎng)為一個(gè)檢測(cè)單元)。這些跨域瓦片的空間目標(biāo),在局部遙感影像上表現(xiàn)為目標(biāo)“碎片”。雖然在訓(xùn)練數(shù)據(jù)集中,添加了部分區(qū)域的目標(biāo)碎片作為訓(xùn)練樣本,使模型具有空間目標(biāo)“碎片”的提取能力。但如果在局部遙感影像范圍的“碎片”過(guò)小,超出了模型的識(shí)別能力,將導(dǎo)致目標(biāo)提取不完整。如圖2(a)所示,圖中最大的運(yùn)動(dòng)場(chǎng)跨越了4個(gè)相鄰?fù)咂?由于左側(cè)的運(yùn)動(dòng)場(chǎng)“碎片”比重過(guò)小,導(dǎo)致模型無(wú)法識(shí)別,該運(yùn)動(dòng)場(chǎng)最終只提取到右側(cè)的兩個(gè)“碎片”。在運(yùn)動(dòng)場(chǎng)左側(cè)的城市路口,被劃分為上下2個(gè)“碎片”,這兩個(gè)“碎片”均超出了模型的提取能力,導(dǎo)致該路口未被識(shí)別。

圖2 無(wú)縫不重疊瓦片拼接法與瓦片重疊法的空間目標(biāo)提取效果對(duì)比

3.3.2 瓦片重疊法的算法描述

瓦片重疊法的核心是瓦片重疊,即檢測(cè)單元之間存在一定的重疊率。通過(guò)相互覆蓋的瓦片以提高跨越瓦片的目標(biāo)提取率和空間完整度。設(shè)瓦片重疊率為o,則目標(biāo)檢測(cè)單元的移動(dòng)步長(zhǎng)為

設(shè)待提取區(qū)域有m列、n行在線瓦片,則待提取空間目標(biāo)的檢測(cè)單元數(shù)N為

瓦片重疊法遍歷瓦片序列的示意圖如圖3所示。

圖3 瓦片重疊法示意

使用瓦片重疊法提取空間目標(biāo)時(shí),重疊區(qū)域的空間目標(biāo)存在重復(fù)提取的情況。需要通過(guò)融合得到最終的空間目標(biāo)集。首先,分別提取每一個(gè)檢測(cè)單元的目標(biāo)集;然后,對(duì)于所有檢測(cè)單元的每一個(gè)目標(biāo),搜索與之空間相互重疊并且類(lèi)別編碼相同的所有目標(biāo),這些目標(biāo)被認(rèn)為是同一個(gè)空間目標(biāo)在不同檢測(cè)單元重復(fù)提取的目標(biāo)。利用空間融合算法將它們?nèi)诤蠟橐粋€(gè)空間目標(biāo)。

圖2(b)為重疊率50%時(shí)空間目標(biāo)的提取效果。對(duì)比圖2(a)發(fā)現(xiàn),瓦片重疊法在一定程度上解決了在線地圖上無(wú)縫瓦片法的空間目標(biāo)“碎片”難以提取的問(wèn)題,提高了空間目標(biāo)的提取率和空間完整度。

3.3.3 不同重疊率的空間目標(biāo)提取性能評(píng)價(jià)

以成都市區(qū)部分范圍(面積為33.4 km2)為實(shí)驗(yàn)區(qū)域,設(shè)定不同的重疊率進(jìn)行空間目標(biāo)提取,統(tǒng)計(jì)不同瓦片重疊率提取的性能和精度。實(shí)驗(yàn)計(jì)算機(jī)的CPU為Inter(R)Core(TM)i7-7700HQ,顯卡為NVIDA Geforce GTX 1070。為降低網(wǎng)絡(luò)傳輸不穩(wěn)定對(duì)性能評(píng)價(jià)的影響,研究區(qū)域內(nèi)的所有瓦片事先下載到本地。同時(shí),通過(guò)目視判斷方法統(tǒng)計(jì)各重疊率對(duì)應(yīng)的空間目標(biāo)提取數(shù)、漏提數(shù)和誤提數(shù),并計(jì)算提取精度:

式中,p表示提取精度,Nt表示總提取數(shù),Ne表示誤提數(shù),Na表示漏提數(shù)。

見(jiàn)表2,當(dāng)重疊率為0時(shí),采用無(wú)縫不重疊瓦片拼接法提取空間目標(biāo),其提取精度僅為58.45%,因此需要利用瓦片重疊法提高提取精度。隨著瓦片重疊率越高,漏提數(shù)不斷減少,提取精度不斷提高。當(dāng)重疊率≥50%時(shí),提取精度在80%以上。這說(shuō)明,較高的重疊率,增加了相同位置從不同的“片段”反復(fù)識(shí)別目標(biāo)的機(jī)會(huì),從而減少了漏提率。但反復(fù)識(shí)別同一位置,也增加了錯(cuò)誤識(shí)別的比率,即誤提數(shù)也相應(yīng)增加。若僅考慮提取精度,其重疊率在75%左右達(dá)到最佳。

表2 不同重疊率的空間目標(biāo)提取性能對(duì)比

從性能上分析,忽略瓦片下載時(shí)間,單個(gè)檢測(cè)單元目標(biāo)提取平均耗時(shí)約為0.13 s,這意味著每秒可處理7個(gè)左右的檢測(cè)單元。對(duì)于同一空間范圍,瓦片重疊率越高,待提取空間目標(biāo)的檢測(cè)單元越多,總耗時(shí)也隨之增加。總耗時(shí)包括檢測(cè)單元數(shù)據(jù)準(zhǔn)備時(shí)間、目標(biāo)提取時(shí)間和空間目標(biāo)融合時(shí)間。當(dāng)重疊率為0和50%時(shí),單個(gè)檢測(cè)單元僅需拼接相鄰4個(gè)瓦片;其余重疊率的單個(gè)檢測(cè)單元?jiǎng)t需拼接相鄰9個(gè)瓦片。因此,無(wú)論是網(wǎng)絡(luò)傳輸還是瓦片拼接,當(dāng)重疊率為0和50%時(shí),其性能為最佳;隨著重疊率的增加,被檢測(cè)出來(lái)的總目標(biāo)數(shù)越大,其融合所需時(shí)間越多。綜合以上分析,若僅考慮提取時(shí)間性能,其重疊率為0和50%時(shí)達(dá)到最佳。

若要求提取精度在80%左右,并要求時(shí)間性能最優(yōu),則重疊率50%為最優(yōu)參數(shù),其流程為,將步長(zhǎng)設(shè)定為1個(gè)瓦片。對(duì)于瓦片序列的每一個(gè)瓦片,將其與右側(cè)、下側(cè)及右下側(cè)的相鄰?fù)咂M合成一個(gè)512×512大小的局部遙感影像,代入模型中進(jìn)行空間目標(biāo)的提取。

4 在線高分遙感影像空間目標(biāo)提取實(shí)驗(yàn)

以中國(guó)部分城市為例,利用18級(jí)天地圖影像按瓦片重疊率50%提取市域某范圍內(nèi)的運(yùn)動(dòng)場(chǎng)、城市路口、跨河大橋,共計(jì)提取5595個(gè)空間目標(biāo)。通過(guò)目視判斷方法獲取各空間目標(biāo)的漏提數(shù)和誤提數(shù),并采用式(9)計(jì)算提取精度,實(shí)驗(yàn)結(jié)果見(jiàn)表3。由表3可知,本文方法的目標(biāo)提取率約為80%,為地表機(jī)器智能感知奠定了基礎(chǔ)。

表3 中國(guó)部分城市在線遙感影像空間目標(biāo)提取結(jié)果

圖4為實(shí)驗(yàn)城市某局部范圍對(duì)應(yīng)的空間目標(biāo)提取效果。由圖4可見(jiàn),雖然存在1處誤提取(A)和2處漏提取(B),但絕大部分空間目標(biāo)均被正確地提取出來(lái)。

圖4 在線遙感影像空間目標(biāo)提取效果

5 結(jié)束語(yǔ)

為提高機(jī)器智能感知地表的能力,以在線遙感影像為研究對(duì)象,提出了一種基于瓦片重疊法的在線遙感影像的空間目標(biāo)智能提取方法。本文不僅驗(yàn)證了瓦片重疊法能提高目標(biāo)提取精度,還通過(guò)不同的重疊率對(duì)空間目標(biāo)提取精度和性能進(jìn)行了分析,發(fā)現(xiàn)了重疊率為50%時(shí),在線遙感影像的目標(biāo)提取性能最優(yōu),且具有較高的提取精度。其研究成果對(duì)于在線遙感影像空間目標(biāo)提取的深入研究具有一定的指導(dǎo)意義。

本文不足之處在于僅以三類(lèi)空間目標(biāo)為例,進(jìn)行了高分遙感影像上空間目標(biāo)提取的研究。若要進(jìn)一步提高機(jī)器智能感知地表領(lǐng)域的能力,還需要增加空間目標(biāo)的類(lèi)別,并利用樣本數(shù)據(jù)集訓(xùn)練模型。