復(fù)雜場(chǎng)景下在建建筑區(qū)域識(shí)別方法①

周文一， 何小海， 卿粼波， 萬園潔， 鄭新波

1(四川大學(xué) 電子信息學(xué)院， 成都 610065)

2(東莞前沿技術(shù)研究院， 東莞 523000)

目前， 我國(guó)正處于城鎮(zhèn)化加速發(fā)展的時(shí)期， 一些地區(qū)的“城市病”問題日益嚴(yán)重[1]. 為解決城市發(fā)展難題，實(shí)現(xiàn)城市可持續(xù)發(fā)展， 建設(shè)智慧城市已成為當(dāng)今世界城市發(fā)展不可逆轉(zhuǎn)的歷史潮流[2]. 城市服務(wù)是智慧城市信息化管理中重要的一部分， 城市中違章建筑的查處往往需要大量的時(shí)間和人力. 實(shí)現(xiàn)自動(dòng)的在建建筑檢測(cè)， 再由相關(guān)部門篩查， 可以大大提升查處效率， 并且在其建成之前能夠及時(shí)地制止， 減小經(jīng)濟(jì)損失， 將違法建設(shè)制止于萌芽階段. 本項(xiàng)目高空云平臺(tái)駐空高度約為200～300米， 用于實(shí)現(xiàn)廣域物聯(lián)網(wǎng)的數(shù)據(jù)采集、應(yīng)急集群通信、光學(xué)監(jiān)控等功能， 可以為平安城市、智慧城市提供堅(jiān)實(shí)的信息化基礎(chǔ). 基于高空云平臺(tái)的智慧城市信息化管理平臺(tái)， 在建建筑的檢測(cè)是建立在高空相機(jī)對(duì)監(jiān)控區(qū)域的圖像實(shí)時(shí)采集的基礎(chǔ)上， 通過分析城市的全景圖來檢測(cè)是否存在在建建筑區(qū)域.

在復(fù)雜場(chǎng)景下的建筑目標(biāo)識(shí)別， 是具有挑戰(zhàn)性的課題， 而在建建筑識(shí)別又是一個(gè)更加新穎的課題. 在國(guó)內(nèi)外文獻(xiàn)中， 大多都是在衛(wèi)星遙感圖像中對(duì)整個(gè)建筑目標(biāo)區(qū)域進(jìn)行提取， 徐佳等[3]利用灰度與紋理綜合特征對(duì)高分辨率星載合成孔徑雷達(dá)(SAR)圖像的建筑區(qū)域進(jìn)行提取； 吳煒等[4]利用光譜和形狀特征相結(jié)合的方法對(duì)高分辨率遙感圖像中的建筑物進(jìn)行提取. Maarir等[5]用曲率尺度空間法對(duì)城市和郊區(qū)衛(wèi)星圖像中的建筑物進(jìn)行檢測(cè). 丁文銳等[6]對(duì)無人機(jī)圖像使用MSER(Maximum Stable Extremal Regions)算法進(jìn)行建筑區(qū)域的實(shí)時(shí)提取. 王慧敏等[7]在多尺度分割的基礎(chǔ)上實(shí)現(xiàn)對(duì)倒塌建筑物的提取. 以上影像中在建建筑區(qū)域均以垂直視角展示. 在非垂直視角的城市高空?qǐng)D像中， 金泰松等[8]基于建筑目標(biāo)的豎直線特征對(duì)城市建筑的整個(gè)輪廓進(jìn)行提取. 上述所有文獻(xiàn)都是對(duì)整個(gè)建筑目標(biāo)區(qū)域進(jìn)行提取， 并沒有對(duì)其中的在建建筑進(jìn)行識(shí)別.

在遙感影像違章建筑的識(shí)別研究中， 通常是先對(duì)建筑物進(jìn)行提取， 然后必須結(jié)合額外的房屋數(shù)據(jù)才能完成對(duì)違章建筑的識(shí)別. 林劍遠(yuǎn)等[9]就是先利用形態(tài)學(xué)標(biāo)記分水嶺算法提取高分辨率遙感影像中的建筑物圖斑， 然后結(jié)合房屋產(chǎn)權(quán)數(shù)據(jù)從而識(shí)別違章建筑. 然而，由于房產(chǎn)數(shù)據(jù)不透明， 沒有這類數(shù)據(jù)的平臺(tái)則無法用類似方法進(jìn)行違章建筑檢測(cè).

與現(xiàn)有文獻(xiàn)針對(duì)的SAR圖像、高光譜圖像及無人機(jī)機(jī)載攝像機(jī)拍攝的圖像不同， 高空云平臺(tái)拍攝的圖像主要具有以下識(shí)別難點(diǎn):

(1)拍攝高度相對(duì)較低， 因此拍攝到的場(chǎng)景背景復(fù)雜、內(nèi)容豐富、場(chǎng)景多變， 包含建筑密集的城市市區(qū)場(chǎng)景， 或建筑較稀疏綠色植被較多的郊區(qū)場(chǎng)景；

(2)相機(jī)視角多變， 高度不固定， 因此拍攝的建筑視角和在圖像中所占的比例不確定.

通過上述分析， 本文充分利用在建建筑區(qū)域的視覺特征， 建立角度多樣形態(tài)豐富的特征庫， 提出基于內(nèi)容檢索的多特征的高空影像中在建建筑區(qū)域識(shí)別方法，能夠有效地識(shí)別在建建筑.

1 基于CBIR的在建建筑識(shí)別框架

1.1 在建建筑特征分析及算法設(shè)計(jì)

在建建筑區(qū)域的示例如圖1， 它們通常有如下一些特征: (1)裸露的黃土， 但是將其作為在建建筑的判別標(biāo)準(zhǔn)， 易與閑置的土地或種植農(nóng)作物的土地混淆；(2)藍(lán)色的活動(dòng)板房以及藍(lán)色的防護(hù)欄， 由于藍(lán)色的活動(dòng)板房還廣泛用于災(zāi)區(qū)等一些臨時(shí)住宅點(diǎn)， 以及道路施工現(xiàn)場(chǎng)， 故其不能很好地作為在建建筑的標(biāo)志性特征； (3)塔吊在建筑工地上比較常見， 屬于建筑場(chǎng)地的特有設(shè)備之一， 顏色比較統(tǒng)一， 通常為黃色或紅色， 形狀比較特殊， 因此可以作為在建建筑的標(biāo)志性信息；(4)綠色防護(hù)網(wǎng)是另一個(gè)在建建筑工地常有的標(biāo)志性信息. 因此， 選取塔吊和綠色防護(hù)網(wǎng)為在建建筑區(qū)域的標(biāo)志性信息， 且它們都具有顯著的顏色特征， 故提取在建建筑區(qū)域的顏色特征. 但由于光照或角度的影響， 綠色植被與綠色防護(hù)網(wǎng)的顏色特征會(huì)產(chǎn)生混淆， 而他們的紋理特征不同， 故提取在建建筑區(qū)域的紋理特征， 可在一定程度上區(qū)分他們.

圖1 在建建筑區(qū)域數(shù)據(jù)集部分示例

通過上述分析， 本文擬采用基于內(nèi)容的圖像檢索技術(shù)[10](Content-based Image Retrieval， CBIR)， 利用圖像庫中圖像的視覺特征與待檢測(cè)圖像的相同特征做相似性度量， 從而獲得檢索結(jié)果. 在實(shí)驗(yàn)過程中發(fā)現(xiàn)對(duì)于一些受光照影響的圖片， 某些綠樹的顏色特征會(huì)對(duì)綠色防護(hù)網(wǎng)的顏色特征造成干擾， 從而造成誤判. 如圖2所示， 綠色植被誤判成了在建建筑. 為了解決該問題， 本文選擇在對(duì)輸入的高空?qǐng)D像進(jìn)行分塊之前對(duì)其使用聚類算法進(jìn)行聚類， 以便將綠樹區(qū)域篩除， 留下建筑區(qū)域， 再對(duì)其進(jìn)行分塊的建建筑識(shí)別.

圖2 誤判示例

本文的算法流程圖如圖3所示: (1)對(duì)包含在建建筑的大圖數(shù)據(jù)集進(jìn)行分塊， 挑出只包含在建建筑的小圖數(shù)據(jù)集， 并對(duì)該數(shù)據(jù)集的大小進(jìn)行歸一化， 對(duì)其進(jìn)行顏色和紋理特征提取， 得到可以表征在建建筑的多特征矢量， 由這些特征矢量構(gòu)建圖像特征索引庫； (2)對(duì)待檢測(cè)圖像剔除綠色植被區(qū)域， 再分塊切割成與數(shù)據(jù)集中圖像相同大小的一組小圖像并計(jì)算特征矢量；(3)將其與特征索引庫中的矢量做相似性度量， 記錄每一個(gè)小塊在大圖中的左上角的坐標(biāo)， 根據(jù)長(zhǎng)寬計(jì)算出該小圖在大圖中的位置， 用一個(gè)紅色矩形框包含檢測(cè)到的多個(gè)小圖， 并形成唯一的標(biāo)識(shí)符. 以下分別從預(yù)處理及特征提取， 綠色植被區(qū)域自動(dòng)檢測(cè)， 相似性度量的方式三個(gè)部分作詳細(xì)闡述.

圖3 本文算法流程圖

2 預(yù)處理及特征提取

2.1 預(yù)處理

本算法的背景系統(tǒng)是建立在高空相機(jī)對(duì)監(jiān)控區(qū)域的圖像、視頻采集的基礎(chǔ)上. 對(duì)高空相機(jī)所獲得的視頻和圖像數(shù)據(jù)進(jìn)行處理. 通過圖像校正技術(shù)實(shí)現(xiàn)對(duì)圖像的配準(zhǔn)， 以及局部區(qū)域及全局區(qū)域圖像的拼接， 為后續(xù)的在建建筑檢測(cè)做好準(zhǔn)備.

由于拼接圖像尺寸較大， 為了便于保存， 將拼接圖像裁成1920*1080的大小， 但其包含的內(nèi)容仍然較豐富， 提取其特征有冗余信息， 無法準(zhǔn)確地表現(xiàn)在建建筑區(qū)域的特征， 故分析高空影像素材中在建建筑區(qū)域的大小， 將待檢測(cè)圖像進(jìn)行從上到下S形分為32塊， 大小為240*270， 既方便計(jì)算在建建筑區(qū)域的位置又保證能充分提取其整體特征. 特征索引庫的數(shù)據(jù)集采用零像素?cái)U(kuò)充的方式將其歸一化到同樣大小.

2.2 特征提取

通過上節(jié)分析， 塔吊和綠色防護(hù)網(wǎng)都具有顯著的顏色特征. 顏色特征與實(shí)際的物體或場(chǎng)景具有較高的相關(guān)性， 而且對(duì)圖像的方向、尺度和視角不敏感， 比其他特征更易獲得， 提取其顏色特征， 能有效將在建建筑與普通建筑區(qū)分開來.

將輸入的RGB圖像轉(zhuǎn)換到更符合人類視覺系統(tǒng)的HSV色彩空間， 由于人眼對(duì)色調(diào)(H)非常敏感， 亮度(V)反映在建建筑的形狀特征比較重要， 飽和度(S)反映顏色深淺， 而不同的光照和角度會(huì)使在建建筑的顏色深淺不同， 三個(gè)分量都比較重要， 故將H、S、V分量均做的12級(jí)非均勻量化:

灰度共生矩陣[11]是常用的統(tǒng)計(jì)型紋理特征， 用來描述像素灰度的空間相關(guān)性. 在灰度共生矩陣的基礎(chǔ)上， 熵是圖像所含信息隨機(jī)性的度量； 能量是圖像灰度分布均勻程度和紋理粗細(xì)程度的度量[11]； 對(duì)比度是圖像清晰程度和紋理溝紋深淺程度的度量； 均勻性[12]能反映局部區(qū)域的紋理特征， 是區(qū)分目標(biāo)的重要參數(shù). 故本文通過計(jì)算灰度共生矩陣的熵、能量、對(duì)比度和一致性四種參數(shù)來描述圖片的紋理特征. 為了使提取的紋理特征具有更好的旋轉(zhuǎn)不變性， 分別取像素間兩兩互補(bǔ)的角度， 像素間的距離取1和為了減小特征提取的計(jì)算量， 將圖像的灰度級(jí)由原來的256級(jí)壓縮至8級(jí)， 最終得到16維的紋理特征向量

對(duì)數(shù)據(jù)集提取相同的特征， 由這些52維的特征矢量構(gòu)建圖像特征索引庫.

3 基于顏色聚類的植被區(qū)域檢測(cè)

為了避免綠色植被對(duì)在建建筑區(qū)域識(shí)別的干擾，采用顏色聚類的方式對(duì)植被區(qū)域?qū)崿F(xiàn)自動(dòng)檢測(cè)， 流程圖如圖4所示.

圖4 顏色聚類流程圖

3.1 植被區(qū)域的自動(dòng)檢測(cè)

本文顏色聚類方法根據(jù)圖像的主要構(gòu)成顏色自動(dòng)選取初始聚類中心. 分析圖像的顏色構(gòu)成需要計(jì)算圖像的顏色直方圖， 為了簡(jiǎn)化圖像顏色的構(gòu)成從而減小計(jì)算量， 需要對(duì)圖像顏色進(jìn)行量化， 減小計(jì)算的復(fù)雜度.

首先， 對(duì)輸入的1920*1080大小的RGB圖像采用顏色聚類前的HSV色彩空間各分量12級(jí)的非均勻量化， 得到量化后的圖像.

統(tǒng)計(jì)量化后圖像每種顏色所占的比例， 并按降序排列， 得到量化圖像的顏色直方圖. 取出占比最多的前N種顏色，N的最小值滿足:

其中，Histogrami為第i種顏色在量化圖像中所占比例，i取值范圍為[1，N]. 既保證取出圖像中占比不小于85%的顏色， 同時(shí)取出的顏色數(shù)量最少.

通過大量實(shí)驗(yàn)， 聚類的顏色類別數(shù)K選擇3可以將輸入圖像中的不同區(qū)域(綠色植被， 建筑區(qū)域， 其他)有效地分開. 根據(jù)用戶輸入的顏色類別數(shù)K對(duì)圖像的N種主要構(gòu)成顏色使用層次聚類算法進(jìn)行聚類， 得到K個(gè)圖像構(gòu)成顏色[13].

圖片的主要構(gòu)成有建筑、植被、天空或道路， 通過實(shí)驗(yàn)選取三個(gè)顏色作為顏色列表， 其RGB各分量值為[85 100 100]、[120 140 110]、[235 235 230]， 將聚類后各類別的組成顏色與顏色列表做比較， 用與列表中距離最小的顏色重新為聚類圖像賦值.

3.2 基于最小割算法的聚類區(qū)域填充

由于光照、角度以及圖中物體自身的差異， 聚類后的圖像在同一個(gè)區(qū)域中會(huì)有其他類別的像素， 使得聚類后的同一圖像區(qū)域的劃分出現(xiàn)孔洞不夠連貫， 影響后續(xù)綠色植被區(qū)域的選取. 為此， 選擇最小割算法[14-16]對(duì)聚類后的圖像進(jìn)行平滑處理. 最小化如下聚類圖像的能量函數(shù):

區(qū)域項(xiàng)表示像素i屬于類別概率的負(fù)對(duì)數(shù)， 其概率是用像素的實(shí)際顏色I(xiàn)mg(i)與聚類后每一類中心ClusImg(j)的色差計(jì)算得出， 區(qū)域項(xiàng)越小表示像素i屬于類別的可能性越大.

Euc(·)為像素間顏色的歐式距離.

邊界項(xiàng)表示分割L的邊界屬性， 其中，表示輸入圖像8鄰域的無序像素對(duì)集合；為像素i和j之間不連續(xù)的懲罰；為指示函數(shù)， 指示像素i、j的類別、是否相同.

統(tǒng)計(jì)最小割算法優(yōu)化后圖像中各區(qū)域像素的個(gè)數(shù)，將像素個(gè)數(shù)小于閾值 αP的區(qū)域合并到與其相鄰邊界最長(zhǎng)的區(qū)域中， 最終消除聚類圖像中零散的面積很小的區(qū)域， 生成的平滑、區(qū)域連續(xù)的聚類圖像. 其中，P為輸入圖像Img的像素總數(shù)取0～3%.

平滑后的圖像區(qū)域顏色的RGB值是[120 140 110]的區(qū)域?yàn)榫G色， 將其賦值[0 0 0]， 則綠色植被區(qū)域的像素置零. 不僅可以在包含在建建筑的圖中有用， 可以避免其對(duì)在建建筑區(qū)域識(shí)別的影響， 效果如圖5前兩組結(jié)果所示； 在包含大面積綠色植被的圖中也有效， 因?yàn)樵谧R(shí)別的時(shí)候， 綠色植被區(qū)域可能誤判成在建建筑， 效果如圖5第三組結(jié)果所示.

圖5 綠色植被區(qū)域檢測(cè)結(jié)果

4 相似性度量方式

本文采用歐式距離法來度量待識(shí)別圖像的特征矢量與特征庫中特征矢量的相似性， 分別計(jì)算待識(shí)別圖片顏色及紋理特征與特征庫中的歐式距離. 設(shè)待識(shí)別圖像為Img， 特征庫中的圖片為Fea.

1)顏色特征相似度

計(jì)算數(shù)據(jù)集中的36維顏色特征與特征庫中每張圖片同維數(shù)顏色特征的歐式距離:

其中，h、s、v代表圖片各分量的特征，表示特征非均勻量化為12級(jí).

2)紋理特征相似度

計(jì)算數(shù)據(jù)集中16維顏色特征與特征庫中每一張圖片相同維數(shù)紋理特征的歐式距離:

其中，t和i=(1,···,16)表示16維紋理特征.

在分別計(jì)算待識(shí)別圖片與特征庫中每一張圖片的兩種特征相似度后， 將兩種結(jié)果分別進(jìn)行升序排序， 取最小值進(jìn)行判定， 判定方式本文研究了以下兩種:

(1)綜合特征相似度判定

采用加權(quán)融合的方式融合顏色和紋理的特征距離:

然后判斷Dis是否小于預(yù)設(shè)定的閾值， 若小于則判定該圖片存在在建建筑. 考慮到在拍攝時(shí)攝像機(jī)鏡頭晃動(dòng)造成的圖片模糊對(duì)紋理特征的影響較大， 而對(duì)顏色特征的影響較小， 因此在相似性度量時(shí)弱化紋理特征對(duì)識(shí)別結(jié)果判斷的影響， 給以較小值.

(2)分離特征相似度判定

由于顏色特征較紋理特征在識(shí)別時(shí)具有更強(qiáng)的魯棒性， 故本文提出在顏色特征滿足條件的情況下再判斷紋理特征是否滿足給定條件. 即先判斷Col是否小于預(yù)設(shè)定的閾值， 再判斷Tex是否小于預(yù)設(shè)定的閾值.

實(shí)驗(yàn)結(jié)果顯示， 分離特征相似度判定方式的效果整體較綜合特征相似度判定方式好， 且當(dāng)時(shí)識(shí)別率相對(duì)較高， 故選取其為最終的顏色和紋理特征的閾值.

5 識(shí)別結(jié)果及分析

5.1 數(shù)據(jù)集

本文的圖像數(shù)據(jù)集大部分由高空相機(jī)對(duì)監(jiān)控區(qū)域采集的圖像和視頻， 篩選、分幀得到， 其余為網(wǎng)上挑選下載， 然后歸一化為240*270的大小， 共約700張.

5.2 結(jié)果及分析

對(duì)于在建建筑區(qū)域的框選， 是基于整個(gè)在建建筑區(qū)域劃分， 而不是基于每一棟在建的建筑. 對(duì)在建建筑依次用紅色方框框選出來， 并對(duì)每一個(gè)在建建筑區(qū)域形成唯一的英文字母、數(shù)字組合而成的標(biāo)識(shí)符. 本文對(duì)比了聚類前后對(duì)識(shí)別率的影響， 識(shí)別率為正確識(shí)別的圖片張數(shù)/測(cè)試集圖片的總張數(shù).

表1顯示未顏色聚類對(duì)測(cè)試集的識(shí)別結(jié)果， 測(cè)試集共238張圖片， 其中存在在建建筑90張， 非在建建筑148張， 識(shí)別率為0.874. 表2顯示對(duì)相同的測(cè)試集先聚類再識(shí)別的結(jié)果， 識(shí)別率為0.933. 如圖8所示， 可以有效防止誤檢.

表1 未顏色聚類的識(shí)別率

表2 顏色聚類后的識(shí)別率

圖8 顏色聚類結(jié)果

通過對(duì)顏色聚類前后測(cè)試集的識(shí)別結(jié)果對(duì)比， 在識(shí)別前對(duì)圖片進(jìn)行顏色聚類可以提高識(shí)別率. 在1920*1080圖像中的在建建筑區(qū)域識(shí)別結(jié)果如圖9， 圖10顯示在全景拼接圖像中的在建建筑區(qū)域識(shí)別結(jié)果.

圖9 部分1920*1080的圖中識(shí)別結(jié)果示例

圖10 部分全景拼接圖像中的識(shí)別結(jié)果示例

6 總結(jié)

在建建筑區(qū)域的自動(dòng)識(shí)別能夠有效地實(shí)現(xiàn)智慧城市的信息化管理， 本文根據(jù)城市高空影像中的真實(shí)場(chǎng)景， 提出基于在建建筑顏色和紋理特征的在建建筑區(qū)域識(shí)別方法. 該方法首先對(duì)分塊圖片用本文改進(jìn)的顏色聚類方式進(jìn)行處理， 然后提取其顏色及紋理特征， 與特征庫中的圖片特征采用分離特征相似度判定方式進(jìn)行判定， 將包含在建建筑的分塊圖片在大圖中進(jìn)行整合， 用唯一的標(biāo)識(shí)符標(biāo)記出來. 通過實(shí)驗(yàn)， 該方法能夠有效地識(shí)別出城市高空影像中的在建建筑區(qū)域. 在進(jìn)一步的工作中， 將對(duì)圖片進(jìn)行去云去霧及高照平衡等預(yù)處理， 并考慮提取在建建筑其他特征， 以減少誤檢和漏檢的情況發(fā)生， 并提高算法的魯棒性.