基于街景數據的違法建設監測技術及應用

曾慶豐 丁 月 陳品祥 譚福臨

（1.北京市測繪設計研究院，北京 100038；2.城市空間信息工程北京市重點實驗室，北京 100038；3.中國地質大學（北京）信息工程學院，北京 100083）

0 引言

2014 年，北京市的生態環境發展要求堅持可持續發展，從管理、科技、經濟、法制等各方面著手實施舉措，促進人口、經濟、資源、環境的和諧發展；2015 年，召開的中央城市工作會議要求轉變城市發展方式、完善城市治理體系、提高城市治理能力、著力解決城市病等突出問題。在此背景下，北京市多次召開了全市生態文明大會，將嚴厲打擊違法建設作為加強首都生態文明建設、疏解非首都核心功能和提高北京城市管理工作水平的重要抓手。

在技術應用方向，發現違法建設的傳統技術包括人工巡查、衛星查違、群眾舉報等方式。傳統人工巡查方式發現違法建設不但耗時耗力且主動性不高、目的性不強、存在難以到達的巡查死角、巡查不到位和遺漏、效率低下等問題［1］；衛星遙感影像可以客觀真實的記錄地表特征，因此利用兩個不同時期的高分辨率遙感影像可以敏銳地發現城市的變化［2］。衛星遙感技術主要可提供大范圍的建筑物變化信息［3］，但難以監測和發現城市建筑密集區域以及被樹木遮擋區域內的違法建設［4］。近年來，“眾包思想”催生了群眾舉報方式，利用群眾舉報線索可以發現較為隱蔽的違法建設，但此方式受到主觀性影響較大，為了實現違法建設查處的空間全覆蓋以及違法建設行為“更早發現、更快反映以及更快處置”的目標［5］，本文探索了街景數據為基礎的違法建設監測和發現技術方法。

近年來，隨著計算機視覺和深度學習等技術的快速發展，利用街景數據等進行違法用地和違法建設的監測和識別成為一種新的解決方案。街景數據是感知城市物質環境的一種新型地理大數據［6］，且街景圖像具有覆蓋面廣、能提供街道層級景觀信息的特點［7］。在過去的幾年中，已有許多研究探討了街景數據在違法用地和違法建設監測中的應用，例如，文獻［8］提出了一種基于深度學習的建筑物監測方法，該方法使用了Google Street View 的圖像數據，能夠有效地檢測出違法建設；文獻［9］則利用街景數據中的建筑特征進行建筑物分類，通過對不同類型的建筑進行分類，實現了對違法建設的監測；文獻［10］提出了一種利用街景圖像和卷積神經網絡檢測農村地區違法建設的方法。另外，國內外的一些城市管理部門也已經開始采用街景數據進行違法用地和違法建設的查處。例如，北京市城市管理委員會在其官方網站上公布了利用Google Street View 進行違法建設監測的案例，證明了街景數據在城市管理中的實用性和可行性。

本文根據街景技術記錄客觀事實的技術特點［11-13］，結合應用場景制定了一套面向應用的街景技術監測違法建設技術路線，利用街景監測技術來監測違法建設的現狀與變化情況。結合移動通信技術、地理信息技術實地核查違法建設，快速精準地發現違法建設，同時利用多期街景數據比對來實現違法建設從發現到拆除的全過程監測，并在北京市違法建設查處工作中開展了實際應用。

1 關鍵技術

1.1 自動識別提取關鍵技術

1.1.1 街景影像匹配

基于區域內建筑物的類型進行區域的分類是城市功能區分類的主要方法［14］，本研究以建筑物為街景影像的主要匹配對象，采用了一種基于深度學習的街景影像匹配方法來匹配不同時期的街景影像（圖1）。

圖1 街景影像匹配流程

建筑物的構造復雜多樣，角點較多，如何有效提取建筑物的角點是本研究要解決的一個關鍵技術點之一。尺度不變特征變換（scaleinvariant feature transform，SIFT）算法獨特性好、信息量豐富、實時性高［15］，主要可以提取建筑物的玻璃等反光材料反光形成的斑點特征，但這些特征的位置往往會隨著光線的不同而發生變化；Harris角點提取算法是Chris Harris 等提出的一種基于信號的點特征提取算法，是Moravec 算法的改進，相比SIFT算法，Harris算法更為穩定［16］。

本研究選擇Harris算法來提取建筑物的特征角點，用SIFT 算法來進行描述，兩種算法的結合保障了特征的穩定性，并且特征角點不會隨著光線的改變而發生變化［17］；之后采用最近鄰距離比匹配法對兩幅街景影像進行匹配，對判斷為同一位置的街景影像進行輸出，不是同一位置的街景影像返回數據庫，重新進行匹配流程。

1.1.2 街景特征的自動識別提取

近年來，隨著卷積神經網絡在圖像識別研究的突破性進展，傳統的人工提取圖像特征的方式逐漸被取代［18］，卷積神經網絡的表征學習能力較強。在街景影像匹配基礎上，本研究通過基于區域的卷積神經網絡（region-based convolutional neural networks，CNN）識別提取兩期街景影像中的建筑物，比對不同時期影像的建筑物變化情況，當兩期影像中的建筑物有明顯的增減時，實現不同時期街景影像新增違法建設的自動識別提取。圖2為基于卷積神經網絡自動提取含疑似新生違法建設街景的流程圖。

圖2 含疑似新生違建街景的自動提取流程圖

圖3 街景影像變化圖可視化布局示意圖

首先，利用區域建議算法選出若干目標區域，候選區域要包括街景影像中可能出現的目標物體［19］，在本研究中候選區域至少要包括街景影像中所有的建筑物。之后將利用卷積神經網絡進行特征提取，得到特征向量，每一個候選區域和其通過神經網絡得到的特征向量相乘，就可以得到特征矩陣，并進行特征分類，輸出含建筑物的街景影像。同時，基于影像匹配結果，可直接獲取同一位置的不同時期的街景影像，期間，要保證街景圖像大小一致，重復上述過程，可計算得到另一時期街景影像的特征，兩期影像進行自動比對則最終篩選出同一位置點建筑物有變化的街景影像，判斷為有疑似新生違法建設區域。

1.2 變化圖的智能生成

基于二維地圖與街景聯動、自動識別技術，研究設計了可視化布局圖模板，在街景查違系統上截取兩期街景影像和遙感影像圖，按照可視化布局模板框選參照物和疑似新生違建，系統自動獲取并標注其在影像上的位置，標注后將可視化布局圖導出（圖 3），為查違工作提供依據。

1.3 技術路線

基于影像匹配、自動提取、變化圖智能生成等關鍵技術，形成了基于街景技術的北京市違法建設監測應用的技術路線，并開展了實際應用。主要技術流程見圖4。

圖4 街景查違技術流程

街景影像通過專業街景車獲取，為了進行變化監測和分析比對，首先對拍攝的圖片進行初步的篩選與處理［20］，形成北京市街景查違數據庫。

街景中違法建設信息提取主要通過變化監測的方式獲取。變化監測包括不同時期影像匹配、自動提取比對、變化圖智能生成、人工核查四個步驟，過程中應用到基于深度學習的卷積神經網絡算法、車載街景影像匹配等關鍵技術。

為了進一步提升影像匹配結果的準確率，加入了人工核查環節（圖5），主要利用目視解譯法以及現場核查的方法進行人工核查，其中在進行外業核查時利用自主研發的外業核查APP（可用于手機端和pad 端）對疑似違法建設的信息進行核查，對疑似違法建設的信息進行補充完善。同時，實現了移動端與系統平臺的聯動，可將移動端的屬性信息同步到系統平臺，實現數據的聯動和更新，具體流程見圖 5。

圖5 現場核查流程圖

現場核查無誤后，確認為違法建設，則可開展拆違工作，在違法建設拆除后持續開展動態監測，形成閉環的技術流程，從而實現了北京市違法建設的閉環監管。

2 系統主要功能實現

結合查違工作的實際需求，本研究開展了街景查違系統的設計與實現。系統實現的主要功能有二維地圖與街景的聯動、變化比對、與外業核查APP的聯動等。

2.1 二維地圖與街景的聯動

為方便在電子地圖中快速定位到指定位置的街景，系統實現了街景場景和電子地圖的聯動與交互控制，可通過獲取電子地圖中指定點的位置，在街景場景中利用位置點查看街景，同時可快速切換街景場景到指定位置，并可通過二維地圖和街景場景的空間關聯，實現全局視角的比對（圖6）。

圖6 街景和地圖聯動查看指定點街景界面

2.2 變化比對

基于影像匹配與自動提取比對結果，在系統上可直觀地查看多期街景影像中違法建設位置點的真實場景及其影像圖上的位置；通過獲取街景場景當前視野的位置、方位、角度、視野等信息，同步設置不同時期街景場景設置相同的位置、方位、角度和視野等信息，實現不同時期街景場景的聯動功能。

2.3 與外業核查APP聯動

通過系統平臺與外業核查APP 的聯動來進行現場核查，外業核查APP 搭載了導航定位功能，可輔助現場核查人員進行精準定位，現場核查人員可將現場核實結果錄入系統，可上傳相關照片、文件等信息；在外業核查APP錄入的所有信息可同步到系統平臺，實現信息的同步（圖7）。

圖7 外業核查APP界面

圖8 街景發現違法建設所在位置分類圖

圖9 街景發現違法建設的規劃用地性質分類

圖10 街景發現違法建設的使用性質分類及占比情況

3 應用分析與評價

利用街景查違的關鍵技術與技術路線，在北京市開展了示范應用（應用時間為2021 年）。本文分別從街景發現的違法建設所在位置點情況、規劃用地性質、使用性質等幾方面分析了街景監測技術發現和查處違法建設的特點，并與其他查違技術特點進行了對比分析。

3.1 街景查違的應用效果

3.1.1 街景發現與查處違法建設位置點情況分析

通過街景發現的北京市違法建設集中分布在道路兩側、農村集體土地、城市平房區（圖 8）。此類分布的建設面積大于占地面積，說明違法建設多數是占用上層空間形成的。

3.1.2 街景發現與查處違法建設規劃用地性質情況分析

由圖 9可知，街景發現的違法建設的規劃用地性質多數是居住用地、道路用地和工業用地。

3.1.3 街景發現與查處違法建設使用性質情況分析

經過現場核查確認發現，利用街景發現的違法建設的使用性質大多為商業用途，其次是居住用途（圖 10），且多數違法建設是建立在建筑物的第一、二層，大多以盈利為目的，改建或擴建了房屋結構。

3.2 查違技術對比分析與評價

經過前期的應用研究得到：衛星查違技術能夠解決較大面積、分布在空曠區域的農村集體土地、農村宅基地等的違法建設難以發現的問題，但對平面變化不明顯、面積過小的臨街違法建設等發現不敏感或者難以快速發現，但是受影像分辨率限制，會存在地面物誤判的情況，需要外業核實；群眾舉報發現的違法建設一般分布在城市住宅區內、農村集體土地或農民宅基地內，一般都是加蓋或翻蓋等隱蔽性非常強的違法建設，但是主觀性較強，真實性也無法保證；街景查違技術能發現街道兩側、城市平房區、農村平房區、無證違法建設、商業與居住區內的違法建設，是以人的視角進行拍攝的，可以直觀地展現違法建設的情況，誤差較小。因此，街景拍攝技術與衛星監測技術等實現了互補，各技術的特點如表1所示。

表1 各技術手段特點

4 結束語

本文介紹了利用街景監測技術進行北京市違法建設發現的關鍵技術與系統實現，并對違法建設發現的結果進行了分析，形成的主要技術方法和成效如下：

（1）制定了一套街景監測違法建設的技術流程。利用深度學習的相關算法進行街景中變化建筑物的識別，并智能生成變化圖來構建違法建設的形成過程；結合移動通信技術、地理信息技術進行現場核查與系統平臺的聯動；通過閉環的技術流程實現了違法建設的動態全過程監測。

（2）研究設計了街景查違系統，實現了變化比對等若干功能，形成了街景查違的數據標準、監測機制，并結合北京市2021 年街景查違的成果，對利用街景技術手段監測違法建設的能力進行了分析與評價，分析了街景技術監測違法建設的優缺點，驗證了該項技術的可行性。

（3）充分發揮了街景技術記錄客觀事實的優勢，實現了全市道路兩側、建筑密集區的違法建設快速發現與拆后核查，為治理違法建設尋找了一條途徑，發現了大量的違法建設，在發現與查處的過程中，提高了執法者的工作效率。

在街景技術的實際應用中，也存在一些問題。目前街景采集的方式主要是基于車輛，成本比較高，周期較長，并且對于較窄的街巷無法進入，只能通過采集人員步行、騎行的方式進行街景采集。未來，可借助“眾包”等方式收集街景信息，進一步節約成本，擴大覆蓋范圍。