基于塔基視頻的自然資源智能監(jiān)測關(guān)鍵技術(shù)研究與實踐

陳慧玲，戚知晨，韓 雪，馮寧宇，阮 婧，李春婷

（1.江蘇省國土資源動態(tài)監(jiān)測中心，江蘇 南京 210017；2.自然資源部國土空間大數(shù)據(jù)工程技術(shù)創(chuàng)新中心江蘇分中心，江蘇 南京 210017；3.南京國圖信息產(chǎn)業(yè)有限公司，江蘇 南京 210036；4.南京師范大學(xué)地理科學(xué)學(xué)院，江蘇 南京 210023）

0 引言

《國務(wù)院關(guān)于加強數(shù)字政府建設(shè)的指導(dǎo)意見》明確指出，加強數(shù)字政府建設(shè)是適應(yīng)新一輪科技革命和產(chǎn)業(yè)變革趨勢、引領(lǐng)驅(qū)動數(shù)字經(jīng)濟發(fā)展和數(shù)字社會建設(shè)、營造良好數(shù)字生態(tài)、加快數(shù)字化發(fā)展的必然要求，是建設(shè)網(wǎng)絡(luò)強國、數(shù)字中國的基礎(chǔ)性和先導(dǎo)性工程。時空信息作為數(shù)字經(jīng)濟的重要戰(zhàn)略性數(shù)據(jù)資源，為經(jīng)濟社會發(fā)展提供統(tǒng)一的空間定位框架和分析基礎(chǔ)，賦能數(shù)字中國建設(shè)，驅(qū)動各行各業(yè)數(shù)字化轉(zhuǎn)型升級。視頻監(jiān)控一直是時空信息主要獲取途徑之一，被廣泛應(yīng)用于城市安防[1]、森林防火[2]、林火定位[3]、交通監(jiān)測[4]等領(lǐng)域。

在自然資源監(jiān)測領(lǐng)域，視頻監(jiān)控因其實時、互聯(lián)等特點，逐漸受到青睞。自2015 年以來，江蘇、浙江、江西、湖南等省份相繼開展自然資源塔基視頻監(jiān)控項目，實現(xiàn)疑似違法建設(shè)行為“發(fā)現(xiàn)在初始、解決在萌芽”的目標(biāo)。張毅等[5]基于江蘇省“慧眼守土”信息化成果，對基于塔基視頻的自然資源智能感知模式進行研究和思考，分析了塔基視頻監(jiān)控在自然資源領(lǐng)域的發(fā)展方向和應(yīng)用前景。為了減輕視頻監(jiān)控人工值守的壓力，視頻監(jiān)控與人工智能（AI）、地理信息系統(tǒng)（GIS）等技術(shù)結(jié)合是近年自然資源智能監(jiān)測技術(shù)的熱門研究之一。陳慧玲等[6]以三維地理場景為底圖，融合無人機實時視頻，進行無人機實時視頻的地理投射，提供從數(shù)據(jù)采集到場景展示的全流程服務(wù)，滿足面向重大項目會商的無人機輔助決策需求。Shao 等[7]通過自動特征匹配方法實現(xiàn)矢量數(shù)據(jù)與監(jiān)控視頻對齊，識別農(nóng)田的破壞行為。李守杰等[8]總結(jié)傳統(tǒng)視頻監(jiān)控的不足，將云計算技術(shù)和云存儲技術(shù)融入基于云平臺架構(gòu)的視頻監(jiān)控系統(tǒng)，實現(xiàn)城市軌道交通監(jiān)測。為了滿足智能監(jiān)控對復(fù)雜地理場景下全方位時空信息的感知需求，李景文等[9]提出多攝像頭協(xié)作的視頻監(jiān)控圖像與地理空間數(shù)據(jù)互映射模型構(gòu)建方法，實現(xiàn)多角度下的連續(xù)跟蹤。

塔基視頻監(jiān)控技術(shù)雖有效彌補了衛(wèi)星遙感實時性不足、分辨率低等缺陷，但在自然資源監(jiān)測工作中仍存在監(jiān)控設(shè)備安置成本高、監(jiān)控范圍有限、智能分析能力弱、目標(biāo)空間定位不準(zhǔn)等問題。相關(guān)問題具體表現(xiàn)如下：原有監(jiān)控點位布設(shè)方案難以定量化分析覆蓋范圍，監(jiān)控設(shè)備布設(shè)科學(xué)性有待提升；目標(biāo)檢測技術(shù)落后，存在檢測對象單一、檢測精度不足的問題，無法有效減輕基層執(zhí)法人員的工作負擔(dān)；視頻定位方法精度低，阻礙塔基視頻檢測與后續(xù)核查工作的銜接。因此，本文通過引入AI、大數(shù)據(jù)等新一代信息技術(shù)，從布設(shè)優(yōu)化、目標(biāo)檢測與空間定位3 個方向開展自然資源塔基視頻智能監(jiān)測關(guān)鍵技術(shù)研究，為科學(xué)高效地開展自然資源塔基視頻監(jiān)測應(yīng)用建設(shè)提供技術(shù)支撐。

1 總體思路

本文以江蘇省“慧眼守土”建設(shè)成果為基礎(chǔ)，聚焦如何提升塔基監(jiān)控設(shè)備監(jiān)管范圍、提高目標(biāo)檢測準(zhǔn)確度、降低空間定位誤差等實際應(yīng)用難題，開展自然資源塔基監(jiān)控設(shè)備布局優(yōu)化與目標(biāo)空間定位技術(shù)研究與應(yīng)用，如圖1 所示。

圖1 總體思路

（1）從設(shè)施空間優(yōu)化角度，研究高空間覆蓋塔基攝像頭布設(shè)優(yōu)化方法。基于塔點坐標(biāo)、相機性能、監(jiān)測范圍及地形等信息，以塔基視頻監(jiān)控為應(yīng)用出發(fā)點，設(shè)計最優(yōu)的攝像頭布設(shè)方案，提升塔基監(jiān)控設(shè)備布局科學(xué)性，化解塔基監(jiān)控設(shè)備成本和監(jiān)控覆蓋范圍的矛盾。

（2）從AI 角度，研究面向自然資源監(jiān)管的目標(biāo)檢測與過濾技術(shù)。根據(jù)自然資源監(jiān)測監(jiān)管業(yè)務(wù)，構(gòu)建視頻目標(biāo)監(jiān)測樣本集，訓(xùn)練基于深度學(xué)習(xí)框架的目標(biāo)檢測與場景分割模型，實現(xiàn)考慮地理場景的高精度視頻目標(biāo)檢測，突破顧及自然資源監(jiān)管場景的疑似違法行為檢測技術(shù)瓶頸，提升自然資源監(jiān)測監(jiān)管智能化程度。

（3）從視頻到地理空間融合定位角度，研究多倍焦距單目監(jiān)控攝像機遠距離定位算法。根據(jù)攝像頭姿態(tài)、視頻目標(biāo)像素信息及遙感影像，建立單目相機視地空間雙向映射模型，支持視頻到地圖、地圖到視頻的雙向定位，化解基于單目相機的地理空間定位難題，降低室外復(fù)雜環(huán)境對定位的影響，滿足自然資源監(jiān)測監(jiān)管對塔基視頻監(jiān)控定位精度的需求。

2 關(guān)鍵技術(shù)

2.1 高空間覆蓋塔基攝像頭布設(shè)優(yōu)化方法

目前，已安裝的塔基視頻監(jiān)控設(shè)備存在相鄰點位監(jiān)控區(qū)重疊度高、監(jiān)測范圍受地物遮擋影響等問題。如何科學(xué)設(shè)計塔基視頻監(jiān)控點布設(shè)并優(yōu)化現(xiàn)有視頻監(jiān)控設(shè)備布設(shè)，是塔基視頻監(jiān)管效率提升的首要技術(shù)難題。視頻監(jiān)控布設(shè)空間優(yōu)化是一個非確定性多項式難題。幾百平方千米或幾千平方千米的視頻監(jiān)控布設(shè)研究增加地理場景復(fù)雜性和候選點位數(shù)量，導(dǎo)致選址問題的求解難度急劇增大，三維地理場景中的求解難度更大，面臨計算規(guī)模大、時間復(fù)雜度高、解集質(zhì)量低的挑戰(zhàn)[10]。

由于塔基視頻監(jiān)控設(shè)備可以布設(shè)在建筑物外立面、通信鐵塔基站、路燈豎桿等載體，本文充分考慮安裝位置的高程信息和載體高度信息、周邊地物高程信息，將這些要素信息作為三維地理場景中的靜態(tài)和動態(tài)部分，增加視頻監(jiān)控布設(shè)方案的合理性。針對塔基攝像頭空間優(yōu)化方法中的視頻監(jiān)控點視域分析計算耗時長問題，基于三維地理場景視域分析理論，提出稀疏地形視域分析算法，構(gòu)建多視域代價矩陣。較傳統(tǒng)的視域分析方法而言，該方法在保證視域分析精度的前提下，簡化了三維地理場景下視域分析求解問題，提高算法計算效率。本文引入遺傳算法并顧及空間特征，對算法中的空間編碼算子、調(diào)平算子、種群適應(yīng)度算子等進行改進，最終形成高空間覆蓋塔基攝像頭布設(shè)優(yōu)化方法。提出高空間覆蓋塔基攝像頭布設(shè)優(yōu)化方法，顧及攝像頭點位的空間特征，實現(xiàn)空間優(yōu)化算法智能進化搜索能力與GIS 空間數(shù)據(jù)處理能力的融合，可為三維地理場景下視頻監(jiān)控布設(shè)空間優(yōu)化配置提供參考。

2.2 面向自然資源監(jiān)管的目標(biāo)檢測與過濾技術(shù)

建設(shè)用地表現(xiàn)特征復(fù)雜，各類建設(shè)用地內(nèi)的建設(shè)行為也不盡相同。例如，城市居民點建設(shè)用地存在大面積腳手架、多臺塔吊、混凝土泵車等大型施工機械建設(shè)行為，鄉(xiāng)村建設(shè)用地存在堆土、堆磚、攪拌機等建設(shè)行為。如何顧及不同建設(shè)用地內(nèi)的建設(shè)行為差異性[11]、提升建設(shè)行為目標(biāo)檢測模型的適用性，是自然資源塔基視頻目標(biāo)檢測研究的難點之一。同時，道路上停靠或行駛的目標(biāo)物會產(chǎn)生大量的無效檢測，無效檢測去除是此項技術(shù)研究的另一個難點。

本文深入分析各類建設(shè)用地的建設(shè)行為，將在建房屋、板房棚房、堆磚等31 類建設(shè)行為確定為本文目標(biāo)檢測模型的檢測對象，并對每類對象進行明確定義，以便準(zhǔn)確標(biāo)注視頻、照片中符合定義的目標(biāo)對象，保證目標(biāo)檢測模型的樣本質(zhì)量。在明確建設(shè)行為檢測對象的基礎(chǔ)上，開展數(shù)據(jù)篩選、標(biāo)準(zhǔn)化處理及圖像標(biāo)注，構(gòu)建建設(shè)行為目標(biāo)檢測樣本集。基于深度學(xué)習(xí)開源框架快速構(gòu)建與訓(xùn)練區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster R-CNN）模型，通過分析準(zhǔn)確率、召回率、平均精度（mAP）等評價指標(biāo)，獲得符合應(yīng)用要求的建設(shè)行為目標(biāo)檢測模型。針對目標(biāo)檢測模型產(chǎn)生大量無效檢測的情況，融入場景特征思路，基于掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask R-CNN）訓(xùn)練場景分割模型，實現(xiàn)照片內(nèi)容場景劃分，將目標(biāo)檢測結(jié)果與場景分割結(jié)果結(jié)合，過濾無效場景中的目標(biāo)對象，減少無效的目標(biāo)檢測對象數(shù)量。

2.3 多倍焦距單目監(jiān)控攝像機遠距離定位算法

當(dāng)前，基于單目監(jiān)控攝像機的監(jiān)控畫面中目標(biāo)空間定位成為塔基視頻監(jiān)測技術(shù)的重要研究方向[12]。基于單目相機的視頻空間定位技術(shù)旨在實現(xiàn)單目相機視頻畫面像素坐標(biāo)轉(zhuǎn)到地理坐標(biāo)、地理坐標(biāo)轉(zhuǎn)到像素坐標(biāo)的雙向定位[13]。現(xiàn)有單目視覺定位方法主要利用先驗信息融合、三維模型匹配、深度估計等手段對單目圖像進行直接回歸，從而實現(xiàn)目標(biāo)對象空間定位，但多適用于近景空間定位與融合，難以實現(xiàn)遠景定位精度，無法達到應(yīng)用標(biāo)準(zhǔn)。

隨著虛擬地理環(huán)境技術(shù)的發(fā)展，特別是三維地理場景構(gòu)建精度的提升，物理世界已逐步采用三維地理場景孿生表達。同時，視頻GIS 技術(shù)快速發(fā)展，監(jiān)控視頻與三維地理場景實現(xiàn)高精度融合表達，為基于單目監(jiān)控攝像機的目標(biāo)空間定位提供了新途徑。因此，本文以單應(yīng)性變換理論為核心，結(jié)合自然資源塔基監(jiān)控設(shè)備的多角度、可變焦功能特性，設(shè)計了多倍焦距單目監(jiān)控攝像機遠距離定位算法。根據(jù)相機成像原理和特征點提取匹配技術(shù)，生成多倍焦距圖片搜索樹，對1 倍焦距下的基準(zhǔn)圖片進行標(biāo)定，建立視頻抓拍圖片與遙感影像之間的映射關(guān)系，通過圖像匹配技術(shù)生成全方位、多倍焦距的相機定位模型。在實際定位時，對相機抓拍的照片與圖片樹中的圖片進行配對搜索與透視變換，實現(xiàn)抓拍圖片轉(zhuǎn)到匹配圖片的視角，通過相機定位模型實現(xiàn)空間定位，以此滿足高塔攝像頭監(jiān)控定位的實際需求，提升監(jiān)控監(jiān)管的智能化水平。

3 應(yīng)用實踐

3.1 實驗區(qū)塔基視頻建設(shè)及應(yīng)用概況

2017—2021 年，江蘇省已部署1?8 萬多個點位，構(gòu)建了覆蓋率較高的視頻監(jiān)控體系[5]。以“四全七自”為目標(biāo)，在2 個地級市、6 個縣開展實時智能監(jiān)管試點工作，推動自然資源違法行為自動預(yù)警、及時發(fā)現(xiàn)、及早處置工作。本文基于江蘇省“慧眼守土”實時智能監(jiān)管試點工作成果，開展隨機實驗區(qū)的關(guān)鍵技術(shù)應(yīng)用驗證。

3.2 塔基攝像頭布設(shè)優(yōu)化

本文以蘇南某地已布設(shè)的100 個塔基攝像頭點位為基礎(chǔ)，結(jié)合當(dāng)?shù)匾曨l監(jiān)控候選點位進行優(yōu)化設(shè)計，對已布設(shè)的攝像頭點位進行增刪替換，重新選定并布設(shè)100 個塔基監(jiān)控點位，提高監(jiān)測區(qū)域內(nèi)的耕地監(jiān)測覆蓋度。利用高空間覆蓋塔基攝像頭布設(shè)優(yōu)化方法對當(dāng)?shù)財z像頭點位進行優(yōu)化，并對比分析攝像頭點位優(yōu)化前和優(yōu)化后的耕地監(jiān)測情況。78 個優(yōu)化后的塔基攝像頭點位與優(yōu)化前的點位重合，本文僅需將原來的22 個點位進行調(diào)整，即可增加5?5%的耕地監(jiān)測面積，可在一定程度上減少人力投入和視頻監(jiān)控設(shè)備購買成本。基于30 米DEM 數(shù)據(jù)，以1?5 km 為監(jiān)測半徑對優(yōu)化布設(shè)后的點位進行覆蓋度評價計算，得出可監(jiān)測耕地面積占比（93?6%），該方案能夠在現(xiàn)有攝像頭點位基礎(chǔ)上盡可能最大化監(jiān)測范圍。

3.3 “非農(nóng)化”目標(biāo)檢測實現(xiàn)

本文利用全省“慧眼守土”攝像頭抓取建設(shè)用地圖像73 217 張。對原始圖像進行預(yù)篩選和標(biāo)注，生成101 472 個“非農(nóng)化”建設(shè)行為目標(biāo)檢測的樣本數(shù)據(jù)集。基于Faster R-CNN 和Mask R-CNN 經(jīng)典深度網(wǎng)絡(luò)，分別訓(xùn)練“非農(nóng)化”建設(shè)行為的目標(biāo)檢測模型與場景分割模型，基于面向自然資源監(jiān)管的目標(biāo)檢測與過濾技術(shù)構(gòu)建“非農(nóng)化”建設(shè)行為智能檢測能力。隨機選取蘇南、蘇中、蘇北地區(qū)的“慧眼守土”攝像頭并實時抓拍圖片，開展耕地中疑似“非農(nóng)化”建設(shè)行為識別測試，對測試結(jié)果進行分析計算，得到評價結(jié)果，如表1 所示。

表1 算法精度評價結(jié)果

從精度評價結(jié)果看，訓(xùn)練后的“非農(nóng)化”建設(shè)行為目標(biāo)檢測模型具有較高的檢測精度，其中，模型檢測準(zhǔn)確率達79?3%，召回率達80?14%，平均精度達83?44%。同時，串聯(lián)場景分割模型并進行目標(biāo)檢測過濾，篩選剔除道路上的誤檢，極大減少無效提取，如圖2 所示。本文提出的面向自然資源監(jiān)管的目標(biāo)檢測與過濾技術(shù)能夠滿足耕地“非農(nóng)化”監(jiān)測要求。

圖2 基于塔基視頻的“非農(nóng)化”建設(shè)行為檢測

3.4 單目攝像機遠距離定位實現(xiàn)

本文基于多倍焦距單目監(jiān)控攝像機遠距離定位算法，隨機挑選“慧眼守土”攝像頭并進行標(biāo)定，驗證單目相機不同焦距（Z）下的定位精度，如圖3 所示。由圖3 可以發(fā)現(xiàn)，本方法仍能夠?qū)Σ煌咕嘞履繕?biāo)物體進行定位，但隨著焦距變大、定位距離變遠，該方法的定位誤差也在增大。通過不同焦距下的定位誤差對比發(fā)現(xiàn)，本方法可以完成不同焦距下的目標(biāo)定位，且目標(biāo)距離攝像頭800米以內(nèi)的定位誤差穩(wěn)定在20 米以內(nèi)。

圖3 不同焦距下定位示意

4 總結(jié)與展望

在自然資源領(lǐng)域，視頻監(jiān)控技術(shù)憑借其實時監(jiān)測的優(yōu)勢正逐漸成為主要監(jiān)測技術(shù)手段之一。本文以江蘇省“慧眼守土”攝像頭為研究對象，圍繞視頻監(jiān)控實際應(yīng)用中的監(jiān)測覆蓋率低、目標(biāo)檢測誤差高、定位精度弱等難點，設(shè)計了高空間覆蓋塔基攝像頭布設(shè)優(yōu)化方法，突破了三維地理場景下大規(guī)模點位組合求解難、視域分析耗時長等瓶頸，提高了空間優(yōu)化解集質(zhì)量；提出了面向自然資源監(jiān)管的目標(biāo)檢測與過濾技術(shù)，實現(xiàn)了建設(shè)行為的智能化高精度識別，有效降低誤報率，減輕基層工作人員核查壓力；構(gòu)建了多倍焦距單目監(jiān)控攝像機遠距離定位算法，實現(xiàn)單目監(jiān)控攝像機條件下的建設(shè)行為多倍焦距、遠距離定位，輔助人工快速判定建設(shè)行為的合法性。

本文提出的關(guān)鍵技術(shù)成果雖然解決了塔基視頻在自然資源領(lǐng)域應(yīng)用的部分難題，但技術(shù)的精確度、可靠性、穩(wěn)定性仍需在實踐工作中進一步提升。同時，塔基攝像頭由于安裝高度受限于鐵塔高度，其監(jiān)控視野容易受房屋和樹木遮擋，無法實現(xiàn)自然資源全覆蓋監(jiān)管。未來應(yīng)深入考慮自然資源監(jiān)測業(yè)務(wù)的“天、空、地、人、網(wǎng)”全方位智能感知監(jiān)測需求，從實際業(yè)務(wù)及工作場景出發(fā)，整合現(xiàn)有智能監(jiān)測技術(shù)及監(jiān)管業(yè)務(wù)流程，突出優(yōu)勢互補，構(gòu)建面向自然資源行業(yè)的全方位智能感知監(jiān)測監(jiān)管應(yīng)用模式，顯著提升自然資源行業(yè)感知監(jiān)測監(jiān)管能力和智能化水平。