城市地下管線數(shù)據(jù)整合技術(shù)探討與研究

付麗麗，韓葵，王文哲

(深圳市勘察研究院有限公司，廣東 深圳 518026)

城市地下管線數(shù)據(jù)整合技術(shù)探討與研究

付麗麗*，韓葵，王文哲

(深圳市勘察研究院有限公司，廣東 深圳 518026)

基于多源、跨時(shí)空的海量地下管線數(shù)據(jù)整合存在各種無(wú)法預(yù)期的情況，本文以深圳市為例，通過(guò)對(duì)數(shù)據(jù)整合方式和數(shù)據(jù)整合流程的探討，認(rèn)為通過(guò)人工輔助計(jì)算機(jī)決策的方式，充分發(fā)揮計(jì)算機(jī)技術(shù)的快速、精確的特點(diǎn)，同時(shí)引入人的決策能力，整合常規(guī)數(shù)據(jù)處理工具及技術(shù)(包含GIS技術(shù)等)，按照數(shù)據(jù)處理流程，嚴(yán)把數(shù)據(jù)質(zhì)量關(guān)，才能夠滿足城市地下管線對(duì)數(shù)據(jù)整合的要求，同時(shí)也為城市地下管線補(bǔ)充測(cè)繪及數(shù)據(jù)建庫(kù)做好鋪墊。

地下管線；數(shù)據(jù)整合；多源；跨時(shí)空；人工輔助計(jì)算機(jī)決策

1 引 言

隨著城市建設(shè)進(jìn)程的加快，城市地上風(fēng)光無(wú)限，地下雜亂無(wú)章的狀況越發(fā)明顯，“重地上輕地下”、“重建設(shè)輕管理”、“重使用輕維護(hù)”成為個(gè)大中型城市地下管網(wǎng)建設(shè)、管理、維護(hù)的真實(shí)寫照。《國(guó)務(wù)院辦公廳關(guān)于加強(qiáng)城市地下管線建設(shè)管理的指導(dǎo)意見(jiàn)》的頒發(fā)，從國(guó)家層面上提出了地下管線建設(shè)管理方針，各城市也逐漸啟動(dòng)地下管線普查及綜合建庫(kù)的工作。

地下管線普查工作分為兩部分，一是城市各職能單位所持有的現(xiàn)有地下管線數(shù)據(jù)的整合；二是對(duì)資料缺失部分的補(bǔ)充測(cè)繪。本文以深圳市為例，對(duì)現(xiàn)有地下管線數(shù)據(jù)整合的技術(shù)方法與技術(shù)流程進(jìn)行探討與研究，解決城市現(xiàn)有地下管線數(shù)據(jù)整合技術(shù)難題。

2 現(xiàn)有數(shù)據(jù)特點(diǎn)

深圳市地下管線數(shù)據(jù)整合主要針對(duì)兩大部分，一是政府職能部門根據(jù)職能管理需要?dú)v經(jīng)多年所積累的管理數(shù)據(jù)；二是管線權(quán)屬單位，例如深圳市水務(wù)集團(tuán)、深圳電信分公司、深圳聯(lián)通分公司、南方電網(wǎng)等，對(duì)各自建設(shè)的地下管線有著詳細(xì)的數(shù)據(jù)，且多數(shù)已建立管理系統(tǒng)，方便管理。

然而，政府職能部門數(shù)據(jù)和管線權(quán)屬單位所持有的數(shù)據(jù)，均是服務(wù)于各自的日常管理與專業(yè)部門，數(shù)據(jù)格式、屬性字段多樣，且標(biāo)準(zhǔn)不統(tǒng)一，無(wú)法直接將數(shù)據(jù)導(dǎo)入城市地下管線綜合管理平臺(tái)，服務(wù)公眾，其主要特點(diǎn)如下：

(1)多源性

數(shù)據(jù)來(lái)源多樣，例如水務(wù)集團(tuán)(權(quán)屬單位)所持有的給排水管線數(shù)據(jù)，水務(wù)局也持有給排水管線數(shù)據(jù)，兩種數(shù)據(jù)來(lái)源不同、形式不同、內(nèi)容不同，無(wú)法直接進(jìn)行數(shù)據(jù)合并。

(2)多時(shí)空性

數(shù)據(jù)采集時(shí)間、空間跨度大，不同時(shí)間點(diǎn)采集的統(tǒng)一空間范圍內(nèi)的數(shù)據(jù)與同一時(shí)間點(diǎn)采集的不同空間范圍內(nèi)的數(shù)據(jù)，統(tǒng)一性查，數(shù)據(jù)質(zhì)量無(wú)法保障，導(dǎo)致數(shù)據(jù)整合時(shí)，需對(duì)統(tǒng)一空間范圍內(nèi)的，不同時(shí)間點(diǎn)采集的數(shù)據(jù)進(jìn)行比對(duì)剔除。

(3)數(shù)據(jù)格式不統(tǒng)一

不同單位，甚至同一單位不同部門所持有的地下管線數(shù)據(jù)由于管理職能不同，數(shù)據(jù)格式也不同，有GIS數(shù)據(jù)格式(MDB、SHP、GeoDatabase)、CAD數(shù)據(jù)格式(DWG、DXF)、PDF數(shù)據(jù)格式、Excel數(shù)據(jù)格式、各種手繪圖等。

(4)屬性字段不統(tǒng)一

存在同一字段內(nèi)容不同單位命名不同、不同字段內(nèi)容不同單位命名相同、屬性字段缺失、字段內(nèi)容不規(guī)范。

深圳市目前主流數(shù)據(jù)類型及來(lái)源表 表1

續(xù)表1

3 數(shù)據(jù)整合思路及技術(shù)流程

3.1 數(shù)據(jù)整合思路

目前常用的數(shù)據(jù)處理方式是借助計(jì)算機(jī)編程技術(shù)，通過(guò)定制算法，實(shí)現(xiàn)數(shù)據(jù)的批量處理，然而數(shù)據(jù)整合的難點(diǎn)在于數(shù)據(jù)質(zhì)量的判定與數(shù)據(jù)的取舍，單純依靠計(jì)算機(jī)算法難以全面地進(jìn)行數(shù)據(jù)質(zhì)量判定與數(shù)據(jù)取舍。本文探討人工輔助計(jì)算機(jī)決策的方式，充分發(fā)揮計(jì)算機(jī)技術(shù)的快速、精確的特點(diǎn)，同時(shí)引入人的決策能力，以計(jì)算機(jī)學(xué)習(xí)人為決策的方式來(lái)實(shí)現(xiàn)。

(1)計(jì)算機(jī)算法設(shè)計(jì)

數(shù)據(jù)整合的算法設(shè)計(jì)包含數(shù)據(jù)處理邏輯與系統(tǒng)學(xué)習(xí)邏輯。其中數(shù)據(jù)處理邏輯是一套指標(biāo)體系算法，通過(guò)數(shù)據(jù)整合具體指標(biāo)的設(shè)定，算法能夠檢查數(shù)據(jù)質(zhì)量、劃定數(shù)據(jù)可信度、推斷數(shù)據(jù)可利用方式及數(shù)據(jù)可利用的內(nèi)容；系統(tǒng)學(xué)習(xí)邏輯則是將機(jī)器學(xué)習(xí)理論引入到地理信息的海量數(shù)據(jù)處理中，通過(guò)識(shí)別數(shù)據(jù)質(zhì)量規(guī)律、數(shù)據(jù)采納規(guī)律、人機(jī)交互習(xí)慣、人工決策規(guī)律，并通過(guò)計(jì)算機(jī)算法的自優(yōu)化能力，對(duì)數(shù)據(jù)質(zhì)量、數(shù)據(jù)采納提出新的可利用方案。

(2)人工輔助計(jì)算機(jī)決策

數(shù)據(jù)工程師根據(jù)計(jì)算機(jī)所提供的方案進(jìn)行方案比選、方案交叉融合，或者直接指定新的方案輸入到計(jì)算機(jī)中，來(lái)幫助計(jì)算機(jī)判定遇到某種特殊情況時(shí)應(yīng)該如何處理。該過(guò)程是計(jì)算機(jī)學(xué)習(xí)的過(guò)程，也是人工參與的過(guò)程，能夠?qū)⑷说臎Q策能力與計(jì)算機(jī)的學(xué)習(xí)和計(jì)算能力結(jié)合起來(lái)，提高數(shù)據(jù)整合的效率與質(zhì)量。

其工作思路如圖1所示。

3.2 數(shù)據(jù)整合技術(shù)流程

數(shù)據(jù)整合工作流程如圖2所示：

(1)制定工作方案及資料收集

首先，根據(jù)規(guī)土委數(shù)據(jù)入庫(kù)要求及數(shù)據(jù)標(biāo)準(zhǔn)，制定收集資料的標(biāo)準(zhǔn)，同時(shí)通知各單位，收集符合要求的資料。

圖1 數(shù)據(jù)整合方式的算法基礎(chǔ)

圖2 數(shù)據(jù)整合工作流程圖

其次，到信息中心、各管理局等單位，將其所持有的福田區(qū)地下管線數(shù)據(jù)，根據(jù)類型接收，管線類型包括市政管線綜合管線(污水[包括排污箱涵等]、雨水[包括暗渠化河道等]、燃?xì)狻㈦娏Α㈦娦拧⒐I(yè)、綜合管廊)、城中村綜合管線(污水、雨水、燃?xì)狻㈦娏Α㈦娦?。

(2)數(shù)據(jù)有效剔除與重復(fù)剔除

數(shù)據(jù)有效剔除：管線數(shù)據(jù)格式多種多樣，按地下管線數(shù)據(jù)標(biāo)準(zhǔn)要求，有AutoCAD、EPS、MapGIS、SuperMap等，將收集到的數(shù)據(jù)進(jìn)行質(zhì)量分析以及格式標(biāo)準(zhǔn)化分析，指定ArcGIS的Shape格式為標(biāo)準(zhǔn)格式，通過(guò)軟件自身轉(zhuǎn)換工具完成格式轉(zhuǎn)換，轉(zhuǎn)換后確定信息無(wú)丟失。對(duì)質(zhì)量明顯不符要求和格式明顯無(wú)法進(jìn)行數(shù)據(jù)轉(zhuǎn)換的數(shù)據(jù)進(jìn)行剔除。主要考察數(shù)據(jù)圖屬一致性是否符合《深圳市地下管線普查技術(shù)規(guī)程》，數(shù)據(jù)格式是否支持?jǐn)?shù)據(jù)轉(zhuǎn)換(常規(guī)格式包括GIS數(shù)據(jù)格式、CAD數(shù)據(jù)格式、Office數(shù)據(jù)格式、VF數(shù)據(jù)格式以及其他常用格式)以及格式轉(zhuǎn)換后是否會(huì)發(fā)生數(shù)據(jù)丟失。

數(shù)據(jù)重復(fù)剔除：首先由于不同來(lái)源的數(shù)據(jù)交叉，導(dǎo)致部分區(qū)域某類或多類管線有兩份甚至多份數(shù)據(jù)，通過(guò)數(shù)據(jù)分析，提取多份數(shù)據(jù)中質(zhì)量最可靠，格式最規(guī)范的數(shù)據(jù)，同時(shí)將其他數(shù)據(jù)剔除；其次，若多份數(shù)據(jù)中每份數(shù)據(jù)的數(shù)據(jù)質(zhì)量和數(shù)據(jù)格式規(guī)范性都不穩(wěn)定，則需要提取每份數(shù)據(jù)中最優(yōu)秀的部分，進(jìn)行區(qū)域性數(shù)據(jù)融合，組成該區(qū)域的數(shù)據(jù)，將其他數(shù)據(jù)剔除；再次，同一區(qū)域同類管線多份數(shù)據(jù)有的表現(xiàn)為圖形數(shù)據(jù)優(yōu)秀，有的則屬性數(shù)據(jù)表現(xiàn)優(yōu)秀，有的這屬性數(shù)據(jù)的某部分表現(xiàn)比較優(yōu)秀，則需要分別提取各份數(shù)據(jù)的優(yōu)秀部分，共同組成該區(qū)域該類管線的數(shù)據(jù)，最后通過(guò)上述三種方式以及其他方式采用混合數(shù)據(jù)處理手段進(jìn)行數(shù)據(jù)融合，將批次多、質(zhì)量不統(tǒng)一、格式多元的數(shù)據(jù)統(tǒng)一到標(biāo)準(zhǔn)入庫(kù)格式。

標(biāo)準(zhǔn)化后的管線數(shù)據(jù)具有相同的數(shù)據(jù)格式、屬性項(xiàng)和坐標(biāo)系統(tǒng)，便于后期處理。對(duì)多源管線數(shù)據(jù)進(jìn)行對(duì)比分析，按多源管線數(shù)據(jù)→工作范圍→確定重疊指數(shù)→確定主數(shù)據(jù)源→縮減重疊指數(shù)→重疊指數(shù)歸一→數(shù)據(jù)街邊→成果入庫(kù)的技術(shù)流程對(duì)多源管線數(shù)據(jù)進(jìn)行整合。

(3)數(shù)據(jù)融合接邊

將各個(gè)區(qū)域已得到的優(yōu)秀數(shù)據(jù)進(jìn)行圖形數(shù)據(jù)接邊，組成有機(jī)聯(lián)系的管線數(shù)據(jù)網(wǎng)；再根據(jù)規(guī)土委所提供數(shù)據(jù)標(biāo)準(zhǔn)，從管線數(shù)據(jù)網(wǎng)中提取有益數(shù)據(jù)，統(tǒng)一格式到深圳市管線數(shù)據(jù)庫(kù)，形成格式統(tǒng)一，相互聯(lián)系的管線數(shù)據(jù)。具體方法為：①根據(jù)數(shù)據(jù)來(lái)源，劃定接邊線。②利用接邊線切割源數(shù)據(jù)。③接邊線緩沖分析創(chuàng)建接邊區(qū)，標(biāo)識(shí)接邊數(shù)據(jù)。④通過(guò)距離最近原則自動(dòng)接邊。⑤手工檢查接邊區(qū)，修正接邊錯(cuò)誤和未接邊數(shù)據(jù)。

圖3數(shù)據(jù)融合方式

數(shù)據(jù)整合通過(guò)ArcGIS軟件實(shí)現(xiàn)，合并完成后，形成工作區(qū)內(nèi)唯一的地下管線數(shù)據(jù)。

(4)數(shù)據(jù)質(zhì)量檢查及驗(yàn)收

首先對(duì)已融合的數(shù)據(jù)進(jìn)行質(zhì)量檢查，包括圖形數(shù)據(jù)的拓?fù)錂z查(包括點(diǎn)線關(guān)聯(lián)、位置唯一、位置規(guī)則等)和屬性數(shù)據(jù)(包括坐標(biāo)準(zhǔn)確性、值域檢查、邏輯性檢查等。坐標(biāo)準(zhǔn)確性指圖上坐標(biāo)和屬性表中坐標(biāo)是否一致)的規(guī)范性、合理性檢查，去除錯(cuò)誤信息，標(biāo)識(shí)外業(yè)核查數(shù)據(jù)。對(duì)數(shù)據(jù)中嚴(yán)重質(zhì)量不符的區(qū)域進(jìn)行提取，同時(shí)查閱該區(qū)域是否有其他可以運(yùn)用或替代的數(shù)據(jù)，若有，則經(jīng)過(guò)質(zhì)量分析，并入管線數(shù)據(jù)網(wǎng)，若不存在則考慮該部分區(qū)域數(shù)據(jù)是否可以通過(guò)數(shù)據(jù)處理提升其質(zhì)量，若數(shù)據(jù)處理后數(shù)據(jù)質(zhì)量明顯提升，且能達(dá)到入庫(kù)要求，則實(shí)踐該方法，否則考慮將該部分?jǐn)?shù)據(jù)剔除。

其次，根據(jù)檢查內(nèi)容，編制檢查規(guī)則，通過(guò)ArcGIS軟件實(shí)現(xiàn)。數(shù)據(jù)檢查時(shí)，先對(duì)每類數(shù)據(jù)單獨(dú)檢查，之后對(duì)整體數(shù)據(jù)檢查優(yōu)化，即先分類后整體的檢查策略。檢查過(guò)程中將錯(cuò)誤數(shù)據(jù)和信息直接刪除或修改，疑問(wèn)數(shù)據(jù)的“是否核查”屬性值設(shè)為“是”。

再次，外業(yè)核查，制作外業(yè)核查工作底圖并規(guī)劃核查路線→將工作底圖裝載到平板電腦中→外業(yè)實(shí)地核查記錄需修改的信息→內(nèi)業(yè)導(dǎo)出修改信息，對(duì)數(shù)據(jù)修改完善。

最后，將檢查過(guò)的數(shù)據(jù)與規(guī)土委數(shù)據(jù)接收端進(jìn)行數(shù)據(jù)交換，若數(shù)據(jù)滿足要求則入庫(kù)，若仍有無(wú)法入庫(kù)的內(nèi)容，則通過(guò)提升數(shù)據(jù)質(zhì)量，修正數(shù)據(jù)錯(cuò)誤來(lái)不斷試驗(yàn)入庫(kù)，直至數(shù)據(jù)最終通過(guò)規(guī)土委驗(yàn)收并入庫(kù)。

4 結(jié) 語(yǔ)

多源、跨時(shí)空的海量地下管線數(shù)據(jù)整合存在各種無(wú)法預(yù)期的情況，本文對(duì)數(shù)據(jù)整合方式和數(shù)據(jù)整合流程進(jìn)行了重點(diǎn)探討，認(rèn)為通過(guò)人工輔助計(jì)算決策的方式，整合常規(guī)數(shù)據(jù)處理工具及技術(shù)(包含GIS技術(shù)等)，嚴(yán)格按照數(shù)據(jù)處理流程，把好質(zhì)量關(guān)，才能夠滿足城市地下管線數(shù)據(jù)整合要求，為城市地下管線補(bǔ)充測(cè)繪及數(shù)據(jù)建庫(kù)做好鋪墊。

[1] 國(guó)務(wù)院辦公廳. 國(guó)務(wù)院辦公廳關(guān)于加強(qiáng)城市地下管線建設(shè)管理的指導(dǎo)意見(jiàn)[Z]. 2014-06-14.

[2] 張會(huì)平，董軍，耿振國(guó). 銀川市城市綜合地下管線數(shù)據(jù)整合技術(shù)應(yīng)用[J]. 城市勘測(cè)，2012，12(6)：152～157.

[3] 楊伯鋼，張保鋼，陶迎春等. 城市地下管線數(shù)據(jù)建庫(kù)與共享應(yīng)用[M]. 北京：測(cè)繪出版社，2011.

[4] 鮑井林，潘九寶. 城市地下管線多源數(shù)據(jù)整合研究[J]. 現(xiàn)代測(cè)繪，2015，38(2)：26～28.

[5] 魏金明，邵飛，仲偉政. 基于空間關(guān)系的地下管線數(shù)據(jù)整合方法初探[J]. 城市勘測(cè)，2015，4(2)：62～65.

[6] 繆冬生，潘伯鳴，孫雪梅. 城市地下管線綜合管理信息系統(tǒng)的研究與實(shí)踐[J]. 常州工學(xué)院學(xué)報(bào)，2014，27(6)：17～22.

[7] 孟志義. 北京市地下管線信息多源數(shù)據(jù)整合研究[J]. 測(cè)繪通報(bào)，2011(10)：56～59.

[8] CJJ61-2003. 城市地下管線探測(cè)技術(shù)規(guī)程[S].

[9] 沈奇祥，陳明輝，黎海波. 對(duì)東莞市地下管線數(shù)據(jù)動(dòng)態(tài)更新機(jī)制建設(shè)的思考[J]. 地理空間信息，2013，11(4)：128～130.

ResearchAndStudyontheIntegrationofUrbanUndergroundPipelineData

Fu Lili，Han Kui，Wang Wenzhe
(Shenzhen Investigation&Research Institute Co.，Ltd.，Shenzhen 518026，China)

Based on multi-source，across the massive underground pipeline data integration of space and time exist all kinds of unexpected situation，this paper takes shenzhen city as an example，by way of data integration and data integration process，think computer by artificial auxiliary decision-making way，give full play to the characteristics of the computer technology fast，accurate，at the same time introduce decision-making ability，integration of the conventional data processing tools and technologies (including GIS，etc.)，according to the data processing procedure，strict quality management data，can meet the requirements of urban underground pipeline data integration，as well as supplementary surveying and mapping and the underground pipeline data to build library.

underground pipeline；data Integration；multi Source；cross time space；artificial auxiliary computer decision-making

1672-8262(2017)06-67-04

P208.1

B

2017—01—11

付麗麗(1986—)，女，碩士，工程師，主要從事測(cè)繪工程項(xiàng)目管理工作。