基于圖技術(shù)的管網(wǎng)數(shù)據(jù)質(zhì)檢算法及應(yīng)用

郭劍橋 張強 楊鑫 王宵 王遙 許彥

摘要：在智慧水務(wù)、管網(wǎng)攻堅戰(zhàn)等項目的建設(shè)與運營中，管網(wǎng)數(shù)字化工作至關(guān)重要。當(dāng)前管網(wǎng)數(shù)字化行業(yè)內(nèi)的質(zhì)檢功能普遍是基于關(guān)系型數(shù)據(jù)庫采用數(shù)學(xué)計算的方式進(jìn)行判斷，而基于圖技術(shù)實現(xiàn)管網(wǎng)數(shù)字化質(zhì)檢的研究較少，且未有城市級實際應(yīng)用。為此，介紹了一種基于圖技術(shù)的城市排水管網(wǎng)質(zhì)檢方案，該方案從底層優(yōu)化數(shù)據(jù)治理效率，提升系統(tǒng)整體響應(yīng)速度，減少用戶等待時間與服務(wù)器計算負(fù)荷。將該管網(wǎng)數(shù)據(jù)質(zhì)檢算法應(yīng)用到六安市的真實數(shù)據(jù)中，應(yīng)用效果表明該算法提高了管網(wǎng)質(zhì)檢的綜合效率，應(yīng)用場景廣闊，可滿足萬km長度級管網(wǎng)秒級質(zhì)檢需求。

關(guān)鍵詞：城市地下管網(wǎng)； 地下管線探測； 智慧水務(wù)； GIS； 數(shù)字化； 長江流域； 六安市

中圖法分類號： TP399

文獻(xiàn)標(biāo)志碼： A

DOI：10.16232/j.cnki.1001-4179.2024.S1.048

0引 言

近年來隨著技術(shù)的提升，國家對于城市資產(chǎn)數(shù)字化的重視程度越來越高，其中地下管網(wǎng)是城市資產(chǎn)的關(guān)鍵組成部分［1］。提升管網(wǎng)數(shù)據(jù)質(zhì)檢能力，不僅能提升管網(wǎng)數(shù)字化成果數(shù)據(jù)質(zhì)量、精準(zhǔn)定位數(shù)據(jù)問題與類型，更是智慧城市、管網(wǎng)攻堅戰(zhàn)等國家戰(zhàn)略成功的關(guān)鍵。

國內(nèi)外對排水管網(wǎng)GIS數(shù)據(jù)質(zhì)檢相關(guān)領(lǐng)域已有較為成熟的研究。美國數(shù)字制圖數(shù)據(jù)標(biāo)準(zhǔn)委員會（NCDCDS）對數(shù)據(jù)質(zhì)量做了規(guī)定［2］；中國國家測繪局也制定了有關(guān)質(zhì)量標(biāo)準(zhǔn)，論述了GIS 數(shù)據(jù)庫開發(fā)項目的質(zhì)量控制方法［3］；國內(nèi)外已建立基于文本關(guān)系型數(shù)據(jù)的管網(wǎng)質(zhì)檢信息化質(zhì)量控制算法［4-5］。但仍存在功能分割、效率低下、與實際的工程應(yīng)用關(guān)聯(lián)性不強等問題。本文結(jié)合管網(wǎng)數(shù)字化一線與管理工作中的思考與實踐［6］，介紹了一種基于圖技術(shù)的管網(wǎng)質(zhì)檢分析技術(shù)，融合圖拓?fù)浣馕瞿芰Γㄟ^社區(qū)算法［7-8］等，構(gòu)建從數(shù)據(jù)規(guī)整化輸入到數(shù)據(jù)倉庫［9］及拓?fù)渚W(wǎng)絡(luò)創(chuàng)建的毫秒級高級質(zhì)檢能力，豐富管網(wǎng)異常問題庫［10］，并將研究成果應(yīng)用于長江流域城市地下管網(wǎng)實際數(shù)據(jù)中。該技術(shù)突破原有的關(guān)系型數(shù)據(jù)質(zhì)檢模式，對非結(jié)構(gòu)型的管網(wǎng)復(fù)雜拓?fù)潢P(guān)系進(jìn)行更好的存儲、查詢、分析，提高了管網(wǎng)質(zhì)檢的綜合效率；通過節(jié)點、關(guān)系、向、權(quán)等靈活構(gòu)建問題清洗與修復(fù)算法，擴大使用場景；形成一種真正可落地應(yīng)用的海量管網(wǎng)數(shù)據(jù)高效質(zhì)檢功能，可提升管網(wǎng)數(shù)據(jù)準(zhǔn)確度，進(jìn)而滿足現(xiàn)場巡檢、分析等業(yè)務(wù)需要。

1管網(wǎng)文本數(shù)據(jù)至圖數(shù)據(jù)的轉(zhuǎn)換

1.1圖數(shù)據(jù)的優(yōu)勢

相比傳統(tǒng)關(guān)系型數(shù)據(jù)庫，基于圖結(jié)構(gòu)的圖數(shù)據(jù)庫具有以下優(yōu)勢［11-12］：存儲量大，圖數(shù)據(jù)庫能夠以圖的形式存儲數(shù)十億的節(jié)點和關(guān)系；存儲靈活度更高，數(shù)據(jù)在圖數(shù)據(jù)庫中存儲時不限于預(yù)定義的模型；可以實現(xiàn)數(shù)據(jù)在深度和廣度上的恒定時間遍歷，深度查詢用時遠(yuǎn)優(yōu)于傳統(tǒng)關(guān)系型數(shù)據(jù)庫［13］。其中，深度關(guān)系指兩個節(jié)點間的連接數(shù)，如圖1所示，由一條管道相連的節(jié)點A和節(jié)點B之間的深度為1，由兩條管道相連的節(jié)點A和節(jié)點C之間的深度為2，以此類推。

由表1可知，關(guān)系型數(shù)據(jù)庫的查詢時間隨著查詢深度的增加會呈指數(shù)增加；而基于圖的圖數(shù)據(jù)庫查詢時間隨著查詢深度的增加呈線性增加，相同深度下的查詢用時遠(yuǎn)優(yōu)于關(guān)系型數(shù)據(jù)庫。當(dāng)需要對城市級海量管網(wǎng)數(shù)據(jù)進(jìn)行多深度分析時，關(guān)系型數(shù)據(jù)庫并不適用于存儲和計算管網(wǎng)數(shù)據(jù)，圖數(shù)據(jù)庫對關(guān)系復(fù)雜且呈低結(jié)構(gòu)化的數(shù)據(jù)要求與智慧城市業(yè)務(wù)更加契合。

1.2轉(zhuǎn)換原理

（1） 對象概化。在圖數(shù)據(jù)庫中，將管網(wǎng)對象用節(jié)點和關(guān)系兩種要素來進(jìn)行區(qū)分［14］，將管井、箅子、化糞池、排水口等點對象概化為節(jié)點來表示；將管道、管渠等線對象概化為關(guān)系來表示。每個關(guān)系都具有起點、終點和方向，其方向即為管網(wǎng)流向。

（2） 屬性分類。將節(jié)點和關(guān)系的屬性分為數(shù)值型數(shù)據(jù)和文本描述型數(shù)據(jù)［15］。數(shù)值型數(shù)據(jù)包括節(jié)點的坐標(biāo)、高程等和關(guān)系的管徑、管長、埋深、坡度等，用于后續(xù)設(shè)置閾值計算分析；文本描述型數(shù)據(jù)包括節(jié)點與關(guān)系的編號、類別、所屬分區(qū)、所在街道等，用于后續(xù)設(shè)置條件分析。

（3） 標(biāo)簽種類。在圖數(shù)據(jù)庫中，將節(jié)點通過標(biāo)準(zhǔn)化的標(biāo)簽體系進(jìn)行區(qū)分，將關(guān)系通過標(biāo)準(zhǔn)化的種類體系進(jìn)行區(qū)分。比如對檢修井節(jié)點添加“檢修井”標(biāo)簽；對排水口節(jié)點添加“排水口”標(biāo)簽；對管道關(guān)系添加“管道”種類。由此現(xiàn)實中的城市排水管網(wǎng)在圖數(shù)據(jù)庫中被概化為由頂點（節(jié)點）和邊（關(guān)系）組成的圖，且其屬性以鍵值對的形式存儲在節(jié)點和關(guān)系之中，屬性示例見圖2。

數(shù)據(jù)準(zhǔn)備完成后，本次研究選取Neo4j作為管網(wǎng)數(shù)據(jù)存儲、分析的基礎(chǔ)圖數(shù)據(jù)庫［16］，通過轉(zhuǎn)換腳本將傳統(tǒng)關(guān)系型管網(wǎng)數(shù)據(jù)轉(zhuǎn)換為圖數(shù)據(jù)庫管網(wǎng)數(shù)據(jù)，并可基于Cypher語言實現(xiàn)高效查詢、檢索、管理圖數(shù)據(jù)庫數(shù)據(jù)集［17］。

2圖數(shù)據(jù)庫質(zhì)檢修復(fù)技術(shù)

基于傳統(tǒng)關(guān)系數(shù)據(jù)庫的管網(wǎng)質(zhì)檢算法均可通過圖數(shù)據(jù)庫實現(xiàn)。本文選取相較傳統(tǒng)關(guān)系數(shù)據(jù)庫有顯著優(yōu)勢的質(zhì)檢算法進(jìn)行詳細(xì)介紹。

2.1多深度重復(fù)節(jié)點質(zhì)檢修復(fù)

在該場景中兩個或多個節(jié)點的橫縱坐標(biāo)偏差極小，在GIS中的表現(xiàn)為多個節(jié)點重合在一起，這種情況通常是由同一地點重復(fù)勘測或使用設(shè)計軟件一點雙號導(dǎo)致的。圖數(shù)據(jù)庫支持對于多深度重復(fù)節(jié)點進(jìn)行質(zhì)檢與自動修復(fù)，以深度為5為例，重復(fù)節(jié)點所在的拓?fù)滏溌贩譃?類。

（1） 兩個重復(fù)節(jié)點，一個位于深度大于5的鏈路上，而另一個位于深度小于5的鏈路上。清洗前后示例如圖3所示，“重復(fù)點”處重疊有兩個節(jié)點E和X，其中E節(jié)點的上下游分別只有一個節(jié)點，其上下游節(jié)點數(shù)小于5；而另一個節(jié)點X的上下游節(jié)點數(shù)大于5。數(shù)據(jù)修復(fù)方法為刪除深度小于5的節(jié)點及其連接管線。

（2） 兩個重復(fù)節(jié)點均位于深度大于5的鏈路上。“重復(fù)點”處重疊有兩個節(jié)點E和X，兩個重復(fù)節(jié)點的上下游節(jié)點數(shù)據(jù)均大于5，數(shù)據(jù)修復(fù)方法為將兩個重復(fù)節(jié)點上下游深度為5以內(nèi)的節(jié)點數(shù)進(jìn)行對比，刪除節(jié)點數(shù)少的重復(fù)節(jié)點，將其與管線的連接關(guān)系集成至另一個節(jié)點數(shù)大的重復(fù)節(jié)點上。

（3） 兩個重復(fù)節(jié)點均位于深度小于5的鏈路上。第三類兩個重復(fù)節(jié)點的上下游節(jié)點數(shù)據(jù)均小于5，數(shù)據(jù)修復(fù)方法為刪除兩個重復(fù)點所在鏈路的所有節(jié)點以及與節(jié)點連接的管道。

2.2外圍框線點異常質(zhì)檢修復(fù)

在管網(wǎng)探測工作中，有時會出現(xiàn)普查人員將井室輪廓線、化糞池輪廓線等范圍線錯誤地使用實際管線進(jìn)行表示的情況［18］。這種外圍框線點（3個點以上，多為4個點）并不是真實存在的管點、管線，且會導(dǎo)致數(shù)字化管網(wǎng)的拓?fù)潢P(guān)系與實際不一致，對數(shù)據(jù)質(zhì)量影響較大，需要進(jìn)行質(zhì)檢修復(fù)。

外圍框線點數(shù)據(jù)修復(fù)時，分為兩種情況：一種為外圍框線點不與其他任何管線點有連接關(guān)系，只是孤立的一系列環(huán)狀線，此種情況可以判定其為多余的范圍線，修復(fù)方法為將其直接刪除；另一種為外圍框線點與其他管網(wǎng)有連接關(guān)系，此種情況一般由于普查人員將多余的范圍線與實際點線搞混導(dǎo)致連接關(guān)系錯誤，修復(fù)方法為在外圍框線點的幾何中心處創(chuàng)建一個新的概化節(jié)點，將外圍框線點的連接關(guān)系轉(zhuǎn)移到所創(chuàng)建的概化節(jié)點上，刪除外圍框線點及其連接關(guān)系。

2.3多鏈路質(zhì)檢分析

在該場景中，兩個直接相連的節(jié)點還有其他的連接關(guān)系，這種情況通常是由同一地點重復(fù)或者管線錯誤連接導(dǎo)致的。圖數(shù)據(jù)庫支持對于多深度重復(fù)鏈路進(jìn)行質(zhì)檢與修復(fù)，以深度5為例，多鏈路情況分為3類。

（1） 不對流向進(jìn)行限制，兩個直接相連的節(jié)點還存在另一條或多條深度為2～5的連接關(guān)系。數(shù)據(jù)修復(fù)方法為只保留深度為1的連接鏈路，刪掉其他鏈路上的節(jié)點及其連接管線。

（2） 對同向流向進(jìn)行限制，兩個直接相連的節(jié)點，還存在另一條或多條深度為2～5的連接關(guān)系，且其流向與直接相連的鏈路流向一致。數(shù)據(jù)修復(fù)方法為只保留深度為1的連接鏈路，刪掉其他鏈路上的節(jié)點及其連接管線。

（3） 對逆向流向進(jìn)行限制，兩個直接相連的節(jié)點，還存在另一條或多條深度為2～5的連接關(guān)系，且其流向與直接相連的鏈路流向相反。此種情況下，可能為環(huán)狀管線或其他形式，一般不會單獨處理此類情況。

3工程應(yīng)用實例

3.1項目概況

以六安市為例，介紹圖數(shù)據(jù)庫質(zhì)檢分析算法的應(yīng)用情況。轉(zhuǎn)換后，圖數(shù)據(jù)庫中共計管線267 770個，其中排水管257 558個，排水渠-明渠1 950個，排水渠-暗渠8 262個；共計管點289 406個，其中井類99 923個，一般管線點26 579個，排水口1 588個，箅子69 495個，立管42 883個，化糞池1 952個，閘門11個，閥門33個，排水泵站59個，調(diào)蓄池5個，污水處理廠8個，進(jìn)水口847個，儲水設(shè)施134個，其他特征附屬物45 889個。項目數(shù)據(jù)見圖4。

3.2實驗環(huán)境配置

基于試點城市管網(wǎng)數(shù)據(jù)，對比PgSql關(guān)系型數(shù)據(jù)庫的質(zhì)檢算法與Neo4j圖數(shù)據(jù)庫的質(zhì)檢算法。實驗環(huán)境配置如表2所列。

3.3質(zhì)檢條件與分析結(jié)果

質(zhì)檢算法的運行效率及質(zhì)量依賴于管點及管道屬性數(shù)據(jù)的完整性［19］，然而在應(yīng)用城市實際的管網(wǎng)數(shù)據(jù)普查過程中，現(xiàn)場勘測條件的限制或普查人員的誤填以及漏填等情況，導(dǎo)致關(guān)鍵屬性數(shù)據(jù)存在缺失及錯誤［20］。以一般管線點為例，有492個管點的底高程數(shù)據(jù)缺失，進(jìn)而導(dǎo)致與該管點相關(guān)的管點底高程質(zhì)檢、管點與連接管線高程質(zhì)檢、管點出入流落差過大質(zhì)檢、管線埋設(shè)坡度質(zhì)檢等無法順利進(jìn)行，最終會導(dǎo)致質(zhì)檢的結(jié)果存在誤差。對于這一類數(shù)據(jù)，傳統(tǒng)的質(zhì)檢算法通常會統(tǒng)一以數(shù)據(jù)缺失將該點作為缺陷待定數(shù)據(jù)進(jìn)行返回［21］，本研究提出的圖數(shù)據(jù)技術(shù)除了標(biāo)注待定外，還會根據(jù)其連接關(guān)系的相關(guān)數(shù)據(jù)及試點城市加權(quán)參數(shù)對缺失字段進(jìn)行補充。

對于該城市26萬個管點、25萬條管線、3 000 km長管網(wǎng)的海量管網(wǎng)數(shù)據(jù)，使用Neo4j圖數(shù)據(jù)庫算法與PgSql關(guān)系型數(shù)據(jù)庫進(jìn)行質(zhì)檢，運行12個質(zhì)檢算法，共發(fā)現(xiàn)問題102 469個。基于傳統(tǒng)關(guān)系型數(shù)據(jù)庫的質(zhì)檢算法，往往幾十km的管網(wǎng)數(shù)據(jù)質(zhì)檢就需要3～5 s，數(shù)量級達(dá)到一定程度后，甚至?xí)?dǎo)致服務(wù)器卡死，而圖數(shù)據(jù)庫質(zhì)檢算法由于數(shù)據(jù)存儲結(jié)構(gòu)靈活、對復(fù)雜拓?fù)潢P(guān)系分析能力強大，僅用時9.3 s即完成該城市管網(wǎng)數(shù)據(jù)的質(zhì)檢計算，并進(jìn)行數(shù)據(jù)修改清洗與標(biāo)定。質(zhì)檢速度情況對比見表3。

該城市共804條道路/地塊，抽取約5%管網(wǎng)數(shù)據(jù)（41條道路）的質(zhì)檢結(jié)果進(jìn)行比較。圖數(shù)據(jù)算法的查全率、查準(zhǔn)率均優(yōu)于或等于關(guān)系型數(shù)據(jù)算法。選取第三方團隊對數(shù)據(jù)進(jìn)行外業(yè)復(fù)核抽檢，抽檢出的問題數(shù)作為現(xiàn)實中全部問題數(shù)；將兩種算法得到的質(zhì)檢結(jié)果反饋給原普查單位進(jìn)行人工核實，核對后的問題數(shù)作為內(nèi)業(yè)質(zhì)檢真實問題數(shù)。通過查準(zhǔn)率、查全率來評判算法的質(zhì)檢質(zhì)量，其中查準(zhǔn)率為質(zhì)檢真實問題數(shù)與算法質(zhì)檢問題總數(shù)的比例，查全率為質(zhì)檢真實問題數(shù)與全部問題數(shù)的比例。質(zhì)檢質(zhì)量情況對比見表4。由表4可知，算法質(zhì)檢的結(jié)果部分少于全部問題數(shù)，這主要是由兩個原因?qū)е碌模孩?不同的閾值會導(dǎo)致不同的質(zhì)檢結(jié)果，尤其是人工普查時也存在主觀性判斷；② 某些數(shù)據(jù)缺少屬性值，尤其是用于設(shè)置閾值的數(shù)值型屬性，算法在運行時會自動判斷為屬性缺失，進(jìn)而導(dǎo)致質(zhì)檢結(jié)果小于全部問題數(shù)。

4結(jié) 語

本文基于圖架構(gòu)對管網(wǎng)數(shù)據(jù)進(jìn)行重構(gòu)，并基于Neo4j數(shù)據(jù)庫進(jìn)行數(shù)據(jù)搭建與質(zhì)檢算法實現(xiàn)，搭建了通用化管網(wǎng)圖數(shù)據(jù)庫標(biāo)準(zhǔn)化映射路徑及高效轉(zhuǎn)換模式，并針對管點線數(shù)據(jù)的屬性、深度、業(yè)務(wù)邏輯等制定數(shù)據(jù)質(zhì)檢規(guī)則和流程，基于六安市的管網(wǎng)數(shù)據(jù)治理業(yè)務(wù)的實際應(yīng)用對算法進(jìn)行了驗證。相較于傳統(tǒng)的文本以及地理空間的關(guān)系型數(shù)據(jù)庫，本文介紹的方法從數(shù)據(jù)底層對質(zhì)檢算法進(jìn)行提升，可以更高效地實現(xiàn)拓?fù)鋸?fù)雜、數(shù)據(jù)量大、多深度管網(wǎng)數(shù)據(jù)的查詢與分析，提高質(zhì)檢效率與質(zhì)量，有效降低問題定位與數(shù)據(jù)修改成本。

參考文獻(xiàn)：

［1］徐昊旻，張強.長江大保護智慧水務(wù)實踐［J］.建設(shè)科技，2023（10）：46-49.

［2］YOUCAI H，WENBAO L.Building the estimation model of digitizing error［J］.Photogrammetric Engineering & Remote Sensing，1997，63（10）：1203-1209.

［3］嚴(yán)玉瑤.城市管網(wǎng)空間數(shù)據(jù)質(zhì)量檢查系統(tǒng)設(shè)計與實現(xiàn)［D］.北京：中國地質(zhì)大學(xué)（北京），2012.

［4］陳琪.淺論城市排水管網(wǎng)GIS系統(tǒng)的數(shù)據(jù)質(zhì)量控制［J］.給水排水工程，2010，28（1）：84-86.

［5］DEVILLERS，R，BEDARD Y，JEANSOULIN R.Multidimensional management of geospatial data quality information for its dynamic use within GIS［J］.Journal of the American Society of Photogrammetry，2005（2）：205-215

［6］秦立為.排水管網(wǎng)GIS系統(tǒng)數(shù)據(jù)質(zhì)量評價與控制［D］.上海：同濟大學(xué)，2008.

［7］WAN Y，TAN X，SHU H.Finding and evaluating community structures in spatial networks［J］.ISPRS International Journal of Geo-Information，2023，12（5）：187.

［8］BAGHER Z，REZA M M，BEHROOZ M.Chaotic memetic algorithm and its application for detecting community structure in complex networks.［J］.Chaos，2020，30（1）：013125.

［9］王克龍，王玲，王平立，等.數(shù)據(jù)倉庫中ETL技術(shù)的探討與實踐［J］.計算機應(yīng)用與軟件，2005（11）：32-33，80.

［10］董坤乾.城市供水管網(wǎng)GIS系統(tǒng)設(shè)計及數(shù)據(jù)質(zhì)量評價［D］.廣州：華南理工大學(xué)，2018.

［11］劉宇寧，范冰冰.圖數(shù)據(jù)庫發(fā)展綜述［J］.計算機系統(tǒng)應(yīng)用，2022，31（8）：1-16.

［12］楊振，萬為清.圖數(shù)據(jù)庫的研究和應(yīng)用［J］.電腦編程技巧與維護，2020（12）：91-93.

［13］解春欣.大規(guī)模圖數(shù)據(jù)庫上的模式匹配［D］.上海：復(fù)旦大學(xué)，2010.

［14］陳舒.關(guān)系數(shù)據(jù)庫中圖查詢優(yōu)化方法的研究［D］.上海：上海交通大學(xué)，2023.

［15］崔陽.基于空間數(shù)據(jù)庫的城市地下管網(wǎng)知識發(fā)現(xiàn)研究［D］.北京：首都師范大學(xué)，2006.

［16］王紅，張青青，蔡偉偉，等.基于Neo4j的領(lǐng)域本體存儲方法研究［J］.計算機應(yīng)用研究，2017，34（8）：2404-2407.

［17］李寒雪.基于Cypher的圖數(shù)據(jù)庫查詢編譯器實現(xiàn)與測試［D］.成都：電子科技大學(xué)，2022.

［18］范沖.城市地下管線數(shù)據(jù)的質(zhì)量控制探討［J］.四川測繪，2006，22（2）：31-33.

［19］賀文蓮.地質(zhì)圖空間數(shù)據(jù)庫的數(shù)據(jù)質(zhì)量保證措施［J］.華北國土資源，2012，26（1）：33-35.

［20］吳波.城市地下管網(wǎng)信息系統(tǒng)的設(shè)計與實現(xiàn)［D］.西安：西北大學(xué)，2002.

［21］秦立為.排水管網(wǎng)GIS系統(tǒng)數(shù)據(jù)質(zhì)量評價與控制［D］.上海：同濟大學(xué)，2008.

（編輯：鄭 毅）