城市排水管網GIS數據異常的檢測與修復

楊 歌，汪 維，陶 濤，信昆侖，李樹平，顏合想

(同濟大學環境科學與工程學院，上海 200092)

防治城市內澇、保障城市水環境健康、維持城市正常運行等都離不開城市排水系統良好的運營管理[1]。將地理信息系統(GIS)技術與給排水專業知識相結合，建立城市排水管網GIS系統，可以極大地提高管網基礎信息的更新維護效率，加快相關部門對管網事故的反應速度并豐富其應對措施。排水管網GIS數據庫建立和運行的各個階段均可能產生數據異常，如測量、繪圖或施工過程中的誤差導致采集到的數據本身存在異常；人工錄入、編輯處理和數據修復操作引入的數據異常；使用過程中用戶的理解不當或錯誤使用帶來的數據異常[2]。數據是貫穿于GIS系統各開發階段與組成部分的重要要素，低質量的排水管網數據可能會對排水管網的建模、運行分析及管理方案的決策等多個方面造成不良影響[3]。因此，如何精準、高效地維護和管理城市排水管網GIS數據庫，保證數據信息的完整性、準確性與系統性，是一項重要的研究課題。

國外對GIS用于排水系統的研究范圍很廣，如將GIS應用于計算排水管道的故障概率[4]、估算污水處理廠服務人口[5]、計算城市污廢水的熱量[6]等，但目前尚未有針對排水管網GIS數據異常檢測與修復的研究。國內學者則在排水管網GIS數據質量方面進行了一定的有益探索，如秦立為[3]梳理了排水管網GIS系統的常見數據異常形式和原因等，據此提出了相應的數據質量評價指標及方法。孔彥虎[7]提出了對拓撲異常、屬性缺失、圖層合并等問題的檢測和修復方法，但僅針對單個案例提出該方法，未進行系統性研究。王騰龍[8]結合案例分析了管網中的拓撲異常，在空間數據庫中編寫規則來檢測和修復數據，對人工判斷的依賴性較強。以上研究方法一般僅能識別和修正管網拓撲錯誤和部分屬性錯誤，而針對文本屬性、管徑和高程等重要數值屬性的研究甚少，尚缺乏高效可靠的檢測與修復策略。本文提出了系統性解決排水管網各類主要數據異常問題的方法，具有一定的普適性，并采用人機結合的處理方式大大降低了人工成本，為排水管網GIS數據的智能化維護與管理提供了有效的技術支撐。

1 拓撲檢測與修復

排水管網的拓撲異常包括排水節點與排水管渠的缺失和重復、管段端點或節點的位置不準確、排水管渠方向錯誤、管網始端節點與終端節點標注錯誤等。針對管段和節點的重復、孤立、缺失或位置錯誤等問題，可借助ArcGIS軟件的“拓撲”工具箱，為排水管網中的點、線、面要素建立合理的空間規則，并在錯誤檢查器中進行相應的拓撲修復[9]。而針對部分特殊的拓撲問題，可進一步采用結構化查詢語言(structured query language, SQL)在SQL Server或其他軟件中編寫查詢與修正的規則來進行檢測與修復：判斷排放口或出水口，即查詢某個管段的下游節點不為任意管段的上游節點；判斷反向管段，即判斷某個管段的起點只為其他一根或多根管段的起點，不是任意管段的終點，且它的終點只為其他一根或多根管段的終點，不是任意管段的起點。

2 文本屬性項歸類與修復

排水管網數據庫的文本屬性項主要包括排水體制、管渠材料、管理歸屬部門3類。屬性項的表述不應出現存在空值、同種類型表述方式不同、表述方式存在包含關系等錯誤。本研究基于Jaccard相似系數(Jaccard similarity coefficient)矩陣進行排水管網文本屬性項的歸類與修復。Jaccard相似系數的數學定義是集合A與集合B的交、并集大小的比值，Jaccard相似系數越大，說明兩文本間的相似度越高，從而實現文本分類[10]。基于Jaccard相似系數矩陣的排水管網屬性項半自動分類方法包括如下5個步驟。

(1) 剔除某一屬性項中的重復值，形成一組新的數據TA={da1,da2,da3,…,daN}，計算dai在原始數據TAraw中出現的概率pi，按照文本出現的概率從大到小排序，得到兩組相互對應的數據{p1,p2,p3,…,pN}和{da1,da2,da3,…,daN}。

(2) 根據Jaccard相似系數的相反數計算TA不同文本之間的1-gram距離Ji,j，如式(1)。

(1)

其中：Li——文本dai的字符個數；

Lj——文本daj的字符個數；

(3)Ji,j形成距離矩陣J，如圖1所示，Ji,j表示dai跟daj的1-gram距離。為避免重復計算，只需計算距離矩陣J的上三角數據，距離矩陣J的對角線數值全部為0。

圖1 距離矩陣

(4) 根據距離矩陣J，從da1遍歷到daN，將1-gram距離小于某一閾值的兩文本劃分為同一類別，形成分類矩陣C。對分類矩陣C進行人工調整形成C′，以確保分類準確。如圖2所示，處于矩陣C′同一行的文本為同一類別，排在前面的文本出現的頻率較大，分類矩陣的行數等于類別數目。

注：NULL為原數據中的空值；[]為矩陣長度不夠的占位空值

文本屬性項問題的處理流程如圖3所示，異常的屬性值將被修改為其可能正確的表述中與其距離“最近”的修正值，而距離“最近”通過比較1-gram距離確定。被歸為同一類的所有屬性值，將被修改為“最常見”的正確屬性值，而“最常見”通過統計各屬性項在數據集中出現的次數確定。這種方法具有無需挑選訓練集對其進行標記、人工操作簡單、維護成本低等優點。

圖3 屬性項半自動分類方法流程圖

3 管徑檢測與修復

本文提出基于規則的異常管徑修復方法，排水管網的管徑問題包括錯誤值和缺失值，處理流程如圖4所示。將明顯不在取值范圍內的錯誤管徑值修改為0，針對管徑值為0的管段進行逐個判斷填充，根據用戶自定義的一系列參數取值，結合上下游管段的實際存在情況填充缺失管徑。在程序編寫中，函數如式(2)。

圖4 管徑問題的處理流程圖

[H, ifup, tick] = GetH(t, H0set, FL_Q, ifupprior, ifdel, Nmax)

(2)

其中：t——臨時變量，表示第t根缺失管徑的管段；

H0set——缺失管徑的管段集合；

FL_Q——管段數據；

ifupprior——確定非管網始端管段管徑按上游或下游管段管徑填充的參數；

ifdel——確定管網始端管段管徑按下游管段管徑填充或直接刪除的參數；

Nmax——單根孤立管段管徑的填充值；

H——管徑填充值；

ifup——記錄返回管徑值是上游還是下游管徑的參數；

tick——記錄管段的上游或下游管段的總數。

具體輸入參數說明如表1所示，輸出參數說明如表2所示。

表1 輸入參數說明

表2 輸出參數說明

若返回的管徑值為0，說明此時管網中至少存在兩條連續的缺失管徑管道，這種情況可以通過兩次或多次填充解決。但考慮到多次填充可能帶來較大誤差，重復填充的次數不宜過多，關于管段孤立或連續管徑缺失的情況還需結合外部信息才能更好地進行填充。

4 高程檢測與修復

在一個管段分支中，排水管道的高程一般遵循從上游到下游逐漸下降且無突變的規律，基于這種規律可以識別出異常的高程值。首先對管段高程進行預處理，將明顯異常的高程值以“埋深0.7 m”為標準進行修正，以降低后續不合理檢測或修復情況的發生概率。然后整理排水管網GIS數據，構造節點索引的管段分支集合。每個分支用一個數組來表示，按從下游往上游追溯排列，分支branch[i]=[分支終端節點編號, 管段1編號, 管段2編號, …, 管段n-1編號, 管段n編號, 分支始端節點編號]，分支集合topology={branch[1], branch[2], …, branch[m-1], branch[m]}。構造這個管段分支集合的函數流程如圖5和圖6所示。

圖5 構造管段分支集合的主函數流程圖

圖6 構造管段分支的迭代函數流程圖

根據構造出的全部管段的分支集合，基于最小二乘法進行分支管段高程異常值的檢測。對每個分支上各根管段的下游(或上游)高程做直線擬合(分支管段數為兩根)或二次曲線擬合(分支管段數≥3根)，并做出曲線的50%置信區間，超出置信區間的管段上游和下游高程被認為可能是錯誤的，需要進行標記并結合外部信息具體判斷。分支管段高程處理方法實現的流程如圖7所示。

圖7 分支高程異常檢測流程圖

分支高程修復結束后，還需要對各分支連接處的高程進行檢測。若多通節點處有上游管段下游管底標高≤(下游管段上游管底最小標高-上游管段直徑)，則認為管段高程可能有誤。若檢查井處不滿足井底標高≤下游管段上游管底標高或井底標高≤上游管段下游管底標高，則認為檢查井井底標高可能有誤。

5 程序開發

Matlab具有強大的數據處理能力，適應于排水管網數據量大且復雜的特點，因此，本研究根據上述方法，在Matlab的GUIDE中編寫交互界面，開發排水管網異常數據檢測與修復程序，從而實現人機結合的數據異常處理策略。該程序包括4個界面，如圖8所示。界面一是主界面，用于讀取GIS數據、保存GIS數據中的列信息、將修改后的GIS數據寫入新的GIS文件中，由用戶輸入管段編號等數據的所在列，方便程序讀取。界面二是排水管網屬性項歸類與分析界面，由用戶輸入屬性數據表名及待分析屬性所在列，程序可計算并展示出該屬性所有獨立文本出現的次數及分類矩陣，用戶可根據經驗進行人工調整并據此進行修復。界面三是管徑異常值檢測與修復界面，由用戶輸入管徑所在列，程序可計算并展示出管徑所有值出現的次數，用戶可將明顯異常的管徑修改為0，程序可根據用戶設定的參數返回相應的管徑修正參考值。界面四是檢測和修復管段高程界面，由用戶輸入相應高程所在列，將高出地面的管段高程和埋深過大的高程修改為埋深0.7 m，接下來可以對所有分支進行曲線擬合，識別異常高程，并將曲線上的點作為異常高程的推薦修改值。程序可以將異常的上下游高程及推薦值在界面的表格中展示，用戶可根據經驗判斷修正表格中的高程推薦值，據此修復GIS數據。

圖8 排水管網異常數據檢測與修復的程序界面

6 工程案例分析

以ZH市部分區域的排水管網GIS數據作為工程案例的研究對象。評估范圍內有排水管道共1 969.77 km，排水溝渠共505.01 km。對原始數據進行預處理，用節點索引的分支管段拓撲結構表示法構造管網的管段分支集合和特殊節點集合，簡化后得到排水管道共6 805個分支。異常數據檢測與修復結果如表3所示。

表3 ZH市排水管網GIS數據異常數據檢測與修復結果

將所有異常管段和節點寫入新的GIS文件，檢測與修復的結果可在ArcGIS中與原始GIS數據對比展示。如圖9所示，左側是不同類型異常的圖層列表，將異常數據分為“拓撲”“管渠尺寸”“高程”和“其他”4大類，此外可能正確的修正值也被寫入GIS文件的屬性數據庫中以供參考。

圖9 在ArcGIS中查看異常數據

7 結論

目前，我國絕大部分城市都已經建成或正在建立城市排水管網GIS數據庫，但這些數據庫往往存在著不同程度的數據質量問題。只有保證高質量的數據，才能使GIS系統真正發揮出在排水管網信息化管理和建模分析等方面的作用。本文著重研究和實現了具有一定普適性的解決排水管網各類主要數據異常問題的方法：總結了拓撲檢測的兩種實現；提出了文本屬性項的半自動分類與修復方法；實現了基于規則的上下游管徑填充法；構造了一種節點索引的分支管段拓撲結構表示法，在此基礎上實現了基于最小二乘法的分支管段高程異常檢測與修復；基于上述策略開發了具有屬性項歸類、管徑修復和高程修復功能的排水管網異常數據檢測與修復程序，實現了人機交互式的異常數據檢測與修復;最后將該方法應用到ZH市某區域排水管網GIS數據的異常檢測與修復中，驗證了方法的可行性與實用性。