基于FME的地下管網數據轉換及質量控制研究

李才，楊喆

(1.長江空間信息技術工程有限公司(武漢)，湖北 武漢 430010；2.湖北省水利信息感知與大數據工程技術研究中心，湖北 武漢 430010)

1 研究背景

城市地下管線是城市的生命線，目前我國地下管線的普查、修復已進入全面覆蓋階段[1]。當前各省對管線數據成果并沒有做強制性統一，大部分省份的成果要求為CAD格式的管線圖形數據及mdb格式的表格屬性數據。管線數據的分析及管理應用，需要圖形與屬性相關聯的數據存儲方式，且管線的分析應用需要進入基于地理信息系統(GIS)的管網管理系統中才能實現。這就要求管線數據必須進入GIS空間數據庫，方能滿足后續管線管理、規劃設計等后續應用[1，2]。

GIS空間數據既包含圖形數據又包含屬性數據，可以快速直觀查看管網的位置分布，通過屬性定位相應圖形并查看圖形的具體屬性信息。而當前我國各省的存量及要求提交的地下管線成果數據，其數據的格式都不是空間GIS數據格式，無法直接入空間數據庫，因此必須將成果表格數據轉化為圖屬統一的空間數據[3]。

鑒于當前許多管線前期數據處理軟件基本是基于CAD的二次開發，生成的數據成果仍以表格與CAD數據為主，大部分前期處理軟件都沒有導出為空間數據格式的功能。同時因國家規范對管線成果表的格式并沒有做強制統一要求，導致實際工程中的管線成果表內容相近但結構不同，已有管網數據處理軟件無法滿足多樣化的格式轉換需求。開發數據轉換程序固然可以，但該方法耗時耗力，且各地的管線屬性數據字段及格式要求不統一，定制化的軟件無法達到通用化的效果，很難基于一個程序滿足各種項目的需要[4]。

因地下管線種類繁多，埋設方式復雜、外業普查環境惡劣，現場情況需草圖記錄等各種原因，內業工作容易產生錄入錯誤、類型選擇錯誤等各類問題，導致數據質量無法保證，無法快速生成質量較好的原始普查數據。且目前已有的數據質檢軟件多應用于數據整理后期的成果數據質量檢查，較少有前期數據整理階段的質量控制軟件。且定制開發的軟件同樣不能普適于所有項目，因此在數據入庫前的階段，必須做質量控制。如何快速、方便地、且無須大量開發編碼實現普適性的管線數據的質量控制，是當下所需解決的問題。

本文基于FME轉換管線數據格式的方法，在數據轉換模型以及轉換模型中的質量控制參數設置等方面進行了初步探索和研究，意在為地下管線順利入庫及后續應用提供參考和借鑒。

2 地下管網數據解析及FME簡述

2.1 地下管線數據解析

目前各省提交的地下管線的表格數據通常為管點表、管線表以及附屬設施表數據，其中管點屬性主要包括：管點編號、平面坐標、地面高程、特征、附屬物以及管井詳細信息等。管線段屬性主要包括管線編號、起點點號、終點點號、起點埋深、終點埋深、起始管頂高、終止管頂高、起始管底高、終止管底高、材質、埋設方式等管線信息[5]。

在空間數據庫中管網數據需以點要素、線要素、面要素的形式單獨分層存儲與表達。各省管網數據庫的庫表結構未統一，但管網信息的主要屬性必須包含在內。以《城市地下管線探測技術規程》(CJJ 61-2017)為例，該規程詳細規定了數據庫表的數據列以及數據結構。數據庫結構對每個字段的字段類型、字段長度、小數點位數、完整性約束以及數值單位等都做了詳細要求[6]。管點屬性包括井底高程、井底埋深、井蓋類型、井蓋規格、井蓋材質、井室材質、井室類型、井脖深、井脖尺寸、井深、井室尺寸、權屬單位、建設日期、偏心井位、旋轉角度、所在位置、探測日期、探測單位、要素編碼、備注。管線屬性包括線型、管徑、建設日期、權屬單位、壓力、電纜條數、總孔數、已用孔數、使用狀況、流向、所在道路、備注[6～8]。

這些屬性值中有些是物探量測及普查值，有些是計算生成值。物探量測普查值主要包括：物探點的X、Y坐標值、地面高程、埋深、特征、附屬物、井蓋形狀、井蓋材質等是普查探測值，而管線編號、起始管頂高、終止管頂高、起始管底高、終止管底高、井底埋深、井深等是計算生成值。如：管點數據中，起始管頂高=地面高程-埋深、井底高程=地面高程-井底埋深、井深=井脖深+井室深等。對于探測及普查原始值，要求其錄入值、數據格式及數據類型必須正確，對于生成值，可使用取值定義、邏輯關系計算用軟件得出，其邏輯關系必須正確[9]。在實際生產中，經常會遇到手誤等作業員個人原因造成的原始輸入值有誤，因此如何快速對該類數據的質量進行控制是非常必要的[10]。

2.2 FME簡述

FME(全稱Feature Manipulate Engine)，是加拿大公司Safe Software公司開發的空間數據轉換處理系統，專門用于數據讀寫、存儲、轉換，支持350多種空間/非空間數據格式的讀取和寫出，內置400+種不同功能的數據處理轉換器(transformer)進行數據處理。用戶可根據不同需求，快速定制FME數據轉換流程，實現自動化數據處理及質量控制[11]。

FME Data Inspector支持數據的展示、瀏覽以及數據的初步檢查，屬性數據查閱等功能，在此軟件中完成數據的預覽及準備工作。FME Workbench是主要的數據轉換操作窗口，在Workbench中讀取數據，通過選擇FME內置的轉換器，選擇相應的轉換器，并設置一定的參數，進行模型的構建，最近進行模型的運行及結果的查看[12]。

FME在無須編程的條件下，實現數據的處理、格式轉換及質量檢查及控制，同時根據不同省份的數據標準自定義模型，可進行批量操作，自適應各類數據，在管網數據的處理與質量控制中起到較大的作用。

3 數據轉換模型及質量控制關鍵技術

3.1 主要技術路線

針對上述管線數據特征，本文重點從探測記錄表到管點、管線可入庫數據的規則定義質量控制模型，以及管點、管線數據表到GIS矢量空間數據的數據格式轉換模型等方面開展研究。

針對獲得的外業數據，基于FME讀取原始探測記錄表格，查看原始數據的數據格式及各字段的數據類型等是否符合要求，然后將原始探測量測記錄值通過轉換模型定義字段類型及數值等，獲得符合要求的管點管線數據庫表，并生成shape格式的圖屬統一的矢量文件，同時在處理過程中控制數據的質量及格式要求，獲得可直接使用的GIS數據。主要處理思路：首先將管點和管線的記錄表格通過轉換模型轉換為具有坐標值的管點數據表和管線數據表，然后將其轉換為GIS矢量數據格式進行輸出；其如圖1所示：

圖1 主要技術流程圖

3.2 數據格式轉換模型

FME中提供的數據轉換模型有很多，可以將管點、管線表格生成管網矢量數據的模型也很多，其中管點數據轉換模型較簡單，使用“創建節點”生成管點矢量文件即可。

設計的管網數據表文件轉換為GIS可入庫的文件的轉換模型流程如圖2所示：

圖2 管網數據轉換模型流程

該模型主要使用了“生成節點”“要素合并”等轉換模型，“要素合并”轉換模型中重點設置合并關鍵字段，輸出參數設置，同時在每個模型中定義相應屬性，進行質量控制，以獲得正確的成果文件。

FME Workbench模型構建器中建立的數據轉換模型如圖3所示。首先將管點表文件使用“生成節點”轉換器轉換為節點，并輸出為管點空間矢量數據文件。同時使用“要素合并”轉換器，將管點表的點坐標信息賦給線表中各線段的起點。然后再次使用“要素合并”轉換器，將點表的坐標信息賦給線表中各線段的終點。要素合并完成后，即可生成節點，最后輸出為GIS格式的管線文件，并在輸出文件屬性中執行質量控制[13]。

管線轉換模型可以有多種方式，各模型的數據轉換流程不同，其數據冗余度不同，轉換效率也不同。如常規使用圖4轉換模型2所示流程：將起點、終點坐標分別合并屬性，分別生成節點，然后使用線連接轉換器將起點與終點連接，最后生成管線矢量文件。

本文所選用的圖3的轉換模型1的關鍵技術在于兩次利用要素合并轉換器，以及第二次要素合并時的數據提供者和獲取者的選擇，首次使用要素合并轉換器將起點的空間坐標信息關聯進來，第二次使用要素合并時，將合并成功的數據作為第二次要素合并時的獲取者，將已使用的數據提供者與未使用的數據提供者共同作為第二次要素合并的數據提供者，最后將合并的結果再使用生成節點工具將數據轉換為空間圖形數據，最后輸出為管線空間矢量數據。該轉換模型使用最少量的轉換器，減少數據流轉步驟，減少冗余度，提高了數據轉換時的內存消耗，與圖4的轉換流程相比，大大提高了數據轉換效率。

圖3 數據轉換及質量控制模型1

圖4 數據轉換及質量控制模型2

3.3 質量控制模型構建

在進行模型定制時，將質量控制融入模型定義中，主要質量控制方法包括屬性列定義、屬性值填充，屬性值閾值限值，屬性邏輯正確性控制等，在進行這些操作過程中即完成了數據的質量控制。

(1)屬性列定義

屬性列定義時，指定該字段的字段類型、長度等數據結構。使用“插入行”功能增加屬性字段，將數據庫表要求的字段列補充完整，并指定數據類型，或者將已有數據列的數據類型指定為要求的數據結構，則輸出的數據表即直接轉換為指定的數據類型，在此過程中，無論原始輸入數據的數據類型是否為要求的數據類型，FME都會自動將數據類型轉換為指定的類型。

(2)屬性值填充

進行屬性值填充，FME中提供了多種屬性編輯工具，包括指定原有屬性列，文本編輯器、數據運算編輯器、幾何計算器、條件表達式，其他用戶參數、空值以及清空值等工具。使用各種屬性編輯工具，將管線數據的數據值填充[14]。如：使用文本編輯器填充管線編號：管線編號=“line_起點點號_終點點號”，如圖5所示。或者如“探測單位”“權屬單位”賦相應的文本內容。

圖5 FME屬性值填充界面

(3)特定條件屬性填充及邏輯關系質量控制

根據管網要素的不同填充不同的屬性值，且管網數據的各字段間的屬性是具有相應的邏輯關系。同一類屬性填充同一值。不同字段列之間存在一定的邏輯關系，即有條件的屬性填充。根據相應的邏輯關系，通過FME的屬性字段填充規則來進行質量的控制。

①特定條件屬性填充具體表現如下所述：

當管網為排水管網時，“埋設方式”賦值為管溝。

當“井蓋尺寸”值為長×寬時，“井蓋類型”值應填充為“方”，當“井蓋尺寸”為非空的單一值，則“井蓋類型”值應填充為“圓”。如圖6所示。

圖6 特定條件的屬性填充

②根據邏輯關系賦值：

如：當附屬物為各類井、手孔、人孔、雨篦、污篦等明顯點時，“井底高程”屬性值為必填，且“井底高程=地面高程-井底埋深”。使用FME的條件定義：在“井底高程”列設置條件：如果字段“附屬物”以“井”字結尾，或包含“篦”或包含“孔”字時，則字段“井底高程”值等于“地面高程”減去“井底埋深”。

FME會自動將輸入的條件轉換為語義模型，如圖7所示。

圖7 FME條件語句界面

If @Value(附屬物)ENDS_WITH" "OR @Value(附屬物)CONTAINS "孔"OR@Value(附屬物)CONTAINS "篦"，

@Value(地面高程)-@Value(井底埋深)

Else Null

“要素編碼”字段列，要素的編碼值與附屬物以及特征的值是相關的，必須遵照規程規范來填充，舉例：當排水管網的附屬物為“雨水井”時，則“要素編碼”為2012205，按照條件語句給相應的附屬物填充要素編碼。

當“埋設方式”為“管溝”時，應填寫“起始管底高程”和“終止管底高程”，“起始管頂高程”和“終止管頂高程”為空。其他埋設方式時則相反。起始管底高程=地面高程-起點埋深，終止管底高程=地面高程-終點埋深[15，16]。

以上所舉的各種有條件的屬性值填充可直接在FME中定義，則生成的文件屬性會自動按所定義輸出，其屬性質量在生成時即得到了控制。

4 實踐應用與驗證

本文使用市政地下管網數據的排水數據做應用實踐，用輸水數據做驗證。市政地下管線為綜合管線，包含排水、給水、電力、通信、燃氣、熱力以及綜合管道七大類，并根據具體亞類分為14類管網數據。轉換模型可以批量應用于14個數據，大大節約了處理效率。下面我們用排水管線數據做實踐。

4.1 關鍵步驟

(1)讀取數據

在FMEworkbench中使用讀模塊及寫模塊進行數據的讀取，將Accessmdb數據讀取，并參照所需的數據屬性類型定義暴露的數據文件類型。當Access中有多個表時，可勾選多個所需處理的表格。讀取SSGD、SSGX兩個表格，數據讀取后，點擊數據設置，設置數據讀取的內容，指定讀取的表格字段，僅勾選需要的字段可提高數據的讀取效率，減少內存消耗，并剔除不必要數據，減少出錯率。

(2)管點空間文件生成及質量控制

①創建節點

使用“VertexCreator”轉換器，將表中的坐標值附加到相應的幾何圖形上，或將已有圖形替換為節點圖形。設置參數：模式選擇Add Point；在X、Y、Z值中分別選擇相應的字段。需要注意的是很多外業數據的坐標值X，Y和內業的坐標系是相反存儲，在生成點文件時要對調一下。

②輸出管點空間數據文件

使用“Add Writer”轉換器，并設置輸出文件類型為ESRI shapefile，定義輸出路徑及坐標系統。編輯輸出點文件參數：包括定義輸出路徑，坐標系統，字符編碼、幾何索引、日期格式等詳細參數。定義輸出數據參數：定義輸出文件名稱，幾何類型，并定義輸出數據的幾何維數。

在“用戶屬性”欄中定義所使用的屬性列的參數，并在此進行參數質量控制設置：

直接定義輸出的字段列，如果原mdb表中無數據列，可在此添加數據列，并定義輸出值，如果原mdb表中數據類型有誤，可在此直接轉換為正確的數據類型及數據寬度，精度等，可使用多種方法定義輸出值，使得生成的幾何文件的值滿足所需的格式。

由此可見，在生成數據的同時，進行了數據的質量控制，將原始數據類型、數據值不合要求的直接在輸出時通過定義數據值及格式等糾正過來。

(3)屬性合并

①通過“要素合并”(“FeatureMerger Parameter”)轉換器，關聯管點表與管線表的屬性。通過管點的點號將點表中的位置信息合并到線表中，關聯字段中選擇獲取文件與提供文件的字段名稱。

設置“起點點號”與“管點編號”作為需求列與提供列，設置要素合并類型為：Geometry，如圖8所示參數設置。

圖8 FME中屬性合并參數設置

②然后再次運用“要素合并”轉換器進行屬性合并：將起點合并結果中合并成功的要素行作為獲取者，將已用的提供者及未使用提供者再次作為提供者，在此進行合并，并設置要素合并的參數。設置終點點號作為需求列，管點編號作為提供列，進行屬性合并。

合并后的文件中起點坐標及終點坐標均已關聯成功。

(4)管線空間數據文件生成及質量控制

管線矢量文件生成同樣首先使用“創建節點”轉換器，在“用戶屬性”欄中定義所使用的屬性列的參數，并在此進行參數質量控制：定義輸出字段的數據類型，字段長度、精度、數值等。設置方法同管點的質量控制方法，如：定義管線編號為line_起點點號_終點點號。在管線編號的取值中點擊文本編輯器中，輸入line_，然后雙擊FME要素屬性列表中的起點點號，再輸入“_”，然后雙擊終點點號，點擊確定即可。

定義輸出管線空間數據參數后，從FME的字段的顏色也可以看出，字段的變化情況：如綠色的是原始字段，粉色的是新增字段，灰色是未設置字段，如圖9所示。

圖9 FME中輸出管網文件的字段顏色

最后編輯輸出文件夾及輸出數據類型等，方法同管點文件輸出設置。

4.2 模型運行及驗證

使用輸水管線的外業數據進行驗證，運行FME定義的轉換模型，得到shape文件結果。將生成的文件導入已有的管網數據質量檢查軟件系統進行質量檢查，得到數據類型、精度、邏輯關系、完整性等屬性檢查一次性通過質檢的結果。

5 結 語

基于FME豐富的轉換器、海量的數據格式支持，多參數定義及配置，設計數據轉換模型及參數設置，可方便地實現各種數據的轉換，同時支持批量處理轉換數據，在無代碼的前提下提高了數據處理效率。本實踐為更多的管線數據的快速轉換及質量控制提供了思路，同時加快了數據處理效率，可在類似的數據轉換及質量控制項目中推廣。