規劃竣工核實數據整合優化設計與應用

崔健 田家寬張再俠趙若鵬姚國標

(1.山東建筑大學 測繪地理信息學院,山東濟南250101；2.濟南市房產測繪研究院,山東濟南250001；3.濟南市勘察測繪研究院,山東濟南250101)

0 引言

隨著經濟社會的不斷發展,我國制定了一系列關于簡政放權、創新監管、高效服務的政策措施。其中,在工程建設項目審批制度改革方面提出了具體的實施意見,明確了工程建設項目審批制度改革的內涵和外延,重點對建筑工程領域內涉及到相關行政審批的測繪服務內容全面推行“多測合一”新作業模式,實現“一次委托、統一測繪、成果共享”[1-2]。由一家具備相應測繪資質的測繪服務機構承擔起規劃竣工核實、房產測量以及地籍測繪等全流程測繪服務,避免在測繪過程中的交叉作業,其最終目的是降低測繪成本,為建設單位減輕負擔,同時提高測繪工作的服務效能。

長期以來,由于規劃竣工核實、房產測量和地籍測繪等工作涉及的數據類型、來源、時間節點等要素不同,以及數據處理復雜,入庫標準不統一等原因,相關數據管理部門沒有及時、規范、有效地整合建筑工程項目審批驗收所涉及的測繪數據,導致數據存在海量與異構的特性,這勢必成為“多測合一”推行過程中新舊數據整合管理的障礙。如何解決歷史數據在整合管理方面存在的問題,將海量異構數據資源進行快速整合,實現新舊數據的有效整合管理,對“多測合一”新模式真正落地實施至關重要[3-7]。

文章以規劃竣工核實工作為例,針對建筑工程規劃竣工核實數據不規范、數據處理過程繁瑣、入庫效率低下等問題,通過對相關歷史數據深入分析,結合ModelBuilder建模、ArcEngine二次開發等技術,提出了一套高效的數據整合方法,實現了規劃竣工核實數據批量處理、轉換,以及多格式數據的快速讀取、高效率入庫,為實現“多測合一”新模式下規劃竣工核實、房產測量以及地籍測繪等工作產生的海量異構數據自動化整合提供了技術支持。

1 規劃竣工核實數據整合流程

1.1 現狀數據分析

建筑工程規劃竣工核實是對建筑工程的建設情況是否與建設工程規劃許可證及附件、附圖相符的一項核實工作。其作為“多測合一”的重要內容之一,數據的規范化整合與入庫,對于下一步“多測合一”管理平臺數據庫的建設和管理具有重要意義,不僅能夠提高測繪部門處理現狀地理信息數據的準確度和工作效率,更能夠為“多測合一”中的房產測量和地籍測繪工作的歷史數據整合提供一定的技術支持。

文章對某單位2008—2018年共計1 200個已完成的建設工程規劃竣工核實項目數據進行分析,其數據來源見表1。主要包括城市規劃部門的建設工程規劃許可證、CAD圖件、相關規劃文本說明書,以及其他具有說明作用的輔助性數據；測繪部門的竣工測量數據,包括竣工測量總平面圖、立面圖、成果報表等內容[8-9]。

表1 規劃竣工核實測量成果數據來源表

通過分析,以上數據存在以下3個方面的問題:

(1)數據體量大、內容復雜 規劃竣工核實包括的內容眾多,同時隨著事件的不斷推移,數據的不斷累積,使得數據體量不斷增大,為了使歷史數據得到有效管理,若采用常規方法需要消耗大量的人力物力去整合；

(2)數據類型多,處理困難 隨著測量工作中測量技術的不斷豐富、標準的不斷更新,所獲得的數據格式也因此持續增加,數據類型也復雜多樣,尤其是較為久遠的歷史數據,給數據的整合和共享帶來了很大的困難；

(3)數據時間跨度大,標準不統一 由于規劃竣工核實歷史數據來源、時間節點和數據標準的不同,在空間幾何信息、數據結構和屬性表達上會存在差異。

1.2 技術流程

通過現狀數據分析,針對存在的問題,文章在深入研究數據整合常規方法的基礎上,結合 Model Builder建模和ArcEngine二次開發技術,設計規劃竣工核實數據整合優化方法,其技術流程如圖1所示。主要包括:(1)通過AutoCAD、Office等軟件對規劃竣工核實所涉及的多源數據進行數據檢查,規范數據格式；(2)通過ModelBuilder建模技術建立批量處理模型,實現數據的批量處理；(3)通過ArcEngine二次開發技術構建多源數據入庫軟件,實現多源數據的批量入庫；(4)在竣工核實數據管理平臺中完成數據整合的質量檢核。

圖1 規劃竣工核實數據整合技術流程圖

2 規劃竣工核實數據整合優化方法設計

2.1 數據準備

(1)圖形數據復核

通過AutoCAD對竣工核實數據中的建筑工程總平面竣工圖、立面圖等原始空間數據的精度、現實性和完整性進行檢查,保證數據的準確性。

(2)屬性數據核查

通過Office軟件、圖片查看器以及PDF閱讀器對規劃竣工核實數據中的規劃許可證信息、竣工工程項目信息及規劃建筑單體信息等屬性數據進行檢查,檢查數據是否存在不符合數據規范、材料不齊全等問題,并對錯誤數據進行符合規定的補漏、處理,保證數據的準確性。

(3)規范數據格式

數據入庫的自動化程度,取決于數據格式的規范化程度,為了避免數據重復錄入、提高規劃竣工核實數據的整合效率,針對屬性數據特點,將規劃竣工核實屬性數據集按照該數據存儲模板格式保存,為數據自動化入庫奠定基礎。

2.2 基于ModelBuilder建模技術的數據批量處理

由于規劃竣工核實測量數據來源多樣,數據格式不同,數據的坐標以及要素類型等未得到有效的統一,尤其是在2018年全面完成其它坐標系向國家大地坐標系CGCS2000的轉換工作以前,數據在空間幾何信息、數據結構和屬性表達上會存在差異[10-11]。而為了完成數據的整合與共享,所有數據的格式、坐標類型、要素類型等內容是完全統一的,所以,在數據整合錄入系統之前,要對數據進行格式、要素類型和坐標系統的轉換[12]。

常規方法的操作流程如下:

(1)數據格式轉換 規劃竣工核實測量成果中的空間數據為CAD格式,為了滿足數據整合、共享的需求,需要將數據進行有效的處理并轉換為GIS的數據格式。

(2)要素類型轉換 在二維GIS中,要素類型主要分為點、線、面3類要素[13],但原CAD數據為線狀圖形,不同的要素類型具有不同的實體表達,所以要對原始數據中關于建筑物、地下車庫等線狀要素轉化為面狀要素保存,將項目范圍線要素予以保留,并提取項目中心點。

(3)坐標系轉換 借助GIS技術,對坐標系存在差異的數據進行合理的分析與處理。

常規方法雖然可以完成數據的處理工作,但是由于歷史數據的累積,數據處理過程復雜繁瑣,工作人員面對海量的規劃竣工核實測量數據資源,在數據處理過程中每一步操作都需要人工干預,不僅會降低生產效率、提高生產成本,而且更容易產生錯漏問題。文章結合 ArcGIS平臺提供的 ModelBuilder建模技術,設計了數據批量處理模型,解決了常規處理方法所產生的問題。

2.2.1 數據批量處理流程

ModelBuilder是ArcGIS提供的用于構建空間數據處理工作流和腳本的可視化模型構建器[14-16]。利用 ModelBuilder技術,把ArcToolbox中已有工具及Python擴展的腳本工具中大量的通用性操作步驟集合到一個模型工具中,將會大大提高工作效率。通過對規劃竣工核實數據常規處理過程的梳理分析,結合ArcToolbox工具箱提供的處理工具,設計數據批量處理流程,如圖2所示。

圖2 數據批量處理流程圖

2.2.2 數據批量處理模型構建

在數據批量處理流程設計完成后,結合ModelBuilder的特性及ArcMap工具箱所提供的工具進行模型構建。數據批量處理模型構建主要分為以下幾步:

(1)通過“CADToGeodatabase”工具將 CAD要素復制到地理數據庫要素。

(2)通過“迭代要素類”工具,將導入的要素數據集中的線要素作為輸入要素,輸出的要素類作為下一步的輸入要素,輸出的名稱作為其他工具的行內變量。

(3)通過“Select選擇”工具,將上一步輸出的名稱作為行內變量進行篩選,分別將建筑物線要素、地下車庫線要素以及項目范圍線要素分別篩選出來,并通過“FeatureToPolygon”工具,分別將建筑物線要素和地下車庫線要素轉換為對應的面要素。

(4)最后通過“Transform轉換”工具,對各要素類進行坐標變換,轉換為CGCS2000坐標系下的要素,完成數據處理。

數據批量處理模型流程如圖3所示。

圖3 自動化數據批量處理模型流程簡圖

數據批量處理模型的構建實現了CAD格式數據向GIS格式數據的轉化、要素類型的轉換以及空間坐標系的統一等過程的自動化處理,解決了實際工作中數據處理的低效率、反復操作等問題,將大量的機械性操作集合到一個模型中,工作人員只需這一個工具即可完成數據處理的全部過程,可大大提高工作效率。

2.3 基于ArcEngine二次開發技術的多源數據批量入庫

為了確保規劃竣工核實數據能夠為地理信息產業提供數據支撐,提高數據的再利用價值,需要將規范化模板中的屬性數據與數據處理后的shp矢量數據掛接,導入到同一數據庫中進行管理。常規入庫方法即多窗口信息逐項填寫保存,如圖4所示。

圖4 常規數據入庫界面圖

雖然常規入庫方法可以實現數據錄入、存儲、管理,但是在錄入數據時需要大量的人工操作,這使得規劃竣工核實測量數據入庫過程復雜繁瑣,而且人為反復調取數據很難保證數據錄入準確性,勢必會造成信息錯誤。結合ArcEngine、NPOI技術,通過二次開發編程實現多源數據的批量入庫。

2.3.1 多源數據批量入庫程序設計

針對規劃竣工核實數據入庫中存在的問題,為了保證空間數據與屬性數據的無誤掛接,提高工作效率,實現成果數據的批量自動化導入,結合GIS二次開發技術,數據批量入庫,設計流程如圖5所示。

圖5 入庫方案設計流程圖

2.3.2 關鍵技術

根據數據整合現狀需求,結合數據入庫方案設計流程,利用 ArcEngine組件及 ArcSDE技術,在.NET開發環境中,使用 C#開發語言,結合 SQL Server 2012數據庫,設計了規劃竣工核實成果數據入庫輔助系統。其關鍵步驟實現如下:

(1)多源數據讀取 NPOI是一套能夠幫助開發者在沒有安裝微軟Office的情況下讀寫Office文件的.NET類庫[17-18],通過開源組件NPOI提供的接口與方法進行開發,可對規范化存儲模板的信息進行快速識別與讀取。同時,采用 AE提供的IQueryFilter接口讀取Shapefile數據,查詢Shapefile數據的空間幾何信息和唯一標識符信息,為導入Feature Class做準備。

(2)數據庫連接 ArcSDE作為對SQL Server數據庫進行交互的空間數據引擎[19],在數據讀取完成后,針對Shape空間數據,通過ArcSDE連接數據庫為后續空間數據批量導入奠定基礎。而面對屬性數據則采用SQL server直連的方式進行數據庫連接。

(3)數據批量導入 在數據導入過程中,用IFeatureClass.CreateFeatureBuffer方法無法實現存在空值字段的空間要素數據的保存。將需要存儲的數據以唯一標識符信息為依據,將空間數據與屬性數據統一放入到游標中,等待數據存儲完整后通過觸發器一并導入數據庫中。

批量數據入庫程序的構建解決了人工錄入過程中工作量巨大、準確性低、效率低等問題,實現了對多源數據自動化識別、讀取、入庫及掛接等過程的自動化處理,提高了工作效率。

2.4 質量檢查

規劃竣工核實測量數據整合是保證歷史數據能夠得到有效利用,其整合質量檢查主要取決于其數據的準確性和完整性[20-21]。檢查方式主要從以下3個方面進行:

(1)圖屬一致性檢查,即主要檢查圖形的空間形態與原始數據是否一致；

Simulation on Trunk-Branch Route Network for Ports Sharing Berth Resources……

(2)屬性一致性檢查,即主要檢查數據本身的屬性是否完整、正確；

(3)文件完整性檢查,即主要檢查提交的文件材料是否完整。

3 規劃竣工核實數據整合應用實例

為了驗證設計的規劃竣工核實數據整合方法的可行性,對已完成的建設工程規劃竣工核實項目成果數據進行實例應用。

(1)數據準備

通過AutoCAD對規劃竣工總平面圖中圖形信息的完整性與準確性進行檢查。同時,將需要整合入庫的建筑圖層、地下車庫圖層以及項目范圍邊界圖層,分別規范命名為LZ、CK、KZX。針對成果屬性信息,通過word、excel、圖片查看器、pdf閱讀器對每個項目成果屬性信息的完整性與準確性進行檢查,并將需要單獨入庫的數據存放在制定的數據存儲模板中。

(2)數據批量處理

將規范好的規劃竣工總平面圖加載到構建的數據處理模型工具中,如圖6所示。設置好數據輸出路徑,點擊確認即可完成格式轉換、要素類型轉換以及坐標系轉換等工作。

圖6 數據批量處理模塊界面圖

(3)數據批量入庫

數據自動入庫工具界面如圖7所示。分別選擇數據準備階段準備好的數據存儲模板(Excel表格)與數據處理階段生成的shp數據,點擊導入即刻完成多元數據的讀取、導入及掛接等工作。

圖7 數據批量入庫模塊界面圖

(4)質量檢查

在規劃竣工核實數據管理系統中對圖屬性一致性、圖層內屬性和文件完整性進行檢查即可科學、嚴謹的完成整個項目的數據整合工作。

利用文章的方法與常用方法進行數據整合效率對比,結果如圖8所示。應用結果表明,通過此方法進行規劃竣工核實數據批量整合,可以大大縮減入庫時長,減少操作流程,提高入庫效率,保證入庫質量,同時也增加了數據管理的安全性與精確性,并且隨著數據量的增加,優勢更為明顯。

圖8 數據整合效率對比圖

4 結語

全面推行“多測合一”對測繪地理信息行業而言,既是機遇又是挑戰。如何在“多測合一”背景下,打破傳統作業模式間的壁壘,完善規范制度,有效解決長期存在于規劃竣工核實、房產測量以及地籍測繪等工作生產數據中的問題,對推動“一次委托、統一測繪、成果共享”模式有效落地實施至關重要。文章結合規劃竣工核實測繪工作,針對海量異構數據無法高效整合應用的問題,深入分析原因,利用Model Builder建模技術、ArcEngine二次開發等技術,提出了一套完整、高效、規范的數據整合方法。實例應用表明,該方法實現了數據整合的自動化和規范化,有效地提高了數據整合工作效率,減輕了建設單位負擔,產生了巨大的經濟和社會效益,并得到了生產和組織單位的認同和推廣,對“多測合一”規劃竣工核實、房產測量、地籍測繪數據的長效管理具有重要推動作用。