不動產歷史數據整理及入庫方案探討

史衛杰，顏敏

(1.山東省第四地質礦產勘查院，山東 濰坊 261021；2.濟南市房產測繪研究院，山東 濟南 250002)

技術方法

不動產歷史數據整理及入庫方案探討

史衛杰1，顏敏2

(1.山東省第四地質礦產勘查院，山東 濰坊 261021；2.濟南市房產測繪研究院，山東 濟南 250002)

針對濟南市房產測繪研究院的不動產數據入庫工作，基于CASS9.1，ETL工具與地理信息工作站EPS軟件，詳細闡述了利用3種不同手段將CAD數據轉換成ArcGIS數據的方法，并對3種手段的入庫過程和結果進行分析，通過對3種入庫手段進行橫向對比，分別總結出其各自的優勢和不足，進而為以后入庫工作進行有針對性的研究和改進，為下一步進行高效率、低錯誤率地完成歷史數據的入庫工作打下堅實的基礎和鋪墊。

房產測繪；數據整理入庫；CASS；ETL；EPS

0 引言

近年來，隨著地理信息行業的快速發展，數字房產圖已不能滿足房地產管理、產權交易及登記、城市更新等方面的應用需要，由傳統CAD格式的不動產數據(以下簡稱CAD數據)向ArcGIS格式的不動產數據(以下簡稱ArcGIS數據)轉換的需求越來越迫切。CAD數據向ArcGIS數據的轉換，通常是利用南方測繪CASS9.1軟件(以下簡稱CASS9.1)、空間數據轉換平臺(ArcGIS融合FME軟件的工具，稱為ETL工具，以下簡稱ETL)以及清華山維地理信息工作站EPS軟件(以下簡稱EPS)實現。

該文就濟南市房產測繪研究院的房產測繪數據入庫工作，依據相關國家規范[1-4]，基于CASS9.1，ETL以及EPS軟件(工具)，實現CASS數據(格式為DWG)向ArcGIS(格式為SHP)數據的整理、轉換、入庫，并對3種方案的入庫過程進行分析，為濟南市房產測繪數據入庫工作提供合理化建議。

1 三類數軟件數據轉換特點

南方CASS地形地籍成圖軟件是基于AutoCAD平臺技術的數字化測繪數據采集系統。廣泛應用于地形成圖、地籍成圖、工程測量等三大領域，且全面面向GIS，徹底打通數字化成圖系統與GIS接口，使用骨架線實時編輯、簡碼用戶化、GIS無縫接口等先進技術。自CASS軟件推出以來，已經成長成為用戶量最大、升級最快、服務最好的主流成圖系統[5-12]。

ETL工具是ArcGIS軟件融合加拿大Safe Software公司開發的空間數據轉換處理系統(FME軟件)后產生的一個工具模塊,是完整的空間ETL解決方案。具有強大的空間數據提取、轉換功能，是一套完整的訪問空間數據的解決方案，可以用于讀、寫、存儲和轉換各種空間數據，實現各類GIS及CAD格式的數據相互轉換。用戶可以根據實際需求，建立具有自身特色的空間數據處理、轉換平臺，實現不同格式數據間的互轉及數據處理。

EPS自身支持SHP，DWG格式數據的導入功能，但會丟失部分信息，失去了實用性。EPS提供了描述語言、工程模版、腳本程序等強大的功能模塊[13-14]，利用EPS的核心機制，結合數據特點，可對SHP，DWG格式數據到EPS的轉換進行定制，實現數據的無損失轉換。

2 數據的統計匯總

房產基礎測繪數據是指能夠提供與房產相關的空間定位和空間分析的基礎地理信息數據。主要由居住區(居住小區、居住組團)建筑區劃內的房產要素信息和房產項目要素信息組成，用于生成能夠全面反映房屋及其用地位置和權屬狀況的房產基礎平面圖(房產分丘平面圖)。

房產基礎測繪數據的生產，使用的是南方CASS軟件，格式為DWG。已生產的房產基礎測繪數據包括“房產日常業務委托生產的測繪數據和主動修補測工作生產的測繪數據”兩部分，數據范圍廣，現勢性好。

歷史數據均存在較多問題，主要有項目類型較多，存放較亂。在入庫前需挑選出所有需要入庫的數據，并進行匯總，以備數據入庫使用；因變更測量、同一區域測量的時間差以及每年一次的房產測繪修補測等原因而產生部分冗余數據，因此在進行數據入庫之前，也需要找出數據冗余的部分，通過分析、替換、回填等方法去除冗余；成果數據命名格式不統一：在數據預處理的過程中，將所有命名不統一的數據進行歸納、匯總，將所有需入庫的項目名稱進行統一、匯總。

3 數據整理入庫

3.1 基于CASS的數據整理入庫

濟南市房產測繪研究院自2008年開展房產測繪業務以來，一直使用CASS地形地籍成圖軟件進行計算機成圖、出圖的工作。所以，濟南市房產測繪研究院的歷史數據多數都是基于CASS軟件生產、存儲的。利用CASS軟件進行數據轉換的完整操作過程如下：

3.1.1 數據預處理

為了保證數據入庫的準確性，在入庫之前需進行以下幾方面的處理：①確保所有數據的圖層符合要求，且歸層正確；②確保所有數據均有編碼且編碼正確；③對必要的屬性進行賦值，比如房屋的結構、建筑年代，道路名稱、路寬等，屬性中的類型、長度等值保證正確；④確保所有需構幾何邏輯結構進行檢查、修改，通過“圖形屬性變換”功能和圖層操作刪除不需要入庫的短線、修飾線等，比如圍墻的短線、臺階線、地下車庫出入口的修飾線；⑤項目邊界的封裝，鑒于每一個項目的大小、復雜程度等均不一樣，一些需要構面的要素便需要進行邊界的封裝，一般以出圖的圖框內側線為界；⑥邏輯一致性檢查，檢查各圖層之間的有無重復要素，檢查多邊形要素的交叉和懸掛，檢查要素與要素之間相對關系正確與否，檢查是否存在各種不符合要求的回頭線、實體線等；⑦手動構面，利用CAD命令“BOUNDARY”進行手動構面，構面過程中尤其要注意排除孤島；⑧去制圖符號化處理，為了降低因大量數據對數據庫管理系統產生的壓力，經過檢查的數據要進行圖面去符號化處理。所有的面狀地物內只保留一個其本身填充的符號，比如面狀區域內為草坪綠化，那么整個區域內只保留一個草叢符號即可，其他面內為空的區域也需根據實際情況進行填充。

3.1.2 數據入庫前檢查

在數據預整理完成后，利用CASS9.1自帶的“檢查入庫”菜單可以對圖形一些常見錯誤比如圖層正確性、偽節點的刪除等進行檢查并修改。

3.1.3 輸出SHP文件名稱的配置

利用CASS文件安裝目錄下的索引文件“INDEX.INI”配合屬性文件“AttriBute.def”進行配置，按照需要進行CASS編碼與導出SHP要素名稱二者之間對應關系的修改。

3.1.4 CASS(DWG)數據向ArcGIS(SHP)數據的格式轉換

經過以上處理后，利用CASS9.1的“輸出ARC/INFO SHP格式”功能將此DWG文件輸出為SHP格式的數據，保存在以項目名稱命名的文件中，以備入庫整理使用。

3.1.5 屬性字段的增加和編輯

在 ArcGIS中經過屬性檢查，對所有無屬性的數據進行檢查，分析其原因，如果是人為失誤，那么重新在CASS中進行屬性表的填寫和編輯；如果是因人為構面產生的無屬性，則根據需要對屬性字段進行增加、編輯等。

3.1.6 數據入庫

以ArcGIS軟件打開以上輸出的SHP文件，經過屬性檢查、幾何修復、歸層正確性檢查、屬性表的屬性項檢查、拓撲檢查后，按要求進行數據入庫。

3.1.7 數據更新、數據接邊

嚴格按更新區域界線進行數據更新和數據接邊。

3.2 基于ETL的數據整理入庫

空間數據轉換引擎FME是由加拿大的Safe Software公司推出的一種空間數據轉換工具。利用ETL工具進行數據轉換的完整操作過程如下：

3.2.1 數據預處理

①確保所有需入庫的數據均有編碼且編碼正確；②確保所有需構面的地物按其所構成的面形成一個閉合圖形并保證不存在縫隙、斷口等；③按要求對所有需入庫的數據進行處理，通過“圖形屬性變換”功能和圖層操作刪除不需要入庫的短線、修飾線等；④項目邊界的封裝，鑒于每一個項目的面積大小、測區的復雜程度等均不一樣，一些需要構面的要素便需要認為進行邊界封裝，以備入庫后接邊；⑤將所有數據均放置在一個圖層中，比如“0”層；⑥去制圖符號化處理，具體操作同上述2.1。

3.2.2 CASS(DWG)數據向ArcGIS(SHP)數據的格式轉換

此過程需要用到ArcGIS10版本的ETL工具。具體過程如下：①在[Catalog]中找到[My Toolboxes]，右擊→[New]→[Spatial ETL Tool]；②分別按照向導設置源數據格式、目標數據格式為[Autodesk AutoCAD DWG/DXF]、[ESRI Shape]；③設計ETL工具，如圖1所示：

圖1 ETL工具設置示意圖

CASS數據(DWG格式)轉換到ArcGIS(SHP格式)數據結果如圖2所示：左側截圖為CASS原文件，右側截圖為經過轉換后的ArcGIS(SHP)文件。經過以上處理后的CASS文件，CASS中特有的編碼作為屬性值保存在屬性表里(圖3)。以此為基礎，可以進一步進行地圖符號化、數據入庫等工作。

圖2 數據轉換前后對比圖

圖3 轉換后的數據屬性表示意圖

3.2.3 數據構面

根據需要利用工具箱的相關命令對所有需構面的屬性要素進行“要素轉面”的處理，此命令要素需要構面的地物是一個封閉的多邊形且不含有斷口、縫隙，否則構面失敗。

3.2.4 數據歸層

鑒于數據轉換前所有的數據均放置在“0”層中，因此，數據轉換完成后需要將所有的數據根據屬性按照規范(標準)要求進行歸置、合并，比如：所有CASS編碼為“141101”的地物均將其移入房屋所在的圖層中。

3.2.5 屬性字段的增加和編輯

在ArcGIS中經過屬性檢查，對所有無屬性的數據進行檢查，分析其原因，如果是人為失誤，那么重新在CASS中進行屬性表的填寫和編輯；如果是因人為構面產生的無屬性，則根據需要對屬性字段進行增加、編輯等。

3.2.6 數據入庫

以ArcGIS軟件打開以上輸出的SHP文件，經過屬性檢查、幾何修復、歸層正確性檢查、屬性表的屬性項檢查、拓撲檢查后，按要求進行數據入庫。

3.2.7 數據更新、數據接邊

嚴格按更新區域界線進行數據更新和數據接邊。

3.3 基于EPS的數據整理入庫

3.3.1 利用EPS模板及腳本建庫

EPS中各要素數據以圖層的形式進行分類和管理，各圖層數據分別存儲于相應的數據庫表中。使用EPS工程模版及調入調出腳本可設置EPS數據庫中存儲房產基礎地理信息數據的數據庫表名稱、數量及數據庫表屬性字段內容和字段類型等。

調入、輸出腳本的部分代碼如下：

SSProcess.SetDataXParameter "ExportLayer"&CStr(AddOne(startIndex)),"房產界線面"“指定創建數據庫表名稱”(圖4)。

圖4 調入、輸出腳本及模板設置圖

SSProcess.SetDataXParameter "LayerRelation"&CStr(AddOne(startIndex)),"測量控制點:測量控制點::::" “指定調入、輸出數據的圖層對照關系”(圖5)。

SSProcess.SetDataXParameter "TableFieldDef"&CStr(AddOne(startIndex)),"定位基礎點,0,要素代碼,ClassCode,,byname,,dbText,10,0" “指定創建數據庫表(圖層)的字段內容”。

圖5 圖層設置圖

3.3.2 格式轉換流程圖

SHP數據與DWG數據二者基于EPS的格式轉換如圖6所示。

圖6 格式轉換流程圖

3.3.3 模版對照

EPS工程模版作為EDB文件的基礎，是一種Access文件型數據庫，全面定義了EDB文件數據結構，包括地物編碼、要素樣式、基本屬性、擴展屬性等[15-16](表1、表2、表3)。

3.3.4 歷史數據導入腳本設置

EPS腳本設置功能，可從SHP、DWG格式到EDB格式的數據在具體的工程項目中進行數據交換時，使得手工編輯處理的工作量大大減少。軟件的定制充分考慮質量要求，在定制階段即采用比對方式對交換前后的數據進行全面評估，保證數據的無損交換。調入DWG和SHP格式數據的部分代碼如下：

表1 FeatureCodeTB_500表設置

表2 FeatureCodeTB_CASSIn表設置

表3 FeatureCodeTB_mdbIn表設置

(1)調入DWG格式數據部分腳本

SSProcess.SelectFileName(1,"選擇要導入的Dwg文件",1,"AutoCAD Files (*.dwg)|*.dwg|All Files (*.*)|*.*||") “指定調入數據的格式及樣式”

SSProcess.GetSelGeoValue (i,"SSObj_LayerName")“指定調入數據的層名”

SSProcess.FindFeatureCode ("FeatureCodeTB_CASSIn", condition) “指定調入數據的編碼對照表”

SetDataXParameter "ImportPathName", filenames(i) “開始導入指定調入的數據”

(2)調入SHP格式數據部分腳本

SSProcess.SetDataXParameter "DataType", "22" 'SHP “指定調入數據的格式”

SSProcess.SetDataXParameter "FeatureCodeTBName", "FeatureCodeTB_mdbin" “指定調入數據的編碼對照表”

SSProcess.SetDataXParameter"ExportLayer"&CStr(AddOne(startIndex)),"測量控制點" “指定調入數據的層名稱”

SSProcess.SetDataXParameter"TableFieldDef"&CStr(AddOne(startIndex)),"定位基礎點,0,FeatureGUID,FeatureGUID,,GraphicGUID,,dbText,38,0" “指定調入數據的數據庫屬性表字段名稱、類型長度等字段內容”

3.3.5 轉換后的數據示意圖

(1)DWG格式數據轉換后

如圖7所示：自左至右依次為轉換前的CASS數據、轉換后的粗繪EPS數據和轉換后的詳繪EPS數據。

圖7 DWG格式轉換前后對比圖

(2)SHP格式數據轉換后

如圖8所示：自左至右依次為轉換前的SHP數據、轉換后的粗繪EPS數據和轉換后的詳繪EPS數據。

圖8 SHP格式轉換前后對比圖

4 結論

用濟南市某小區2014年的不動產數據分別基于以上3種軟件進行數據整理入庫，可以得出以下結論：

(1)CASS軟件與EPS軟件，均具有應用廣泛、簡單易學的特點，因此它們作為數據整理入庫的軟件，具有編輯性強、屬性填寫直觀等優點，而ArcGIS軟件的編輯性較差，并且數據經過轉換后，各種屬性字段的填寫遠沒有其在CASS與EPS中直觀，而數據一旦轉換完成后，再次進行屬性填寫的人員往往不是項目的一線作業人員，因此在屬性填寫的效率和準確度上都不如CASS與EPS中高。

(2)CASS9.1的“輸出ARC/INFO SHP格式”功能可以通過索引文件和屬性文件的配置，實現CASS編碼屬性至與SHP圖層名稱的一一對應，因此在數據轉換之后并不需要再次進行數據圖層的對應操作，而通過FME轉換之后的入庫則需要對SHP文件再次進行基于CASS編碼與SHP圖層之間的對應操作；而利用EPS進行輸出“SHP”數據，非但可以實現一鍵轉換，而且其效率也更高，出錯率更低。

(3)基于CASS軟件的“BOUNDARY”命令構面，操作繁瑣，尤其是在需要構面的面積較大、圖形較復雜的情況下為甚；而基于ArcGIS軟件的構面則較為智能、便捷，但是對數據的質量要求較高，一旦有縫隙或者斷口，則構面失敗，需要進行檢查且重新編輯、以便構面；基于EPS的構面功能效率則介于2個軟件之間，既沒有CASS軟件那么繁瑣，也沒有ArcGIS軟件那么便捷。

(4)在數據格式的轉換方面，ETL工具與EPS軟件的文件性操作方面都要強于CASS軟件，CASS9.1在轉換SHP格式的數據時不可對文件目錄進行編輯，而ETL工具與EPS軟件均不存在此問題。

(5)在拓撲性、邏輯性檢查、修改方面，ArcGIS軟件與EPS軟件無論是在速度上還是準確度上都比CASS軟件的優勢要明顯。

在濟南市房產測繪數據入庫的工作中，基于以上各自的優缺點，進行有針對性的開發、改進，發揚三者的優點進行入庫工作。進而實現高效率、低錯誤率地完成歷史數據的入庫工作。

[1] GB/T17986.1-2000.房產測量規范第1單元：房產測量規定[S].

[2] GB/T17986.2-2000.房產測量規范第2單元：房產圖圖式[S].

[3] GB/T20258.1-2007.1∶500 1∶1000 1∶2000 基礎地理信息要素數據字典 第1部分：1∶500 1∶1000 1∶2000基礎地理信息要素數據字典[S].

[4] GB/T20257.1-2007.1∶500 1∶1000 1∶2000國家基本比例尺地圖圖示第1部分：1∶500 1∶1000 1∶2000地形圖圖示[S].

[5] 高潔,李云玲,劉曉慶，等.CASS格式地籍數據入庫前的編輯與處理研究[J].山東國土資源,2011,27(4):56-59.

[6] 徐健元,李云玲,李靖龍.德州市德城區地籍調查數據整理入庫工作探討[J].山東國土資源,2011,27(5):39-41.

[7] 李國華,張擁軍,王琴，等.基于基礎測繪數字線劃圖成果的地理國情普查數據轉換方法研究[J].山東國土資源,2017,33(3):73-75.

[8] 王媛,基于擴展屬性的DGN數據入庫方法研究[J].測繪技術裝備,2016,(3):23-25.

[9] 徐衍波,丁肇軍,孫強,等.南方開思與MapGIS城鎮地籍一體化數據建庫探究[J].山東國土資源,2010,26(5):29-31.

[10] 李燕敏,高雅萍,劉俊,等.農村集體土地確權數據整理入庫方法探討[J].測繪,2014,37(3)：119-123.

[11] 劉秀杰,董福平.煙臺市基礎地理信息系統的建立[J].山東國土資源,2005,21(8):46-48.

[12] 周曉偉.基于CASS的全要素地形圖數據入庫方法探討[J].北京測繪,2015，(2):18-20.

[13] 楊吉明,張坤,郭雷,等.EPS2008地理信息工作站數據交換在生產中的應用[J].城市勘測，2014,(4):84-87.

[14] 琚鋒,錢強強,錢中杰.清華山維SunwayGIS與南方CASS數據轉換研究[J].地理空間信息，2011，9(3)：41-43.

[15] 覃豪杰,黃彩軍,方振華.清華山維EPS到南方CASS地形數據無損轉換研究[J].地理空間信息，2013,(3):104-105,108.

[16] 王彥紅,于海燕.淺談北京清華山維軟件模版控制技術的應用[J].黑龍江科技信息，2003，(2)：30.

StudyonHistoricalDataArrangementandLoadingPlanofRealEstate

SHI Weijie1, YAN Min2

(1. No.4 Exploration Institute of Geology and Mineral Resources, Shandong Weifang 261021, China; 2. Ji'nan Real Estate Surveying and Mapping Institute, Shandong Jinan 250002, China)

According to data loading of real estate by Ji'nan Real Estate Institute of Surveying and Mapping, based on CASS9.1, ETL tools and geographic information workstation EPS software, the method for transforming CAD data to ArcGIS data by using three different means has been illustrated in detail, and the process and results of 3 methods have been analyzed. Through lateral contrast of three loading means, advantages and disadvantages of each means have been summarized respectively. It will provide targeted suggestions for improvement of loading work with high efficiency and low error, and laid the foundation and pave the way for a solid storage of historical data.

Real estate surveying; data warehousing; CASS; ETL; EPS

2017-05-09；

2017-07-31；

陶衛衛

史衛杰(1981—)，男，山東平度人，工程師，主要從事地理信息工作；E-mail：1073373108@qq.com

D923.2；P208

B

史衛杰，顏敏.不動產歷史數據整理及入庫方案探討[J].山東國土資源，2018,34(1)：65-71.SHI Weijie, YAN Min.Study on Historical Data Arrangement and Loading Plan of Real Estate[J].Shandong Land and Resources, 2018,34(1)：65-71.