基于ARCGIS和PYTHON的水蝕野外調查單元的質量控制方法

馮 陽，夏照華，蘇慧敏，丁 聰，王 紅(北京地拓科技發展有限公司，北京 100084)

基于ARCGIS和PYTHON的水蝕野外調查單元的質量控制方法

馮 陽，夏照華，蘇慧敏，丁 聰，王 紅
(北京地拓科技發展有限公司，北京 100084)

水蝕；調查單元；質量控制；ARCGIS；PYTHON

水蝕野外調查單元是全國第一次水利普查水土保持情況普查抽樣調查的基本單元，調查單元提交成果的質量狀況直接影響數據分析階段的工作量與效率。本次普查覆蓋范圍廣，抽樣調查單元數量巨大，采用傳統人工整理數據上報容易出錯。基于 ARCGIS 與 PYTHON 語言，詳細介紹了水蝕野外調查單元在資料準備階段與數據處理階段的質量控制方法。通過編寫批處理腳本程序，實現調查單元四級存放目錄的建立，矢量、柵格、文本等數據的分發，以及調查表到 GIS 數據屬性表的轉換等工作。在關鍵環節引入批處理腳本程序對質量進行控制，可解放人力，提高工作效率并可保證數據質量。

2010—2012年我國開展了全國第一次水利普查水土保持情況普查[1]。在本次普查中，采用抽樣調查的方法來調查抽樣單元的土壤侵蝕因子狀況[2]。在全國范圍內采用分層不等概系統抽樣方法確定野外調查單元，共按照4%、1%、0.25%和0.062 5%四種密度抽樣，最終在全國布設了32 364個水蝕野外調查單元[3]。對于大量的野外調查單元，采用傳統人工整理數據工作量大，且容易造成文件夾四級目錄下的文件存放混亂。

雖然在全國第一次水利普查水土保持情況普查時，相關技術支撐單位開發了相關軟件來進行質量控制，但這屬于事后檢查，一旦發現問題，后期需投入大量的人力進行核查與修訂，有時甚至會影響解譯整體進度。如果能在事前預防，就能在實施前期發現問題、解決問題，從而節省寶貴的時間。因此，本研究基于 ARCGIS 平臺，采用 PYTHON 腳本語言，對質量控制環節中的部分工序編寫批處理腳本來實現，該腳本語言的擴充性好、要求門檻不高，省級普查員后期也可根據需要靈活擴充。

1 水蝕野外調查單元的質量控制關鍵點

為提高水蝕野外調查單元的質量，水利部組織編寫了《水力侵蝕普查數據質量審核工作手冊》，規定了資料準備階段、野外調查階段、數據處理階段的審核內容與工作流程。對審核內容進行分析，并結合實際工作，可在資料準備階段與數據處理階段引入批處理腳本程序進行控制。下面將資料準備階段與數據處理階段質量控制的關鍵內容整理如下。

1.1 資料準備階段審核關鍵點

在資料準備階段，《水力侵蝕普查數據質量審核工作手冊》主要是從數據存放的規范性、完整性等進行了要求，具體包括：①四級存儲目錄名稱、位置正確；②調查單元數量與規定數量一致，避免出現遺漏；③四級目錄包含的 basic、shp 文件夾，必須用小寫字母，basic文件夾存放 dt1.jpg、dt1.pdf、水蝕野外調查表.xls，shp文件夾必須包含bjx、dgx、bjxp、dgxp、gl、sx、jmdd等shp文件，文件必須完整、可讀寫、存放位置正確。

1.2 數據處理階段審核關鍵點

在數據處理階段的審核除要求數據存放的完整性、規范性外，還對部分GIS 數據的屬性內容進行了要求，具體包括：①四級存儲目錄名稱、位置正確，調查單元數量與規定的數量一致；②basic 文件夾下除包含資料準備階段的數據外，需增加外業調查照片和錄入調查信息后的水蝕野外調查表，補充清繪圖掃描文件(qht.jpg)到每個調查單元對應的basic文件夾中；③在shp文件夾下，新增調查地塊空間數據dkmp.shp，地塊圖層中須包含調查表中的全部信息，共計18個屬性字段，屬性字段名稱與類型須與要求一致，屬性字段內容須與調查表中完全一致。等高線文件(dgxp.shp)的高程信息存儲字段名稱必須為“高程”，字段類型為雙精度浮點型。

2 水蝕野外調查單元的質量控制技術

根據調查單元各階段質量控制的內容與審核要點，不同階段的質量控制技術也有所不同：在資料準備階段主要是通過編寫 PYTHON批處理腳本來實現四級存儲目錄的自動創建、空間數據與文檔數據的分發等；在數據處理階段主要是新增GIS 空間數據質量控制的腳本程序。

2.1 資料準備階段關鍵控制技術

(1)針對在資料準備階段要求的四級目錄完整、調查單元存放位置正確等要求，可通過四級目錄自動創建程序來實現。具體實現方法：①將所有調查單元整合到一個圖層，圖層包含一個屬性字段，用于存儲調查單元的編號；②編寫 PYTHON 腳本程序，導入需要的系統模塊與 ARCGIS相關模塊；③設置調查單元圖層路徑與四級目錄存放位置；④使用gp.searchcursor()函數查找并打開shp 圖層，獲取每一條記錄，遍歷每一條記錄，讀取調查單元編號，通過編號解析出省代碼、縣代碼與調查單元編號，自動構建每一個調查單元需要建立的文件夾目錄；⑤通過append()函數將解析的目錄信息依次追加到一個指定變量；⑥調用操作系統的makedirs()函數創建所需目錄。水蝕野外調查單元四級存儲目錄創建程序見圖1(電腦屏幕截圖，下同)。

圖1 四級目錄創建程序示意

(2)為解決各類空間數據與文檔數據在對應數據目錄中準確存放的問題，分別針對空間數據與文檔數據編寫不同的程序。其中，空間數據主要是調用 ARCGIS 的相關函數來實現自動復制與分發，文檔數據主要是調用操作系統的相關函數來實現文檔的復制。

空間數據的分發程序實現流程：①將需要分發的文件存放在一個文件夾下，圖層名稱中含有調查單元編號，每個調查單元一個圖層；②使用ARCGIS的ListFeatureClasses()函數，獲取待分發數據文件夾下的每一個 GIS 圖層，以此作為循環控制條件，依次解析每一個調查單元的編號、省代碼、縣代碼，構造空間數據文件名稱及存放路徑并復制到普查四級目錄相應位置；③使用exists()函數判斷需要復制的文件是否存在，如存在需先調用delete()刪除存在的空間數據，然后再使用 copy()復制空間數據，如不存在，則直接復制。空間數據分發程序見圖2。

圖2 空間數據分發程序示意

文檔數據分發程序的實現流程：①設置普查成果四級存儲目錄、調查單元底圖存放文件夾，每個調查單元一個文件，文件命名規范，須包含調查單元編號；②使用 os.walk()獲取普查目錄下的目錄與文件，依次循環查找到 basic 文件夾；③根據 basic 文件夾所在的上級目錄，獲取調查單元編號，構造需要復制的底圖文件的名稱與路徑；④使用 shutil.copy()進行文件的復制，復制時可一并修改復制后的文件名稱。文檔數據分發程序詳細代碼見圖3。

圖3 文檔數據分發程序示意

2.2 數據處理階段關鍵控制技術

在數據處理階段，常規的文件分發程序可直接使用資料準備階段的空間與文檔數據分發程序，同時需要新增部分對 GIS 數據內容的控制程序。

(1)為保證地塊圖層文件(dkmp.shp)中屬性字段的名稱與類型滿足要求，可對每一個調查單元一次性增加所需字段。為保證地塊圖層邊界與調查單元邊界圖層外邊界一致，在清繪圖矢量化時直接采用“多邊形切割功能”對調查單元邊界圖層進行切割，從而生成地塊圖層。

屬性字段增加程序實現流程：①編寫腳本程序，一次性導入所需外部模塊，如 arcpy、sys、os 等；②設置需要增加字段的地塊圖層文件所在的文件夾，文件夾下存放全部調查單元的地塊圖層，每個調查單元一個圖層，圖層名稱包含調查單元編號信息；③通過ListFeatureClasses()函數獲取需要增加字段的所有調查單元，以此作為循環條件，依次對每個調查單元增加屬性字段；④使用AddField_management()函數依次增加土地利用名稱、代碼、郁閉度、蓋度等17個屬性字段。屬性字段增加詳細程序如圖4所示。

圖4 屬性字段增加程序示意

(2)野外調查屬性值錄入。在數據處理階段，要求將水蝕野外調查表中的信息逐條、逐字段錄入到地塊圖層失量數據對應的屬性表中，采用傳統人工逐數據項錄入或逐表整理后關聯寫入比較繁瑣，容易出錯，存在信息漏錄、錯錄的風險。因此，可編寫批處理程序來實現，具體實現流程：①設置地塊圖層空間數據存放文件夾，并將其設置為ARCGIS 環境變量，設置需要導入的水蝕野外調查表存放的路徑，地塊圖層與調查表之間可通過調查單元編號建立對應關系；②調用ListFeatureClasses()函數獲取每一個地塊圖層，依次循環，通過地塊圖層文件名解析調查單元編號，再通過調查單元編號查找到對應的野外調查表格；③調用xlsapp.Workbooks.Open()打開野外調查表，調用xlsbook.Sheets(1).UsedRange.Rows.count和xlsbook.Sheets(1).UsedRange.Columns.count分別獲取野外調查表格有效區域的行與列；④使用野外調查表格行數量作為子循環控制條件，逐項讀取信息，使用xlssheet.Cells(行,列).Value獲取單元格數據值；⑤通過調查表中“地塊編號”字段與空間數據中“地塊編號”字段建立一一對應關系，逐行將每個單元格的信息寫入到 shp 文件；⑥使用UpdateCursor()函數更新地塊圖中的屬性信息。外業調查表格信息導入程序部分代碼見圖5所示。

圖5 外業調查表格信息導入程序示意

3 結 語

通過分析水蝕野外調查單元質量控制各環節的審核內容，結合 ARCGIS 與 PYTHON 腳本語言，從調查單元存儲目錄的建立、文件型數據的分發、空間數據的分發、空間數據屬性信息的導入等環節引入批處理程序。批處理程序的引入，能有效保證水蝕野外調查單元在資料準備階段與數據處理階段的質量。基于 PYTHON 語言的批處理程序的擴展無須專業的程序員，省級普查員可根據當地業務開展的實際需求，引入新的控制環節來提高工作效率與成果質量。本次介紹的質量控制技術全面應用于北京市第一次水務普查水土保持專項普查[4]，使用該控制技術，有力地保證了在資料準備階段和數據處理階段的成果質量100%滿足《水力侵蝕普查數據質量審核工作手冊》中規定的要求。

[1] 國務院第一次全國水利普查領導小組辦公室.第一次全國水利普查總體方案[M].北京:中國水利水電出版社,2010:1-3.

[2] 李智廣,符素華,劉寶元.我國水力侵蝕抽樣調查方法[J].中國水土保持科學,2012,10(1):77-81.

[3] 劉寶元,郭索彥,李智廣,等.中國水利侵蝕抽樣調查[J].中國水土保持,2013(10):26-34.

[4] 北京市第一次水務普查工作領導小組辦公室.北京市第一次水務普查實施方案[R].北京：北京市水務局，2011:9-10.

TP79；S157

A

1000-0941(2018)01-0055-03

馮陽(1986—)，男，安徽六安市人，工程師，碩士，研究方向為水土保持遙感監測、信息化。

2017-06-27

(責任編輯 李楊楊)