FME在空間數(shù)據(jù)批處理中的應(yīng)用分析——以第三次全國國土調(diào)查為例

肖德勛，王戈飛，岳亞亞

FME在空間數(shù)據(jù)批處理中的應(yīng)用分析——以第三次全國國土調(diào)查為例

肖德勛1，王戈飛2，岳亞亞1

（1.北京吉威數(shù)源信息技術(shù)有限公司，北京 100000；2.黃河勘測規(guī)劃設(shè)計研究院有限公司，河南 鄭州 450003）

第三次全國國土調(diào)查是一項在全國范圍內(nèi)查清自然資源情況和土地利用現(xiàn)狀的國家項目。在第三次全國國土調(diào)查工作中，海量的空間數(shù)據(jù)需要被處理、整合和分析。結(jié)合FME在數(shù)據(jù)轉(zhuǎn)換、處理和分析方面的特點和優(yōu)勢，對FME不同形式的批處理方式進行了分析，經(jīng)驗證，F(xiàn)ME的批處理方式簡便、高效、快捷，以期對其他空間數(shù)據(jù)處理項目提供借鑒。

FME；空間數(shù)據(jù)；第三次全國國土調(diào)查；批處理

1 引言

第三次全國國土調(diào)查（下簡稱“三調(diào)”）是在第二次全國國土調(diào)查調(diào)查（下簡稱“二調(diào)”）成果的基礎(chǔ)上，在國家統(tǒng)一制定標準的前提下，在全國范圍內(nèi)利用遙感技術(shù)、測繪技術(shù)、互聯(lián)網(wǎng)等多種技術(shù)手段，全面查清并掌握翔實的全國國土利用現(xiàn)狀和自然資源變化情況，進而實現(xiàn)成果信息化管理與共享，從而滿足生態(tài)文明建設(shè)、空間規(guī)劃編制、供給側(cè)結(jié)構(gòu)性改革、自然資源管理體制改革、自然資源確權(quán)、國土空間生態(tài)修復(fù)以及空間治理能力現(xiàn)代化等各項重大項目的需要[1-2]，因此“三調(diào)”工作的重要性不言而喻。

正因為“三調(diào)”工作的重要意義以及牽扯到的部門繁雜、專業(yè)繁多，因而導(dǎo)致各種不同類型、不同地理基礎(chǔ)、不同范圍的空間數(shù)據(jù)晦澀復(fù)雜，難以處理，將這海量的空間數(shù)據(jù)進行批量轉(zhuǎn)換和處理，是“三調(diào)”工作必須要解決的首要問題。而FME在空間數(shù)據(jù)處理方面具有天然的優(yōu)勢和特色，本文結(jié)合FME的特點，詳細闡述FME在第三次全國國土調(diào)查中空間數(shù)據(jù)批處理中的應(yīng)用。

2 FME簡介

FME軟件（Feature Manipulate Engine，簡稱“FME”）是加拿大safe software公司開發(fā)的空間數(shù)據(jù)轉(zhuǎn)換處理系統(tǒng)，它不僅能夠?qū)崿F(xiàn)各類數(shù)據(jù)讀寫、轉(zhuǎn)換、存儲和分析等功能，并提供了完整的空間ETL（Extract-Transform-Load）解決方案，該方案以O(shè)penGIS組織提出的“語義轉(zhuǎn)換”處理概念為基礎(chǔ)，提供了400多種轉(zhuǎn)換器，支持200多種空間、非空間數(shù)據(jù)的轉(zhuǎn)換和處理，其數(shù)據(jù)類型包括shp、dwg、tiff等，為快速、高效的數(shù)據(jù)處理提供穩(wěn)定可靠且便捷的方案[3-4]。

FME產(chǎn)品體系具有6個功能模塊：①FME Workbench是最主要也是最常用的模塊，在用戶實施數(shù)據(jù)轉(zhuǎn)換時，只需要在面板中設(shè)置數(shù)據(jù)轉(zhuǎn)換所必備的參數(shù)，即可通過對過程的控制來轉(zhuǎn)換和處理復(fù)雜數(shù)據(jù)任務(wù)，并且能夠可視化地實現(xiàn)屬性信息和空間信息的對應(yīng)關(guān)系，也可以通過該模塊來實現(xiàn)刪除和合并文件等功能；②FME Quick Translator是FME的重要組成部分，采用拉拽方式即可實現(xiàn)上百種空間數(shù)據(jù)的處理和分析工作；③FME Data Inspector模塊主要用于預(yù)覽不同格式數(shù)據(jù)，在使用FME Workbench的過程中科院隨時對轉(zhuǎn)換流程進行可視化檢查，從而保證轉(zhuǎn)換過程的正確性；④FME Plug-in（SDK）是FME開發(fā)組件，開發(fā)人員能夠利用該組件訪問FME強大的語義核心，根據(jù)用戶需求定制特定數(shù)據(jù)格式，并能被所有的FME用戶所采用；⑤FME Object API為開發(fā)接口，支持C++、Java等多種開發(fā)語言，使用該模塊能夠?qū)ME的數(shù)據(jù)訪問功能定制在應(yīng)用模塊中，從而增加數(shù)據(jù)的讀寫及處理功能；⑥FME Application Extenders模塊為用戶提供了一個可直接訪問多平臺地理信息系統(tǒng)及數(shù)據(jù)庫格式的應(yīng)用。

與此同時，F(xiàn)ME具有強大可靠的數(shù)據(jù)轉(zhuǎn)換功能、性能超強的數(shù)據(jù)兼容功能、清晰直觀的可視化界面、豐富多樣的空間數(shù)據(jù)處理功能、開放性的接口類型，同時支持海量數(shù)據(jù)處理，通過FME來設(shè)置批處理的模式能夠完成對成千乃至上萬個數(shù)據(jù)文件的高效處理[5-6]。

空間數(shù)據(jù)處理既有單文件的轉(zhuǎn)換，例如刪除字段、轉(zhuǎn)換投影、按比例縮放等，也涉及到多文件的轉(zhuǎn)換，例如空間數(shù)據(jù)關(guān)聯(lián)、空間數(shù)據(jù)裁剪等功能。

3 在FME中進行批處理的方式和結(jié)果

3.1 單數(shù)據(jù)文件批處理

基于FME靈活的操作方式，批處理單文件空間數(shù)據(jù)的方式常用的大致為兩類，以空間投影轉(zhuǎn)換為例。

3.1.1 利用Batch Deploy功能

在主界面打開Generate Workspace功能，在Reader中選擇位于批量處理數(shù)據(jù)中的單條數(shù)據(jù)，在Writer中制定輸出文件目錄，并將工作流選項設(shè)置為動態(tài)模式。以進行空間投影轉(zhuǎn)換為例，在主面板中輸入EsriReprojector，按要求設(shè)置好源數(shù)據(jù)坐標系和目標數(shù)據(jù)坐標系，設(shè)置完成后保存該工作空間.fmw，點擊位于菜單欄Run下面的Batch Deploy選項，根據(jù)操作指引，在源數(shù)據(jù)位置選擇文件夾及子目錄，并制定目標路徑，其中，選擇是否勾選保留文件夾名稱還可以在目標文件夾中生成和源數(shù)據(jù)文件夾中一模一樣的子文件夾，方便管理和輸出。但需要注意的是，如果文件夾名字過長，雖然不影響正常結(jié)果的輸出，但可能會生成警告和錯誤信息。

3.1.2 直接利用動態(tài)模式

除去使用Batch Deploy功能以外，可直接在工作面板添加Reader讀模塊的時候選擇multiple folders/files，選取源文件中的所有文件夾，同時在工作流選項中選擇單一融合數(shù)據(jù)模式Single Merged Feature Type，輸入轉(zhuǎn)換器之后，在Writer寫模塊的時候選擇動態(tài)模式定義，運行工作空間即可得到結(jié)果。但是會直接放在母文件夾中而不會像源文件一樣創(chuàng)建子文件夾，如果想實現(xiàn)同樣的效果，需要在導(dǎo)航窗口中的目標文件夾的Fanout表達式中選擇fme_feature_type，這樣就可以生成與Batch Deploy一樣的子文件夾格式。

兩種方式對比，第二種明顯更為簡單，但如果想要生成與源數(shù)據(jù)文件夾一樣的格式，需要單獨設(shè)置Fanout選項。此外，值得注意的是，兩種方法都必須設(shè)置為動態(tài)模式，如果不采用動態(tài)模式，F(xiàn)ME將只進行所設(shè)置的單個文件的轉(zhuǎn)換，無法進行批量處理，更無法達到預(yù)期效果。

3.2 多數(shù)據(jù)文件批處理

涉及多數(shù)據(jù)文件的批處理流程時，采用Batch Deploy同樣可以，但采用WorkspaceRunner更為方便，考慮到上文已介紹過Batch Deploy，此處將詳細介紹WorkspaceRunner轉(zhuǎn)換器，WorkspaceRunner是從一個工作空間調(diào)用另一個工作空間的轉(zhuǎn)換器。多數(shù)據(jù)文件的批處理，以空間數(shù)據(jù)裁剪為例。

空間裁剪轉(zhuǎn)換器Clipper同時需要兩個輸入端口Clipper和Clippee，此處將Clipper指定為固定的矢量裁剪范圍，而Clippee為多個矢量要素，在Reader讀模塊中，選擇多文件夾選項，并在工作流選項中選擇單一融合要素類型，在Writer寫模塊中務(wù)必選擇dynamic動態(tài)模式，設(shè)置好轉(zhuǎn)換器參數(shù)并保存（本文中為BatchClip.fmw）。

WorkspaceRunner轉(zhuǎn)換器通常與Directory and File Pathnames讀模塊連用，開啟一個新的工程，選用Directory and File Pathnames讀模塊，在參數(shù)中選擇*shp，并選擇遍歷至子文件夾選項，通過該模塊可以遍歷符合格式的矢量文件。設(shè)置好后輸入WorkspaceRunner轉(zhuǎn)換器，選擇BatchClip. fmw，其中Clipper選擇矢量范圍，而Clippee選擇path_ windows，即固定范圍選擇某個指定的矢量文件，而需要遍歷的文件選擇path_window，path_windows，即被遍歷文件的全路徑，通過調(diào)用path_windows，不斷執(zhí)行WorkspaceRunner中選擇的轉(zhuǎn)換器，這樣就可以實現(xiàn)多文件進行批處理的預(yù)想效果。

另外，在WorkspaceRunner轉(zhuǎn)換器參數(shù)中，如果將Wait for Job to Complete設(shè)置為Yew，則FME將會等待每個進程完成后再開啟下一個進程，每次只有一個進程。如果設(shè)置為No，則可設(shè)置最大并發(fā)進程數(shù)（Maximum Number of Concurrent Processes），設(shè)置的數(shù)值將是任務(wù)管理器中fme.exe進程的數(shù)量，并能根據(jù)需求對每個進程中啟動工作空間的數(shù)量進行指定。

同時，在執(zhí)行WorkspaceRunner轉(zhuǎn)換器時，可連接logger轉(zhuǎn)換器，更方便直觀地看到轉(zhuǎn)換日志效果。

4 結(jié)語

空間數(shù)據(jù)批處理是“三調(diào)”工作中必須面對的問題，本文以“三調(diào)”中常見的數(shù)據(jù)處理過程批量投影轉(zhuǎn)換和批量空間裁剪分別代表單文件和多文件的批處理模式進行分析，并給出實現(xiàn)過程。單文件的批處理較為簡單，直接在工作空間選取多文件夾并設(shè)置為動態(tài)模式即可，而Batch Deploy和WorkspaceRunner方法均可用于單文件與多文件批處理，但WorkspaceRunner采用轉(zhuǎn)換器的形式，更為靈活，通過對路徑進行更多的操作能夠?qū)崿F(xiàn)更多的效果，同時采用命令行也可在FME中實現(xiàn)批處理，但沒有上述方式直觀便捷。利用FME的空間數(shù)據(jù)批處理功能能夠極大地提高工作效率，且靈活、簡便、高效，希望對其他的空間數(shù)據(jù)轉(zhuǎn)換過程提供借鑒。

［1］許風(fēng)亮，蘇強強.淺談FME在第三次國土調(diào)查前期數(shù)據(jù)準備中的應(yīng)用與研究［J］.經(jīng)緯天地，2019（2）：40-44，48.

［2］張瑜偉，王丹，朱文.FME軟件在第三次土地調(diào)查中的應(yīng)用［J］.現(xiàn)代測繪，2018，42（6）：61-63.

［3］曾傳俊, 李蓮芳, 褚睿濤. 基于FME的DWG圖形轉(zhuǎn)換［J］.測繪通報，2019（Suppl 2）：275-277.

［4］郝璨，石麗紅.基于FME的OpenstreetMap數(shù)據(jù)分析提取［J］.測繪與空間地理信息，2020，43（1）：63-67.

［5］任俊儒.基于FME的GIS數(shù)據(jù)處理研究［D］.北京：中國地質(zhì)大學(xué)，2015.

［6］蔡婧.基于FME的分幅地形圖轉(zhuǎn)換研究［D］.武漢：武漢大學(xué)，2019.

P208

A

10.15913/j.cnki.kjycx.2021.08.074

2095－6835（2021）08－0178－02

肖德勛（1988—），男，遼寧朝陽人，本科，助理工程師，項目經(jīng)理，研究方向為自然資源。

〔編輯：嚴麗琴〕