◎馬驍馳
廣西自然資源信息中心,廣西 南寧 530029
2019 年5 月9 日,中共中央國務(wù)院發(fā)文《關(guān)于建立國土空間規(guī)劃體系并監(jiān)督實(shí)施的若干意見》指出,建立國土空間規(guī)劃體系并監(jiān)督實(shí)施要實(shí)現(xiàn)“多規(guī)合一”,即將主體功能區(qū)規(guī)劃、土地利用規(guī)劃、城鄉(xiāng)規(guī)劃等空間規(guī)劃融合為統(tǒng)一的國土空間規(guī)劃,解決現(xiàn)有各類規(guī)劃的體系不全、類型過多、內(nèi)容沖突與銜接差異等問題。在此背景下,具有多維動(dòng)態(tài)、實(shí)時(shí)海量、多源異構(gòu)、信息豐富等特點(diǎn)的國土空間規(guī)劃數(shù)據(jù)的處理顯得尤為重要。
廣西“雙評(píng)價(jià)”工作中涉及到的國土空間規(guī)劃數(shù)據(jù)種類多、數(shù)量大且分析步驟復(fù)雜,數(shù)據(jù)和分析流程需要頻繁變更,這就需要設(shè)計(jì)出一套能解決當(dāng)前時(shí)空大數(shù)據(jù)分析與處理問題的方案[1]。筆者以開展廣西的“雙評(píng)價(jià)”工作為例,通過采用Hadoop HDFS 空間大數(shù)據(jù)存儲(chǔ)資源池,結(jié)合ArcGIS GeoAnalytics Server 空間大數(shù)據(jù)分析平臺(tái)的模式,對(duì)各類相關(guān)國土空間規(guī)劃數(shù)據(jù)源進(jìn)行匯總整合,包括現(xiàn)狀數(shù)據(jù)、基礎(chǔ)地理數(shù)據(jù)、規(guī)劃數(shù)據(jù)、管控?cái)?shù)據(jù)、管理數(shù)據(jù)等[2];再通過分布式平臺(tái)進(jìn)行數(shù)據(jù)運(yùn)算,例如疊加分析、緩沖區(qū)分析、圖斑邊界融合、字段計(jì)算、統(tǒng)計(jì)匯總等,解決了廣西在“雙評(píng)價(jià)”工作中數(shù)據(jù)分析處理效率低和數(shù)據(jù)疊加精度低的問題,對(duì)廣西各類空間數(shù)據(jù)分析工作具有重要意義。
廣西“雙評(píng)價(jià)”工作的主要目的是實(shí)現(xiàn)土地資源、水資源、氣象等要素的單項(xiàng)評(píng)價(jià)及農(nóng)業(yè)、城鎮(zhèn)、生態(tài)集成評(píng)價(jià)等功能[3],依據(jù)國土空間規(guī)劃大數(shù)據(jù)的需要,對(duì)大數(shù)據(jù)進(jìn)行量級(jí)權(quán)衡后選擇合適的數(shù)據(jù)分析方法。對(duì)于考量為輕量級(jí)別的數(shù)據(jù),可通過構(gòu)建生態(tài)、農(nóng)業(yè)、城鎮(zhèn)集成評(píng)價(jià)體系來分析;對(duì)于考量為千萬級(jí)別的圖斑等數(shù)據(jù),可采取地理信息時(shí)空大數(shù)據(jù)分布式平臺(tái)進(jìn)行模型運(yùn)算分析。相比于其他耗時(shí)、耗力的分析方法,分布式平臺(tái)具有高速、高效的運(yùn)算且可以不斷調(diào)整算法的優(yōu)勢(shì)。不同場(chǎng)景采用不同方法具有很強(qiáng)的可選擇性和靈活性,評(píng)價(jià)體系與分布式平臺(tái)的結(jié)合可以提供最佳評(píng)價(jià)與高效率的運(yùn)算模型。評(píng)價(jià)體系與分布式平臺(tái)之間的聯(lián)系如圖1 所示。

圖1 數(shù)據(jù)分析方法聯(lián)系圖
2021 年1 月19 日,自然資源部辦公廳印發(fā)《資源環(huán)境承載能力和國土空間開發(fā)適宜性評(píng)價(jià)技術(shù)指南(試行)》(以下簡(jiǎn)稱“雙評(píng)價(jià)技術(shù)指南”),為國土空間規(guī)劃的“雙評(píng)價(jià)”工作指明了方向。依據(jù)指南,“雙評(píng)價(jià)”工具所需數(shù)據(jù)包含基礎(chǔ)地理類、土地資源類、水資源類、環(huán)境類、生態(tài)類和災(zāi)害類等6 種類型,共計(jì)19 項(xiàng)數(shù)據(jù)[3]。基礎(chǔ)數(shù)據(jù)涉及多部門、多行業(yè)、多標(biāo)準(zhǔn),在“雙評(píng)價(jià)技術(shù)指南”中,土地資源評(píng)價(jià)分為農(nóng)業(yè)生產(chǎn)功能指向的土地資源評(píng)價(jià)和城鎮(zhèn)建設(shè)功能指向的土地資源評(píng)價(jià)。農(nóng)業(yè)生產(chǎn)功能中的農(nóng)業(yè)耕作條件是指土地資源用于農(nóng)業(yè)生產(chǎn)的適宜開發(fā)利用程度,需滿足一定的坡度、土壤質(zhì)地等條件;城鎮(zhèn)建設(shè)功能指向的土地資源評(píng)價(jià)主要考慮城鎮(zhèn)建設(shè)條件,城鎮(zhèn)建設(shè)條件是指城鎮(zhèn)建設(shè)的土地資源適宜建設(shè)程度,需滿足一定的坡度、高程條件。根據(jù)“雙評(píng)價(jià)技術(shù)指南”,再結(jié)合廣西的地形地貌特征,筆者在考慮諸多因素后構(gòu)建了生態(tài)評(píng)價(jià)體系、農(nóng)業(yè)評(píng)價(jià)體系及城鎮(zhèn)評(píng)價(jià)體系。
按照評(píng)價(jià)體系的構(gòu)建要求,基于廣西生態(tài)環(huán)境演變的特點(diǎn),筆者在生態(tài)評(píng)價(jià)體系指標(biāo)中選取能夠反映廣西生態(tài)環(huán)境問題的變量指標(biāo)。包括2 個(gè)一級(jí)指標(biāo),即生態(tài)系統(tǒng)服務(wù)功能重要性和生態(tài)敏感性,其中生態(tài)系統(tǒng)服務(wù)功能重要性從生物、水源、土壤、風(fēng)沙4 個(gè)方面考慮;選取了生物多樣性維護(hù)、水源涵養(yǎng)、水土保持、防風(fēng)固沙為具有代表性的二級(jí)指標(biāo);生態(tài)敏感性選取水土流失和石漠化2 個(gè)方面并將其作為二級(jí)指標(biāo)(見表1)。

表1 生態(tài)評(píng)價(jià)指標(biāo)體系構(gòu)建表
構(gòu)建廣西的農(nóng)業(yè)評(píng)價(jià)體系,在保證采用的指標(biāo)能夠全面、客觀、科學(xué)地反映區(qū)域農(nóng)業(yè)發(fā)展水平和特點(diǎn)的基礎(chǔ)上,遵循農(nóng)業(yè)內(nèi)在的發(fā)展規(guī)律[4]。按“雙評(píng)價(jià)”工作要求選取承載能力與適宜性2 個(gè)評(píng)價(jià)方面作為農(nóng)業(yè)評(píng)價(jià)體系的一級(jí)指標(biāo),選取土地資源、水資源、環(huán)境條件、災(zāi)害風(fēng)險(xiǎn)及農(nóng)業(yè)生產(chǎn)5 個(gè)方面作為二級(jí)指標(biāo),這些指標(biāo)數(shù)據(jù)來源于坡度、降水量、光熱量、風(fēng)速、集中連片度等(見表2)。

表2 農(nóng)業(yè)評(píng)價(jià)指標(biāo)體系構(gòu)建表
根據(jù)廣西的實(shí)際情況,按照“雙評(píng)價(jià)”工作的要求,城鎮(zhèn)評(píng)價(jià)體系的一級(jí)指標(biāo)分為資源環(huán)境承載能力評(píng)價(jià)與國土空間開發(fā)適宜性評(píng)價(jià),其中承載能力評(píng)價(jià)包括了地形坡度、地質(zhì)條件、水資源可利用量、大氣環(huán)境容量、水環(huán)境容量、地震災(zāi)害危險(xiǎn)性及地質(zhì)災(zāi)害危險(xiǎn)性,國土空間開發(fā)適宜性評(píng)價(jià)包括了集中連片度、距中心城區(qū)的距離、距主要交通干道的距離及距交通樞紐的距離(見表3)。

表3 城鎮(zhèn)評(píng)價(jià)指標(biāo)體系構(gòu)建表
廣西地理信息時(shí)空大數(shù)據(jù)分布式平臺(tái)采用Hadoop HDFS 空間大數(shù)據(jù)存儲(chǔ)資源池,結(jié)合ArcGIS GeoAnalytics Server 空間大數(shù)據(jù)分析平臺(tái)的模式來部署環(huán)境,具有5 臺(tái)搭載了16核CPU 的內(nèi)存255 G 物理機(jī),運(yùn)行穩(wěn)定高效的同時(shí)還可以虛擬出15 臺(tái)虛擬機(jī),在邏輯上可劃分為基礎(chǔ)服務(wù)層與數(shù)據(jù)層兩部分結(jié)構(gòu)。廣西地理信息時(shí)空大數(shù)據(jù)分布式平臺(tái)以HDFS 分布式存儲(chǔ)系統(tǒng)、關(guān)系型ArcGIS DataStore 及時(shí)空型ArcGIS DataStore 作為數(shù)據(jù)層。基礎(chǔ)服務(wù)層包括基礎(chǔ)ArcGIS Enterprise 與ArcGIS GeoAnalytics Server(GA Server),采用的版本號(hào)為10.7.1。
在基礎(chǔ)服務(wù)層中,基礎(chǔ)ArcGIS Enterprise 有Portal for ArcGIS、ArcGIS Web Adaptor、ArcGIS Data Store、ArcGIS Server 等組件。其中Portal for ArcGIS 是Web GIS 平臺(tái)的門戶中樞,用戶可通過Portal for ArcGIS 集中管理托管的在線資源,實(shí)現(xiàn)跨組織、跨部門的資源分享。ArcGIS Web Adaptor 用于ArcGIS GIS Server 與企業(yè)級(jí)Web 服務(wù)器的整合。ArcGIS Data Store 是新一代Web GIS 系統(tǒng)的數(shù)據(jù)存儲(chǔ)部分,支持關(guān)系型、切片緩存和時(shí)空大數(shù)據(jù)3 種類型的數(shù)據(jù)庫存儲(chǔ)。GA Server 提供了基礎(chǔ)GIS 服務(wù)資源及數(shù)據(jù)匯總、鄰近分析、數(shù)據(jù)管理、位置查找、模式分析等20 多種時(shí)空大數(shù)據(jù)分析工具,還有地圖服務(wù)、要素服務(wù)和地理處理服務(wù),用于空間大數(shù)據(jù)的分析。GA Server 的執(zhí)行分析源支持多種輸入數(shù)據(jù)類型,如HDFS、文件共享、云存儲(chǔ)、Hive 數(shù)據(jù)倉庫、托管要素服務(wù)等,輸出數(shù)據(jù)類型支持時(shí)空大數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫等,數(shù)據(jù)格式為CSV、Shapfile、Parquet、ORC 等。GA Server 不僅提高了空間大數(shù)據(jù)的計(jì)算速度,還可以與傳統(tǒng)地理處理工具結(jié)合搭建復(fù)雜的業(yè)務(wù)模型進(jìn)行工作流的自動(dòng)化處理。ArcGIS Data Store 及ArcGIS GeoAnalytics Server 采用時(shí)空大數(shù)據(jù)存儲(chǔ)集群部署模式,配置3 個(gè)計(jì)算節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)的虛擬機(jī)擁有16 核CPU、128 G 內(nèi)存及500 G 硬盤,在GA Server 計(jì)算節(jié)點(diǎn)數(shù)量配置及節(jié)點(diǎn)虛擬機(jī)性能配置的規(guī)劃上,綜合了數(shù)據(jù)規(guī)模、執(zhí)行運(yùn)算的復(fù)雜程度和使用頻率等因素,其他組件采用單機(jī)部署模式。
廣西地理信息時(shí)空大數(shù)據(jù)分布式平臺(tái)部署的Hadoop 版本號(hào)為2.9.2,采用集群部署模式,總共5 個(gè)節(jié)點(diǎn),每個(gè)節(jié)點(diǎn)都是操作系統(tǒng)為Debian GNU/Linux7(64 位)的虛擬機(jī),每個(gè)虛擬機(jī)的配置為2 核CPU、4G 內(nèi)存及400 G 磁盤空間。
HDFS 是Hadoop 項(xiàng)目的核心子項(xiàng)目,它所具有的高容錯(cuò)性、高可靠性、高可擴(kuò)展性、高可獲得性、高吞吐率等特征,為海量數(shù)據(jù)提供了可靠的存儲(chǔ)保障,且對(duì)于空間數(shù)據(jù)有很好的兼容性,為超大空間數(shù)據(jù)集的應(yīng)用處理提供了便利。HDFS 主要用于國土空間大數(shù)據(jù)的分布式存儲(chǔ)和管理,采用了Master/Slave 的主從結(jié)構(gòu),每個(gè)HDFS 集群由一個(gè)名稱節(jié)點(diǎn)和許多數(shù)據(jù)節(jié)點(diǎn)組成,通常一個(gè)節(jié)點(diǎn)就是一臺(tái)服務(wù)器。
ArcGIS Data Store 是從ArcGIS 10.3 版本開始推出的一種新的數(shù)據(jù)存儲(chǔ)容器,一般與Portal for ArcGIS 配合使用。它提供了一種簡(jiǎn)單輕量的安裝部署和使用體驗(yàn),使得ArcGIS用戶無需配置復(fù)雜的大型商業(yè)數(shù)據(jù)庫環(huán)境,在分布式計(jì)算平臺(tái)中主要用于存儲(chǔ)大數(shù)據(jù)的分析結(jié)果、快速創(chuàng)建托管的要素服務(wù)、場(chǎng)景服務(wù)和時(shí)空大數(shù)據(jù)存儲(chǔ)服務(wù)。其中,關(guān)系型ArcGIS Data Store 采用單機(jī)部署模式,時(shí)空型ArcGIS Data Store 采用集群部署模式,共計(jì)3 個(gè)節(jié)點(diǎn),并且分布式計(jì)算平臺(tái)中的服務(wù)器組件計(jì)算節(jié)點(diǎn)的個(gè)數(shù)可以根據(jù)處理的數(shù)據(jù)量和時(shí)效性要求進(jìn)行動(dòng)態(tài)橫向擴(kuò)展。
結(jié)合廣西國土空間規(guī)劃“雙評(píng)價(jià)”工作的具體要求,按照分布式平臺(tái)大數(shù)據(jù)入池的技術(shù)規(guī)范,完成各類業(yè)務(wù)數(shù)據(jù)的預(yù)處理及數(shù)據(jù)遷移入池工作。目前已入池的數(shù)據(jù)包括廣西2009 年度第二次土地調(diào)查成果數(shù)據(jù)、2010—2018 年度土地變更調(diào)查成果數(shù)據(jù)、第三次全國國土調(diào)查(以下簡(jiǎn)稱“三調(diào)”)統(tǒng)一時(shí)點(diǎn)更新成果、歷年耕地?cái)?shù)據(jù)、耕地質(zhì)量等別、永久劃定基本農(nóng)田保護(hù)圖斑、坡度、自然保護(hù)區(qū)數(shù)據(jù)、濕地?cái)?shù)據(jù)、生態(tài)保護(hù)紅線、土壤侵蝕數(shù)據(jù)、石漠化數(shù)據(jù)等。再建立統(tǒng)一的數(shù)據(jù)目錄,并對(duì)數(shù)據(jù)源進(jìn)行數(shù)據(jù)質(zhì)量的檢查、坐標(biāo)轉(zhuǎn)換、數(shù)據(jù)格式轉(zhuǎn)換等數(shù)據(jù)清洗工作。
遵循統(tǒng)一的技術(shù)要求,按照數(shù)據(jù)分階段、分區(qū)域匯集的管理模式,將國土空間規(guī)劃相關(guān)的業(yè)務(wù)數(shù)據(jù)分別切塊,各要素類分割成多個(gè)Shapefile 格式的矢量數(shù)據(jù),將切塊好的數(shù)據(jù)分別上傳到Hadoop HDFS 中,進(jìn)行數(shù)據(jù)的注冊(cè)、接入、匯集、建庫后,形成分布式存儲(chǔ)的全區(qū)覆蓋、內(nèi)容完整、準(zhǔn)確權(quán)威、動(dòng)態(tài)鮮活的國土空間規(guī)劃信息數(shù)據(jù)資源池,將數(shù)據(jù)從傳統(tǒng)的數(shù)據(jù)庫存儲(chǔ)、文件系統(tǒng)存儲(chǔ)遷移到分布式文件存儲(chǔ)系統(tǒng)中,并建立元數(shù)據(jù)描述,用于大數(shù)據(jù)分析挖掘的輸入源。
通過搭建地理信息分布式計(jì)算平臺(tái),運(yùn)用ArcPython API 編寫與設(shè)計(jì)分布式運(yùn)算模型,針對(duì)“雙評(píng)價(jià)”的業(yè)務(wù)指標(biāo),結(jié)合數(shù)據(jù)源數(shù)據(jù)結(jié)構(gòu),對(duì)空間大數(shù)據(jù)進(jìn)行分析處理。針對(duì)大部分已經(jīng)存在的矢量數(shù)據(jù),如果轉(zhuǎn)為柵格數(shù)據(jù)處理,會(huì)導(dǎo)致一定程度的數(shù)據(jù)丟失和邊界丟失,因此,筆者在有條件的情況下,采用了矢量數(shù)據(jù)疊加方式處理各類評(píng)價(jià)相關(guān)數(shù)據(jù)。下面以生態(tài)適宜性評(píng)價(jià)為例。
(1)模型選取與數(shù)據(jù)情況。從生態(tài)系統(tǒng)服務(wù)功能重要性和生態(tài)敏感性2 個(gè)方面開展生態(tài)保護(hù)重要性評(píng)價(jià)。考慮到廣西的實(shí)際情況,生態(tài)系統(tǒng)服務(wù)功能重要性指標(biāo)選取生物多樣性維護(hù)重要性、水源涵養(yǎng)重要性和水土保持重要性;生態(tài)敏感性選取水土流失敏感性和石漠化敏感性(見表4)。

表4 模型使用數(shù)據(jù)情況表
(2)生物多樣性評(píng)價(jià)過程。第一步,收集林地變更調(diào)查成果,根據(jù)林業(yè)變更調(diào)查成果中“優(yōu)勢(shì)樹種”字段,對(duì)照國家“雙評(píng)價(jià)技術(shù)指南”中優(yōu)先保護(hù)生態(tài)系統(tǒng)目錄,提取優(yōu)先保護(hù)的重要樹種范圍,并套合“三調(diào)”成果對(duì)其現(xiàn)狀進(jìn)行核實(shí),將現(xiàn)狀為林地的部分劃為生物多樣性保護(hù)極重要等級(jí);第二步,參考森林覆蓋率計(jì)算方法,將“三調(diào)”中喬木林地和竹林范圍,與林地變更調(diào)查數(shù)據(jù)中“郁閉度”屬性疊加,將郁閉度0.2 以上的喬木林地和竹林作為森林系統(tǒng)范圍,極重要區(qū)以外的森林劃為生物多樣性保護(hù)重要等級(jí);第三步,將其他區(qū)域劃為一般重要等級(jí);第四步,編寫模型代碼。
(3)生物多樣性評(píng)價(jià)結(jié)果。全區(qū)生物多樣性維護(hù)重要性評(píng)價(jià)結(jié)果為極重要區(qū)域面積為44 674.06 km2,占全區(qū)國土總面積的18.80%;重要區(qū)域面積為63 066.47 km2,占全區(qū)國土總面積的26.54%;一般重要區(qū)域面積為129 887.47 km2,占全區(qū)國土總面積的54.66%。
把分析結(jié)果制作成各種專題信息產(chǎn)品,以可視化地圖圖層服務(wù)的形式對(duì)外發(fā)布。
開展廣西國土空間規(guī)劃“雙評(píng)價(jià)”工作,涉及了全區(qū)89 個(gè)縣和14 個(gè)地市的數(shù)據(jù)處理。采用分布式地理空間處理平臺(tái)可以快速完成包括水源涵養(yǎng)量、生物多樣性、水土保持、生態(tài)系統(tǒng)服務(wù)功能重要性、水土流失、石漠化、生態(tài)敏感化、生態(tài)重要保護(hù)評(píng)價(jià)、農(nóng)業(yè)生成適宜性評(píng)價(jià)、城鎮(zhèn)建設(shè)適宜性評(píng)價(jià)等多個(gè)指標(biāo)的分析評(píng)價(jià)。分布式計(jì)算平臺(tái)極大提升了“雙評(píng)價(jià)”分析處理的效率,例如,用傳統(tǒng)的桌面ArcGIS 進(jìn)行分析,廣西第三次國土調(diào)查地類圖斑與2018 年土地變更調(diào)查地類圖斑相疊需要約18 h,而分布式計(jì)算平臺(tái)只需要約100 min;再如廣西第三次國土調(diào)查數(shù)據(jù)的面積計(jì)算,桌面ArcGIS 需要約42 h,而分布式計(jì)算平臺(tái)只需要約30 min。同時(shí),在計(jì)算的穩(wěn)定性方面,分布式平臺(tái)要優(yōu)于桌面版ArcGIS,特別是針對(duì)千萬級(jí)以上的數(shù)據(jù),即使單節(jié)點(diǎn)失效或計(jì)算失敗,分布式平臺(tái)多節(jié)點(diǎn)部署的模式也能確保分析順利進(jìn)行。
廣西地理信息時(shí)空大數(shù)據(jù)分布式平臺(tái)實(shí)現(xiàn)了廣西全區(qū)國土空間規(guī)劃“雙評(píng)價(jià)”各單項(xiàng)指標(biāo)和綜合指標(biāo)的快速分析處理,對(duì)于千萬、億萬級(jí)別數(shù)據(jù)量的空間分析,原來需要幾天、幾周,甚至數(shù)月才能處理完成,而現(xiàn)在分鐘級(jí)即可實(shí)現(xiàn),大大提升了龐大空間數(shù)據(jù)分析處理的效率。同時(shí),平臺(tái)支持計(jì)算節(jié)點(diǎn)的橫向擴(kuò)充,當(dāng)用戶需要進(jìn)一步提高空間分析效率的時(shí)候,可以在不改變?cè)胁渴瓠h(huán)境的前提下進(jìn)行虛擬計(jì)算節(jié)點(diǎn)的CPU 和內(nèi)存資源的擴(kuò)充及節(jié)點(diǎn)個(gè)數(shù)的增加,這契合了云計(jì)算“按需使用、彈性調(diào)整”的思路。
廣西地理信息時(shí)空大數(shù)據(jù)分布式平臺(tái)為時(shí)空大數(shù)據(jù)分析提供了較好的解決方案,基于分布式計(jì)算平臺(tái),不僅促進(jìn)了國土空間規(guī)劃“雙評(píng)價(jià)”工作的開展,同時(shí)提供了較強(qiáng)的計(jì)算能力,用于核實(shí)生態(tài)紅線、“三調(diào)”各地類情況、坡度情況、流量情況等,可以應(yīng)用于不同的場(chǎng)景中,可以廣泛應(yīng)用于大范圍的地類流量分析、國土空間規(guī)劃、自然資源調(diào)查監(jiān)測(cè)評(píng)價(jià)、智慧城市構(gòu)建等領(lǐng)域。