基于并行疊加的國土空間開發適宜性評價

楊宜舟, 吳立新, 郭甲騰, 劉善軍

(1. 東北大學 資源與土木工程學院, 遼寧 沈陽 110819; 2. 中南大學 地球科學與信息物理學院, 湖南 長沙 410083)

全球人數持續性增長、社會經濟飛速發展和自然資源深入開發,導致資源環境受到前所未有的威脅[1-2].資源環境承載能力和國土空間開發適宜性評價(簡稱“雙評價”)可反映當前資源環境的優勢與短板,可發現未來發展中的問題、沖突、風險和潛力[3],能為經濟、社會、資源和環境保護的可持續發展提供規劃決策基礎支撐.國土空間開發適宜性評價是在資源環境承載能力評價的基礎上,對生態保護的重要程度以及農業生產、城鎮建設的適宜程度進行評價[3].當前國土空間開發適宜性評價方法集中在評價視角擴展、評估框架構建及計算模型改進等方面的探索研究[4-5],其中基于疊加分析進行評價的方法適用于宏觀、微觀層次,是國土空間開發適宜性評價中最常用的分析方法[4].在國土空間大數據發展的背景下,基于傳統串行疊加分析計算的國土空間開發適宜性評價已不能滿足用戶的性能需求.在2017年中國國土勘測規劃院開展的全國尺度“雙評價”工作中發現,傳統商業GIS基于串行疊加分析無法完成評價任務.因此,亟需研發高性能架構下的國土空間適宜性評價計算方法.

近年來,以并行計算為核心的高性能計算技術得到廣泛應用[6-7],為高效分析大規模空間數據提供了理論和技術支撐[8-11].其中,以空間數據劃分方法實現疊加分析并行化[12-14],為實現基于并行疊加的國土空間開發適宜性評價提供了條件.然而,國土空間數據的復雜性導致現有空間數據劃分方法不能有效解決基于并行疊加的國土空間開發適宜性評價計算中數據傾斜的問題,如百萬頂點空間對象(大圖斑)之間的疊加分析,會急劇降低評價分析的性能.

因此,本文在分析空間開發適宜性評價算法模型的基礎上,為避免數據傾斜,引入了空間數據預處理方法;以兼顧空間數據劃分與檢索的方法實現了疊加計算并行化;在并行疊加分析基礎上實現并行化空間開發適宜性評價.

1 國土空間開發適宜性評價

1.1 基本原理

資源環境承載能力評價中的空間數據集為dsi={dij}(1≤i≤n,其中n為空間數據集數目),dsi的評價分級的結果為{Iij}(分級總數為N,1≤lij≤N),將Iij賦值于dij得到資源環境承載能力為foij={(Iij,dij)}.在對多個單項資源環境承載能力評價疊加分析的基礎上,利用fok(基于多因子的指標擬合分級)進行國土空間開發適宜性集成評價.首先,利用式(1)對{foij}進行疊加分析,{ovj}是疊加分析的結果(式(2)是ovj包含的信息);其次,若存在帶有空間屬性的約束條件cck(如斑塊集中度、地塊連片度等),Cu是cck的評價因子,則將cck與{ovj}進行疊加分析,其計算的結果為{vvj}(式(3)是vvj包含的信息);再次,以vvj中的評價因子(若cck=?,則在vvj中Cu=?,即ovj=vvj)作為fok的參數對空間開發適宜性ooj進行計算或分級(式(4)),并將ooj與dm組成新的空間對象(ooj,dm);最后,將{(ooj,dm)}輸出.

{ovj}=ol({fo1j},{fo2j},…,{fonj}) ,

(1)

ovj=(I1j,I2j,…,Inj,dm) ,

(2)

vvj=((I1j,I2j,…,Inj,Cu),dm) ,

(3)

ooj=fok(I1j,I2j,…,Inj,Cu) .

(4)

1.2 算法模型分析

分析以上原理可知:基于疊加分析的國土空間開發適宜性評價主要包含了空間疊加分析算法和基于多因子的分級算法.

在疊加分析中(見圖1),空間數據層a中的矢量目標oi需要與空間數據層b進行疊加計算:①a中的空間對象oi采用式(5)在b中查詢獲取可能會與其進行計算的空間數據子集{fzi},即{fzi}為oi在b中疊加計算的影響域;②以(oi,{fzi})為疊加分析中最小計算單元進行計算分析;③計算結果輸出.分析上述算法模型發現:①在疊加計算中影響效率的關鍵是式(5)所用的方法,而空間索引滿足高效查詢獲取空間數據的需求;②(oi,{fzi})之間的計算相互獨立,具有可并行性,可基于空間數據劃分實現疊加計算的并行化.

圖1 空間疊加分析

{fzi}=index({oi}) .

(5)

基于多因子的分級算法是數值計算方法,對多個資源環境承載能力疊加結果vvj中的(l1j,l2j,…,lnj,Cu)通過式(6)加權求值后進行分級,各vvj之間的計算相互獨立,且計算量相等,具備很強的并行性.基于多因子分級的計算量遠小于疊加分析的計算量,在整個國土空間開發適宜性評價中基本可以忽略不計.

(6)

因此,疊加計算性能是影響國土空間開發適宜性評價的關鍵,而疊加分析的并行化能極大提升國土空間開發適宜性評價的效率.

2 國土空間開發適宜性評價并行化

2.1 并行疊加計算影響因素分析

在上述疊加分析算法中,最小的計算單元為(oi,{fzi}),各單元之間的計算互不影響,可利用數據域劃分的方法將{(oi,{fzi})}分配至各計算節點,實現并行化計算.由于空間數據的復雜性,各{(oi,{fzi})}之間的計算量相差極大,易導致各計算節點的數據傾斜,影響并行疊加分析的效率.從疊加分析的參與對象oi,{fzi}上分析其影響:①oi的影響分析，在實際中,有些空間對象的信息量非常“巨大”,包含幾萬甚至上百萬的頂點,極易導致數據傾斜,影響并行計算效率;②{fzn} 的影響分析,oi一般是通過空間索引實現對影響域數據集{fzn}的高效查詢與獲取,而空間索引的創建和查詢都是基于空間對象近似矩形(空間對象的最小包圍盒),查詢結果集合是大于真正發生計算的影響域,即查詢結果中部分空間對象與oi將會產生無效計算,從而導致計算效率的降低.

從上述分析可知,提升疊加計算效率的方法有:①對于空間對象本身oi,將“大問題”oi轉化為多個“小問題”{toi},以并行的計算方式解決串行計算的性能問題;②對于影響域{fzn},盡量精確檢索范圍以獲取有效的計算對象,排除其中的無效計算以提升計算效率.

2.2 空間數據預處理

利用空間數據預處理方法可降低信息量“巨大”的空間對象及其影響域中無效計算因素對疊加分析計算效率的影響.設定某一閾值?ρ,若疊加分析中所有數據集中的空間對象On中頂點數大于?ρ,則進行空間數據對象的拓撲分解,即將On分解為{tOn},其中tOn的頂點數小于等于?ρ.

如圖2所示,圖2a是空間對象On,圖2b是其拓撲分解結果{tOn};圖2c是On影響域的查詢范圍A,圖2d是{tOn}影響域的查詢范圍B(tfoi的查詢范圍為bi),其中B

圖2 空間數據的預處理

2.3 空間疊加分析并行化

2.3.1 兼顧空間數據劃分與檢索的方法

資源環境承載能力數據經過數據預處理后,轉化為空間數據集為{soi},空間疊加分析是以{(soi,{fzi})}為最小計算單元.由于空間相鄰soi之間的影響域會有較高的冗余,在數據劃分過程中需將空間臨近的數據分配至相同的計算節點,以減少影響域{fzi}在多個節點的冗余.基于Q樹的劃分方法能很好地顧及空間鄰近性,具體步驟為:①獲取{soi}的數目N,并根據{soi}的最小包圍矩形創建Q樹的根節點;②利用概率函數對{soi}采集樣本{ssj},并將{ssj}插入已創建的Q樹q中;③清除q中的樣本數據,并以q的各葉子節點{lqj}的空間范圍對{soi}進行劃分,即將{soi}中各對象插入q中,但q的葉子節點不再分裂,保持原有結構;④利用q對其他參與計算的資源環境承載力數據集進行劃分;⑤各葉子節點lqj中對應的空間數據子集創建R樹.

如圖3所示,q中{lqj}與R樹索引集合{lrj}中各對象是一對多關系(lrj={lrij},1≤i≤n,n為

圖3 空間數據劃分與空間索引

資源環境承載能力評價的空間數據集數目).其中,q不僅具有空間數據劃分的作用,且在粗粒度上實現對{lqj→lrj}查詢檢索及數據調度的功能;R樹在疊加計算中以較低的計算代價快速獲取影響域{fzi}.

2.3.2 并行空間疊加分析

疊加分析并行化流程(見圖4)的主要步驟有:①參與疊加分析的空間數據集a和空間數據集b采用2.2節方法對數據進行預處理;②采用2.3.1節的方法對a和b進行劃分,其中a的劃分結果為{lqai},b的劃分結果為{lqbj},并對{lqbj}建立一一對應的R樹索引集合{lqbj→lrbj};③{lqai}和{lqbj}是相同結構的Q樹劃分的結構,將在Q樹中相同葉子節點lqai與lqbj進行一一關聯,關聯的結果為{(lqai,lqbj→lrbj)};④通過任務動態調度的方法,將{(lqai,lqbj→lrbj)}分配給各計算節點;⑤各計算節點中,lqai中的各空間對象通過lrbj檢索影響域數據子集,并進行疊加計算;⑥重復步驟④和步驟⑤,直到所有的任務計算完畢;⑦由于數據預處理拓撲拆分和數據劃分冗余的影響,對疊加分析的結果按照Key值排序進行并行歸并;⑧結果輸出.

圖4 疊加分析并行化流程

2.4 基于并行疊加的適宜性評價

參與國土空間開發適宜性評價的資源環境承載能力數據集{foi}的數量為n,foi中所包含空間對象集為{(Iij,dij)},Iij為承載力評價結果,dij是空間對象.cck是國土空間開發適宜性評價的約束條件數據,其所包含的空間對象集為{(Im,cdm)},Im為評價因子,cdm是空間對象.國土空間開發適宜性評價并行化的流程為:①基底空間數據bok與fo1進行并行空間疊加分析,并利用賦值計算模型frk將fo1中因子賦值于bok得到結果to1;②在toi-1與foi并行空間疊加分析基礎上(其中2≤i≤n),利用frk將foi中因子賦值于toi-1得到結果toi;③重復步驟②,直到{foi}和cck都計算完畢,得到計算結果ton+1;④利用國土空間開發適宜性評價矩陣或權重模型對ton+1中各空間對象的(I1j,I2j,…,I(n+1)j)進行計算評價,并將評價結果賦值于該對象;⑤結果輸出.

3 實 驗

本文提出基于并行疊加的國土空間開發適宜性評價方法,并在Spark分布式內存計算框架上開發實現.在分布式集群中對本文方法進行性能測試,包含并行疊加計算性能的測試,以及在國土空間建設開發適宜性評價中的計算性能對比測試.

3.1 實驗環境

基于并行疊加分析的國土空間開發適宜性評價的實驗環境有3臺服務器,各節點的操作系統為RHEL6.7(64位),計算框架為Spark2.2,存儲框架為hadoop7.5.主節點服務器(1臺)配置16核32 GB內存,CPU主頻為2.0 GHz,外部存儲為600 GB;計算節點服務器(2臺)包含4個CPU,總共64核,計算中僅用60核,預留4核給操作系統,各CPU主頻為2.0 GHz,外部存儲為30 TB.

3.2 并行疊加分析性能

并行疊加分析性能測試中,測試數據為云南省2012,2013年土地利用現狀數據,包含約1 500萬空間要素對象,存儲大小為21.9GB.通過表1可知,在64進程時,并行加速比達到了42,并行效率穩定在60%以上.

表1 并行疊加分析性能

3.3 國土空間建設用地適宜性評價性能

3.3.1 評價計算性能對比測試

云、貴、川、渝地區地形復雜,導致空間對象呈現小而多、復雜度高的特點,對計算效率的影響極大,選擇該地區進行國土空間建設用地適宜性評價極具代表性.在這四省范圍內,包含礦山占用土地、地面沉降現狀數據、滑坡崩塌泥石流易發區、全國活動斷層影響分區、溶塌陷易發分區、重要生態用地、地質遺跡及地質景觀、高程、基本農田、規劃禁止建設區、坡度、農用地分等定級、土地利用現狀等13個數據,約8 000萬空間要素,大小為55 GB.以土地利用現狀為基底數據,在與其他12種承載力評價因子疊加分析的基礎上進行國土空間建設開發適宜性評價.

表2是采用不同方法進行國土空間建設用地適宜性評價的性能對比.基于傳統商業GIS的單人單機環境(配置為16核32 GB內存,CPU主頻為2.0 GHz,與實驗環境的CPU同構),在縣級尺度上單個指標的計算需耗1～2 h,無法完成4個省份共438個縣級的評價工作;基于傳統商業GIS的多人多機方法(9人的專業團隊,15臺服務器超200核的計算資源),約3 d完成該任務;而采用本文提出的并行疊加分析評價方法,僅用實驗環境中的120核,只需2.4 h即能完成所有計算.本文方法相比于多人多機方法,不僅極大地節省了人力與物力資源,而且在效率上提升了約30倍.

表2 空間建設用地適宜性評價性能對比

3.3.2 礦區建設適宜性評價結果對比驗證

從西南四省的評價結果中選擇局部區域(礦區),將兩種方法進行對比,以驗證本文方法與商業GIS結果的一致性.由于基于商業GIS和本文方法都是將評價因子賦值給土地利用現狀基底數據,通過疊加對比基底數據中相同圖斑的分級結果,兩者計算一致.圖5是四川、云南邊界的兩種評價分級結果的疊加可視化,其東西長約30公里(東經101.84°～102.14°),南北長約22公里(北緯26.42°～26.58°).

圖5 礦區建設開發適宜性評價結果

采用面積占比方法對該區域內建設用地適宜性開發各等級面積占比進行統計.其中,適宜區占比0.5%,較適宜區占比5.4%,不適宜區占比85.8%和禁止區占比8.3%,本文方法與基于商業GIS的統計結果也一致.

圖6為礦區中的功能區域分布(包括塌陷、廢棄區、采場區、中轉場、礦山建筑等)與評價結果的疊加可視化.由于礦區數據功能區屬性僅為兩類(中轉場地與建筑用地為一類,塌陷區和廢棄區為一類),但從可視化結果中可知:中轉場地、建筑用地多分布在較適宜區域,而采場、塌陷區等則分布在不適宜區和禁止區域.與基于商業GIS的評價結果對比可知,兩者空間分布結果一致.

圖6 礦區多數據疊加展示

4 結 論

1) 本文針對大數據環境下以疊加分析為核心的空間開發適宜性評價方法進行了探索與研究,實現了高效并行化的空間開發適宜性評價,其核心算法(并行疊加)的加速比與核數呈正相關,并行計算的效率穩定在60%以上.

2) 在西南四省的空間建設適宜性評價實驗中取得了良好的效果,相比于商業GIS的多人多機方法,效率提升了約30倍,打破了傳統評價方法面臨的效率低或無法勝任的局面.

3) 在空間大數據發展趨勢下,未來新型國土空間規劃中的空間數據將精度更高、數據量更大、數據種類更加多樣化,對計算的性能要求也會提高,而本文方法為此提供了可行的高效率評價思路.