內蒙古林業(yè)大數(shù)據(jù)管理平臺設計與實現(xiàn)

李 鑫，云海英，段 菁，滕 飛，納 青，高榮麗

(內蒙古自治區(qū)林業(yè)信息中心，內蒙古 呼和浩特 010018)

1 研究背景

隨著移動互聯(lián)網、物聯(lián)網、云計算等新興服務的蓬勃發(fā)展和技術的飛速進步，林業(yè)大數(shù)據(jù)建設成為林業(yè)發(fā)展的新業(yè)態(tài)[1]。林業(yè)大數(shù)據(jù)作為重要資源和有效工具，對提高林業(yè)綜合管理水平、加快林業(yè)生態(tài)建設和創(chuàng)新發(fā)展具有重要的推動作用[2-3]。研究人員已從林業(yè)大數(shù)據(jù)的定義、內涵、特征、發(fā)展動態(tài)等角度進行了研究[4-6]，并以大數(shù)據(jù)思維、理論和技術對林業(yè)大數(shù)據(jù)的應用前景進行了較為廣泛的探討?；诖髷?shù)據(jù)相關理論的發(fā)展，各級林業(yè)部門對林業(yè)大數(shù)據(jù)的理論與應用做了一定程度的探索[7-10]，但應用研究較少。

經過長年的調查積累，內蒙古林業(yè)大數(shù)據(jù)在林業(yè)資源、地理信息、動植物資源、林地保護、森林防火、病蟲鼠防治、森林經營等方面已有較完善的基礎[11-14]。鑒于快速增長的海量林業(yè)數(shù)據(jù)和數(shù)據(jù)多源異構性處理難度，以及自治區(qū)時空尺度差異大和各級林業(yè)部門信息孤島的弊端，內蒙古林業(yè)急需構建一個全面、統(tǒng)一、整體、系統(tǒng)的大數(shù)據(jù)平臺，實現(xiàn)全區(qū)林業(yè)數(shù)據(jù)的整合及應用[11]。該林業(yè)大數(shù)據(jù)平臺的設計與實現(xiàn)進一步提升了自治區(qū)林業(yè)綜合管理水平，并提供更精準的林業(yè)決策，也為后續(xù)自治區(qū)乃至全國林業(yè)大數(shù)據(jù)應用和創(chuàng)新提供現(xiàn)實指導。

2 系統(tǒng)概述及架構設計

2.1 系統(tǒng)概述

研究構建的內蒙古林業(yè)大數(shù)據(jù)管理平臺(以下簡稱“管理平臺”)完成林業(yè)時空大數(shù)據(jù)采集、整合優(yōu)化，從而支撐林業(yè)資源數(shù)據(jù)的空間分析、智能展示、地圖+業(yè)務分析、趨勢分析、分布分析等數(shù)據(jù)可視化展示，為整合內蒙古林業(yè)線上線下大數(shù)據(jù)、統(tǒng)一數(shù)據(jù)標準規(guī)范，構建了內蒙古林業(yè)信息資源目錄體系，為林業(yè)資源的共享應用奠定基礎，提高了內蒙古林業(yè)數(shù)據(jù)采集、整合、優(yōu)化及決策應用的效率與水平。

管理平臺將內蒙古林業(yè)廳分散在各業(yè)務系統(tǒng)中的地理信息數(shù)據(jù)、森林資源數(shù)據(jù)以及分散在業(yè)務處室的手工報表數(shù)據(jù)整合到統(tǒng)一的時空大數(shù)據(jù)庫中，基于地理基礎數(shù)據(jù)、分析林業(yè)調查歷史數(shù)據(jù)，從空間、時間上對林業(yè)數(shù)據(jù)進行智能分析展現(xiàn)，展現(xiàn)內容應滿足林業(yè)相關部門決策需求。

2.2 總體架構設計

內蒙古林業(yè)大數(shù)據(jù)管理平臺的各業(yè)務模塊面向不同的用戶，依據(jù)系統(tǒng)特點采用相應的設計方式。同時，各模塊之間相互耦合，如需通信則采用接口的方式，對外接口與自身的業(yè)務邏輯分離。

管理平臺采用4層架構體系，分別為：數(shù)據(jù)接入層ETL、數(shù)據(jù)層、服務層、應用層?？傮w架構體系如圖1所示。

圖1 林業(yè)大數(shù)據(jù)管理平臺總體架構Fig.1 Overall architecture of forestry big data management platform

1)數(shù)據(jù)接入層ETL

數(shù)據(jù)接入層ETL將林業(yè)數(shù)據(jù)從來源端，經過接入、處理、轉換、加載至數(shù)據(jù)倉庫。數(shù)據(jù)接入可采用自動、半自動、手工等多種方式接入，針對目前已統(tǒng)一存貯的資源數(shù)據(jù)，采用ETL自動導入；針對報表類數(shù)據(jù)，可采用半自動上傳導入；針對零散的圖表數(shù)據(jù)，可采用手工收集，人為處理手工導入方式。

2)數(shù)據(jù)層

依據(jù)不同的資源類型，不同類型的數(shù)據(jù)從接入層分別抽取至數(shù)據(jù)層。數(shù)據(jù)層負責數(shù)據(jù)信息的存儲，包括：公共基礎數(shù)據(jù)、遙感影像數(shù)據(jù)、林業(yè)基礎數(shù)據(jù)等。

3)服務層

服務層將大數(shù)據(jù)涉及的業(yè)務采用服務組件形式進行松耦合建設，各類服務組件可以按需調用。相關服務包括：森林分布圖服務、林相圖服務、影像地圖服務、行政區(qū)劃服務、資源目錄服務、應用服務等。

4)應用層

應用層根據(jù)已有資源數(shù)據(jù)情況、結合應用服務，為用戶提供一種交互式操作界面，包括林業(yè)大數(shù)據(jù)建設的可視化智能展示及資源目錄展示。

2.3 技術架構設計

林業(yè)大數(shù)據(jù)管理平臺采用B/S架構風格，前端采用JavaScript，后端采用Java語言開發(fā)，地圖使用ArcGIS框架，結構化數(shù)據(jù)存放在Oracle數(shù)據(jù)庫，影像地圖數(shù)據(jù)存儲在文件服務器。管理平臺技術架構如圖2所示。

圖2 林業(yè)大數(shù)據(jù)管理平臺技術架構Fig.2 Technical architecture of forestry big data management platform

2.4 邏輯架構設計

管理平臺中涉及的數(shù)據(jù)包括結構化數(shù)據(jù)和非結構化數(shù)據(jù)，數(shù)據(jù)源通過數(shù)據(jù)抽取的方式存儲在時空大數(shù)據(jù)庫中，非結構化數(shù)據(jù)存儲在文件服務器，結構化數(shù)據(jù)存儲在數(shù)據(jù)庫中，最終構成時空大數(shù)據(jù)庫。其他各模塊應用系統(tǒng)數(shù)據(jù)均由時空大數(shù)據(jù)庫提供。管理平臺邏輯架構如圖3所示。

圖3 林業(yè)大數(shù)據(jù)管理平臺邏輯架構Fig.3 Logical architecture of forestry big data management platform

3 功能模塊實現(xiàn)

林業(yè)大數(shù)據(jù)管理平臺的功能主要包括信息資源目錄和可視化展示兩大應用模塊。

3.1 信息資源目錄

林業(yè)信息資源目錄是基于森林資源元數(shù)據(jù)和全文檢索技術信息資源的采集、加工以及管理的平臺。

信息資源目錄體系首先按照資源數(shù)據(jù)的結構或資源特征，根據(jù)數(shù)據(jù)類型進行劃分，建立各類型的信息資源元數(shù)據(jù)，在元數(shù)據(jù)基礎上形成針對林業(yè)大數(shù)據(jù)管理平臺的林業(yè)信息資源服務目錄。

資源服務目錄實現(xiàn)注冊、查詢、發(fā)布、撤銷以及目錄的編輯等操作，實現(xiàn)林業(yè)廳系統(tǒng)之間服務的共享。林業(yè)大數(shù)據(jù)平臺向資源目錄發(fā)布資源和服務，其中資源目錄包括統(tǒng)計報表和資源年報，服務目錄中包括森林資源分布圖、林相圖、影像地圖和公共地圖服務。信息資源功能架構如圖4所示。

圖4 信息資源目錄架構Fig.4 Architecture of information resource catalog

信息資源目錄模塊包括：資源目錄查詢、資源信息查詢、資源目錄展示與資源訪問等。資源目錄查詢提供目錄內容的查詢功能，包括基于林業(yè)信息資源的分類導航、條件檢索等，檢索條件包括資源分類、調查次數(shù)、行政區(qū)劃、業(yè)務類型、比例尺、分辨率等；資源目錄提供針各類資源信息的查詢，資源信息查詢內容包括：林相圖、森林資源分布圖、統(tǒng)計報表；系統(tǒng)可以按資源目錄分類逐級展示已發(fā)布的資源目錄內容，用戶可以逐級展開資源目錄分類進行展示；資源目錄提供針對資源信息訪問，包括對林相圖、森林資源分布圖、統(tǒng)計報表的詳細信息的展示。

3.2 可視化展示平臺

林業(yè)大數(shù)據(jù)管理平臺綜合分析功能是在基礎地圖數(shù)據(jù)、森林資源調查數(shù)據(jù)的基礎上，實現(xiàn)對森林調查數(shù)據(jù)的可視化展示、統(tǒng)計分析、專題圖、小班查詢應用等功能，最終通過多屏、時序、卷簾、統(tǒng)計地圖、圖表等可視化表達方式實現(xiàn)森林資源分布一張圖?？梢暬故竟δ芗軜媹D如圖5所示。

圖5 可視化展示功能架構Fig.5 Architecture of visual presentation function

3.2.1森林資源展示

森林資源展示實現(xiàn)了森林資源分布圖與林班數(shù)據(jù)、小班數(shù)據(jù)的一張圖展示，以及森林資源概況描述功能，同時支持森林資源分布圖的多屏、時序、卷簾的可視化展示，并實現(xiàn)了按關鍵詞進行查詢展示的功能。例如實現(xiàn)了按時間順序以及區(qū)域等關鍵詞進行查詢與展示。

3.2.2小班查詢及統(tǒng)計

森林資源將針對小班數(shù)據(jù)提供空間查詢、屬性查詢、特殊區(qū)域查詢以及坐標區(qū)域查詢，同時根據(jù)小班查詢結果統(tǒng)計功能統(tǒng)計分析森林資源調查數(shù)據(jù)，按調查次數(shù)實現(xiàn)不同時間維度的統(tǒng)計，也可以實現(xiàn)對森林資源調查成果時間及空間維度的統(tǒng)計分析與比較，同時，通過對統(tǒng)計條件篩選實現(xiàn)多維度多指標的統(tǒng)計分析。統(tǒng)計結果以圖表及統(tǒng)計地圖的形式展示，圖表與統(tǒng)計地圖實現(xiàn)聯(lián)動交互及時序對比播放。

3.2.3專題圖

專題圖包括森林資源分布圖及林相圖，實現(xiàn)專題圖的多屏對比、時序對比、卷簾對比等展示。

1)分布圖

分布圖模塊實現(xiàn)了對小班調查數(shù)據(jù)的林班空間分布按照盟市、旗縣進行展示，同時實現(xiàn)不同調查次數(shù)的森林分布圖的多屏對比、時序對比、卷簾對比等展示。

2)林相圖

林相圖模塊實現(xiàn)了對調查數(shù)據(jù)成果的小班空間分布情況展示，林相圖按照鄉(xiāng)鎮(zhèn)、林場及開發(fā)區(qū)等行政區(qū)劃進行展示，同時實現(xiàn)不同調查次數(shù)的林相圖的多屏對比、時序對比、卷簾對比等展示。

4 林業(yè)大數(shù)據(jù)管理平臺的實現(xiàn)

平臺采用J2EE的3層架構體系?；贘2EE的企業(yè)應用技術已成為許多企業(yè)的核心驅動引擎。J2EE是一種利用Java 2平臺來簡化諸多與多級政府單位解決方案的開發(fā)、部署和管理相關的復雜問題的體系結構。提供了對 EJB、Serves、JSP、JDBC、CORBA以及XML技術的全面支持。J2EE提供了一個企業(yè)級的計算模型和運行環(huán)境用于開發(fā)和部署多層體系結構的應用。

平臺架構前端采用html5+js編程語言，根據(jù)前端系統(tǒng)特點選擇不同的JS框架。可視化采用ArcGIS for JS 3.34，建立在DOJO組件上。

平臺架構服務端使用Java語言，采用spring MVC+myBatis搭建基礎框架，實現(xiàn)系統(tǒng)的基本業(yè)務功能和通用功能，并依托spring框架集成流程管理組件activiti，安全認證shiro，日志管理log4j和緩存redis組件。

從實現(xiàn)角度看，將程序代碼與元模型綁定，通過多級抽象，用戶的需求變化被控制在模型層面上，變化的波及效應無法沖擊到代碼層，從而使系統(tǒng)具有了運行期動態(tài)改變的能力。圖6給出了系統(tǒng)運行效果。

5 結束語

通過建設林業(yè)大數(shù)據(jù)管理平臺，打破了內蒙古各級林業(yè)部門之間的信息孤島，實現(xiàn)了林業(yè)資源數(shù)據(jù)的跨部門檢索，提高了林業(yè)管理工作效率。平臺將所需林業(yè)資源數(shù)據(jù)進行整理、提取、展示、對比與統(tǒng)計分析，實現(xiàn)了為森林資源保護和合理開發(fā)利用以及森林資源監(jiān)督管理等工作提供快速精準的輔助決策。信息資源目錄可方便各職能處室及業(yè)務人員快速查詢和訪問信息資源，實現(xiàn)信息資源快速定位與共享；標準規(guī)范體系為林業(yè)相關部門的日常管理及質量監(jiān)控提供依據(jù)，對提升內蒙古各級林業(yè)部門的綜合管理水平具有積極促進作用。林業(yè)大數(shù)據(jù)管理平臺的開發(fā)對加快智慧林業(yè)、推動生態(tài)文明以及建設美麗中國具有重要而深遠的意義。