黃惠筱
(百色市國土資源信息測繪中心 廣西百色市 533000)
大數據技術在國土建設管理與服務中的應用
黃惠筱
(百色市國土資源信息測繪中心 廣西百色市 533000)
近年來,隨著互聯網、物聯網、移動互聯網、計算機與社交網絡等先進信息技術的廣泛應用與推廣,人類活動產生的數據日益增加,數據種類越來越多,數據在寬帶網絡中高速流動,使得數據待開發價值逐漸增大,推動大數據時代的發展。當前,大數據理念也深入人心,大數據技術種類逐漸增多,但大數據的應用還處于初期階段。在國土資源信息化建設中,應采用大數據技術發展的優勢,挖掘國土資源數據的潛在價值,為公眾提供更好的服務,為國土決策與國土宏觀調控提供參考。
大數據技術;國土建設;管理;服務;應用
近年來,隨著信息采集技術的迅速發展,國土資源基礎數據、業務數據、管理數據與監測數據也在不斷增長,各類遙感影像數據、國土資源調查數據、基本農田與重點礦山監測數據、地質災害預警預報數據等,都具有大數據的特征。所以,在日后較長一段時間內,國土資源行業信息化改革必定在大數據技術基礎上進行。在國土資源信息化建設中引入大數據技術,將產生巨大的經濟效益和社會效益。
當前,大眾已經真正意識到大數據潛在的、巨大的價值,但通過數據的開放、整合與分析,可不斷發現新的知識,并且還可迅速玩挖掘大數據的潛在價值,是現代社會中大數據應用情況下亟待解決的問題。此外,通過大數據的合理應用,可產生較大的數據分析價值,此類價值會隨著信息公開與共享程度不斷加大,但大數據信息安全也需要投入高度的關注,通過建立相關信息的采集、管控、敏感數據管理與數據交換等范圍內的法規制度,可有效維護大數據產業的健康發展。
大數據能夠帶來巨大的利益,大數據的規模性、高速型與多樣性等本質直接決定了其處理過程的復雜性,這使得大數據的處理工作成為了亟待解決的重要問題。一般情況下,大數據處理流程主要分為數據獲取階段、數據集成階段、數據分析解釋階段。對于大數據處理流程,具體如圖1所示。
2.1 數據獲取階段
數據獲取階段主要負責外界數據源的接收與記錄操作。其中,對于大數據的接收,主要包括傳感器獲取、網頁點擊獲取、移動設備應用服務獲取與射頻識別技術(RFID)獲取等方式。對于大數據的記錄,主要是對元數據的選擇,以此來為所需要的數據結構的構建提供便利。
2.2 數據集成階段

圖1 大數據處理流程
2.2.1 抽取
通過大數據定義可知,由大數據獲得的數據有可能具備多種結構與類型,數據抽取能夠為復雜數據轉化為單一或是便于處理的結構類型提供便利,以實現快速分析處理目的。例如一些交通事故的發生,雖然者的口述表達與監控攝像頭的拍攝顯示都能夠在一定程度上直接反映出交通事故的實際經過,但由于數據格式的差異,對此類問題的大規模統計分析具有一定的難度,將這些數據轉換為統一標準的表示格式,能夠為后期分析工作的順利進行提供便利。
2.2.2 清洗
大數據并不是全部具備價值,部分數據有可能不是人們所需要的內容,或是部分數據屬于完全錯誤的項目,這就需要對其中的有效數據進行提取。通過過濾器的設計與應用,并采用某些規則,可將無利用價值的甚至是錯誤的數據全部過濾出去,避免影響到后期分析工作。例如對交通事故的描述,部門目擊人員或是當事者的一些主觀或客觀原因提供了一些模糊的或是虛假的信息,對這些信息的過濾操作尤其重要。
2.2.3 儲存
有效存儲經過處理處理之后的數據具有十分重要的意義,如果僅將這些記錄隨意放入某個數據庫中,必將導致數據訪問問題,極有可能導致數據無法重復使用,這就需要設計一個適宜的數據庫,可有效解決數據難以復用的問題。一般情況下,數據庫的選擇具有多樣化特征,所以,針對特定的數據設計特殊的數據庫,可提升數據利用高效性與適用性。
2.3 數據分析和解釋階段
當用戶提出查詢請求之后,應對其進行及時的分析,并且還要做好建模操作,然后將結果以用戶能夠接受的方式返回至用戶。此階段用戶查詢具有多樣性,不同的查詢輸入應獲得對應的結果,即便面對用戶的錯誤查詢,也需要給出相應的錯誤友好處理。一般情況下,分析與建模過程也具有多樣性特征,統計學、數據挖掘與機器學習等各種方式的有效結合能夠產生各種智能推薦系統,可較好的滿足用戶查詢請求。
國土資源信息是一種主要的國情信息,形式多樣化,內容較為豐富,包含河流、山川等自然地理信息與礦產資源與地質災害等地質信息,以及地表風貌、良田土地信息等海洋信息等。
國土資源信息系統是反映國土資源信息的直接介質,數據規模較為龐大,種類相對繁瑣,格式也比較復雜。國體資源信息是地球科學研究順利開展的重要基礎,可促進重要物資資源與能源資源的持續發展,是可持續發展的生產力要素與寶貴的財富。在我國多年國土資源調查、監測、評價與研究過程中,國土資源部門積累了大量的資料,這些歷史積累資料與正在形成的國體資源科學數據,主要包含地球表面及其內部信息,獲取難度相對較大,獲取成本也較高,但具有巨大的科學利用價值,有利于地球科學資源環境科學與有關工程技術科學的發展與更新,并且還可為國家資源的安全提供堅實的保障,可推動資源產業的持續發展。
在國家空間數據基礎建設過程中,國土資源數據庫具有關鍵性作用,當前,我國部分省、市、縣各級分別構建了土地利用現狀、土地利用規劃、基本農田、礦產資源規劃等數據庫。近年來,隨著視頻、傳感器、智能設備等技術的不斷發展,形成了大量的視頻、音頻、文本、日志文件、物聯網以及傳感器等數據,大大增加了國土資源數據量。各類型國土資源數據具有巨大的潛在價值,需要對這些數據進行有組織的采集、存儲與管理,這就要實現不同數據庫的整合,并且還需構建統一的數據模型,以實現主數據管理,然后還應采用提取、轉換與加載等技術,實現內部結構化數據的集成目的。
對于非結構化數據,應不斷引入新的大數據平臺與技術,以不斷強化處理與集聚。對于集成數據,大多為大容量的、多種類的大數據,所以需采用各種方式與設備,對聚集的大數據進行客觀的、科學的處理與分析,以形成能夠直接為科學研究與其他工藝活動運用的數據,這是提取信息、發現知識與預測未來的重要基礎。通常情況下,隨著數據被重復利用次數的不斷增多,其所能夠發揮出的價值也會越來越大,例如在基本農田數據基礎上,通過對土壤、灌溉等變化因素進行有效的結合,可采用大數據分析方法構建基本農田質量影響評價模型,進而實現基本農田的動態保護、監測與評估目的。通過合理分析農用地分等定級數據,還可為土地定級估價、農用地的適宜性評價、城鎮發展規劃提供一定的指導。在地質災害評估中,大面積的災害區分類、災害等級識別和災情預報等是地質災害調查評估的難點,分析大數據以及綜合地形、氣象、遙感信息等作為地質災害預測、評估的工具,具有巨大的優勢。
當前,某國土資源廳將積極推動國土資源遙感監測“一張圖”工程建設,不斷完善國土資源電子政務平臺、綜監管平臺、數據共享服務平臺,認真研究構建新一代的國土資源數據中心,努力為全省國土資源開發利用工作提供強有力的信息技術支撐,進一步提升國土資源監管能力,提升服務全省經濟和社會可持續發展的能力,并針對大數據來源和承載方式多樣性的特點,在有效結合云計算、物聯網和移動互聯網技術的基礎上,高度關注大數據與安全技術的發展融合,重視國土資源大數據的存儲管理和挖掘分析。
(1)增強大數據技術保障能力,并不斷加強安全測評、電子認證、應急防范等信息安全基礎性工作,大力推廣國產密碼算法應用。加快大數據安全軟硬件技術產品研發和標準的制定,構建大數據安全評估體系,提升大數據平臺信息安全監測、預警和應對能力。同時,還應不斷加強測試工具研發力度,大力開展大數據平臺可靠性及安全性評測服務,為大數據安全可控和有序發展提供有效的引導。
(2)建設信息安全保障體系與大數據環境下的信息安全認證體系,做好信息安全頂層設計工作,有效保障數據采集、傳輸、處理等各個環節的安全可靠。圍繞信息系統安全、基礎設施安全、云平臺安全、網絡通信安全、數據安全、身份認證與管理等,積極開展全面系統的信息安全保障試點工作,大力探索并構建適宜的信息安全保障體系。
(3)制定相關標準規范以及大數據采集、管理、共享、交易等標準規范,明確收集數據的范圍與格式、數據管理的權限與程序、開放數據內容與格式、訪問方式等。制定、出臺數據資源開放指導辦法和數據資源安全開放標準規范,在嚴格遵循“開放優先、安全例外、分類分級”原則的基礎上,對大數據中心的數據資源進行合理的梳理,并對開放風險進行相應的評估,制定數據開放目錄,但需要及時更新。
(4)加強大數據資源安全管理,并且還需面向大數據平臺建設與應用服務需求,圍繞大數據資源的分級、共享、開放、交易等,加強標準規范的制定和實施。
綜上所述,數據正逐漸成為組織財富與創新的關鍵,大數據正在促進智能社會的發展。大數據是一門新興學科,必將在更多的領域中獲得更加廣泛的應用。在國土信息化建設應用過程中,應有效結合國土相關知識與大數據技術,并且還要科學的分析利用國土資源大數據,可為國土決策、國家基礎科學研究與前沿研究提供一定的技術支撐,還可為相關行業的發展提供基礎數據服務,并且還能夠為國家區域的發展規劃、宏觀調控與決策提供參考。
[1]虛擬化與云計算小組.云計算實踐之道[M].北京:電子工業出版社,2011.
[2]廣小明,胡 杰.虛擬化技術原理與實現[M].北京:電子工業出版社,2012.
[3]江蘇省國土資源廳.江蘇省國土資源信息化“十二五”規劃[R].南京:江蘇省國土資源廳,2012:5~8.
[4]涂子沛.大數據[M].桂林:廣西師范大學出版社,2013.
F299.2
A
1004-7344(2016)18-0182-02
2016-5-19
黃惠筱(1988-),女,助理工程師,大學本科學士學位,從事國土資源相關數據處理、計算機網絡機房維護、土地規劃、專題圖制作工作。