融入“大環境”中的水環境——論大數據背景下的水環境大數據的使用

黃　波　周　愿

(1．長江流域水環境監測中心，湖北武漢　430010; 2．長江水利委員會宣傳出版中心，湖北武漢　430010)

?

融入“大環境”中的水環境——論大數據背景下的水環境大數據的使用

黃波1周愿2

(1．長江流域水環境監測中心，湖北武漢430010; 2．長江水利委員會宣傳出版中心，湖北武漢430010)

摘要:針對目前水環境信息化存在的問題，比如水環境資料收集方式單一、資料格式多樣以及資料利用率低等，提出了一些應對措施:必須轉變觀念，在現有計算機軟、硬件高速發展的基礎上，利用大數據的思維方式和相關技術來推進水環境信息化建設;同時，還應從水環境大數據的采集、轉化和應用等方面著手分析研究。對水環境大數據的概念，以及水環境數據的采集、水環境資料向水環境數據的轉化和水環境數據的應用等方面作了介紹。

關鍵詞:水環境信息化;水環境大數據;數據采集;數據轉化;數據應用

繼國家發改委提出《水利發展規劃(2011－2015)》以來，水利水環境行業得到了突飛猛進的發展，隨著水利水環境信息化不斷發展，在積攢了豐富數據信息資源的同時，各種有關水環境的數據應用軟件、信息系統及多功能交互平臺等如雨后春筍般地大量涌現。

隨著計算機技術進一步發展、軟硬件不斷更新，在信息爆炸的大環境下，人們正逐漸習慣用數據來衡量世界，同時水利水環境信息也步入了大數據時代。然而，早期信息缺乏的“小數據”時代特有的思想烙印，限制了水環境信息化發展進程，早期各種基于“小數據”開發的應用軟件、信息系統及交互平臺開始顯現出各種弊病，主要體現在:水環境工作者資料收集方式單一、資料格式不統一、資料紛繁卻無法得到高效合理的利用。

1　水環境大數據

大數據是伴隨著數據獲取和數據存儲技術逐漸出現的，繼2008年9月《科學》雜志發表了一篇題為“Big Data: Science in the Petabyte Era”的文章［1］，“大數據”這個詞即開始被廣泛傳播;簡單地說，大數據就是4個“V”，即規模性(Volume)、多樣性(Variety)和高速性(Velocity)，還有一個“V”有2種說法:價值性(Value)和真實性(Veracity)。

數據量大并不能算是大數據，大數據的特征是數據量大、數據種類多以及非標準化數據的價值最大化。水環境大數據具備以下特點。

(1)數據量大。近些年來，各級水行政主管部門，基于電子化紙質資料和不同項目建立的數據庫，已經積累了海量的水環境資料。

(2)資料種類繁多。有文檔、表格、掃描文件、圖片、文字報告以及視頻資料等。

(3)資料標準不同。然而，這些資料都是應用于改善水環境。

1．1水環境資料和水環境數據

水環境資料不等同于水環境數據，只有經過數據化處理以后，水環境資料才能算是水環境數據。水環境數據也不僅僅是簡單的電子化、數字化的水環境資料，而是能被有效存儲、查詢檢索、即時調用、方便管理以及高效應用的數字化水環境資料。水環境數據的價值就體現在對它的應用，而不是在于其本身。

一份水源地水質檢測紙質報告，即使將其掃描成了電子文檔并存入數據庫，但是，如果不能將其完全轉化成文本數據和數字數據，那么它就不能參與數據庫的檢索、評價、比較和研究，因此，也就不能算是水環境數據。

對于排污口的圖片資料，如果未加相應的文字描述，根本無法得到有效調用，因此也不能算是水環境數據。即使是水環境資料報表，如果為非數據表、采用的是不規范的個性化用語，那么這樣也很難將其轉化成水環境數據。

1．2水環境數據存在的問題

對實際工作中有關水環境資料的采集、整理以及使用情況進行了分析和總結，結果表明，以下問題阻礙了水環境信息化的發展。

(1)數據來源渠道單一。數據主要靠從公益項目、國家縱向項目獲得，隨著時間和項目的累積，數據也得到了逐漸積累。

然而，由于長序列水環境數據保密性的需要，基層數據采集者或水環境監測站點只負責按固化的規則采集數據、并將采集到的數據向水環境數據庫傳輸。

(2)數據種類多樣，格式標準各異。數據格式不統一，異構嚴重，而且經數據轉換工具轉換容易產生數據丟失。隨著時間的推移，同區域的各類數據，比如影像數據、矢量數據等，都會出現多個時間段版本;單獨存儲、自動化管理程度較低。由于數據缺乏統一標準，因而致使整合難度大。

(3)數據共享困難、數據利用程度較低。由于數據來自于不同的項目，專用多、共享少，且大多是單一應用;存儲不規范，數據假丟失。

為了解決以上問題，必須迅速而大量地采集水環境大數據，而且還應及時地將這些數據進行轉化，使其能夠得到充分、高效地利用。

2　水環境數據的采集

在“大數據”時代，數據是以PB數量級存儲，因此，應采取新的數據采集理念:數據的采集不要抽樣要全體，應采集效率數據而非精確數據，數據追求相關性而不再注重因果性［2］。

2．1早期水環境數據的收集

目前，數據僅靠政府水行政主管部門采集，依循的是早期“小數據”時期模式:精選監測點位，依靠代表性加以輔助性抽樣點的抽樣數據來代表某一區域的水環境數據，以水環境特征參數來代表某一區域的整體水環境特征。

由于儀器本身的精密度、工作人員的專業技術水平以及采樣時段均存在著差異，因此，致使采集到的水環境數據的質量參差不齊。

前幾年，關于這方面的研究文章主要針對的是以下各方面:

(1)怎樣科學地布設監測站網，以進行合適的代表性抽樣;

(2)如何改善檢測方法的準確度和提高檢測儀器的精密度;

(3)在某種變化趨勢下，指向性地增加某片區域的數據采集密度。

實際上，這些方法存在著以下問題。

(1)數據僅來自于政府部門，由所謂權威機構一手承辦，社會機構無法參與其中，且基于數據保密性的要求，致使最原始數據無法對社會機構及民眾開放。

(2)數據采集成本高，即使不同部門的部分交叉數據可做比對驗證，但仍有相當部分數據的準確性難以得到保證。

(3)抽樣畢竟無法代替總體，在統計學研究里，只有真正意義上的足夠量的隨機抽樣才能無限接近統計總體，而實際工作的抽樣通常帶有一定目標指向性或稱因果導向性，因此，樣本代表性離實際情況總有差距。

(4)流域上、下游數據的采集時間跨度大，數據的即時性無法得到保障。

2．2相關性數據的實時采集

受谷歌搜索引擎數據采集啟發，水環境數據采集渠道其實可以更廣。除了傳統的水環境表征監測信息，像位置信息、檢索信息、情緒信息和手機信息等，均可列為采集信息。

專業采樣員應身攜能實時反饋地理信息的小型儀器，即時記錄其日常采樣軌跡和遇到異常水環境狀況時的足跡。像當地居民日常所見:泛著泡沫、紅色的湖泊，網上檢索“…水能不能喝”、“…對生活有沒有影響”、“水務部門聯系方式”、“…農田賠償問題”及論壇舉報“附近小廠夜晚2點排污”等信息;公共平臺的牢騷“家前小湖里，好久不見大白刁(一種適合優良水質生長的魚)”以及其他一些相關性水環境事件等，都可以是水環境數據采集對象。

還有一些比較主動的方式，鑒于水環境保護關乎到百姓的切身利益，因此，其相關信息應當向大眾公開。

在大數據技術背景下，甚至可以考慮把整個“大生態”環境囊括，將其他領域的數據均納入到水環境大數據，同時，水環境大數據又可以以反饋的形式融入“大生態”。

水環境大數據采集方式應當多樣化，通過對一些相關性的水環境事件數據化，或對其所具有的獨特映射對象(比如，某區域超市純凈水或桶裝水在短期內被搶購一空，映射到居民飲用水可能有問題)實施數據化，以形成水環境大數據。同時，應努力降低獲取信息數據的成本。

3　水環境資料向水環境數據的轉化

除了應當更新數據采集觀念以外，還應使在此之前所積累的水環境資料轉化成能被高效利用的水環境數據，進而成為水環境大數據。

3．1水環境“黑暗數據”轉化

為了解決這個問題，必須正視目前水環境信息化的一個事實，即黑暗數據(dark data)或被稱為數據孤島的存在。相關的分析師對于黑暗數據的定義是，針對單一目標采集數據，用后即被歸檔閑置，其真正價值未能得到充分挖掘。

在以往的水環境信息化中，系統大多是根據各項目的實際需求，建設有一套各自針對性比較強的封裝，它能使數據和數據處理在該系統中緊密耦合;而一些相對特殊的系統功能，在處理過程中，卻使本來應當聯系緊密、相互配合的系統之間缺乏互通性，以致不能為全局管理提供多角度、多層面的信息分析服務［2］。

同時，這些系統采用的是關系型數據庫，它依靠的是結構化查詢語言(SQL)，要求數據必須整齊排列，強調層次結構和一致性，不能容忍數據改變，任何功能性和數據性的改變都必須從開發底層修改。

然而，處理大數據必然會面對大量的非結構化數據，包括所有格式的辦公文檔、文本、圖片、標準通用標記語言下的子集XML、HTML、各類報表、圖像和音頻以及視頻信息等，這樣就需要建立一個非關系型的數據庫(NoSQL)。為此，各種數據倉庫技術和相應的數據挖掘技術就應運而生［3－4］。

面對異構水環境大數據，已有相應的技術可實現多尺度矢量數據、MODIS、HJ1A以及HJ1B影像等數據共享。水環境大數據發現技術是一種基于語義的水利領域的信息檢索系統及方法。

另外，還有面向多事權的水環境大數據交換技術，有基于云計算的數據共享交換模型及方法，以及面向動態業務需求的數據服務技術等［5］。

3．2水環境數據存儲技術

對于水環境大數據，必須要具有相應的高效存儲技術。針對遙感影像數據在采用Hadoop分布式支付系統(HDFS)存儲時全副本容錯技術與存儲空間之間的矛盾，已具有相應的基于糾刪碼的容錯技術，它能有效實現數據安全冗余存儲［5］。

通過Web Services技術將GIS功能進行標準封裝，可以實現網絡環境下異構功能資源的集成與交互操作。同時，GIS功能資源也能與非空間信息資源進行交互操作。作為一種成熟的技術及規范標準，Web Services可以使不同的應用之間直接實施數據與功能的交互［6］，而無需借助于其他軟件。

4　水環境數據應用

大量的水環境數據充斥在分布式存儲數據庫里以供隨時檢索，這樣并不能算作是真正意義上的水環境大數據;“數據資源一個中心”、“信息共享一張圖”以及“應用服務一個平臺”屬于信息化工程的構想，也是數據資源整合理應達到的程度。

目前，有關各種水環境的水資源質量通報、公報都是屬于都是總結性匯編。比如，某區域某月的水質經通報公布只達到了Ⅳ類標準(一般認為，至少是達到Ⅲ類標準的水才是符合要求的)，但是，實際上，居民將該水域作為飲用水水源已有一段時期了，盡管飲用水水源的水需要經過水廠的一整套規范化處理，而且必需達到一定標準才能入戶飲用，但水環境質量服務的滯后性問題仍然存在。

目前，已有的水污染物擴散預測模型以及其他一些相關模型，由于缺乏大量實時數據的支持，只能做出比較模糊的預測。

然而，在擁有海量水環境大數據以及強大的數據分析技術條件下，完全可以通過大量簡單的小模型、以相互映證的方式做出最貼近事實的預測，通過海量數據運算，即可對其可能性做出判斷。這種將數據在正確的時間交付到正確的應用，數據的價值才能夠得到實際體現。

如果僅僅只是以簡單的授權數據使用的形式，那么，水環境大數據不可能會得到廣泛的應用。出于對水環境數據保密性的要求，水行政主管部門不可能開放所有的水環境數據，對于這種矛盾，只能以開放服務的方式解決。

大數據的優點就在于其可以得到多次利用，基于應用再應用。因為它不像抽樣獲取數據那樣帶有目的性，所以在采集和處理數據的過程中，可能還會有很多新的應用不斷產生。

綜上所述，可以將水環境信息化發展的模式類似地看作是:水環境數據采集者采集數據，數據應用者只對大數據的某項應用負責，數據采集者開放基于數據的服務——各項數據的應用，普通民眾在得到開放式服務的同時，又實時地將用戶的體驗反饋給數據采集者;數據采集者以此來再次豐富數據，數據應用者也再次將數據應用于新的服務等。

舉例來說:嘗試開發一款具有區域水環境預測性質的app，當實用性功能被廣大用戶接納以后，該app的大量用戶就可以反過來實時反饋糾正該區域的水環境狀況。經過如此循環反復，最終才能形成真正意義上的水環境大數據。

水環境數據的應用，必將有利于更好地改善水環境，使水環境不至于持續惡化，而且在可預見的情況下，水環境數據能使人們更充分地利用水環境為人類服務。

5　結語

(1)為促使水環境信息化的發展，必須結合工作實際，開拓思路、勇于創新，合理地利用現有的先進技術;

(2)必須擴寬水環境數據的收集面，各種相關和看似不相關的數據都有必要納入收集范圍;

(3)運用先進技術充分收集水環境大數據;

(4)討論水污染預測和水環境數據糾錯等水環境大數據應用的可能性。

工業和信息化部電信研究院在2014年的《數據白皮書》中提到:“在大數據應用上，首先是政務和公共服務領域的應用，重點面向改善民生服務和城市治理等方面，積極推動環保、醫療、教育、交通等關鍵領域的大數據整合與集成應用，進一步提高政務和公共服務效率。”

水環境信息化方向必然是加強歷史水環境數據的整編，關注未來水環境大數據的采集，特別要注重水環境大數據的高效應用。

要漸漸改變水環境信息化的觀念，從把信息技術看作是輔助或服務性的工具轉變為可以成為決策的工具。同時，非常有必要建立一種完善的數據分析監督機制，而且需要組建一個由數據分析專家和水環境行業專家組成的專家組來保證數據的有效性，不能讓大數據分析變成一個“黑盒子”。

作者建議，應按照相關法律、法規，制定政府及公共數據安全和隱私保護法，對可能涉及到國家安全和公民隱私的風險點進行嚴格控制。在此基礎上，按照敏感性程度對政府和公共數據進行分級，按級別開放數據服務。

綜上所述，政府也應積極規范和引導商業化水環境大數據的推廣應用活動，為水環境數據資源的流通創造有利條件。

參考文獻:

［1］B·M·舍恩伯格，K·庫克耶．大數據時代［M］．杭州:浙江人民出版社，2012．

［2］吳澄．現代集成制造系統導論)——概念、方法、技術和應用［M］．北京:清華大學出版社，2002．

［3］李曉芳．數據倉庫技術在水電調度管理系統信息集成中的應用研究［D］．南京:河海大學，2004．

［4］李瓊．數據倉庫及數據挖掘在水利信息化中的應用［D］．大連:東北財經大學，2005．

［5］馮鈞．水利大數據及其資源化關鍵技術研究［J］．水利信息化，2013(4) : 7－9．

［6］周文波．基于SOA的高校迎新系統的研究與設計［D］．南昌:南昌大學，2010．

設計與施工

作者簡介:黃波，男，長江流域水環境監測中心，工程師．

收稿日期:2015-05-13

文章編號:1006-0081(2015) 07-0007-04

中圖法分類號:P337

文獻標志碼:A