大數(shù)據(jù)在環(huán)境監(jiān)測領(lǐng)域的應(yīng)用

邢彥 吉喆陽 王兆燊，2

（1.鄭州三友軟件科技有限公司 河南省鄭州市 450000 2.北方工業(yè)大學(xué) 北京市 100043）

隨著環(huán)境監(jiān)測規(guī)模的不斷擴(kuò)大，無論是數(shù)據(jù)量還是數(shù)據(jù)類型都急劇增加，如何進(jìn)行高效的采集與處理，成為環(huán)境監(jiān)測領(lǐng)域面臨的重大難題。大數(shù)據(jù)處理技術(shù)是近年發(fā)展起來的面向海量數(shù)據(jù)分析的新技術(shù)，大數(shù)據(jù)具有數(shù)據(jù)量大、種類多樣、處理困難、價(jià)值密度低等特點(diǎn)，通過大數(shù)據(jù)技術(shù)可以從中高效地分析出數(shù)據(jù)中隱藏的規(guī)律，提取出有價(jià)值的信息，從而為決策提供支持。在環(huán)境監(jiān)測領(lǐng)域，由于需要對排放量、污染因子種類、擴(kuò)展趨勢等信息進(jìn)行分析，涉及到大量的數(shù)據(jù)計(jì)算，由于環(huán)境監(jiān)測要求具有時效性，因此采用傳統(tǒng)的方法已經(jīng)越來越難以滿足環(huán)境監(jiān)測技術(shù)發(fā)展的需求。大數(shù)據(jù)技術(shù)的應(yīng)用，為這一問題的解決提供了很好的條件。

1 環(huán)境監(jiān)測大數(shù)據(jù)處理面臨的挑戰(zhàn)

1.1 數(shù)據(jù)集成難度大

大數(shù)據(jù)處理的首要工作是進(jìn)行數(shù)據(jù)采集，但一般來說，數(shù)據(jù)采集的質(zhì)量有高有低，達(dá)不到環(huán)境監(jiān)測數(shù)據(jù)有效性標(biāo)準(zhǔn)的數(shù)據(jù)是不可用的，然而這種情況在實(shí)際工作中卻是經(jīng)常會發(fā)生的。目前，由于前端采集設(shè)備的性能不夠穩(wěn)定、傳輸網(wǎng)絡(luò)不可靠等原因，會出現(xiàn)數(shù)據(jù)缺失的問題；由于點(diǎn)位選取不合理、有效點(diǎn)位數(shù)量不足等原因，也可能造成數(shù)據(jù)精度不夠等現(xiàn)象；另外，對不同的環(huán)境因子進(jìn)行監(jiān)測涉及不同的傳感器，其傳輸協(xié)議和數(shù)據(jù)結(jié)構(gòu)也各不相同，這些問題都會大大增加數(shù)據(jù)的集成難度，對后續(xù)的大數(shù)據(jù)分析造成不同程度的影響。

1.2 數(shù)據(jù)應(yīng)用效率低

近年國家將環(huán)境保護(hù)工作放到了一個更高的位置，大大推動了環(huán)境監(jiān)測工作的發(fā)展，但到目前為止，我國在環(huán)境監(jiān)測數(shù)據(jù)分析上仍然比較基礎(chǔ)，在數(shù)據(jù)的深層次挖掘水平上還比較欠缺。前端采集回來的大量數(shù)據(jù)，經(jīng)常只是作為實(shí)時環(huán)境狀況的參考，或者將某時段內(nèi)的數(shù)據(jù)進(jìn)行簡單平均用于環(huán)境評價(jià)，這種應(yīng)用現(xiàn)狀實(shí)際上遠(yuǎn)遠(yuǎn)沒有發(fā)揮出數(shù)據(jù)的最大價(jià)值。實(shí)際上，大數(shù)據(jù)平臺可以結(jié)合GIS等技術(shù)實(shí)現(xiàn)監(jiān)測點(diǎn)位的關(guān)聯(lián)分析，從而探索污染物的擴(kuò)散機(jī)制，成為環(huán)境質(zhì)量預(yù)測的重要參考。這些工作都有待進(jìn)一步改進(jìn)。

1.3 系統(tǒng)維護(hù)成本高

大數(shù)據(jù)分析必須依賴于相應(yīng)的信息化系統(tǒng)，因此環(huán)境監(jiān)測領(lǐng)域要想利用大數(shù)據(jù)技術(shù)，必須配備建設(shè)大數(shù)據(jù)分析平臺。由于環(huán)境監(jiān)測系統(tǒng)規(guī)模較大、涉及技術(shù)也較復(fù)雜，前期需要投入較多的資金，并且在后期還會涉及大量的運(yùn)維工作。隨著系統(tǒng)使用時間的增加，數(shù)據(jù)量也會增加，這使系統(tǒng)維護(hù)成本大大提高。另外，大數(shù)據(jù)作為一項(xiàng)快速發(fā)展的技術(shù)，相應(yīng)的算法或組件也需要持續(xù)更新。這些因素都嚴(yán)重限制了大數(shù)據(jù)技術(shù)的推廣應(yīng)用。

2 大數(shù)據(jù)在環(huán)境監(jiān)測中的應(yīng)用優(yōu)勢

2.1 集成多元異構(gòu)數(shù)據(jù)

在環(huán)境監(jiān)測工作中，通常需要按照區(qū)域地理環(huán)境特征、污染物分布特征、監(jiān)測點(diǎn)進(jìn)行參數(shù)測量，形成一個大型監(jiān)測網(wǎng)絡(luò)，有時候甚至需要對幾個項(xiàng)目的數(shù)據(jù)進(jìn)行集成化采集，接入到一個平臺進(jìn)行統(tǒng)一分析處理。在這樣的背景下，環(huán)境監(jiān)測數(shù)據(jù)就具備了明顯的多源性和異構(gòu)性，形成環(huán)境監(jiān)測大數(shù)據(jù)。采用大數(shù)據(jù)處理技術(shù)可以在系統(tǒng)集成的基礎(chǔ)上實(shí)現(xiàn)更高層次的數(shù)據(jù)集成，使多源數(shù)據(jù)更大范圍地進(jìn)行共享，使海量監(jiān)測數(shù)據(jù)可以高效地進(jìn)行采集、存儲、分析和決策。從環(huán)境監(jiān)測技術(shù)的發(fā)展趨勢來看，通過大數(shù)據(jù)對多元異構(gòu)數(shù)據(jù)進(jìn)行集成具有重要的現(xiàn)實(shí)意義。

2.2 提升環(huán)境管理水平

環(huán)境監(jiān)測是環(huán)境保護(hù)工作重要一環(huán)，監(jiān)測的目的就是為了找出污染物的傳播規(guī)律，以便有效應(yīng)對各種環(huán)境風(fēng)險(xiǎn)，從而提升環(huán)境管理水平。海量監(jiān)測數(shù)據(jù)如果得不到有效的利用，環(huán)境監(jiān)測也就失去了意義，環(huán)境管理也就無從談起了。采用大數(shù)據(jù)技術(shù)提高數(shù)據(jù)的采集、分析和共享效率，充分應(yīng)用各類數(shù)據(jù)信息，通過大數(shù)據(jù)處理技術(shù)進(jìn)行環(huán)境建模，最大程度地發(fā)揮數(shù)據(jù)潛在的價(jià)值，提高預(yù)測和分析的準(zhǔn)確性，將海量數(shù)據(jù)轉(zhuǎn)化為科學(xué)的環(huán)境管理決策，從而最大程度地提高環(huán)境管理水平。

2.3 提升公眾服務(wù)能力

環(huán)境保護(hù)說到底就是為了維護(hù)大眾環(huán)境權(quán)益、保護(hù)公眾健康，促進(jìn)自然與人類的和諧發(fā)展。大數(shù)據(jù)技術(shù)的應(yīng)用可以將互聯(lián)網(wǎng)、云平臺等技術(shù)結(jié)合起來，將各種環(huán)境數(shù)據(jù)實(shí)時傳播出去，提高環(huán)境保護(hù)的透明度，接受大眾和媒體監(jiān)督。公眾可以通過智能手機(jī)、電視、及其它智能移動終端實(shí)時獲取環(huán)境數(shù)據(jù)，及時了解當(dāng)前的環(huán)境狀況，提高公眾的參與程度，使環(huán)保工作滲透到人們的生活中，真正做到環(huán)境監(jiān)測的公開化，切實(shí)保障公眾的環(huán)境權(quán)益。顯然，只有及時準(zhǔn)確地公開環(huán)境狀況，提高公眾的參與感，才能實(shí)現(xiàn)真正意義上的公眾服務(wù)，從而持續(xù)促進(jìn)環(huán)境保護(hù)主管部門的公眾服務(wù)能力。

3 提升環(huán)境監(jiān)測大數(shù)據(jù)應(yīng)用能力的建議

3.1 完善大數(shù)據(jù)基礎(chǔ)設(shè)施

大數(shù)據(jù)技術(shù)的應(yīng)用需要大量的基礎(chǔ)設(shè)施作為物理支撐，由于大數(shù)據(jù)技術(shù)應(yīng)用具有其特殊性，因此在基礎(chǔ)設(shè)施建設(shè)方面除了普通的網(wǎng)絡(luò)設(shè)備之外，還需要考慮高性能運(yùn)算設(shè)備及軟件平臺的建設(shè)投資。尤其是對于環(huán)境監(jiān)測工作而言，沒有完善的設(shè)備設(shè)施根本無法支撐數(shù)據(jù)采集、存儲和分析等一系列復(fù)雜的工作。為了星期環(huán)境監(jiān)測應(yīng)用水平，應(yīng)充分利用當(dāng)前的先進(jìn)網(wǎng)絡(luò)技術(shù)和軟件技術(shù)，構(gòu)建一套完善的環(huán)境監(jiān)測網(wǎng)絡(luò)以及高效的數(shù)據(jù)管理系統(tǒng)。在此基礎(chǔ)上，對數(shù)據(jù)質(zhì)量進(jìn)行嚴(yán)格的質(zhì)量把關(guān)，對多源數(shù)據(jù)進(jìn)行有效整合，通過完善的基礎(chǔ)設(shè)施平臺作支撐，建立區(qū)域性數(shù)據(jù)信息處理中心，加強(qiáng)資源共享，提高設(shè)施和數(shù)據(jù)的有效利用率，實(shí)現(xiàn)大規(guī)模的數(shù)據(jù)協(xié)同處理中心。

3.2 加強(qiáng)人才隊(duì)伍的建設(shè)

環(huán)境監(jiān)測大數(shù)據(jù)應(yīng)用能力提升，除了硬件設(shè)施的完善之我上，歸根結(jié)底還是人才隊(duì)伍的建設(shè)問題。人才隊(duì)伍作為大數(shù)據(jù)發(fā)展的軟實(shí)力部分，對于提升環(huán)境數(shù)據(jù)應(yīng)用水平有著核心的作用。隨著環(huán)境監(jiān)測規(guī)模的擴(kuò)大，數(shù)量日益增加，數(shù)據(jù)處理工作更加復(fù)雜，這對大數(shù)據(jù)技術(shù)人才也提出了更大的挑戰(zhàn)。是否具有足夠的專業(yè)技術(shù)水平，直接決定了大數(shù)據(jù)應(yīng)用能力的高低。在環(huán)境監(jiān)測領(lǐng)域的大數(shù)據(jù)應(yīng)用上，人才隊(duì)伍的建設(shè)不僅要考慮學(xué)歷層次的平衡、還要考慮專業(yè)領(lǐng)域的全面。一方面，大數(shù)據(jù)技術(shù)本身具有很強(qiáng)的技術(shù)性，對數(shù)據(jù)分析能力、算法設(shè)計(jì)能力等有很高的要求，因此必須擁有理論水平高的高學(xué)歷人才，另一方面，數(shù)據(jù)處理是通過信息化平臺進(jìn)行的，因此還要求擁有系統(tǒng)集成和信息化建設(shè)方面特長的技術(shù)型人才。

3.3 提高大數(shù)據(jù)應(yīng)用能力

從當(dāng)前的環(huán)境監(jiān)測實(shí)踐來看，在數(shù)據(jù)收集完成后，許多監(jiān)測部門通常只滿足于按照相關(guān)的環(huán)境標(biāo)準(zhǔn)給出幾個常規(guī)的環(huán)境評價(jià)指標(biāo)。實(shí)際上，考慮到環(huán)境監(jiān)測技術(shù)本身仍處于快速的發(fā)展之中，許多污染物的傳播規(guī)律和影響特性仍有待深入的研究，即使是環(huán)境標(biāo)準(zhǔn)提出了較明確的監(jiān)測要求，但并不意味著這是一成不變的。監(jiān)測人員應(yīng)充分利用大數(shù)據(jù)技術(shù)對監(jiān)測數(shù)據(jù)進(jìn)行更深層次的挖掘。

以大氣監(jiān)測的點(diǎn)位布置為例，盡管在《環(huán)境影響評價(jià)技術(shù)導(dǎo)則 大氣環(huán)境 》（HJ 2.2-2018）中有關(guān)于點(diǎn)位選取方法的具體描述，但對于不同的應(yīng)用場合而言，這些方法落到實(shí)處仍然需要發(fā)揮人的主觀能動性。但人的判斷主要依靠經(jīng)驗(yàn)，而采用大數(shù)據(jù)分析技術(shù)，則是通常數(shù)據(jù)說話，具有客觀性。尤其是對于大范圍的網(wǎng)絡(luò)化環(huán)境監(jiān)測場合中，通過人工分析根本無法做到合理的布點(diǎn)，而采用大數(shù)據(jù)分析平臺可以將同一區(qū)域內(nèi)多年形成的歷史大數(shù)據(jù)，以及同類污染物長期積累的數(shù)據(jù)進(jìn)行深度挖掘，采用類聚、關(guān)聯(lián)、神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)等先進(jìn)的算法進(jìn)行分析，結(jié)合地理參數(shù)、氣象參數(shù)等信息，挖掘出其中的核心規(guī)律，可以指導(dǎo)在實(shí)際工作中更科學(xué)地布置監(jiān)測點(diǎn)位。如圖1(a)所示為通過大數(shù)據(jù)平臺自動選取的某區(qū)域監(jiān)測點(diǎn)位分布，圖1(b)所示為大數(shù)據(jù)平臺分析的同一區(qū)域某污染物濃度分布情況。

3.4 增強(qiáng)大數(shù)據(jù)管理思維

大數(shù)據(jù)技術(shù)從誕生到目前，仍未得到方規(guī)模的普及，這除了技術(shù)上原因之外，還受到了人們傳統(tǒng)思維的影響。面對數(shù)據(jù)處理問題，大部分人首先想到的仍然是傳統(tǒng)的一些簡單統(tǒng)計(jì)方法，而沒有將大數(shù)據(jù)管理思維滲透到環(huán)境監(jiān)測的每一個環(huán)節(jié)中。實(shí)際上，隨著環(huán)境監(jiān)測技術(shù)的發(fā)展，傳統(tǒng)技術(shù)無法滿足要求是一種趨勢，采用大數(shù)據(jù)技術(shù)對環(huán)境監(jiān)測工作進(jìn)行管理也是大勢所趨。除了在技術(shù)上采用大數(shù)據(jù)技術(shù)之外，其實(shí)在管理領(lǐng)域大數(shù)據(jù)技術(shù)也有廣闊的應(yīng)用空間，例如通過大數(shù)據(jù)技術(shù)為政策的制定提供決策，構(gòu)建起一套包括技術(shù)和管理在內(nèi)的大數(shù)據(jù)應(yīng)用框架，不斷提高環(huán)境監(jiān)測數(shù)據(jù)應(yīng)用能力和環(huán)境管理決策水平。

4 結(jié)語

隨著我國全面進(jìn)入社會轉(zhuǎn)型期，國家提出的“五位一體”發(fā)展戰(zhàn)略得到逐步的落實(shí)并取得了良好的成效，使我國面貌煥然一新。在經(jīng)濟(jì)全球化和科技高度發(fā)達(dá)的21世紀(jì)，國家對環(huán)境保護(hù)工作將更加重視，建設(shè)美麗中國的需求更加迫切，環(huán)境保護(hù)已成為影響人類發(fā)展的全球性問題。通過大數(shù)據(jù)技術(shù)的應(yīng)用，提高環(huán)境監(jiān)測的質(zhì)量和效率，對于我國提升環(huán)境治理能力建設(shè)、保障人民身體健康、提高生活質(zhì)量具有重要的現(xiàn)實(shí)意義。

圖1：大數(shù)據(jù)平臺實(shí)現(xiàn)大氣監(jiān)測點(diǎn)位自動選取(a)及污染物濃度分布渲染(b)