大數(shù)據(jù)時代下災(zāi)害檔案數(shù)據(jù)管理探討

鄧 嵐

（民政部國家減災(zāi)中心，北京 100124）

進入21世紀，人類在信息存儲和處理能力方面不斷涌現(xiàn)技術(shù)性的突破，大數(shù)據(jù)（Big Data）一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)。大數(shù)據(jù)是繼云計算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。大數(shù)據(jù)時代的到來，各行各業(yè)都面臨著對龐大而復雜的數(shù)據(jù)進行有效管理的巨大挑戰(zhàn)，人們越來越認識到對自身產(chǎn)生和擁有的大數(shù)據(jù)進行有效管理的重要性和迫切性，災(zāi)害檔案數(shù)據(jù)管理也不例外。隨著計算機技術(shù)和網(wǎng)絡(luò)通訊技術(shù)的飛速發(fā)展，災(zāi)害管理信息化程度不斷提高，災(zāi)害檔案數(shù)字化、網(wǎng)絡(luò)化管理已成為網(wǎng)絡(luò)信息時代檔案管理工作的必然選擇。面對洶涌而來的大數(shù)據(jù)，災(zāi)害檔案數(shù)據(jù)管理工作如何應(yīng)對，是擺在我們面前一個亟需研究的課題。

一、大數(shù)據(jù)的概念

關(guān)于大數(shù)據(jù)的定義，最早提出“大數(shù)據(jù)”時代到來的全球知名咨詢公司麥肯錫稱：大數(shù)據(jù)是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行采集、存儲、管理和分析的數(shù)據(jù)集合。維基百科的定義：大數(shù)據(jù)指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策目的的資訊。還有學者認為大數(shù)據(jù)指的是需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)[1]。可以看出，大數(shù)據(jù)由海量交易數(shù)據(jù)、海量交互數(shù)據(jù)和海量數(shù)據(jù)處理三大主要的技術(shù)趨勢匯聚而成[2]。

從本質(zhì)上看，大數(shù)據(jù)主要解決的是海量數(shù)據(jù)存儲、計算、挖掘和利用的問題。其特點可概括為“4V”，一是規(guī)模性（Volume），數(shù)據(jù)容量巨大，大型數(shù)據(jù)集合一般在幾十TB至PB級的數(shù)據(jù)量；二是多樣性（Variety），數(shù)據(jù)類別繁多，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富；三是高速性（Velocity），數(shù)據(jù)處理速度快，在數(shù)據(jù)量龐大的情況下，實現(xiàn)數(shù)據(jù)的實時處理；四是價值性（Value），數(shù)據(jù)真實性高，愈發(fā)需要有效的信息資源確保其真實性與安全性[3]。可以說，大數(shù)據(jù)時代是一個數(shù)據(jù)資源更加豐富的時代，是一個信息技術(shù)更加先進的時代。

災(zāi)害檔案數(shù)據(jù)資源主要來自災(zāi)害管理和科研活動產(chǎn)生的電子文件，按照來源和形成方式不同，可以分為數(shù)據(jù)庫文件、電子數(shù)據(jù)表、字處理文檔、電子郵件、掃描圖像、地理空間數(shù)字記錄、數(shù)字照片、網(wǎng)站及其相關(guān)文檔。災(zāi)害檔案數(shù)據(jù)具有分布性、多源性、異構(gòu)性等特點。從災(zāi)害檔案管理部門來看，災(zāi)害檔案資源主要集中在民政、水利、氣象、地震、國土、環(huán)保、測繪、軍隊、海洋等部門，檔案數(shù)據(jù)源分散在不同部門、不同地點，并由不同行業(yè)、不同單位和組織機構(gòu)所擁有。從災(zāi)害檔案內(nèi)容來看，包括災(zāi)情、氣象、遙感影像、基礎(chǔ)地理、專題地圖、涉災(zāi)行業(yè)、經(jīng)濟統(tǒng)計、現(xiàn)場多媒體等多種數(shù)據(jù)。近年來，災(zāi)害檔案數(shù)據(jù)管理有了較大提高，但由于缺乏強有力的技術(shù)支持，檔案信息服務(wù)水平還比較落后，普遍存在管理意識薄弱、數(shù)字化建設(shè)不足、服務(wù)方式被動、開發(fā)利用欠缺等一系列的不足，利用信息技術(shù)進行檔案數(shù)據(jù)分析、開發(fā)、利用、交換、共享的水平還很低，沒有充分發(fā)揮檔案信息的憑證、參考和情報作用，無法滿足管理部門對災(zāi)害檔案信息的需求。

二、大數(shù)據(jù)技術(shù)在災(zāi)害檔案數(shù)據(jù)管理中的應(yīng)用優(yōu)勢

目前大數(shù)據(jù)研究成果最多的是大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)技術(shù)的特色在于它依托云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術(shù)對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘，在金融、醫(yī)療、教育、軍事、電子商務(wù)甚至政府決策等幾乎所有的領(lǐng)域都有非常廣闊的應(yīng)用空間。隨著大數(shù)據(jù)時代的到來，應(yīng)用大數(shù)據(jù)技術(shù)讓災(zāi)害檔案數(shù)據(jù)獲取、儲存、搜索、共享、分析，乃至可視化地呈現(xiàn)，成為了可能，為災(zāi)害檔案數(shù)據(jù)管理提供新思路和新方法。

1.大數(shù)據(jù)技術(shù)對實現(xiàn)災(zāi)害檔案智能管理提供強大保障。大數(shù)據(jù)技術(shù)具有的可靠安全的數(shù)據(jù)存儲、方便快捷的云服務(wù)、超強的計算能力、諸多技術(shù)的集合體、良好的經(jīng)濟效益以及以用戶為中心的個性化服務(wù)等優(yōu)勢，對實現(xiàn)災(zāi)害檔案“存儲數(shù)字化、管理自動化、利用網(wǎng)絡(luò)化”智能管理提供保障。應(yīng)用大數(shù)據(jù)技術(shù)對分散于不同部門、不同地理位置的檔案數(shù)據(jù)資源進行管理、傳輸、檢索和提供利用，滿足用戶對檔案信息的遠程訪問操作，包括信息查詢、檢索、統(tǒng)計、提取等，實現(xiàn)檔案數(shù)據(jù)資源的互聯(lián)互通和共享利用，將檔案“藏”和“用”的功能都提高到一個新的水平，對于充分發(fā)揮檔案數(shù)據(jù)資源的價值具有前所未有的推動作用。

2.大數(shù)據(jù)技術(shù)對實現(xiàn)災(zāi)害檔案數(shù)據(jù)挖掘提供有力支持。數(shù)據(jù)越來越多。傳統(tǒng)的檔案管理以文檔管理為主，檔案基本處于被動利用，沉淀的檔案沒有人去分析利用，也沒有技術(shù)工具去支撐挖掘和分析。大數(shù)據(jù)最核心的價值就在于對海量數(shù)據(jù)進行存儲和分析，只有通過分析，才能獲取更多智能的、深入的、有價值的信息。在大數(shù)據(jù)時代，檔案系統(tǒng)中除了大量的文檔之外，還有海量結(jié)構(gòu)化數(shù)據(jù)，并且數(shù)據(jù)利用的效果要大于文檔利用效果。檔案部門在收集大數(shù)據(jù)之后，通過主動調(diào)查利用者的需求，建立各種數(shù)據(jù)模型，對海量數(shù)據(jù)進行聚類、分類、相關(guān)性分析，找到數(shù)據(jù)之間的關(guān)系，提高檔案價值，將原來的“死檔案”變成“活信息”，為災(zāi)害管理決策提供參考。

3.大數(shù)據(jù)技術(shù)對實現(xiàn)災(zāi)害檔案知識服務(wù)提供解決途徑，解決災(zāi)害檔案如何實現(xiàn)知識服務(wù)，如何從浩如煙海的檔案數(shù)據(jù)中快速識別、選擇和有效利用檔案信息，為災(zāi)害管理部門提供知識服務(wù)和智力支持，發(fā)揮檔案的參考憑證、決策咨詢、評估依據(jù)作用。應(yīng)用大數(shù)據(jù)智能識別、傳感與適配等技術(shù)，構(gòu)建基于基礎(chǔ)框架體系、大數(shù)據(jù)處理體系、過程管理體系、大數(shù)據(jù)分析與決策體系、交互體系的大數(shù)據(jù)知識服務(wù)平臺[4]將成為有效的解決辦法和途徑。災(zāi)害檔案大數(shù)據(jù)知識服務(wù)平臺搭建的是一個大數(shù)據(jù)獲取、存儲、組織、分析和決策服務(wù)資源和服務(wù)能力共享、交易和協(xié)作的智慧平臺，依據(jù)災(zāi)害管理不同行業(yè)、不同領(lǐng)域、不同需求的大數(shù)據(jù)處理需求，在平臺上實現(xiàn)數(shù)據(jù)、知識、資源、能力、服務(wù)、過程和任務(wù)等資源和能力的共享和協(xié)作。

三、大數(shù)據(jù)時代下災(zāi)害檔案數(shù)據(jù)管理的應(yīng)對策略

當前，我國經(jīng)濟發(fā)展已進入新常態(tài)，認識新常態(tài)、適應(yīng)新常態(tài)、引領(lǐng)新常態(tài)，是當前和今后一個時期中國經(jīng)濟發(fā)展的大邏輯，也是發(fā)展檔案事業(yè)的基本遵循。災(zāi)害檔案工作主動適應(yīng)新常態(tài)，需要分析發(fā)展新變化，順應(yīng)發(fā)展新趨勢，這既是經(jīng)濟社會發(fā)展對災(zāi)害檔案管理提出的更高要求，也是檔案事業(yè)深化改革和持續(xù)發(fā)展的內(nèi)在需要。在大數(shù)據(jù)時代背景下，災(zāi)害檔案的產(chǎn)生主體、利用群體、生態(tài)環(huán)境都發(fā)生著新變化，災(zāi)害檔案數(shù)據(jù)管理應(yīng)用大數(shù)據(jù)技術(shù)分析、挖掘出龐大的檔案數(shù)據(jù)獨有的價值，從“被動服務(wù)”向“主動服務(wù)”轉(zhuǎn)變，還面臨著諸多挑戰(zhàn)，需要從以下方面加以完善和提高。

1.建立高效有序的運行機制。大數(shù)據(jù)建設(shè)是一項有序的、動態(tài)的、可持續(xù)發(fā)展的系統(tǒng)工程，必須建立良好的運行機制，以促進建設(shè)過程中各個環(huán)節(jié)的正規(guī)有序，實現(xiàn)統(tǒng)籌協(xié)調(diào)，搞好頂層設(shè)計。應(yīng)當增強災(zāi)害檔案數(shù)據(jù)管理意識，做好災(zāi)害檔案數(shù)據(jù)發(fā)展規(guī)劃，并將其納入國家綜合防災(zāi)減災(zāi)規(guī)劃中，建立災(zāi)害檔案數(shù)據(jù)標準與規(guī)范，構(gòu)建檔案數(shù)據(jù)管理系統(tǒng)，實現(xiàn)災(zāi)害檔案數(shù)據(jù)有效組織、集中存儲、共享與服務(wù)。

2.制定科學規(guī)范的建設(shè)標準。災(zāi)害管理涉及部門多、領(lǐng)域多、專業(yè)復雜，各部門都是按照各自定義的內(nèi)部數(shù)據(jù)標準進行信息系統(tǒng)建設(shè)，因此存在災(zāi)害檔案數(shù)據(jù)資源結(jié)構(gòu)不統(tǒng)一、標準不配套等問題。沒有標準就沒有系統(tǒng)，應(yīng)建立面向不同主題、覆蓋各個領(lǐng)域、不斷動態(tài)更新的大數(shù)據(jù)建設(shè)標準，為實現(xiàn)各級各類信息系統(tǒng)的網(wǎng)絡(luò)互連、信息互通、資源共享奠定基礎(chǔ)。

3.搭建共享利用的服務(wù)平臺。我國的災(zāi)害管理涉及多個部門，通過幾十年的努力，已經(jīng)積累了海量與防災(zāi)減災(zāi)相關(guān)的專題數(shù)據(jù)，并建立了一些信息網(wǎng)絡(luò)系統(tǒng)，部分開展了信息共享，但絕大多數(shù)災(zāi)害管理相關(guān)數(shù)據(jù)還沒有實現(xiàn)有效共享和利用。數(shù)據(jù)只有不斷流動和充分共享，才有生命力，所以應(yīng)在各專用數(shù)據(jù)庫建設(shè)的基礎(chǔ)上，通過數(shù)據(jù)集成，實現(xiàn)各級各類信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。

4.培養(yǎng)高素質(zhì)的專業(yè)隊伍。災(zāi)害檔案大數(shù)據(jù)建設(shè)的每個環(huán)節(jié)都需要依靠專業(yè)人員完成。一方面，需要培養(yǎng)和造就一支懂指揮、懂技術(shù)、懂管理的大數(shù)據(jù)建設(shè)專業(yè)隊伍；另一方面，需要加強檔案管理人員對信息技術(shù)的掌握，加強檔案管理人員大數(shù)據(jù)相關(guān)知識的培訓和輔導，做好大數(shù)據(jù)背景下檔案管理的人才儲備。

結(jié)語

檔案大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些有較高價值的飽含歷史意義的數(shù)據(jù)進行專業(yè)化處理[5]。大數(shù)據(jù)時代下災(zāi)害檔案數(shù)據(jù)的巨大價值如何從“沉睡”中醒來并在災(zāi)害管理實踐中發(fā)揮作用，無論是在檔案數(shù)據(jù)資源建設(shè)、科學技術(shù)支撐，或是在管理機制運行、人才隊伍培養(yǎng)等方面都還存在巨大的發(fā)展空間，大數(shù)據(jù)技術(shù)應(yīng)用也還有大量基礎(chǔ)性工作亟待開展。一場不同于以往的技術(shù)革新已經(jīng)到來，大數(shù)據(jù)時代的發(fā)展對災(zāi)害檔案數(shù)據(jù)管理既是挑戰(zhàn)，更是機遇?？梢灶A(yù)料，在不遠的未來，隨著大數(shù)據(jù)技術(shù)的日臻完善和成熟應(yīng)用，對災(zāi)害檔案數(shù)據(jù)管理必將產(chǎn)生深刻影響。目前我們需要關(guān)注的是清晰了解、充分掌握大數(shù)據(jù)服務(wù)的技術(shù)實質(zhì)、特征、基本屬性與應(yīng)用價值，然后有所選擇地引入災(zāi)害檔案數(shù)據(jù)管理領(lǐng)域，從而進一步提升災(zāi)害檔案的服務(wù)能力，將檔案管理事業(yè)推向一個全新的發(fā)展高度。

[1]楊旭，湯海京，丁剛毅．數(shù)據(jù)科學導論[M].北京：北京理工大學出版社，2014.

[2] 陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學報，2013，（8）：142-146.

[3]于曉萍.大數(shù)據(jù)時代下檔案管理的應(yīng)對策略研究[J].蘭臺世界，2014，（10）：12-14.

[4]李晨暉，崔建明，陳超泉.大數(shù)據(jù)知識服務(wù)平臺構(gòu)建關(guān)鍵技術(shù)研究[J].情報資料工作，2013，（2）：29-34.

[5]鄒華英.試論大數(shù)據(jù)時代的檔案工作[J].檔案與建設(shè)，2013，（12）：4-5.