構建檔案大數據應用平臺的探析

楊鳳 劉歡

摘 要：大數據時代，傳統檔案管理工作面臨著全新的發展形勢，積極探析檔案大數據應用平臺構建是實現檔案管理模式突破創新的必然趨勢與重要選擇。本文在概述檔案管理大數據特征的基礎上，介紹了當前檔案管理發展所面臨的一些普遍性問題，同時從檔案大數據應用平臺構建入手，論述了平臺設計與關鍵技術，并結合具體企業實際案例，分析探討了其檔案大數據應用平臺實踐，旨在借助大數據平臺帶動檔案管理發展，為相關研究及工作帶來一些啟示與參考。

關鍵詞：大數據;檔案管理;應用平臺

大數據理論體系與實用技術發展日益成熟，并且深刻影響著各行業領域的發展，尤其是在當前信息科技飛速發展的時代背景下，大數據方面的內容受到了更多關注與重視。目前，有關大數據的研究層出不窮，但真正聚焦于檔案管理領域的研究則相對較少，事實上，“大數據”對于傳統檔案管理模式已然產生了顛覆式的影響，如何將大數據發展成果與檔案管理加以有機融合，探索新時期檔案管理的創新發展，這是目前作為檔案部門需要進行深入思考的問題。

一、檔案大數據特征

1.大數據概述

隨著科學技術的快速發展，有關“大數據（big data）”方面的內容不斷被提及，并且成為各界密切關注的焦點話題。事實上，作為IT行業術語，大數據的概念早已不僅僅局限于IT行業本身，在當下諸多領域與行業中，大數據都產生著深遠影響并發揮著重要作用。相較于“數據”而言，“大數據”一方面具備數據本身的特征，另一方面“大數據”還更為強調數據間密切的交互聯系，即進行數據挖掘。換言之，大數據展現了收集與分析海量信息的能力，能夠從巨量信息資料中實現數據挖掘。目前，人們總結歸納大數據具有“5V”特征，即數據規模海量（Volume）、數據流轉速度快（Velocity）、數據類型多樣（Variety）、價值密度低（Value）以及真實性（Veracity）。

2.檔案大數據特征

相較于傳統檔案管理模式，大數據推動著檔案管理方方面面的變革與創新，同時也使檔案大數據展現出很多新特征，主要表現在：（1）檔案數據資源增量大、種類繁多。從當前檔案管理工作發展態勢來看，“存量數字化”與“增量電子化”已然成為檔案管理工作大數據發展的要求，這勢必逐漸形成檔案大數據的海量規模，而從檔案數據資源情況來看，其涵蓋有結構化、非結構化、半結構化等數據，數據資源種類相對繁多。（2）檔案數據資源價值密度低。以傳統檔案管理模式角度來看，“重資源、輕管理，重藏輕用”情況實際上一直存在，而檔案本身的價值在于如何得到充分且有效的利用，這也是大數據時代下檔案智能化、信息化服務模式的特征，即在檔案數據資源增長下要避免其利用價值降低。

二、大數據時代檔案管理存在的問題

1.檔案管理理念滯后

大數據時代，傳統檔案管理模式受到了明顯沖擊，要求相關單位必須要積極順應新時期檔案管理發展，及時轉變檔案管理理念。然而，在具體實踐當中，很多單位、部門以及人員的檔案管理理念并沒有做到與時俱進，這顯然制約了檔案管理的革新。應該看到的是，大數據時代下檔案管理不僅僅局限于先進的技術，更要求有理念認知能夠與之相配套，否則檔案管理很難得到真正的突破。

2.技術問題需要突破

檔案管理是一項系統性的工作任務，將大數據技術妥善應用于檔案管理工作有助于推動檔案管理發展，但同時在技術的實際應用過程中，也仍然會面臨很多問題需要解決。例如，在檔案管理實踐中，檔案資源往往具備一定的復雜性，其中既有傳統紙質檔案，又有大量電子化檔案資源，加之檔案管控在不同時期、不同階段的規范要求可能并不統一，這使檔案資源存儲管理面臨較大挑戰，需要在具體技術環節有效解決這些問題。

3.信息安全面臨挑戰

大數據時代給予檔案管理發展帶來了很多新機遇，但與此同時也使之面臨很多新挑戰，在這其中信息安全方面的問題則是首當其沖。事實上，當前檔案部門已經認識到了數據信息資源的價值，并且依托于大數據技術的便利優勢，能夠將其價值得到更為充分的發揮，但不可否認的是，在整個數據信息資源運轉過程中，會涉及訪問與隱私的安全性、可靠性等方面的問題，尤其是在大數據及信息安全的相關法律法規方面，目前仍還有很多需要健全完善的環節。

三、平臺設計與關鍵技術

1.平臺設計

大數據平臺及技術在當前檔案管理方面發揮著愈發關鍵的價值與作用，其中針對檔案大數據的資源管理是檔案大數據處理框架的核心模塊組，該體系需要以計算機集群系統為主要依托，同時能夠充分確保數據高可用性、可獲得性與準確性。

其一，數據存儲管理系統。就該系統而言，應當可以將相關數據存儲模型加以整合封裝，并且借助滿足業務關系的配置操作形成存儲中間件，如采取傳統關系型數據庫保存的運行指標數據、采取文件形式存儲的視頻監控數據等，同時對其予以統一管理，最終形成混合式數據存儲系統。

其二，在技術與支撐平臺選型時，應當充分考慮到公共服務層數據、技術與業務等服務差異。就大數據服務體系框架而言，檔案應用服務特征應當包括“三高”，即高計算、高可用與高通量，利用將各種存儲管理中間件模型與計算模型加以整合封裝，從而支持準、高、快數據流更好地服務于應用平臺。

其三，基于微服務架構，在應用層提供相關應用，并且使用者提供應用端，如筆記本、手機等。利用數據資源管理平臺保障應用系統安全。

2.關鍵技術

其一，數據存儲技術。結合檔案管理特點來看，在實際建設數據庫過程中，相關方面主要涵蓋有設計數據庫、遷移檔案資源，以及可能涉及的融合新舊檔案等。在這其中，一般都會利用到文字識別、數字加工、數據標引等技術。

其二，數據分析技術。該技術體系作為檔案大數據應用平臺的大腦，承擔著管理與應用平臺數據的關鍵角色，該核心功能模塊集成包括基本語義分析、詞表管理、協同過濾、分類聚合、智能化推薦、機器學習等諸多技術。需要指出的是，微服務平臺數據核心算法正是基于該技術體系。

其三，微服務技術。例如，Spring Boot微服務架構，能夠生成獨立微服務功能單元、只關注核心代碼就能生成應用程序;Spring Cloud技術，能夠提供一種成熟的開發框架與便捷的開發平臺。

其四，可視化應用技術。該項技術順應了檔案管理的發展需要，通過該項技術的應用，能夠便于用戶對檔案數據加以應用與決策。

四、檔案大數據應用平臺實踐

本文以X電網企業作為具體研究案例。伴隨當前電力行業改革持續深化發展，電網企業檔案管理面臨著新的發展局面。X電網企業檔案管理發展相對較為滯緩，面對新時期檔案管理發展需求，X電網企業迫切需要引入檔案大數據應用平臺，從而帶動自身檔案管理信息化、現代化建設。

1.X電網企業檔案情況分析

了解、掌握企業檔案資源情況是構建其檔案大數據應用平臺的基礎與前提，結合X電網企業原始檔案情況分析來看，其主要特征可以概括為以下方面：

（1）X電網企業現有電子檔案4000萬件，因此會涉及相對較大的存儲容量。

（2）X電網企業原始檔案涵蓋有各類媒體，如設計文件、office文件、pdf等。

（3）X電網企業檔案用戶超30萬，面對龐大用戶群體，必須要健全相應權限控制環節。

2.X電網企業檔案大數據應用平臺規劃設計

第一，檔案數據存儲大數據平臺。借助于大數據技術，構建大數據存儲平臺，該平臺應當能夠滿足多方面需求，如存儲X電網企業舊有檔案、進行動態備份與容量擴充、檔案檢索與定位及時，適應X電網企業日常檔案管理基本業務，支持其進行可視化決策分析等。第二，檔案資源入庫。一方面需要將X電網企業原有檔案資源入庫，另一方面則是需要把新建企業檔案入庫接口。第三，建設檔案業務系統。檔案業務相關應用系統主要涵蓋檔案業務的服務系統、分析系統、管理系統，以及檔案數據對外開放接口系統等。如圖1所示，為針對X電網企業所設計的大數據平臺架構情況。

結合此次平臺架構設計情況能夠看到，其主要體現為“兩縱五橫”模式，即數據架構與管理平臺的雙縱向脈絡。其中，前者體系架構涵蓋有數據的采集層、處理層、分析層、訪問層與應用層，后者則包括運維管理、數據管理與開發工具模塊。

3.X電網企業檔案大數據應用平臺技術實現

（1）建設及應用檔案數據庫

根據X電網企業檔案情況來看，其檔案數據來源涵蓋有多種類型，面對各種類型的檔案數據，需要有相應的處理方式，具體如表1所示：

（2）建設檔案數據基礎分析

在入庫X電網企業檔案數據的基礎之上，還應當進一步構建基本數據處理核心算法，從而能夠更好滿足檔案數據微服務要求，應該看到的是，這一做法的目的實際上也是要對X電網企業入庫數據資源進行深層業務挖掘與數據應用。一般而言，從功能層面來具體劃分檔案數據基礎分析，其核心功能算法模塊應當涵蓋語義分析、文本糾錯、資源分類、資源標簽化、詞表管理、資源推薦、智能推薦等相應算法。

（3）建設檔案數據微服務

根據構建的X電網企業檔案大數據應用平臺，其平臺業務相關服務主要是建立在微服務架構技術的基礎之上，并且以此為依托，該平臺能夠實現一系列的微服務模塊需求，具體內容涵蓋檔案檢索與管理、檔案統計分析、檔案數據對外接口、檔案服務擴展等。

（4）建設檔案業務功能應用

這一環節的建設主要是為了匯總預計功能模塊。所謂功能模塊，即基于檔案數據微服務，面向應用系統提供功能模塊基礎單元。需要指出的是，檔案業務功能模塊作為檔案大數據應用平臺管理與業務相關各類應用的功能模塊集合，其涵蓋內容十分廣泛，如檔案的新建、編輯、更新、刪除、檢索、查詢等模塊，以及平臺、資源、賬戶管理模塊等。

（5）建設檔案應用系統

在該環節建設工作中，需要結合檔案業務管理需求加以考量，即檔案應用系統建設主要涵蓋檔案管理系統、檔案服務系統與檔案決策分析系統。

4.X電網企業檔案大數據應用平臺特色

在大數據時代，X電網企業檔案管理面臨轉型升級的現實需要，本文通過為其構建檔案大數據應用平臺，有助于推進其檔案信息化管理現代化發展，其平臺特色主要表現為：

（1）能夠提升X電網企業檔案管理效率

通過構建、應用檔案大數據平臺，X電網企業檔案管理效率將得到極大提升。例如，依托于檔案大數據平臺可以實現檔案智能搜索，并且基于檔案歷史分類還可以實現檔案智能化輔助分類，極大提高檔案利用與管理效率;再如，依托于統一的檔案大數據平臺，檔案使用者僅需從系統一個入口便可以快捷查找各類數據，免去頻繁切換各子系統調取數據資料的煩瑣程序，利于各類數據進行匯總比對。

（2）能夠轉變X電網企業檔案管理理念

檔案大數據應用平臺是對傳統檔案業務與管理的一種創新突破，也是企業檔案發展的必然趨勢，通過該平臺的構建與應用，能夠在具體實踐中不斷深化客戶、檔案管理人員等相關方面的體驗，從而在潛移默化中實現檔案管理理念轉變。

（3）能夠拓展X電網企業新的檔案業務

除檔案存儲、業務管理等基本業務需求外，該平臺建設還在一定程度上實現了新業務拓展。例如，借助檔案歷史數據及其分析功能，能夠為檔案用戶業務決策提供直觀的可視化支持，通過統計分析檔案數據，為企業相關業務決策提供一定的參考依據。

五、總結

綜上所述，“大數據”深刻影響著當今時代的發展，隨著大數據理念與檔案管理聯系日益緊密，傳統檔案管理工作也迎來了全新的發展機遇及挑戰，作為檔案部門需要加強大數據理論體系與實用技術方面的學習研究，積極轉變思想認識與工作方法，使大數據與檔案管理能夠得到有機融合，實現檔案管理的創新發展。大數據平臺目前在各行業領域的實踐中已經得到了很大程度的應用，其在發揮重要價值作用的同時，也逐漸扮演起愈發關鍵的角色。本文結合企業實踐，對檔案大數據應用平臺的構建進行了初步探析，相信隨著大數據理論體系與實用技術的不斷發展，未來有關檔案大數據方面的探索將會取得更多突破。

參考文獻：

[1]李鵬達，陳穹燕.數據挖掘技術在檔案開放鑒定領域應用初探[J].中國檔案，2021

[2]于英香，滕玉潔.大數據背景下檔案管理數據化轉型探析[J].中國檔案，2021

[3]戚文來，韓 娟.智慧城市時空大數據平臺下自然資源檔案管理系統的升級與改造[J].測繪通報，2020

[4]劉越男.數據治理大數據時代檔案管理的新視角和新職能[J].檔案學研究，2020

（作者單位：1.廣州致訊信息科技有限責任公司;2.南方電網數字電網研究院有限公司）