大數據在數字檔案館中的應用與挑戰

摘 要：檔案館擁有海量館藏檔案資源，加快推進數字檔案館建設是構建數據強國、實施國家大數據戰略的重要內容。本文從數字檔案收集、存儲和管理方面，深入分析了大數據在數字檔案館中的具體應用，并分析了大數據在數字檔案館建設中面臨的檔案資源建設、檔案安全保密、檔案標準規范和檔案人才隊伍方面的現實挑戰，有針對性地提出了應對這些挑戰的具體舉措，具有積極的現實指導意義和參考價值。

關鍵詞：大數據；數字檔案館；挑戰；數據庫

概述

2015年，十八屆五中全會首次提出“國家大數據戰略”，在全球數字融合背景下，數據資源已成為國家戰略性資源。在《“十四五”全國檔案事業發展規劃》中，先后三次提到“大數據”，即“推動檔案全面納入國家大數據戰略”“加強大數據、人工智能等新一代信息技術在數字檔案館（室）建設中的應用”“開展大數據環境中電子文件與電子檔案一體化”。此外，還明確提出“加速數字檔案館（室內）建設”。2010年，國家檔案局頒布了《數字檔案館建設指南》，詳細規定了數字檔案館建設目標、內容和步驟。這些規定和要求，進一步明確了新時代數字檔案館建設、管理及理論研究的重點，為新時代數字檔案館工作指明了方向。

1 大數據在數字檔案館中的應用

大數據（Big Data）包括了各種來源的非結構化數據或結構化數據。大數據技術主要應用于數字檔案館建設中的數字檔案收集、存儲和檢索利用等。《數字檔案館建設指南》明確了數字檔案館總體建設的主要內容，提出要運用現代信息技術對數字檔案信息進行“采集、加工、存儲、管理”，使建立的數字管理系統要具備“收集、管理、存儲、利用”等功能要求。具體到大數據在數字檔案館中的應用，主要體現在收集、存儲和檢索領域。

1.1 數字檔案的收集

收集，就是數字檔案館接收、征集數字檔案和其他有關數字文獻活動。即，按照國家規定收存數字檔案、征收散存、散失數字檔案和其他數字文獻。包括：（1）系統推送。辦公OA系統、局域網數字檔案管理系統、電子檔案長久保存系統等中大數據應用，主動推送各種歸檔數字檔案信息。大數據應用于系統推送，由歸檔者錄入信息、信息在線歸檔及接收數字檔案歸檔流程構成。系統推送實現業務辦理與檔案收集無縫銜接，需要歸檔人員與檔案管理雙方共同協作完成。（2）數據庫導出與導入[1]。即存放數字檔案的倉庫。利用數據庫技術，按照標準格式將數字信息從MySQL、Oracle、SQLServer等各個應用系統數據庫中導出，然后再導入檔案管理數據庫。利用ODBC數據源、Excel中間介質或專門數據庫接口程序，實現數據庫中數字信息導入導出。（3）RSS信息訂制。RSS是一種描述和同步網站內容格式[2]，將具有保存價值的檔案數據編輯成XML文件形式，將其整理成RSS數據包，再利用RSS閱讀器生成檢索目錄，與數字檔案館中的數字檔案資源同步更新。（4）網絡爬蟲。作為專用程序，分為通用網絡爬蟲、主題網絡爬蟲、專用網絡爬蟲類型[3]，網絡爬蟲技術可以在海量互聯網信息中爬取、收集數字檔案信息。歐美等國家數字檔案館應用Heritrix（專門用于檔案收集）、Wget（后臺運行）、Teleportp（互聯網環境）等網絡爬蟲技術，做好數字檔案的收集。

1.2 數字檔案的存儲

數字檔案收集完成，還需要按照一定順序排放，并形成定位數據，即數字檔案存儲。目前，數字檔案存儲分為直接存儲和網絡存儲。其中，直接存儲就是利用光盤、磁帶、硬磁盤、磁帶庫技術、光盤塔技術存儲數字檔案，是數字檔案館主要數據存儲技術[4]。網絡存儲技術包括DAS（直接附加存儲）、NAS（網絡附加存儲）、SAN（存儲區域網絡）、iSCSI（小型計算機系統接口）。其中，直接存儲具有成本小、共享度差、信息讀取效率低，易因介質損壞導致數字檔案丟失等特點。而網絡存儲則具有存儲性能高、擴容升級易管理、容災性強、成本低，但也面臨非傳統安全因素威脅。在數字檔案館建設中，數字存儲系統應用有Hadoop云平臺、HBase數據工廠、Hive數據倉庫等。（1）Hadoop云平臺。由HDFS、MapReduce、HBase三大核心技術組成[5]。其中HDFS采用主/從結構，是Hadoop分布式文件系統，也是Hadoop云平臺數字檔案存儲與訪問基礎。MapReduce是Hadoop編程框架，保障數字檔案存儲過程中數字檔案傳輸、分析和處理。HBase是Hadoop云平臺數據庫，只能存儲文件類型數據。（2）HBase數據工廠。HBase是分布式、高性能、面向列、可伸縮的開源數據庫。能夠用以存儲非結構化、半結構化松散數據。以存儲電子圖片檔案為例，先將電子圖片轉換為Base64編碼，服務器接到存儲請求時系統會調用元數據解析器獲取電子圖片元數據，利用Base64編碼器將二進制圖片文件編碼成Base64格式，存儲至HBase數據庫，訪問時則反向操作，從HBase數據庫中讀取Base64編碼，利用解碼器將其還原成二進制形式（見圖1）。

（3）Hive數據倉庫。Hive是基于Hadoop平臺上的數據倉庫[6]。通過Hive工具將數據提取、轉換、加載，并將hadoop集群中的數據映射成數據庫表，利用類SQL語言進行數據存儲、分析，具有良好的擴展性。與RDBMS數據庫相比，其存儲數據規模大，運用HQL查詢語句，數據存儲于HDFS，執行延遲高。

1.3 數字檔案的管理

這里的管理主要是指信息挖掘和檢索，涉及管理利用兩個方面。其中，信息挖掘是指將大數據技術應用于各種數據對象間的內在特征分析，并在此基礎上有目的的信息提取。數字檔案館建設中常用的信息挖掘技術有Mahout、MapReduce等。其中Mahout是ASF旗下的開源項目，包括數字信息聚類、分類、推薦過濾、頻繁子項挖掘等。運用Mahout技術，可智能分析數字檔案借閱及關聯分析，分析預測檔案者喜好，有針對性地推薦數字檔案信息。MapReduce作為編程模型，基于MapReduce技術應用，通過檔案數據庫信息抓取、檔案業務解析、索引，實現數字檔案查詢（見圖2[7]）。此外，還包括Solr全文檢索引擎、ORC技術檢索，實現數字檔案館全文內容檢索。

2 大數據在數字檔案館中的挑戰

數字檔案館是建立在現代信息技術普遍應用基礎上，利用數字化手段，以綜合檔案信息資源為處理核心[8]。大數據技術應用于數字檔案館中的數字檔案收集、存儲、信息挖掘和檢索等，是對傳統檔案館檔案管理的系統重構，在此過程中，對檔案資源建設、檔案安全保密、檔案標準規范及檔案人才隊伍均提出全新挑戰。

2.1 檔案資源建設

大數據技術應用于數字檔案館，無論是檔案資源存儲、內容結構及檢索利用都發生了深刻變化，也對其產生了新挑戰。從檔案資源內容結構來看，由傳統的紙質等介質的檔案以及存儲于計算機中的二進制檔案信息，逐步轉變為數字檔案，主要為結構化、半結構化和非結構化，檔案內容信息更為松散，也會產生大量冗余檔案信息，做好數字檔案信息篩選，并及時歸檔。檔案管理系統與其他業務應用系統無縫銜接，實現電子文件元數據的自動形成、捕獲和歸檔，對數字檔案分類、鑒定、系統整理以及目錄數據庫條目建設提出更高要求，既要剔除冗余電子信息，又要建立半結構化、非結構化電子檔案內在聯系。

2.2 檔案安全保密

大數據技術應用于數字檔案館建設，使數字檔案存儲環境發生了巨大變化，也使數字檔案面臨諸多非傳統安全因素威脅，主要表現在數字檔案信息安全、非傳統存儲載體安全、數字檔案館系統安全以及檔案檢索利用安全等。如數字檔案應用系統參數設置不當而導致無法訪問、數據不兼容無法存儲、電源斷電、強磁場、溫濕度過高等災變應對不足，網絡病毒、黑客攻擊、非法訪問、篡改、刪除電子檔案信息等等因素，都是數字檔案安全保密的隱患和挑戰。

2.3 檔案標準規范

標準規范是數字檔案館建設的重要保障。大數據應用于數字檔案館建設，對標準規范的要求更高。隨著信息技術的發展，尤其是大數據技術的快速發展，日新月異，要求標準規范適時更新，始終要保持數字檔案結構、標準、內容的一致性以及數字檔案管理系統之間的兼容性。檔案標準規范修訂完善的滯后性，影響數字檔案資源描述、標識、傳輸、檢索和利用，也是構成數字檔案館建設的挑戰之一。

2.4 檔案人才隊伍

數字檔案館建設是一項專業性、技術性很強的工作，既要具備檔案情報專業知識，又要掌握一定的檔案館理論知識，還要具備很高的數字信息素養。當前，基層檔案館建設人才隊伍信息化素養相對薄弱，數字視野不夠開闊，數字信息業務知識儲備不足，大數據實踐應用經驗不足，這些都是制約大數據在數字檔案館建設中應用的挑戰之一。

3 大數據在數字檔案館中的應用對策

3.1 檔案資源建設

數字檔案館檔案資源安全保密是整個安全保密的核心。一方面，要嚴格按照最新的標準、規范做好新增電子檔案的接收、存儲、錄入、掛接和開放利用。另一方面，要做好存量檔案的分類、鑒定、系統整理，做好數字檔案索引與目錄數據庫條目相對應，構建全文數據庫。并實時做好數據庫系統的優化升級，為檔案資源營造安全存儲環境。此外，還要選用適宜的大數據技術，建立具體的專題檔案數據庫，保障專題檔案存儲需要。按照“突出重點、分布實施”的方針，持續做好館藏檔案資源的數字化。要從數字檔案采集、接收、傳輸、存儲和管理利用等全過程的規范管理，確保檔案數字化前、中、后的全鏈條符合標準要求。

3.2 檔案安全保密

要從人防、物防、技防方面全面做好數字檔案信息、載體及網絡安全保密，織密織牢數字檔案館安全保護網。數字檔案館管理人員要樹牢安全保密意識，嚴格執行《檔案法》《檔案法實施條例》《保密法》等法律法規以及數字檔案館安全管理規章制度。要從物理環境與數字檔案信息本身做好內容安全保密。檔案館建設要按照“八防”標準，控制溫度濕度以及磁場等傳統安全因素威脅。重點要運用先進技術，保障數字檔案館安全保密。例如，運用網絡隔離、數據隔離等隔離技術、防火墻技術、防病毒技術，還要引入數字加密技術、數字簽名技術以及區塊鏈、時間戳等技術，做好計算機日志和文檔管理。制定完善的數字檔案館安全保密制度，并抓好制度的貫徹落實。

3.3 檔案標準規范

數字技術發展日新月異，檔案標準規范也要常態化做好立改廢，為大數據技術應用于數字檔案館建設提供可靠保障。首先是立?！稒n案法》《檔案法實施條例》頒布實施后，數字檔案館檔案公布、開放、利用等領域發生了新的變化，要持續做好新的國家標準、行業標準規范的制定，指導數字檔案館數字檔案業務規范開展。其次是改。圍繞檔案目錄數據庫、檔案全文數據庫、檔案聲像數據庫、檔案圖片數據等業務，及時把規章制度中的不符合《檔案法》《檔案法實施條例》以及最新標準規范的內容予以修訂，確保標準規范一致性，增強標準規范的可執行性。如根據檔案數字化新標準和要求，國家相繼出臺了《紙質檔案搶救與修復規范》第1、2、3、4部分。再次是廢。就是把已經過時的標準規范，該廢止的及時廢止，為新的標準規范制定、修訂掃清障礙。如《檔案交接文據格式》《縮微攝影技術用35mm卷片拍攝技術圖樣和技術文件的規定》等，隨著信息技術的發展，這些技術和標準格式已經滯后，及時廢止，停止實施。最后，要確保立改廢的常態化。標準規范的立改廢是一項常規性工作，要始終圍繞數字檔案館建設領域技術、形勢變化，實時進行。

3.4 檔案人才隊伍

檔案人才隊伍是大數據應用于數字檔案館建設的具體執行者。因此，打造一支高素質、復合型人才隊伍至關重要。首先，要具備良好的思想素質，尤其是信息素養、信息思維。此外，還要具備良好的敬業精神和職業素養。其次，要具備過硬的業務素質。要善于學習，既要掌握檔案理論專業知識，又要掌握一定的大數據技術以及數字檔案館日常維護管理技能，熟練運用大數據技術。再次，要具備熟練處理信息的能力。要圍繞數字檔案館建設中的檔案信息收集、存儲、管理及利用等，掌握全鏈條信息處理技能，為數字檔案館建設提供可靠的人才支持和保障。

參考文獻

[1]楊文剛，韓海濤.數字檔案館中的大數據應用技術研究[J]云南檔案，2015（2）：57-59.

[2]王萍，張衛東，李丹.RSS技術在數字檔案館中的應用研究[J]情報科學，2008（3）：422-426.

[3]劉曉瑛.校園網環境下檔案數據的自動收集技術研究[J]西安文理學院學報（社會科學版），2021（3）：101-105.

[4]米彪.檔案信息數字化存儲載體與存儲方式選擇探討[J]辦公室業務，2013（11）：132-133.

[5]徐娟，張杰.基于Hadoop云平臺的高校檔案館數字資源存儲研究[J]蘭臺世界，2019（1）：53-56.

[6]陳新房，劉義卿.分布式系統數據倉庫工具Hive的工作原理及應用[J]科學技術創新，2021（36）：104-107.

[7]劉亞靜.基于MapReduce的檔案信息數據庫快速檢索系統設計[J]電子設計工程，2020（13）：45-49.

[8]王建華.當前基層科研院所數字檔案館建設面臨的挑戰[J]機電兵船檔案，2019（3）：66-69.

作者簡介：徐霞（1981.12—），女，大學學歷，濟南護理職業學院館員，研究方向：檔案管理。