檔案信息化的大數據問題與解決對策探析

許娟

南京海事局辦公室，江蘇南京 210000

1 檔案信息化研究現狀

國內檔案信息研究始于20 世紀90 年代后期，檔案信息化研究起源于信息社會時代的到來。隨著時代的進步和研究的深入，檔案從業者，隨著論文數量的不斷增加而越來越多信息逐漸成為檔案行業的焦點。在研究開始時，學者們更加關注檔案信息研究的相關理論，研究范圍主要集中在檔案信息源與檔案信息相關概念之間的關系和相關問題。在過程中存檔信息問題和對策，該文件與社會信息化密切相關，討論檔案信息化的形成，分析未來的發展趨勢。通過分析檔案之間的關系。信息化與企業信息化，闡述信息化對企業檔案開發的重要性。張瑞同志論述了檔案信息化理論體系建設的有利時機、建設現狀和存在的問題，以及完善檔案信息化理論體系建設的對策和措施。丁立新同志在分析我國檔案信息化發展機遇與困惑的基礎上，對檔案信息化發展模式、應用系統建設及其運行維護進行了趨勢預測。在分析我國檔案信息化建設基本現狀的基礎上，王美琴同志指出了檔案信息化過程中存在的主要問題，并提出了加快實施檔案信息化的措施。

2 檔案信息化建設面臨的大數據問題

目前大數據技術的演示應用主要包括社交媒體數據分析，在線廣告，地理坐標和商業智能，主要用于數據挖掘和決策。但是，從長遠來看，這些領域將延伸到長期數據保護和信息系統管理。任何新技術的應用都與社會環境密切相關，表現出技術的本質和受限制的社會性質以及各種社會條件。在檔案信息建設過程中，大數據存儲技術面臨著一些問題，使用元數據的可追溯性，及時性和知識服務的可用性。

2.1 數字檔案資源存儲問題

只有一個系統能夠可靠地和永久地保存收集的數字文件資源可以被稱為數字文件系統。文檔檔案的本質是繼續不斷發展的歷史過程。因此,數字檔案資源的存儲容量增長是一個長期的過程,需要不斷擴張的存儲運營商支持這種增長。此外,任何材料的載體受到自然環境的影響和技術進步,并逐漸失去了載體的功能,從而影響記錄信息。永久保存的實現是指檔案資源的定期數據遷移需要永久保存一段時間,所以可以更新數據,技術更新和更新,信息資源可以持續保存。基本要求為長期保存。

數據的數字存檔由兩部分組成：內容實體描述文件數據和描述數據（元數據）。文件數據通常具有只讀屬性。因此，諸如數字檔案的描述，索引，索引和目錄之類的元數據相對容易標準化。然而，實體和數據的類型，格式和結構數據的技術創新不斷變化，信息的完整性和可靠性受到挑戰。隨著數據量的增加，相應硬件和軟件設備的處理規模增加，但數據量特別大的情況下即使系統在數據系統中崩潰，數據的大小也可能導致控制數據在一定程度上下降。數據遷移是在大數據環境中最難測試的。雖然傳統的關系數據庫三重模式保持了遷移過程軟件的獨立性，但數據遷移量將越來越大;數據遷移數據結構中包含的信息對其含義的影響變得越來越復雜。分類;遷移周期和節奏加速技術創新，周期越來越短，傳統的數據庫模型沒有有效地處理遷移的復雜性，特別是現有系統的重組技術或管理創新，數據類型，結構，約束等轉換問題。保持記錄的真實性和可靠性是一項巨大的挑戰。

2.2 數字檔案資源的可追溯問題

從縱向的角度通過檔案了解其反映了基本的語義,背景,源文件的目的和原系統功能,而且還可以找到的相關性不同的文件,該文件具有可追溯性。文件,雖然通常是根據書中的案例本身,和所有相關單位的條件下保存,但有更多的水準或普遍存在的現實的社會環境。檔案可追溯性并不局限在體積或在所有情況下,經常使用數字檔案查詢和分析的特點使用復雜的相關性。不同行業之間的相互滲透,專業領域,相互之間的關系將會越來越多,越來越復雜。此外,數字檔案全宗和文件通常是發現在文本,圖片,視頻和其他異構和均勻,異構數據,然而,需求跟蹤將會越來越多元化。

3 檔案信息化建設中大數據問題的解決對策

3.1 加強數字檔案資源存儲

數字檔案是借助計算機網絡技術和多媒體技術開發和生成的一種新型檔案信息表，將各種傳統的文件載體轉換為數字檔案庫的信息資源，以數字形式存儲，網絡傳輸和使用計算機系統進行管理，實現檔案信息的快速利用和共享。在數字檔案保存中需要按時間順序或原因對數據進行分類，相關目標是通過矢量控制來控制存儲管理。傳統的數據結構，操作和約束模式，具有一定的模型，使用基于分布式數據庫系統的轉儲或模型。通過中心管理服務器將分布在數據庫中的不同節點數據中實現統一管理，邏輯存儲方法一般將結構化關系模型作為元數據，雖然關系數據庫可以實現更復雜的關聯，但是數據量非常敏感，并且具有更大的空間和時間復雜度。在檔案信息構建過程中，使用大數據存儲時，存儲數據結構，文件到關聯實體。技術加強數字檔案信息資源存儲，如通過GFS（谷歌文件系統），HDFS（Hadoop 文件系統）等分布式文件存儲系統，能夠處理非結構化數據并實現相關自動建立基本索引元數據，適用于半結構數字檔案信息資源的結構化存儲和處理。

3.2 維護檔案靜態特征及遷移過程的可靠性

原始記錄檔案的本質屬性、客觀需要依靠軟件和硬件環境，依附的載體及其語義保持記錄的原始性、真實性和可靠性的信息，靜態特征的需求同時，隨著信息技術的發展，實現數據遷移的一致性，以確保檔案信息的可追溯性。大數據分布式文件存儲系統中的對象文件或文件夾直接轉化為二進制數據序列，忽視檔案資源的特定的格式或結構在各種形式的底層實現智能存儲和處理，在更高的層次上，然后使用分析;此外，大數據技術更加適應大文件的處理，比如HDFS 文件系統，但要儲存非結構化數據按照統一的二進制大小(64m)碎片，多點備份，并行處理，形成一系列的鍵/值對(鍵，值)，然后進行按照合并的檔案價值相同的關鍵因素匯總和合并。這也符合檔案的組織特征(“a”或“體積”組織成復合文件)。因此能夠維護一個文件的完整性、可靠性和資源存儲和利用的過程中實現的智能檔案數據轉換、集成和利用率，可以基于存檔文件的組織特點，復合文件或一組類的模型在各種形式的組織，然后按照反饋的節點，建立簡化的數字檔案存儲管理方案。

結束語

盡管大數據面臨著檔案信息化問題，但相關研究的重點主要集中在大數據特征檔案和相關宏觀戰略的管理與利用，而大數據技術、云計算、分布式智能化特征以及海量、異構的數據處理等方面。數字檔案管理的優勢和現實要求有一定的契合性，同時，大數據及其相關技術在數字檔案管理中應用的深層次問題還需要進一步的理解和把握，如大數據技術如何存儲、遷移和支持ACR 等。OSS 部門和知識發現平臺，以及應用于數字檔案管理的信息系統需要面對的重構、信息和數據轉換層面的分類問題。大數據技術及其生態環境是信息技術發展的必然趨勢。