從“數字化”走向“數據化”

李明娟

【摘要】“大數據”背景下，我們應以檔案著錄工作為基礎，從檔案全文數據庫的建設尋找切入點和突破口，從而實現全國全網絡的檔案大數據平臺的構建。

【關鍵詞】檔案大數據；數據化；檔案管理工作

一、世界性的“大數據”之戰

（一）“大數據”的爆發。圖靈獎得主、關系數據庫的鼻祖詹姆斯·尼古拉·格雷，曾在2007年留下了演講稿《第四范式：數據密集型科學發現》。他科學地總結并預測了人類科學發展的四個“范式”，描繪了自己關于第四范式的愿景：數據量的急速增長，計算機將不僅能進行動態模擬，還能進行分析總結，得出理論，即數據密集型科學。如今以大數據為代表的數據密集型科學的發展受到了全世界的追捧，海量信息的匯集，動態性數據的匯總使人們全方位地掌握了所要研究領域的概況及發展趨勢。各個行業也在爭相涉足“大數據”的研究領域中，信息資源發生了爆炸性的膨脹。

（二）檔案脹庫。隨著電子文件的理念被逐步推廣，人們也越來越重視檔案的管理工作，但沒有統一規范的制度，也沒有構建全國性檔案信息化數據，使得檔案數據形成脹庫現象。和傳統的因檔案庫房容量所限而造成的檔案庫房的脹庫現象相似，“檔案數據庫脹庫有著許多不同的表現形式，總體來說就是無法增加新的檔案數據，或者無法進行有效的查詢檢索和統計分析”。出現這種現象的原因可以概括為技術性因素。20世紀80、90年代的計算機記錄采用二維數據表格的形式，例如每個漢字由兩個字節的長度表示。在當時的技術環境下，不能預測及生產出符合更大數據記錄內存的軟件和硬件。這樣的條件下，檔案用戶直接參與利用的信息數據庫和檔案工作人員后臺管理的檔案信息儲存數據庫都會產生檔案脹庫現象。

（三）檔案大數據。“大數據”顧名思義指不采用傳統的隨機抽樣調查分析的方法抽取數據，而是將所有的數據聚集匯合。通常我們將大數據的特點歸納為4V：Volume（數據量巨大）、Variety（數據類型繁多）、Velocity（處理速度快）、Value （價值密度低）。即數據量巨大，數據類型繁多，處理速度快，價值密度低。

2012年在瑞士舉行的達沃斯論壇發布了《大數據，大影響》的報告。這次的報告將數據歸為一種新的經濟資產類別，探討了在新的數據生產方式下如何更好地利用龐大的數據產生良好的社會效益。2012年，奧巴馬政府集合美國國防部、能源部、國家科學基金等六個聯邦部門和機構，公布了旨在提高和改進人們從海量信息獲取有效信息能力的“大數據的研究和發展計劃”。此次大數據計劃特別提到了美國國家檔案與文件署（NARA），將檔案部門的大數據上升到戰略層面。對比我國國家檔案局，尚未提出相關的具體政策或規劃，所以我們作為檔案人，有義務在檔案大數據的相關問題上做出思考。

二、從“數字化”走向“數據化”

（一）“數字化”和“數據化”。大數據的背景下，各地區各機構的檔案館（室）的檔案數量將急劇增加。所以“大數據”的提出對檔案信息化工作面臨新的機遇與挑戰，促使檔案信息化建設面臨著轉型與創新。我們應注意的是，檔案大數據不是我們以前強調的單純意義上的檔案數字化，我們應該把檔案管理的思路從“數字化”向“數據化”轉化。

所謂的“數字化”指得是將信息轉變為0和1所表示的二進制數據并予以儲存。檔案的數字化既包括檔案目錄的數字化和檔案全文的數字化，它是直接區分于傳統紙質形式記錄的檔案形式。事實上檔案的大數據是以數據為基準的研究模式而不是簡單地錄入檔案目錄和掃描全文，這樣的數字化只是“死”的檔案信息，并不能作為大數據環境下的檔案研究標準。

我們必須將“死”的檔案掃描全文和檔案目錄變為“活”的檔案大數據，這就需要對檔案進行“數據化”，進行檔案全文的著錄工作，對文本和圖像中的數字內容進行識別、分類、著錄和標引的“數據化”工作，從而便于人們利用檢索詞檢索出合適的檔案信息。

（二）檔案“數據化”的實現。具體有以下幾個方面：

1.檔案著錄。20世紀80年代，傳統的著錄形式逐漸向現代著錄的方式轉變，代表性的美國、英國以及加拿大等國率先采用了計算機著錄的方式對檔案信息進行著錄。檔案“數據化”的實現必須依靠檔案著錄，“檔案著錄是基礎性的至關重要的工作環節，檔案著錄質量的好壞將直接關系到檔案信息的交換、互聯互通、實現信息資源共享和社會利用”，這樣就為檔案“數據化”的實現打好了基礎。我國目前采用的檔案著錄規則是《DA/T18-1999檔案著錄規則》，該標準距今已經有十幾年的歷史，雖然此后也發布了一些檔案著錄的相關細節規則，但是相比較國際檔案理事會1999年公布的第二版國際檔案著錄標準ISAD（G）還是存在一些不足之處。我國檔案著錄規則在操作上容易出現錯誤，例如規則中規定，檔案主題標引可用主題詞也可以用關鍵詞。其次，我國檔案著錄規則的適用范圍較小，國際檔案著錄標準要求對檔案的內容特征、背景、系統來源等一一進行著錄。最后，我國的檔案著錄規則不包含全宗和類別為對象的著錄，而ISAD（G）規定的“較為理想的著錄，應由全宗級、案卷組合級、案卷級、文件組合級、文件級和分析級六個層次構成”。對比發現，我國要想實現檔案“數據化”，必須參照有關國際的檔案著錄規則規范對我國的檔案著錄規則進行修改，才能有效開展檔案著錄工作。

2.檔案全文數據庫。全文數據庫指得是集檢索與文獻全文提供于一體的網絡性數據資源集合體。建立全文數據庫既避免了人工查閱文獻書目的繁瑣，又簡便了閱讀文獻的方式，便于為讀者提供直接在線全文閱讀的服務。檔案全文數據庫需要從包括軟件硬件在內的各個方面入手來建立，大體上可以分為三個方面。第一，檔案數據庫的建設。（下轉第145頁）（上接第171頁）檔案信息數據庫最終要滿足不同層次、不同方面的利用者的利用需求，所以這些檔案數據庫的數據內容、網羅覆蓋范圍是衡量能否滿足利用者需求的決定性因素。其中數據庫的數量和質量都要滿足“大”的要求。數據庫應包括政治、經濟、軍事、文化教育等各方面內容、各個時期的檔案，同時這些檔案也應保證真實完整、有條理有順序。第二，檔案檢索系統的建設。檔案檢索系統是用戶查找利用檔案的關鍵。檔案檢索系統的界面設計應簡潔且內容覆蓋全面，檢索應有關鍵詞檢索、目錄檢索、主題檢索等多種入口，以滿足不同利用者的需求。第三，檔案服務功能建設。我國的大多數檔案檢索系統在這點上做得不夠全面，也沒有真正樹立起網上服務的理念。這里的服務功能建設指得是包括引導利用和互動交流的服務功能建設，不僅要提供網站自動的介紹服務功能，還應該提供人工在線交流服務，引導和幫助利用者在線獲取檔案信息。

3.檔案大數據平臺模型構建。檔案大數據是檔案部門對龐大的檔案信息進行有效管理的一種解決方法，檔案“數據化”最終的理想目標是對其進行檔案大數據平臺模型的構建。“在大數據時代，個人、企業和機構都會面臨大數據的問題。一般的大數據平臺構建大致分為基礎層、管理層、分析層和應用層，這里我們應用到檔案管理工作中，必須要考慮到檔案管理工作的收集、整理、鑒定等八項工作在實際檔案大數據平臺模型構建中的對接問題，建立適合檔案部門的大數據平臺。

基礎層為檔案大數據平臺的運行提供基礎支撐的作用，提供包括存儲服務器、計算服務器等高性能硬件資源，數據庫、模型庫等全方位的的數據資源，以及平臺和服務資源等軟件資源。傳統的檔案管理工作的八項環節應當嵌入檔案大數據平臺的構建中，形成管理層。在這個層面上的構建應該作為一個單獨的管理設計嵌入檔案大數據的平臺上，所以這也要求今后的檔案管理工作具有統一的檔案收集、整理、鑒定的數據化的規則。分析層是掌握檔案智能數據的中心以及檔案數據的高速網絡心臟層。它以互聯網的服務體系為基礎，在此基礎上對數據進行存儲、處理、挖掘等分析。應用層是針對檔案利用者的層面，檔案大數據平臺的構建最終目的是為了檔案利用者獲取檔案信息。設計時應涵蓋檔案館藏的所有種類和內容的大規模的檔案數據，不僅應設計簡單檢索和高級檢索的檔案全文檢索服務，還應該設計檔案咨詢等實時在線交流服務。

（三）檔案大數據的應用。檔案“數據化”的實現為我們檔案部門發揮效應帶來了巨大的便利。放眼國外，已經有許多國家的檔案部門開展了檔案大數據的應用工作。2003年4月，美國國家檔案館（NARA）的“獲取檔案數據庫”（Access to Archival Databases，簡稱AAD）在ERA項目的開發下正式運行。該檔案全文數據庫可以在線獲取原生電子文件，方便了廣大居民實時在線獲取檔案信息，掌握檔案證據。到2005年，利用者已經達到了大約130萬人，并通過AAD進行了約160萬次成功的查詢。居民們可以通過關鍵詞檢索、主題檢索、目錄檢索等多種檢索形式獲取所需檔案，也可以通過“AAD工具”欄、“幫助（help）”功能等了解如何查找獲取檔案數據。“美國AAD建設給我國檔案館在線檔案全文數據庫建設的一個重要啟示便是在線檔案全文數據庫建設應始終貫徹‘以用戶為中心的理念”，只有在這一理念的指導下才能對檔案信息進行有效的數據化開發。

近年來，隨著世界經濟和文化交流日益頻繁，大數據不僅在國際上更是在我國的許多領域都有了收獲頗豐的應用實例。我國醫療界的“3521工程”就是一個典型例子。“3521工程”是醫療檔案大數據工程，旨在建設國家級、省級和地市級三級衛生信息平臺。該平臺建設有健康檔案和電子病歷兩個基礎數據庫和一個專用網絡，融合了我國絕大部分三甲醫院和二甲醫院的數據庫信息和影像文件的數字化信息。這一醫療檔案大數據的應用可以通過對龐大醫療數據的統計分析，分析預測慢性病、流行病的發展趨勢并自動報警，為我國醫療事業的發展提供了有力的數據支持。

【參考文獻】

[1]王學平.淺議我國檔案數字化建設實踐與發展策略[J].檔案學通訊，2011（6）：54—57.

[2]張健.檔案數據庫“脹庫”問題研究[J].檔案學通訊，2012（4）：49—51.

[3]徐俊敏.我國檔案數字化中檔案著錄問題探析[J].蘭臺世界，2014（5）：1，4.

[4]應海燕、樂淑芳.《檔案著錄規則》適用性初探[J].蘭臺世界，2006（17）：20-21.

[5]連志英.“以用戶為中心”的在線檔案全文數據庫建設初探——以美國國家檔案館AAD為例[J].浙江檔案，2012（4）：11-13.