數字環境下新技術在檔案保存與公開中的應用

文/遼寧省大連市沙河口區中心醫院醫務部 張春景

目前需要做什么才能確保檔案在未來和不斷發展的數字環境中得到用戶的信任？在新修訂的《檔案法》中，增設“檔案信息化建設”一章，進一步推動了檔案信息化工作。筆者認為應與國內和國際不同的部門和學科的學術研究團體合作，利用跨學科專業知識來圍繞這些重點進行研究。檔案界的學者應以創造一個數字檔案館的研究環境，來幫助解決國家數字檔案館的重大問題和挑戰。

一、迎接數字檔案不斷發展的本質

（一）數字環境的發展。在發展快速的數字環境中，像國家檔案館這樣的檔案機構正在尋求走向一個可持續發展的數字未來，并繼續成為我們記憶中值得信賴的“監護人”。隨著環境的變化，檔案館提供未經篡改、可靠的公共檔案的任務始終不變。世界各地的收藏機構現在都在集中精力進行數字化建設，以保證他們跟上時代的步伐，并保證對所采集、保存、背景化和展示的檔案賦予其合法性。在人工智能輔助檔案收集的時代，突出檔案的適應性、價值和可持續性的需求越來越高。數字化的挑戰使“信任”成為焦點，但同時也是一個機會，將檔案館信任的基礎作為一個機構的權威，轉變為對檔案實踐的透明度和問責制。

數字化是我們最大的挑戰。然而，我們并不孤單。在最近的一篇短文中，Luciano Floridi教授討論了我們日益復雜的環境不可持續的脆弱性，這只是數字給現代社會帶來的挑戰之一。在該文中，弗洛里迪提出了認識數字脆弱性風險的方法，并通過強調數字世界的所有成員，在保護信息方面發揮出的關鍵作用。文章最后認為，從好的一面來看，數字脆弱性有一些特別有用的東西，即它促使了信息社會對脆弱性的了解，并通過從上到下更開放、更負責任的方式，協同工作，為控制數字故障做好更充分的準備。

在檔案界，數字檔案正在從根本上改變著檔案的面貌以及檔案工作者和檔案機構的作用。數字環境的發展是導致檔案學科迅速轉變的一個因素，或者用托馬斯-庫恩的話說這是一場科學革命，“從一個相對固定的科學框架轉向需要對其原則、方法和實踐進行深刻了解的變革”。更具體地說，數字環境的發展給檔案領域帶來了各種復雜的情況和挑戰，正需要檔案人員運用新的技術和方法。

（二）新興技術的使用。毫無疑問，新興技術的使用，如Snapchat、Google Docs、神經網絡、區塊鏈、散列算法、密碼學和云計算深刻地改變了檔案的性質與信息的創建、記錄、捕獲、編碼、策展、共享、提供和使用方式。這些轉變要求在捕捉信息方面要有全新的技術和方法。越來越多的數字檔案的保存、背景化和展示，使得檔案工作者必須把新興技術作為自己的行業工具來配備。我們需要了解數字景觀，以及在新一代技術下社會將如何創造和分享檔案。當重新思考檔案的性質和如何將數字檔案應用到實踐時，就可以借鑒文化遺產、學術界和相關行業的創新，與基礎設施、方法、工具、技術和用戶需求的探索性研究結合起來。只有通過在檔案保存實踐中嵌入新一代技術，幫助我們在捕捉、保存、情境化和展示數字檔案的過程中管理我們的權利和責任，才能實現新一代數字檔案館的愿景。因此，在這個越來越依賴人工智能的時代，我們需要徹底考慮數字檔案的保存、描述、表現和使用有關的實際問題。

在未來，人工智能和新興技術將成為我們日常記錄實踐的一部分，在使用的過程中，圍繞信任的問題就成為了根本。例如，社會對算法決策的依賴性越來越大，這從根本上改變了證據的格局。利用數據創建和訓練算法的人工智能正變得越來越廣泛和多元。人工智能的不確定性和無限制性要求我們重新思考如何保存系統和決策的證據。因此，人工智能要求我們重新思考在這種情況下，“檔案”是什么。在應對這些挑戰的過程中，國內對館藏管理、檔案學科、檔案部門和圍繞檔案的跨學科進行了高質量的研究。在這些研究中，以尋求發現創新的新模式和方法、技術和工具為目的，避免數字時代檔案保存的風險。

二、信任、風險和不確定性

數字化轉型改變了檔案館作為權威機構的傳統界限，并在保護檔案和數據方面帶來了新的挑戰。在快速變化的檔案保存環境中，了解并有效管理所有相關風險是檔案工作的核心。

（一）分布式賬本技術建立信任。數字檔案具備的基本挑戰之一，是我們如何保證今天進行歸檔的記錄與20年甚至100年后向公眾發布的檔案是一樣的。目前嘗試使用的分布式賬本技術(DLT)，如區塊鏈，正作為一種工具來維持對數字檔案的長期信任。DLT使用加密技術和分布式存儲模型，通過制作多個公開可用的證明實例，即創建可驗證的證據，證明一個存檔對象沒有被篡改。這就意味著，如果一個數字文件以某種方式被改變，就可以通過數字檔案現在與它在分布式分類賬本登記時不同的情況來識破。目前，DLT已在國內大型互聯網公司得到廣泛應用，但在數字檔案領域應用較少。隨著信息化的快速發展，國家電網、神華集團、華能、華電、中石油等已逐漸認識到檔案內容真實的重要性，并陸續使用DLT對企業檔案進行集中存儲和統一管理。

在數字世界里，我們會提供原始數字文件的編輯和重新格式化版本。一個過時的文字處理文件可能會被轉換為PDF格式，以達到兼容的目的；個別的電子郵件可以從電子郵件檔案中提??；高清晰度的視頻可以減少到com-pressed格式，以減少對下載帶寬的影響。這些程序中的每一個程序，雖然不會從根本上影響對象的內容，但仍會創造出與原件不同的加密內容。

我們的重點是確保數字檔案的可持續性，以保證用戶對數字檔案的信任，因此，在數字檔案中建立一個以DLT為中心的可審計性和透明度系統，強調用于操作原始數字對象的功能的可追溯性。其核心原則是：每個用于操作數字文件的函數都在分布式賬本中注冊，只有可驗證的函數才可以被使用。這樣一來，一個數字對象的演示副本可以通過所有用于創建或操作它的函數集，在其整個生命周期內追溯到它的原始版本。相信，使用這種技術可以改變數字檔案的可持續性，同時也可以讓檔案館共享檔案的管理權，并通過共享來保證他們所持有檔案的完整性。

（二）貝葉斯網絡處理保存風險。對數字保存產生的風險應該運用新的方法。在一個不斷變化的數字環境中，定性風險評估方法不能為數字檔案館提供足夠的保證。在嘗試使用一種統計方法來量化數字保存風險時，我們發現貝葉斯網絡可以解決這個問題。

貝葉斯網絡是建立在貝葉斯推理之上的概率模型。1980年，隨著人工智能的發展，Pearl提出了貝葉斯網絡，將貝葉斯網絡成功地應用于專家系統，成為不確定和推理的一種流行方法。貝葉斯網絡技術已廣泛應用在模擬軍事對抗、信號檢測、金融風險分析等。

對于檔案領域來講，數字化保存亦是一項長期的活動，由于許多風險事件和故障發生的頻率太低，我們無法收集到許多硬數據來為經驗方法提供依據，這導致我們難以用定量技術對風險進行預測。然而，檔案行業在多年的數字保存中積累了豐富的經驗，而且從行業和檔案館的知識中獲得的信息，在此基礎上應用貝葉斯方法。應用貝葉斯方法建立一個預測模型，當發布用于研究的數據文件時，惡意用戶可能試圖破壞機密性，貝葉斯風險評估用于預測披露風險，使我們能夠判斷某一特定數據是否安全，當被認定為不安全時，采取保護措施。結合不同的信息來源，在有硬數據的地方使用硬數據，在沒有硬數據的地方用我們的最佳判斷來補充。這種方法還使檔案工作者能夠在面對不確定和不完善的信息時進行操作，并能適應不斷變化的環境。

在未來，我們應努力建立一個新的數字保存風險模型，它將以數據為基礎，以適應數字環境的不斷變化。數字保存風險模型將包括廣泛的威脅因素，從格式的多樣性到系統的依賴性、軟件、技術能力和組織政策，進行風險建模。這意味著我們可以有效地規劃干預措施，平衡風險的可能性增加對數字檔案保存的影響。通過預測性的風險模型，能夠以經驗為基礎做出有關保存行動的決策，同時能夠闡明不同保存方案的效益和成本。利用數字團隊的專業知識，通過應用風險情景來驗證正在開發的模型，并利用這項工作來發展研究合作，以進一步擴展該模型。特別感興趣的是將如何開發統計模型，能夠幫助了解和量化風險，并投入資源、成本以取得最大效果，以及這些風險模型如何與更廣泛的檔案部門結合起來。此外，對這些問題的回答將更有助于了解和處理與檔案相關的法律、社會和道德環境。闡明風險并指出對“風險偏好”需要放在哪里，這無疑是圍繞數字檔案保存基礎設施的重要一步。

（三）記錄鏈接解決不確定性。數字檔案館的又一挑戰是如何有效地處理檔案館收藏檔案的模糊性和不確定性，同時為混亂、不完整和不一致的歷史數據創建一種模糊鏈接的方法。為了回答這個問題，我們一直在積極嘗試用記錄鏈接讓用戶能夠做出穩健的、數據驅動的訪問決策。

不同數據源的數據的合并過程稱為記錄鏈接（record linkage）就是利用統計學原理，識別不同文件中的相關記錄是否描述同一個體的一種數據處理技術。目前國外記錄鏈接技術已廣泛應用于醫藥、商業管理、官方統計等領域。

應用記錄連接技術不是試圖清理和標準化數據，而是旨在通過量化和繞過大規模集合中發現的“模糊性”的形式，利用模糊匹配，通過對兩條記錄的多個識別符號進行匹配，并對不同識別符號分別賦予權重，將匹配結果加權重求和就得到兩條記錄代表相同個體的概率。

在檔案鏈接算法中使用概率，為遺產藏品開辟了新的獲取途徑，并提供了一個從業者對檔案描述的視角。我們最初的工作是在本館的藏品中建立鏈接，現在也可以擴展，因為現在可以建立一個由人、地點、事件和思想組成的連接網，即對這些因素進行賦值進行權重加和，而不是一個僅由檔案背景連接的紙盒目錄。然而，還有更多的工作要做，來擴展和發展這一方法，以管理模糊的大數據，并將結果呈現給用戶。我們仍然需要探索讓新老用戶都能獲得這些鏈接的方法，將鏈接數據方面的進步與現代可視化和數據挖掘技術相結合，以提供新的見解。

三、公開性、透明度

向用戶開放檔案是國家檔案館職責的一個重要部分，這也帶來了許多機遇和挑戰。作為數字檔案的保管者，無論是數字化還是原始數字記錄，在保持數字檔案館公開性和透明度方面要做到：一是控制開放規模、安全地在法律范圍內提供數據的使用和再利用；二是在開發新的服務和創新的內容時，檔案工作者的決定和程序要透明。

（一）通過改變我們對訪問的思考方式，實現大而復雜的數據分析。傳統的檔案利用概念主要反映了用戶在閱覽室或研究室進行的文獻研究。今天，閱覽室仍然是一個物理空間，用戶主要是去探索模擬記錄和物質手工藝品，但同樣，也有各種數字空間，如網站、在線目錄或檔案館、文化機構和其他公司的其他數字基礎設施，用于制作或存放數字檔案。毫無疑問，數字化改變了檔案收藏的獲取方式，帶來了新的機遇和挑戰。

為了尋求在訪問、分析和研究方面的創新，我們正在開發數字基礎設施，以解鎖檔案內容，并實現數據分析方法的應用。通過應用自然語言處理和結構感知搜索等技術，實現了對復雜的大規模收藏的高級研究。例如，英國國家檔案館開發一個新的網站供研究人員使用，通過新的數據集列出幾年以上的所有立法，以及一套高級工具，使其易于查詢立法內容，并實現結構和時間感知搜索。此外，當我們將數字服務轉移到云端時，可以讓研究人員方便地訪問政府網，他們可以對我們的政府存檔網站、政府部門視頻和社交媒體活動進行大規模的再搜索。將光學字符識別(OCR)技術與新的先進技術相結合，用于捕捉和保存政府在網絡上發布的信息，使大規模數字收藏(包括PDF格式的數字化文件以及出生的數字)可用于研究和探索。

（二）利用算法和人工智能公開大規模的檔案。檔案館的收藏規模是我們的挑戰之一，當涉及到檔案開放，包括數字化的收藏品供研究和實驗時，當規模的挑戰與如何抄寫印刷和手寫歷史檔案的問題結合在一起時，圍繞數據的獲取和使用的問題就需要新的方法。將OCR和手寫文本識別(HTR)與高性能的計算技術相結合，使用戶能夠以新的方式解開檔案中印刷和手寫的歷史內容。在手寫歷史內容方面，應用HTR技術的挑戰之一是準確性。這就解決了如何最好地將HTR與人工干預(潛在的眾包)相結合，以產生大規模的內容轉錄的問題。隨著記錄轉化為數據潛力的開放，檔案研究者將目標放在了跨學科研究中，能夠通過多種方式操縱該數據，以追蹤檔案和檔案之間的模式，重新組合我們的數據以講述新的故事。

預計未來將越來越多地依靠算法來幫助我們完成從保存到展示的過程。在涉及算法和人工智能輔助決策的所有檔案保存的過程中，必須注意確保公平、問責和透明，這一點至關重要。在一個大規模數據分析和人工智能輔助檔案學科的時代，打開人工智能系統的“黑匣子”也將幫助我們解決重要的實踐和倫理問題，如檔案與社會正義。這些領域與整個過程中使用的訓練數據和統計數據的不確定性有關。對決策中使用算法和人工智能所發生的結果在所有階段和所有層次的依賴關系的理解，將幫助我們對這種背景下的檔案的倫理含義產生新的認識。