檔案數據化的困境分析與策略研究

趙 躍 邢琳悅 段先娥

一、引言

近年來，數字人文、計算檔案學、智慧檔案館、人工智能等“數據”驅動的研究領域成為檔案學研究的熱點和前沿，正推動檔案“數據”范式的興起[1]，并引發檔案界人士對檔案“數據”價值的廣泛關注[2][3]，呼吁要推動檔案數字化向數據化的轉變[4-6]，因為只有將檔案數字資源轉化為“數據態”，才能進行數據的關聯、挖掘和分析，實現檔案資源的數據價值[7]；還有學者基于創新檔案服務模式、實現智慧檔案館面向計算的全媒體檔案信息管理等需求，提出要推動檔案數字化向數據化、語義化的轉變[8-9]。這些成果的紛紛出現，寄予了檔案界對大數據時代突破檔案信息資源深度開發瓶頸、創新檔案服務模式以及推動檔案管理業務流程智慧化的迫切希望[10]，但其研究內容更側重于對檔案數據化概念、意義等基本問題的探討。近年來，有學者雖零星提出一些面向數字人文推進數據化的思路[11-12]，但尚無學者專門關注如何推進數據化。本文通過分析檔案數據化面臨的問題，進而提出檔案數據化的路徑與策略，以期對實踐部門推進檔案數據化有所啟示。

二、問題剖析：檔案數據化為何久久停滯于實踐之外

近些年來，數據驅動和技術賦能似乎成為檔案事業發展和檔案學研究的方向標。無論是數字人文學科的滲透，還是作為超學科興起的計算檔案學，都讓檔案學者因檔案館館藏豐富的檔案資源而感到欣喜。但實際上，我國檔案領域與數字人文或計算檔案學領域的協同幾乎處于萌芽狀態，距離實現數據驅動和技術賦能還較遠。筆者認為，檔案數據化是檔案部門以用戶需求和業務需要為導向，將數字檔案資源（包括數字化轉換形成的數字檔案資源和歸檔電子文件）轉換為可供閱讀、分析和處理檔案數據資源的過程[13]。但檔案機構要實現這一過程的轉變，仍面臨諸多困境。

1.思維保守，創新乏力。檔案工作中的保守思維在改革與轉型的當下，已成為阻礙我國檔案數據化進程的一堵厚墻。這種保守思維首先體現在檔案開放領域。長期以來，檔案保密與檔案開放的矛盾及其博弈造就了極強的安全保密觀，卻并未帶來檔案開放的突破。在現行的檔案安全工作中，檔案機構往往強調運用法律、政策、行政、制度、技術、設備等各種手段來確保涉密文件和檔案的安全，形成了嚴格的檔案安全責任制，各級檔案館領導對安全問題非常重視，對檔案的解密、開放問題持小心謹慎的態度。有學者發現：檔案館在保密和開放的執行和把握過程中，博弈“權衡利弊取其輕”占據了主導地位，即寧可緊閉大門不出事，也不能因為開放檔案后不可預料的結果而受到法律的嚴懲[14]。在“公開危險，保密安全”的保守思維驅使下，檔案管理部門普遍存在著“保密過度而開放不足”現象[15]，嚴重影響檔案開放水平。

保守思維還體現為部分檔案機構“小而全”的資源獨占思維。有的機構認為檔案是自家資源，不愿共享，發布在互聯網上意味著失去了對核心資源的絕對控制權與主體地位[16-17]。當前，全國各地已建成的各級各類數字檔案館數量和規模可觀，但從共享的角度來看，只不過是一座座“資源孤島”，檔案資源的可獲知性和可獲得性并未取得突破性進展。很多檔案資源很難通過網絡，尤其是互聯網獲取。部分檔案館雖在網絡發布檔案開放目錄，但仍要求查檔者到其館藏所在地查閱、摘抄、復制。總之，不可否認，檔案特有的政治性、秘密性、敏感性規定了檔案信息資源必須得到有效管控[18]，但過分強調檔案安全保密，造成檔案安全工作與檔案開放工作的失衡，就會在一定程度上阻礙檔案開放進程。檔案開放工作的龜速發展，加上資源獨占思維及其共同作用下導致的“重存輕用”工作機制，嚴重阻礙了檔案事業的改革和創新，也阻礙當前檔案數據化推進。現有的檔案思維模式和工作機制下，檔案數據化極有可能陷入“可為而不能為甚至不敢為”的窘境。

2.統籌依賴，動力不足。政策導向和規劃引領歷來是我國檔案工作前進的重要動力。2016 年發布的《全國檔案事業發展“十三五”規劃綱要》提出“全面推進檔案資源存量數字化、增量電子化、利用網絡化”的檔案信息化目標。不僅如此，規劃中還提到要探索與大數據行動的融合——“建立開放檔案信息資源社會化共享服務平臺，制定檔案數據開放計劃”。盡管國家層面首次創造性地使用“檔案數據開放”的概念，但此處“檔案數據”更多是指目錄數據，而非從檔案內容中提取的數據。2019 年底國家檔案局發布的《紙質檔案數字復制件光學字符識別（OCR）工作規范》（DA/T 77-2019）提出，“檔案OCR 應納入數字檔案館（室）資源建設范疇，統籌規劃、有序實施，逐步實現常態化”。該規范同時還提出了檔案數據化后的幾個應用目標場景，指出“檔案OCR 應科學開展，有利于實現檔案信息檢索和計算機輔助編目、編研開發、數據挖掘”。這對推進我國檔案數據化工作具有重要指導意義，盡管如此，國家層面也尚未提出推進檔案數據化的行動計劃，如何解決檔案數據化與數據化后應用之間的脫節，實現數據化、語義化、智慧化與應用場景開發的一體化發展，仍需國家層面的政策引導與統籌推進。一直以來，受自上而下檔案管理體制的影響，我國地方檔案機構對國家層面的統籌規劃形成了很強的依賴性。由于國家層面還沒有明確的關于檔案數據化的政策動向，因此很多地方檔案機構也缺乏探索檔案數據化道路的主動性與積極性。

值得一提的是，近年來，浙江省在檔案部門融入大數據、“互聯網+”等新興趨勢中進行了大膽且有益的探索，在檔案事業的改革與轉型中成為典范。2018 年9月，浙江省委辦公廳、省政府辦公廳聯合印發《關于加快推進新時代檔案資源建設的意見》，在加快推進檔案資源建設數字化轉型方面，提出要推進檔案數字化成果全文識別，2022 年底前，全省各級各類國家綜合檔案館完成館藏重點檔案數據化，省、市、縣（市、區）直屬機關和國有企事業單位完成與“最多跑一次”改革相關的專業檔案數據化[19]。顯然，在推進“檔案資源”向“數據資源”[20]的深刻變革與數據化轉型當中浙江省已經完成了頂層設計，但檔案數據化工作并不等同于“數字化成果全文識別”，因此，如何進一步統籌推進檔案數據化還有待在實踐中進一步探索完善。盡管我國地方檔案事業的發展中有浙江省這樣的“改革先鋒”，但國家政策與規劃層面對檔案數據化行動的不確定性，也使得地方檔案部門探索檔案數據化動力明顯不足。規劃缺失、動力不足以及由此帶來的地方檔案部門領導重視程度低、缺乏相應的經費支持，成為當前推進檔案數據化面臨的一大困境。

3.人才不足，技術薄弱。一直以來，檔案信息化人才緊缺，尤其是具備計算機等專業背景的技術型人才的嚴重缺乏，已經成為檔案信息化建設的瓶頸。大數據時代的到來，檔案部門對數據庫建設、數據分析、數據挖掘、知識組織、人工智能等方向的技術型和復合型人才的需求更甚。而當前的檔案專業人才現狀卻不容樂觀：一是檔案人才專業結構、年齡結構和層次結構的不合理。我國現有檔案專業人才年齡偏大、高學歷人才偏少、現代技術人才嚴重不足。二是檔案專業人才技能不高。據統計，按照檔案專業程度來看，全國各級檔案行政管理部門和綜合檔案館現有專職人員中碩士研究生以上學歷的比例僅為0.39%[21]。三是信息素養和信息挖掘能力極弱。大部分檔案工作人員信息素養偏低，對檔案信息資源的收集、挖掘和綜合分析能力弱[22]。人才結構的失衡，尤其是管理型、技術型、業務型人才配置的失衡，已經成為阻礙檔案工作改革與轉型的重要因素，也是檔案數據化工作缺乏動力的重要原因。

檔案數據化工作不僅面臨人才緊缺的困境，在檔案數據化技術層面同樣面臨巨大的挑戰。經過十多年的不斷發展，紙質檔案、錄音錄像檔案數字化已經形成一套比較成熟的技術解決方案，光學識別（OCR）、語音識別（ASR）等技術也逐漸運用到檔案數字化當中。盡管如此，目前檔案數字化技術也僅僅實現了對數字檔案的目錄檢索、全文檢索，很多隱藏在檔案內容中的關系及知識并沒有得到有效的揭示和呈現，例如，情感關系、人物關系、時空關系、語言與語義特征、公文用語特征、公文程式特征等。因此，檔案數據化開發與應用將涉及數據庫開發、知識組織與知識發現等眾多領域的技術方法。例如，文本編碼、語義描述、本體建模、自然語言處理、文本分析、可視化技術、機器學習技術等。然而，上述很多技術并未應用到檔案部門。在數字化階段，大多數檔案機構通過外包的方式來解決人才與技術不足的困境。但從目前來看，不僅是檔案部門對檔案數據化技術把握不足，很多第三方公司對檔案數據化技術解決方案的準備同樣不足。因此，檔案數據化開發的人才緊缺與技術不足的狀況，給檔案數據化開發項目的部署與實施帶來巨大的挑戰。

4.開發不足，服務被動。當前，以檢索、編研為核心的檔案信息資源開發深度明顯不足。檔案部門擁有大量有價值的“一手資料”，且檔案編研工作早已成為檔案部門的常規性工作，但始終難以突破“有編無研”的瓶頸。檔案數字化曾為檔案信息資源開發帶來曙光，因為它既強調將檔案信息從檔案實體剝離并存儲在數字載體上，也強調對數字化檔案的重新組織并實現序化與內容的開發。但當前我國檔案數字化實踐往往只關注前者，也就是實現“模數轉換”的數字化加工。伴隨著檔案數字化工作的不斷推進，不少檔案機構已進入“后數字化”階段，管控著大量以PDF、圖片等格式保存的數字檔案資源，但這些資源大多停留在簡單的組織、檢索、利用層面，內容層面的開發與挖掘還未引起足夠重視[23]。可見，檔案數字化雖提升了檔案部門的存取能力，但未能突破檔案編研的困境。

另一層面，檔案服務創新離不開檔案資源開發端的努力，檔案資源開發的程度將直接影響檔案服務的能力和質量。檔案數字化雖實現了為檔案制作數字化副本和網絡環境下的檔案獲取，但并沒有從根本上改變檔案服務的被動性。數字化后的檔案文本存在兩方面缺陷：一是數字化文本仍然需要用戶有意識地進行檢索，沒有建立檔案信息間完整的聯系；二是數字化文本中的信息依然只能依靠人的閱讀，才能轉化為有用的信息。此外，檔案公共服務平臺建設水平的低下同樣是造成檔案服務被動的因素，檔案機構多將檔案網站平臺定位為“政務型”平臺開展建設，網站服務偏向于政務類、業務類信息發布與信息服務，基于檔案資源而提供的主動服務和知識服務明顯不足。近些年來興起的檔案社交媒體服務平臺和移動服務平臺雖在一定程度上拓展了檔案機構主動服務的渠道，但其針對檔案資源所提供的服務方式和服務質量并未得到較大的提升，未能拓展檔案數據服務與知識服務的功能。總之，檔案資源整合與深度開發的不足，檔案公共服務平臺和能力的局限，對檔案數據化的推進造成一定的影響。

三、策略探析：如何推進檔案數據化項目的實施

檔案數據化工作都是通過相關項目的開展來驅動的。馬里蘭州檔案館奴隸制遺產項目在2001 年發起之初，其實想要通過案例研究利用馬里蘭州立檔案館的檔案來講述奴隸的故事和非裔美國人在馬里蘭取得的成就。但隨著項目的開展，為了利用新興的檢索工具改善用戶的閱讀體驗，項目組又啟動了數字化項目，通過掃描、轉錄、數據整合、清理和存儲，實現了數據化流程，并通過后期的數據可視化、數據分析等，提供基于網絡的呈現和利用[24]。另外，上海圖書館從2014 年起探索基于關聯數據技術的數字人文項目建設模式，其建設過程的首要步驟就是實現各類資源的數據化[25]。通過這些項目的驅動，在項目完成過程中施行數據化工作，達到推進檔案數據化的目的。除了上述專題檔案開發項目與數字人文類項目，檔案部門還可探索并適時發起智慧檔案建設項目、計算檔案學研究項目、開放檔案數據項目、知識服務項目等，通過這些項目來驅動檔案數據化的開展。針對檔案數據化相關項目在檔案機構的實施，筆者提出以下策略建議。

1.轉變思維方式，做好檔案數據化規劃。推進檔案數據化工作，首先要求檔案工作者摒棄不敢開放的保守思維和“小而全”的資源獨占思維，推動“存取”思維向“開發”思維的轉變、數字化思維向數據化思維的轉變。著眼于數據時代的社會需求與用戶需求的變化，通過數據化以及智慧檔案建設來推進檔案開放利用深度與廣度，提升檔案業務工作智能化水平，面向未來、面向社會積極尋求新的職能拓展與服務轉型。在我國檔案事業改革與轉型的十字路口，國家檔案局需要對檔案數據化的發展前景有清晰的認識，適時將檔案數據化納入未來“十四五”檔案信息化建設規劃以及“十四五”時期國家重點檔案保護與開發規劃當中，統籌推進全國智慧檔案建設工作。地方檔案機構也要努力尋求檔案工作與大數據戰略以及智慧社會發展的融合，發揮積極性，充當排頭兵，積極爭取地方政府和財政的支持，探索檔案數據化的可行路徑與實施方案，盡快研制檔案數據化標準與指南。

2.發掘業務需求，明確檔案數據化目標。明確的目標是檔案數據化項目走向實踐的重要牽引力，而在明確檔案數據化目標之前，應開展需求研究，充分發掘檔案數據化的業務需求。當前，有學者闡釋了檔案數據化對于突破檔案信息資源深度開發瓶頸、創新檔案服務模式以及推動檔案管理業務流程智慧化等方面的重要意義[26]。筆者認為，檔案部門應認識到檔案數據化的意義，全面檢視改革與轉型時期檔案工作的“痛點”與“創新點”。首先，梳理哪些“痛點”可以借助檔案數據化更好地解決。例如，能否通過檔案數據化解決檔案開放鑒定人力不足與效率低下的問題，實現基于檔案內容的智能化鑒定，通過對涉密信息、敏感信息和隱私信息的批量標注、比對與劃控，提升檔案開放鑒定效率[27-28]。其次，梳理哪些“創新點”可以通過檔案數據化來實現。例如，能否通過檔案數據化進一步帶動以“開發”為導向的知識化和智慧化進程，充分挖掘各類型各專業檔案的數據價值，進而拓展檔案服務方式，實現檔案信息服務向數據服務、信息服務、知識服務、智慧服務的“全對象”“全層級”服務的轉變。總之，無論是提升檔案鑒定、檔案編研等常規工作的效率，還是拓展檔案服務方式，都是檔案數據化的業務需求，檔案部門應以業務需求為導向，明確檔案數據化項目的目標，致力于實現檔案工作的精細化與智能化水準，帶動檔案數據化項目走向實踐。

3.引入成熟技術，促進檔案數據化開發。檔案數據化開發不僅僅是數字化后數字媒體的內容識別和簡單的元數據著錄，而且是在數字化的基礎上，以“需求”與“目標”為導向，進一步推進數字檔案實現數據化、知識化和智慧化的過程。例如，面向數字人文的檔案數據化開發就是要按照知識單元的方式來組織領域知識，從而構造一個模擬領域應用的知識環境。要做到這一步，通常的“文本化”是不夠的，雖然文本化能夠支持基于字符匹配的全文檢索，但字符串還不是嚴格意義上的數據，必須把字符串所表達的人名、事物名、時間、地點等析取出來，賦予獨立的標識符。本體技術、語義網技術（關聯數據）等是專門針對知識單元（語義單位）提供解決方案的技術，在數字人文等領域已有成功的應用[29]。當前，檔案機構在推進檔案數據化、知識化和智慧化方面并未形成技術體系，眾多檔案機構并不具備檔案數據化開發的技術能力，且眾多第三方檔案服務提供商并沒有成熟的檔案數據化開發技術解決方案。因此，亟待引入數據管理、知識組織、數字人文等領域的成熟技術，促進檔案數據化開發。例如，自然語言處理、ETL 技術、文本編碼、語義描述、本體建模、圖數據庫、多媒體搜索、語義搜索、關聯數據、名稱實體抽取、API 數據服務等[30]。當然，不僅僅要關注上述底層基礎技術，還要關注數據組織平臺建設相關技術方案以及數據間的互聯互通技術方案（共享與互操作）等等。

4.尋求廣泛合作，挖掘檔案的多元價值。由于檔案機構在數據挖掘、自然語言處理、數字人文、知識組織等領域人才、技術的嚴重不足，加上檔案部門支持資金的薄弱，檔案機構在檔案數據化建設當中，同樣可以積極尋求館際合作、拓展跨界合作，跳出傳統的合作圈子或合作思路，尋求新的合作伙伴和合作方式。當前，檔案部門在檔案數據化開發當中，最需要尋求的合作伙伴無疑是計算機科學、數據科學、人工智能、數字人文等領域的機構，甚至與從事數字藝術、文化創意等方向的機構或團隊合作，依靠內容、技術、設計、創意的跨界與融合來推進檔案數據化開發。這方面，NARA 的“二戰”日裔美國人拘留營檔案的數據管護項目、馬里蘭州檔案館的奴隸制遺產項目都是尋求合作的典型案例。首先，可以與擁有較強技術實力的研究機構合作，包括數字人文、大數據、人工智能、數據科學、計算機科學等領域的相關研究機構，尋求專家知識支持和技術力量的加入，通過合作項目或橫向課題等合作形式推動檔案數據化相關項目的設計；其次，可以通過與掌握豐厚財力、人力、物力資源的商業機構合作來推動智慧檔案開發、管理與服務；此外，在不同地區之間，可以在國家檔案局的組織下“統一標準、協同行動”，通過檔案機構縱向與橫向的共建共享，將中國檔案開放平臺打造成為國家級開放檔案數據平臺和國家級數字人文研究基礎設施。

5.探索檔案眾包，充分利用公眾的力量。公民眾包的興起讓公眾參與檔案工作從“線下”走向“線上”，在檔案信息資源開發工作中受到國內外廣泛關注。2016年，上海圖書館啟動盛宣懷檔案眾包項目，將盛宣懷家族1850 年至1936 年間包括日記、文稿、信札、電報、賬冊、電文、合同、章程等在內的檔案發布在自建的眾包平臺，吸引公眾完成元數據著錄與全文轉錄任務。英國倫敦大學學院“斯萊德檔案項目”（Slade Archive Project），借助大眾標引進行元數據庫的構建和完善。眾包在解決開放檔案數據化這一“勞動密集型”工作上具有獨特優勢，它可在數字資源轉化為數據資源的過程中發揮積極作用，為深度開發檔案信息資源（例如，檔案編研、知識發現與決策支持）提供數據基礎[31]。有學者指出，檔案機構可鼓勵公眾參與，例如，通過抄寫將文檔或地理歷史地圖數據化；對傳統檔案進行編目、標記和分類；評論或討論檔案內容，添加背景信息（如個人經歷或記憶）來替代敘述和解釋[32]。盡管當前我國檔案機構尚未有成功的眾包項目問世，但不可否認的是，眾包必然是互聯網環境下帶動檔案數據化的一條重要且可行的路徑。參考聶勇浩和董子晗[33]提出的檔案信息資源建設眾包實施框架，檔案機構在推進檔案數據化眾包項目中設計層面要順應國家政策與機構戰略目標、選擇適當的任務內容與形式，在運作層面需要考慮平臺的搭建與質量控制機制，管理層面則應當建立參與者的激勵機制與成果的評估機制。

6.重視人才興檔，提升檔案數據化能力。人才問題盡管是個老生常談的問題，但面對檔案數據化趨勢，其已成為推進檔案工作數據轉型亟待解決的問題。面對檔案機構人才結構的失衡，當務之急是引入并培育技術型人才，面向計算機科學、數據科學、情報學等學科招聘一批專業技術人才，或者通過內部崗位調整以及在職人才培訓，提升檔案機構開展檔案數據化的能力，緩解過渡時期檔案機構人才結構失衡的矛盾。從長遠來看，要改革檔案學人才培養模式，才能改善人才需求缺口。在數據時代，培養具有技術、業務和管理能力的復合型檔案專業人才已是共識。有學者指出：數據時代的檔案工作者要成為具有交叉學科背景的復合型人才，需要具備網狀知識背景結構，既需通曉檔案專業知識，也要不斷提高運用數據挖掘、文本分析、可視化與數據設計等數字技術及工具的能力[34]。當前，國外檔案教育已經開始關注新興技術，例如美國西蒙斯學院檔案與保存專業學生在檔案館實習中掌握數字人文技術[35]。檔案高等教育和檔案中等教育改革，也應重視在課程體系建設中加入計算檔案學、數據科學、數字資產管理等學科和領域的相關理論課程與實習實踐課程，并且重視發揮高校數字人文實驗室、人工智能實驗室等在檔案學專業創新性人才培養中的作用。

7.保障檔案安全，解除檔案開放的隱憂。檔案開放是檔案數據化工作的重要前提，也是制約檔案工作數據轉型的重要因素。2020 年新修訂的《中華人民共和國檔案法》明確規定，要提高檔案開放的效率，將檔案開放的期限由30 年縮短為25 年。《全國檔案事業發展“十三五”規劃綱要》也曾提出“制定檔案數據開放計劃”。這些舉措流露出檔案部門要擴大開放與利用，改變檔案管理保守、保密形象的趨勢，但也對檔案部門帶來巨大的壓力，不僅僅包括前文所述的開放鑒定工作的壓力，還包括對檔案安全問題的擔憂。從檔案開放走向檔案數據開放，不僅僅是檔案開放形式的變化，還意味著開放內容的數據化、開放平臺的網絡化，而這無疑將為檔案部門增添新的“安全風險”。因此，檔案部門若要推進檔案數據化項目，必先做好檔案開放鑒定工作以及檔案安全保障工作，識別檔案數據化項目以及檔案數據開放等工作所帶來的安全風險因子，評估風險大小，依據評估結果采取相應的風險防控措施，做好安全保障。只有這樣，才能解除檔案開放的隱憂，檔案部門才能以更加開放包容的新姿態融入數據時代，推動檔案數據化項目走向實踐。

當前，我國檔案事業正處在改革與轉型的十字路口，檔案法規的修訂、數字轉型的倒逼、新興技術的驅動、機構改革的推動等，讓未來幾年的檔案工作充滿新機遇，又面臨新挑戰。面對機遇與挑戰，變革與創新是必然趨勢，也是發展之道。檔案部門作為歷史信息資源的最大擁有者，亟待抓住改革與轉型的契機，創新管理技術與服務模式，推進數字檔案資源數據化、語義化和智慧化進程。因此，筆者認為，檔案數據化開發或檔案數據資源開發就是通過數據化、語義化和智慧化等手段，將數字資源開發成數據資源的過程。本文分析了檔案數據化走向實踐面臨的困境，提出了檔案部門推進檔案數據化的策略，希望能夠引起檔案部門對檔案數據化的關注，推動檔案數據化工作突破困境，走向實踐。