“AI+檔案”應用的算法風險與治理路徑探析

于英香 李雨欣

摘要：各國政策既鼓勵應用人工智能技術輔助檔案工作，也強調對人工智能算法應用引發的風險進行治理。算法及算法權力介入檔案工作可能會帶來諸多風險，如算法攻擊導致檔案數據泄露、算法鴻溝引發檔案管理決策的信任危機、算法的技術理性牽制檔案價值理性的發揮、算法的偏好原則弱化檔案用戶的信息權利等。為了應對風險，應從算法應用回歸價值理性、制定防范算法風險管控策略、依據法律法規來規范算法應用行為等方面進行算法治理。

關鍵詞：人工智能 算法權力 算法風險 算法治理 檔案管理

Abstract：Policies of various countries not on？ ly encourage the application of Artificial Intelli？ gence technology to assist archival work， but also emphasize the management of risks caused by the application of Artificial Intelligence algorithms. The involvement of algorithm and algorithm power in archival work may bring many risks， such as the leakage of archival data caused by algorithm at？ tack， the trust crisis of archival management deci？ sion caused by algorithm gap， the technical ratio？ nality of algorithm restricts the good value of ar？ chives， the preference principle of algorithm weak？ ens the information control right of Archives Us？ ers， etc. In order to deal with those risks， we should be taken for algorithmic governance， such as returning value rationality in applying algorithm， formulating the control strategy to prevent the al？ gorithm risk， and adopting laws and policies to reg？ ulate the algorithm application behavior， etc.

Keywords：Artificial intelligence；Algorithmic power；Algorithm risk；Algorithmic governance；Ar？ chives management

“人工智能+”（Artificial Intelligence Plus，簡稱“AI+”）是指人工智能（Artificial Intelligence，簡稱“AI”）與各個行業的深度融合并創造新的行業發展生態。“AI+檔案”即將人工智能技術應用于檔案管理工作中，以創造檔案事業的新生態。算法是指應用計算機程序解決問題的方法，人工智能技術賦能檔案管理，如檔案的分類、鑒定等工作均可轉化為計算機程序，即算法問題。目前，有關“AI+檔案”的研究主要有三個方面：一是探討AI技術應用于檔案工作的適用性，如AI技術嵌入檔案管理的邏輯和特征[1]、可行性[2]及必要性[3]；二是“AI+檔案”工作的變革，如探索采用人工智能技術構建新型系統[4]、驅動智慧檔案館建設[5]、優化檔案網站[6]等以及探討人工智能在檔案管理理論創新、檔案管理模式優化、檔案管理人員能力提升[7-9]等方面的推動作用；三是檔案工作面臨的挑戰，包括技術安全可靠性[10]及檔案管理、檔案數據、機器信任、法律環境、專業能力[11]等方面的挑戰。目前大多研究著眼于采用人工智能技術創新檔案工作路徑，也有研究反思人工智能應用可能帶來的負面影響及對策等，但鮮有從算法的視角探討“AI+檔案”應用存在的管理風險，對“AI+檔案”應用中的算法風險進行治理成為檔案管理不可規避的議題。

一、算法風險呼喚對“AI+檔案”進行算法治理

隨著人工智能技術的進步，國際檔案組織倡導要協同人工智能技術發展檔案事業，如2017年英國國家檔案館頒布的《數字戰略》提出研究機器學習技術輔助數字敏感性審查及處理數字文件工作，以便更好地實現數據的價值[12]；美國信息自由法聯邦咨詢委員會提交的《2018—2020年報告草稿》中要求檔案管理員應加強與其他部門合作，利用人工智能技術提高文件搜索響應能力以及識別敏感材料[13]；澳大利亞國家檔案館出臺的《2019—2022年信息技術戰略方向》中提到要采用人工智能技術打造現代化技術平臺以提供服務[14]；加拿大圖書館和檔案館公布的《2020—2021年部門計劃》表示將探索AI在提供現代化參考咨詢服務的可能性[15]；國際檔案理事會發布的《2021年至2024年戰略規劃》提出將繼續探索與數據和計算機科學領域建立新的伙伴關系[16]；我國中辦國辦印發的《“十四五”全國檔案事業發展規劃》中倡導要積極探索人工智能技術在檔案信息深層加工和利用中的應用等[17]。這些政策在宏觀層面鼓勵檔案部門采用人工智能技術輔助檔案工作，成為“AI+檔案”事業發展的動力。然而，人工智能技術的應用也帶來了潛在的風險。人工智能算法作為一種技術手段，本身不具有權力的屬性，但由于其具備對數據、人的行為和公權力資源的調動能力就形成了技術權力[18]。算法的設計是有邏輯有目的的，算法權力既包含算法本身的權力和數據的權力[19]，還包括算法設計和研發過程主導者的權力[20]。具體而言，算法提供的運算結果有可能會代替人類進行決策，甚至具備影響人思想觀念、意識形成和價值觀的能力。當出現算法濫用、數據濫用、算法歧視等問題時，則可能對國家安全、政府運作、公共秩序、社會運行等方面帶來消極影響，因此引起人們對算法應用產生風險的擔憂。人工智能與檔案領域的深度融合催生出以算法輔助決策為核心的算法治理新模式，檔案界也意識到了算法可能帶來的風險，并通過政策都傳遞出對“AI+檔案”應用的隱憂，如美國國家檔案與文件管理署（NARA）2020年7月出臺的數據管理委員會章程中規定，數據治理委員會要指導機構對機器學習和人工智能的投資，并圍繞該技術的道德使用提出建議[21]，2020年10月公布的新白皮書《認知技術：文件管理對物聯網、機器人過程自動化、機器學習和人工智能的影響》中著重關注AI應用時的信任問題、偏見問題和道德問題[22]；澳大利亞國家檔案館發布的《信息和數據治理框架》中就將澳大利亞政府出臺的《AI倫理原則》納入參考范圍[23]。這表明，各國政策既關注人工智能的應用，也關注如何防范應用中算法可能帶來的風險。

二、“AI+檔案”應用的算法風險

當算法介入檔案整理、保管、編研、利用服務等工作時，算法“盜竊”數據、算法信任問題、算法價值問題、算法偏好問題等帶來的消極影響也隨之而來。

（一）算法攻擊導致檔案數據泄露

算法可以是良器也可能是武器。在檔案工作中，當算法是良器時，它可以參與檔案工作從而協助檔案工作者完成任務；當算法變成武器時，會成為一些不法分子竊取檔案數據的工具。檔案數據面臨的外來風險可能來源于網絡的攻擊，這對檔案數據的安全帶來極大的威脅。自從計算機技術發展以來，網絡安全事件頻發，政府數據、企業數據、個人數據等數據資源因算法攻擊導致數據泄露或數據篡改的事件屢見不鮮，其中不乏涉密性和敏感性的檔案數據。如2018年12月，法國外交和歐洲事務部發生個人檔案信息失竊事件，隨后其發表聲明稱黑客利用其計算機系統漏洞進行算法攻擊，導致多人信息被泄露。[24]不難看出，算法作為治理工具的同時，還有可能成為損害利益的武器，檔案部門擔負著保管檔案數據的重任，保護檔案數據的行為已經上升到維護國家主權及社會秩序的高度。

（二）算法鴻溝引發檔案管理決策的信任危機

算法參與檔案管理決策，意味著檔案業務處理規則從“透明”到“黑箱”，算法鴻溝引起信任問題也隨之出現。傳統的檔案工作是顯性運行的，檔案收集、整理、鑒定等業務的標準和規章有據可循，可明確追溯責任。人工智能算法介入下，檔案業務的處理規則由算法編制而成，人的決策由算法決策替代。算法規則對于大多非算法研發者透明度不高，“透明”的規章制度與“黑箱”的算法規則之間存在矛盾，檔案主體與算法決策間的信任危機應運而生。以檔案分類問題為例，2017年，澳大利亞新南威爾士洲檔案館數字檔案團隊應用機器學習算法得到的分類結果準確率最高84%[25]，實驗結果意味著算法的出錯率達16%。因此，當利用算法處理檔案業務時對于提供的學習結果是否能完全信任難以下定論[26]。若檔案部門無條件地完全依賴于算法提供的決策，當發生錯誤時以算法規則透明低、算法程序不可解釋性和算法模型不確定性等為由推卸責任，將會削弱檔案工作者的地位，導致他們在檔案工作中趨向虛擬化或邊緣化。

（三）算法的技術理性牽制檔案價值理性的發揮

當算法應用于檔案編研工作中，算法的技術理性往往會忽略檔案用戶的情感需求，這是因為價值觀并非算法可計算的對象。檔案編研工作是對檔案內容的重組加工，當算法作為編研成果的“撰寫人”時，實質是利用智能算法對檔案數據內容進行深度分析和挖掘，對主題事件進行深層、全面的分析。而傳統的編研工作，呈現的編研成果傾注了個人對編研主題和檔案素材的理解和情感，面對不同的編研主題敘述事件時會聚焦人文關懷。這時，算法的“全面”與人工的“側重”敘事原則之間形成沖突。盡管算法生產具有高質量、高效率的特點，但若涉及情感問題與價值問題時，算法劣勢明顯。如弱勢邊緣群體的檔案文件中可能存在對記錄對象的不當描述，又或針對創傷性事件檔案，算法在“創作”的過程中難以共情，從而造成對該類群體的情感創傷，有悖于價值理性的發揮。因此，編研工作中考量讀者的情感體驗，實現檔案工作價值理性的發揮也是檔案管理智能化探索過程中不可規避的問題。

（四）算法的偏好原則弱化檔案用戶的信息權利

在檔案智能推薦系統中，算法能決定推薦給檔案用戶的信息，從這一層面看，用戶選擇信息時失去了主動權。算法設計時會無形地將偏好原則納入研發規則，一是面向檔案用戶的偏好，二是面向算法編寫者的偏好，兩者均可能對檔案用戶思想和行為產生影響。

一方面，當算法面向檔案用戶的偏好時，算法旨在將采集到的個人數據進行分析和關聯，并在以“用戶為中心”服務理念的指導下進行定向推送。其原理是算法根據采集到的檔案用戶的個人信息及行為數據進行分析，通過構建用戶畫像，主動將用戶感興趣的主題信息推送給該行為用戶。基于智能算法推薦的這一服務方式符合個性化、精準化的檔案服務目標，但也可能造成“信息繭房”。“信息繭房”實質是將用戶束縛在一定的“信息牢籠”中，導致其所接觸到的外部信息主要是以個人興趣為主導，久而久之會給人的心智帶來負面的影響。

另一方面，當編研規則過分融入算法編寫者的偏好時，服務宗旨由“用戶為中心”轉向“算法開發者為中心”，算法的服務理念將隨之變質。對檔案用戶而言，在選擇信息時實際上處于被動地位，其思維認知與行為方式被算法開發者間接操控。例如應用算法對某一檔案用戶的學籍數據、醫療數據、土地登記數據等檔案數據進行分析，根據分析結果對用戶進行分類，有目的性地將某類信息傳遞給某類特定用戶以達到支配用戶行為的目的。由此可見，檔案用戶可能會成為算法權力者的利用對象，即“被利用”的對象不僅是由檔案用戶所產生的數據，還有其本身。可見，算法濫用不僅限制檔案用戶的主觀能動性發揮，加大了對檔案用戶的控制，還削弱了檔案用戶的信息權利。

三、“AI+檔案”應用算法治理路徑

（一）意識維：算法應用回歸價值理性

在多元協同治理的理念下，檔案工作者、算法開發者作為治理主體在開發或應用算法時應該秉持價值理性。檔案部門的職責應體現在以下幾個方面。

首先，檔案部門要避免以技術為工作導向，堅守檔案職業要求。算法不能完全代替檔案工作者的角色，如算法缺乏人文關懷、道德判斷，算法能夠精準服務但也會阻礙檔案用戶接受多元信息，這些缺陷與檔案工作原則不符。因此，檔案工作者在AI應用背景下，應強化自身責任意識，將公平、向善、真實、客觀等原則嵌入工作準則中。其次，檔案部門應全程監控檔案算法設計、研發和應用。為防范數據和算法濫用行為，檔案部門應發揮起“他律”的監督作用，結合算法開發者的“自律”，雙管齊下將算法“價值理性”規范根植于算法設計和應用中，研發秉承“安全、可靠、公平、權責可追溯、行為可追蹤、易管理”的原則，確保檔案數據利用過程的合理性及服務目的的正當性。最后，檔案部門要促進檔案用戶對信息安全和算法應用的認識。如通過移動應用程序、知識服務平臺、網站等軟件采集檔案用戶基本信息時，為其提供采集數據的目的、采集數據的范圍、數據應用場景等信息，并強調這些數據對提供知識服務的重要性，深化對數據價值的認識。同時，可以在利用服務過程中促進用戶對算法應用的認識，如按主題內容、作者等分類方式整合檔案用戶某周期內的瀏覽內容，反饋其知識接收情況，有助于幫助陷入“信息繭房”的用戶戳破“過濾氣泡”，增強檔案用戶的信息甄別與選擇能力。

（二）管理維：防范算法風險管控策略

算法風險既有可能來源于外部環境，也可能是產生于內部業務工作中。檔案部門需要制定算法治理的管控措施，營造良好的信息生態環境。

首先，完善管理制度。一是完善風險管理制度，確保檔案數據的安全性、可用性與可靠性。充分識別檔案數據管理各個階段中潛在的算法風險，界定風險管控的范圍，制定風險管理的標準和目標及風險應對方案，將風險管理貫穿于整個業務流程。二是構建審查機制，審查對象包括數據和算法。檔案部門應審查如檔案數據利用服務目的、監督檔案數據使用的合規性和合法性、設立算法評估的指標、核查算法傳播內容、定制監督流程、完善評估報告機制等內容。為提高審查效率和質量，還可以引入第三方技術機構對“AI+”檔案管理應用系統的程序算法及時核查并糾錯。

其次，凝聚監管合力。為增強算法應用監管力量和明確監管范圍，檔案局可牽頭成立檔案數據治理委員會，從宏觀層面上完善權責體系和健全信息保護機制，為應用新技術提供專業咨詢和業務指導。檔案業務部門可聯合技術部門成立檔案數據監管小組，尤其把涉及檔案數據利用的合法性和合理性作為重點監管內容，確保各項業務工作的權責可追溯。為聚焦檔案工作特色，檔案部門可吸納多學科領域人才組建“智囊團”，例如NARA的AI團隊成員包括檔案管理員、項目經理、IT專家、外聯聯絡員、文件管理者和數字化專家[27]，有效地改善檔案部門技術缺位的現狀，增強抵御風險的力量。

最后，確保算法透明。算法在非開發者面前是一個“黑箱”，檔案部門只有了解算法可解釋性內容，才能了解哪些檔案數據被使用，用來達到什么目的，進而縮短與算法黑箱的距離，降低風險事件的發生概率。從目前的“AI+檔案”應用看，算法設計多數采用外包形式，因此，檔案部門可以與外包單位簽署有關合同，分階段獲得全部代碼源，盡可能了解可解釋性部分的算法，以此維護檔案部門的話語權和保障公共利益。

（三）法規維：規范算法應用行為

應對算法帶來的挑戰，還需以法律和行業標準來引導和規范算法應用行為。一是強調對檔案數據的保護，包括保障檔案數據內容安全和監管檔案數據利用；二是聚焦算法開發和應用的規范。

一方面，參照上位法律法規來規范算法應用行為。檔案數據的利用規范可參照國家或國際頒布的信息保護條例，如參考我國頒布的《信息安全技術個人信息安全規范》（2020年版）關于個人信息安全影響評估、個人信息的使用的規定及歐盟發布的《統一數據保護條例》中對用戶畫像構建活動的規定，防控檔案用戶隱私權被侵犯、數據濫用等風險。檔案數據還可能面臨源自外來算法攻擊，當管理和技術不能抵御風險時，應考慮檔案數據涉及的利益主體、涉密等級，劃分風險等級，通過法律法規約束不正當的算法應用行為。具體可借鑒我國《數據安全法》中對開展數據活動的要求及《個人信息保護法》中對利用個人信息支持決策的條令，結合《民法典》《網絡安全法》等多部法律作為追溯檔案數據活動中相關利益者責任的依據。

另一方面，構建檔案數據利用和算法應用的專門性規范。國家檔案局曾于2017年發布的《電子檔案利用規范》（以下簡稱《規范》）征求意見稿中對利用范圍、利用方式、利用手續、安全控制等方面提出了要求，主要強調以管理和技術手段保障電子檔案利用環節的內容安全。在數據環境下，需增加檔案數據利用過程和利用目的相關規范。AI技術介入檔案工作拓寬了利用服務方式，檔案數據需經過算法“加工”這道工序才被檔案用戶利用，由于檔案數據加工過程不透明，加工后利用價值呈現多元化，導致該《規范》對檔案數據利用工作的指導作用不明顯。為防范檔案工作中潛在的數據濫用、算法歧視、算法偏見、算法營銷等風險，檔案部門可構建適合于“AI+檔案”應用的專門性規范，規范中可要求算法開發者解釋算法開發流程，如訓練數據集選擇的依據、算法規則研發目的，一旦發現問題，及時干預算法權力者的行為、評估涉事方相關的責任，進而平衡檔案部門和檔案用戶的利益。還可以選擇將技術倫理原則納入《檔案法》以及其他檔案工作標準中，以法理來深化檔案工作者的責任意識。

四、結語

AI技術對檔案事業的發展產生了深遠的影響，理性看待并采取手段控制AI技術可能帶來的隱患是維持檔案工作良性運行、保持業務與技術之間發展協調與平衡的關鍵要素。本文以算法為基礎，審視AI算法應用于檔案工作可能產生的負面影響，并從意識層面、管理層面、法規層面提出治理對策。未來，仍要具備憂患意識，在智能技術賦能檔案事業的同時，推進“AI+檔案”應用算法治理的創新。

*本文系國家社科基金項目“大數據背景下檔案數據管理理論構建、技術選優與實踐創新研究”（項目編號：18BTQ092）階段性研究成果。

注釋及參考文獻：

[1]于英香，趙倩.人工智能嵌入檔案管理的邏輯與特征[J].檔案與建設，2020（1）：4-8.

[2]陳會明，史愛麗，王寧，等.人工智能技術在檔案工作中的應用與發展芻議[J].中國檔案，2020（3）：72-74.

[3]周楓，呂東偉.基于“智能+”檔案管理初探[J].北京檔案，2019（9）：39-41.

[4]趙雪芹，李天娥.智能化環境中檔案信息服務研究現狀及未來研究展望[J].北京檔案，2020（1）：11-15.

[5]楊靖，朋禮青.人工智能對智慧檔案館的驅動作用研究[J].北京檔案，2019（1）：9-13.

[6]周文泓，李新功.人工智能背景下檔案網站優化策略研究[J].檔案管理，2019（3）：52-54.

[7]李子林，熊文景.人工智能對檔案管理的影響及發展建議[J].檔案與建設，2019（6）：10-13；9.

[8]丁晶晶.人工智能時代檔案管理革新路徑分析[J].檔案管理，2020（3）：67-68.

[9]韓潔，史江.人工智能賦能背景下中外檔案管理創新比較與啟示[J].檔案與建設，2020（2）：40-44.

[10]沙洲.人工智能在檔案工作中的應用研究[J].檔案與建設，2018（2）：36-39.

[11][26]楊建梁，劉越男.機器學習在檔案管理中的應用：進展與挑戰[J].檔案學通訊，2019（6）：48-56.

[12]The National Archives UK.Digital Strategy[EB/OL].[2019- 12- 25].https：//www.nationalar？ chives.gov.uk/documents/the- national- archives- digi？ tal-strategy-2017-19.pdf.

[13]National Archives of the United States.DRAFT REPORT TO THE ARCHIVIST OF THE UNITED STATES[EB/OL].[2020- 05- 20].https：//www.ar？ chives.gov/files/ogis/fin-report-with-appendices.pdf.

[14]NationalArchivesofAustralia.Information Technology Strategic Direction 2019- 2022[EB/OL]. https：//www.naa.gov.au/sites/default/files/2019- 10/in？ formation-technology-strategic-direction-2019-2022. pdf.

[15]Library and Archives Canada.Library and Ar？ chives Canada Departmental Plan 2020-2021[EB/OL].[2020- 04- 27].https：//www.bac- lac.gc.ca/eng/aboutus/report- plans- priorities/departmental- plan- 2020-2021/Pages/departmental-plan-2020-2021.aspx.

[16]中國檔案資訊網.國際檔案理事會發布2021年至2024年戰略規劃[EB/OL].[2020-12-04].http：// www. zgdazxw. com. cn / news / 2020 -12 / 04 /con？ tent_314891.htm.

[17]中華人民共和國國家檔案局.中辦國辦印發《“十四五”全國檔案事業發展規劃》[EB/OL].[2021-06-09]. https ： //www.saac.gov.cn/daj/toutiao/202106/ ecca2de5bce44a0eb55c890762868683.shtml.

[18]張凌寒.算法權力的興起、異化及法律規制[J].法商研究，2019，36（4）：63-75.

[19]陳鵬.算法的權力和權力的算法[J].探索，2019（4）：182-192.

[20]陳鵬.算法的權力：應用與規制[J].浙江社會科學， 2019（4）： 52-58；157.

[21]National Archives of the United States.Nation？ al Archives and Records Administration Data Gover？ nance Board （DGB） Charter[EB/OL].[2020- 07- 17]. https ：// www. archives. gov / data / dgb ？ _ ga = 2.156275005.789216578.1610286192-1148343308.1601992695.

[22]National Archives of the United States.Cogni？ tive Technologies： Records Management Implications for Internet of Things， Robotic Process Automation， Machine Learning， and Artificial Intelligence[EB/OL].[2020- 10- 19].https：//www.archives.gov/files/recordsmgmt/policy/nara-cognitive-technologies-whitepaper. pdf.

[23]National Archives of the United States.Informa？ tion and data governance framework[EB/OL].[2021-02- 24].https：//www.naa.gov.au/about- us/our- organi？ sation/accountability- and- reporting/information- anddata-governance-framework#environment.

[24]搜狐網.2018年數據泄露事件概要匯總[EB/ OL]. [ 2019 -03 -11 ]. https ： // www. sohu. com /a / 300519296_120056080

[25]ROLAN GREGORY， HUMPHRIESG， et al. More human than human？Artificial intelligence in the archive[J].Archives and Manuscripts，2019，47（2）：179-203.

[27]National Archives of the United States.Digital Transformation：Exploring AI[EB/OL].[2020- 02- 24]. https：//aotus.blogs.archives.gov/2020/02/24/digitaltransformation-exploring-ai/.

作者單位：上海大學圖書情報檔案系