大語言模型與檔案資源開發：前景、挑戰與應對＊

張丹

（鞍山市退役軍人服務中心 鞍山 114001）

0 引言

檔案作為重要信息資源和獨特歷史文化遺產，價值日益凸顯。檔案工作是維護黨和國家歷史真實面貌、保障人民群眾根本利益的重要事業。經驗得以總結，規律得以認識，歷史得以延續，各項事業得以發展，都離不開檔案。[1]隨著新一代信息技術的發展與應用，檔案工作環境、對象、內容發生巨大變化。[2]以ChatGPT 為代表的生成式AI 應用于檔案資源管理與開發活動成為大家關注的重點問題。檔案工作要及時關注技術環境的飛速發展，要擁抱數字轉型，要即時融入數字化的浪潮中，運用大語言模型等生成式AI賦能檔案工作具有重要的研究空間和發展前景。

1 大語言模型和檔案資源開發的內涵與外延

大語言模型（Large Language Model）是一種旨在理解和生成人類語言的人工智能模型。通過對海量文本進行訓練，學習語言的結構、規則和語義，可以生成具有自然語言風格的文本或者回答自然語言的問題。大語言模型是深度學習的應用之一，它的發展與深度學習技術密切相關，并且應用領域非常廣泛，包括但不限于自然語言處理、機器翻譯、對話系統、文本生成等。隨著智能技術的不斷迭代和訓練數據的不斷擴充，未來ChatGPT 等大語言模型將會有更為出色的產品表現和更為廣闊的應用場景。

檔案資源是指由檔案館、檔案室等檔案保管機構所收藏和管理的各種檔案文獻的總和，包括歷史檔案、文化檔案、科技檔案、經濟檔案、社會檔案等。這些檔案文獻記錄了社會發展的歷史、文化和科技等方面的信息，是人們了解和研究一個國家、一個地區、一個時期的重要信息來源。檔案資源作為原始信息的載體，是歷史的記錄憑證，擁有優秀的可信度。它不僅涵蓋科技、紅色、軍事、文化等多個領域，還有文本、音頻、視頻等多種儲存形式。另外檔案資源還會隨著社會的發展與時間的推移，不斷產生和積累，內容變得更加豐富。因此，檔案資源在作為歷史或者社會研究資料方面、作為人類獲取知識、方法與技能的途徑方面、作為承擔社會文化記憶、促進人類文明進步方面都有著重要的指導作用和實踐意義。

2 大語言模型與檔案資源開發的前景

2.1 大語言模型賦能檔案資源開發過程

在自然語言處理領域，大語言模型可以通過對輸入文本進行分析和學習，將其歸類到一個或多個預定義的類別中，在機器翻譯、對話系統、文本生成等領域都有廣泛應用。

大語言模型能憑借強大的自然語言處理能力，在檔案資源開發利用過程中持續賦能，挖掘和分析更多檔案知識內容，并自動將其歸類到相應的主題或類別中，還能提供多樣式、智能化的檔案服務，方便用戶查找與利用。比如大語言模型的智能分類與檢索功能可以應用于數字檔案館的建設中，從而實現智能化檔案服務。用戶通過與AI 大模型進行溝通問答即可高效獲取所需要的檔案資源內容，大模型在多次人機對話反饋中，對用戶的檔案信息需求和檢索偏好有更深入的了解和分析，檢索與提供的檔案資源更為精準，并且生成式AI 還可以提供個性化定制檢索服務。[3]

大語言模型進行深度學習的前提是需要接受并分析大量的信息與數據，而檔案館藏在為大語言模型的訓練提供優質的、豐富的、原始的訓練文本方面具有天然優勢。檔案資源因模態多、類型廣、數量大的特點，在大語言模型出現之前，借助智能技術對其進行深度挖掘與開發存在一定難度，也難以保證其準確度與可用性。總之，大語言模型的出現與應用加快了檔案資源開發的信息化進程，提升了檔案管理與開發的效率。

2.2 大語言模型挖掘檔案資源的多重價值

檔案中包含大量歷史文獻、資料和數據，是研究歷史、文化、社會等方面的重要素材。檔案資源的開發與利用可以為文獻研究提供真實、全面的歷史記錄與證據。其次，檔案作為人類珍貴的智慧結晶與知識財富，存在豐富的潛在價值。對其蘊含的豐富知識進行挖掘與分析，對文本內容進行情感分析、關鍵詞提取等，整理成具有價值的公共檔案資料，可用于學術研究以及文化傳承等領域，可以提高公眾對檔案資源的認識和理解，推動學科的發展進步，也為公眾的知識傳承奠定基礎。

基于大語言模型的文本分析與文本總結功能，生成式AI 不但可以自動生成檔案文本的摘要、目錄與索引等，還能自動生成智慧數據，優化檔案工作者的工作內容與方式，減少簡單重復類工作耗時耗力的同時也降低人工干預和出錯率。此外，研究者可以利用生成式AI 技術構建基于語義關系的知識圖譜，連接不同時代、不同地方、不同領域的檔案資源，有助于提高檔案資源開發的廣度與深度。再者，在AI大模型的加持下，文化遺產資源可以帶來可視化與沉浸式展演的交互體驗，用戶直接與大規模資源對象中的分布式內容和隱含知識實時交互。既實現了文化遺產再活化，又降低了使用門檻，提升了服務體驗。

3 大語言模型在檔案資源開發中的挑戰

3.1 檔案資源的多樣性和復雜性對于大語言模型的挑戰

檔案資源具有多樣性和復雜性的特點，不僅涵蓋多種類型，如歷史檔案、文化檔案、科技檔案、經濟檔案、社會檔案等，還會涉及到不同的歷史、文化階段以及不同的社會背景。 大語言模型要有廣泛的文本訓練量以及足夠的深度來理解和解釋特定時期、特定環境下的檔案文本信息。檔案資源的多樣性還體現在多模態上，除了常見的文本類型，還涉及圖像、音頻以及視頻等多種模態的數據類型。大語言模型不僅需要識別和解析多模態信息，還要分析多模態信息之間的聯系，挖掘檔案之間的關聯與共性，進而形成同一館藏內的檔案關系網。不同歷史階段、不同地區的檔案資料記載語言差異較大，機器翻譯技術雖可以幫助消除語言障礙，但這對于生成式AI 技術在執行機器翻譯任務的準確性與自然度有較高要求。

3.2 檔案資源中的稀缺數據和文獻缺失的問題

檔案資源作為重要的信息資源，具有數量龐大的顯著特點，檔案數據集通常來自多個數據源，并且難以保證完整性與可靠性。檔案資源中會存在語言表述不夠完備、晦澀難懂、模糊不清等情況，部分還可能存在稀缺數據和文獻缺失的問題。檔案資源中低質量的數據直接影響到大語言模型的應用結果，大語言模型需要能夠在數據可靠性、完整性不足的情境下，對檔案資源進行處理、分析與加工，并解決數據噪聲等問題。這些復雜任務不僅要求大語言模型能夠提供高效的運算能力，還需要具備通過智能分析來完成深度加工的功能。再者，生成式AI 在需要邏輯判斷或者處理最新信息的任務過程中可能會產生虛假、不可靠信息以及生成可信度不高的內容，這對于檔案資源的開發與利用以及傳播過程帶來挑戰。

3.3 隱私和版權問題對于大語言模型應用于檔案資源的限制

隱私問題在信息技術與智能技術高速發展的數智時代是一個始終繞不開的話題。大語言模型的一個顯著特征是模型訓練數據量龐大，需要有大量的相關數據支撐。隨著其功能不斷開發和在多領域的廣泛應用，在內容生產的能力和特性被認可的同時，隱私和版權等潛在問題也引起人們的重視與擔憂。以ChatGPT 為代表的大語言模型在檔案資源開發利用的過程中，需要使用大量的檔案資源數據進行訓練和分析。檔案資源尤其是紅色檔案、歷史檔案、科技檔案等，作為國家與民族的寶貴知識財富，有著獨特的地位和全面的價值，對紅色檔案資源的開發、利用與保護不僅體現出其文化價值，還展現了深遠的歷史意義。檔案資源能夠保持健康、可持續被利用的一個前提就是檔案資源中的隱私以及版權問題被予以重視和保護。

4 應對挑戰的方法和策略

4.1 數據預處理以提高大語言模型的效果

檔案資源中的數據質量會影響大語言模型對檔案資源開發與利用的效率。對于檔案資源中的原始數據，在開發前需要進行數據預處理。數據預處理是對原始數據進行一系列操作，以準備或調整數據，使其更符合后續分析或模型使用的需求。一般包括數據集成、數據清洗、探索性數據分析和數據轉換等步驟。

經過數據預處理，檔案資源中的一些缺失、重復、異常的數據會被發現；原始數據中的數據類型和數據格式可能并不符合分析需要，數據預處理可以幫助將數據轉換為適合分析的形式；不同的數據來源和數據格式，數據命名和單位可能存在差異，會被整合到一起，并進行規范化處理。數據預處理操作對于利用大語言模型對檔案資源進行開發的過程有著至關重要的意義與作用，將會直接影響到其分析與挖掘結果的準確性與可靠性，是檔案資源開發前不可或缺的一步。

4.2 加強數據共享與協作解決缺失遺漏問題

目前ChatGPT 等主流的大語言模型通常是黑盒模型，難以解釋其決策和推理過程。背后所依靠的算法具有不透明、不穩定的“黑箱”屬性。因此會引起使用者對生成過程與生成結果的可靠性與公平性進行質疑。大語言模型如果在未來的發展迭代過程中增加顯示其運算推理與決策生成的過程，以解決“黑盒”的透明度問題，可以減少部分使用者的質疑與顧慮。

檔案資料自身數量龐大，難免出現文件缺失與遺漏的問題。[4]部分檔案機構在歸檔時，會在盲目追求效率的過程中對檔案資源的取舍沒有做出準確的判斷。把一些看似不重要的檔案文件進行舍棄，或一系列文件全盤收入，從而導致在存儲的過程出現檔案資源的缺失或重復。[4]檔案資源開發過程面臨數據稀缺以及文獻缺失等問題時，生成式AI 可能會因數據質量問題受到干擾和影響，導致生成結果偏離預期而無法滿足檔案資源開發的預期需求。這需要通過檔案工作者采用人工復核與校對、電子與紙質兩種媒介下保存的檔案資源相互參照、鼓勵不同檔案機構建立部分數據共享以及加強檔案館內、館間檔案資源協作等方式解決。

4.3 大語言模型在檔案資源開發中的隱私保護和版權合規

檔案部門要加強對檔案工作人員的培訓管理，不斷提升檔案管理人員專業知識與技能。從業者對于檔案資源要有清晰的定位和分類，能精確識別出涉及敏感問題或隱私問題的檔案資源內容。對于此類檔案或檔案中的部分內容，采用傳統開發方法進行分析、整理與開發，暫不借助大語言模型。此外，還要提高檔案工作者的隱私與版權意識，對隱私與版權問題做到高度重視和高度敏感。再者，檔案工作者需要采取數據脫敏、訪問控制和加密等相關措施，確保大語言模型在檔案資源開發過程中的隱私信息安全。

在政策層面，還需要通過制定與發布詳細的數據隱私和安全政策，以及完善相關法律法規體系來加強對AI 大模型的監管。如何處理好數據安全和監管防控過度之間的平衡問題是目前多個國家都要考慮的難題，不但要做好隱私保護、規避隱私泄露的風險，而且要避免過于絕對的“一刀切”做法。

5 結語

大數據與人工智能技術的迅猛發展正在推動人類社會快速向數字文明邁進。在以Chat-GPT 為代表的大語言模型加持下，人類的內容生產范式即將迎來新一輪革命，檔案資源開發與利用領域的發展有了新的思路與新的技術支持。

新技術、新工具的出現總是同時伴隨著機遇與挑戰。在數智化時代背景下，要重視檔案領域的人才培養，未來檔案部門從業者要掌握更為先進的技術方法、工具與更為全面的專業知識技能，跟上技術發展的腳步，做到與時俱進。在充分發揮數字技術潛力的同時，還要重視與之俱來的隱私與版權、倫理與法律、數據的安全等問題，享受技術與工具帶來的便利和高效的同時，也要注意自身的信息安全、隱私安全。面對即將來臨的數實共生新世界，大語言模型與檔案領域將會碰撞出更絢爛的火花。