基于大語言模型的金融合規系統設計與實現

關鍵詞：大語言模型；金融制度合規；系統響應時間

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2024）25-0008-03

近年來，隨著人工智能、大數據、5G等先進技術的迅速發展，金融制度合規系統的智能化發展速度也越來越快，新興技術在金融機構內部管理和業務開展中的重要作用日益凸顯。大語言模型憑借其強大的自然語言處理能力[1]，在金融合規領域展現出巨大的應用潛力。大語言模型能夠理解復雜的金融法規和內部規范，并自動完成文本生成、信息提取等任務，為金融合規業務的智能化轉型提供了技術支撐。

1 系統設計與實現的難點分析

在數字經濟背景下，提升金融合規系統的監管效率、降低監管成本至關重要。將大語言模型應用于金融合規系統，能夠打造智能助手，協助合規人員處理制度撰寫、材料審核、規范答疑等事務，有效減少人員日常工作量。然而，大語言模型自身的局限性也為金融合規系統的應用帶來了一些挑戰。一方面，金融合規系統涉及的文檔通常篇幅較長，超過了大語言模型的上下文限制。因此，系統設計需要引入合適的框架對長文檔進行拆分處理。另一方面，金融合規業務的提示詞往往較為復雜，導致大語言模型的響應時間較長。因此，需要對系統響應時間進行優化，以保證系統的流暢性。

2 系統設計的整體方案

基于大語言模型所設計的金融合規系統從整體上看主要分為業務層、依賴服務、底層存儲這三個部分（如圖1所示）。其中，大語言模型在業務層的重點應用主要體現在合規問答、材料審核、制度起草這三種功能上。

對于合規問答而言，該功能主要基于檢索增強的文本生成技術（RAG，Retrieval Augmented Generation） 來實現[2]。基本原理是根據用戶問題智能檢索制度文檔集合中相關的條款，以這些條款作為參考信息來請求大語言模型，進而在系統中由大語言模型反饋回相應的問答結果。制度起草與合規問答類似，也是以用戶檢索的相關制度信息作為參考，請求大語言模型進行制度文本的撰寫、續寫或者重新改寫等。材料審核則是通過將輸入系統的長文檔切分為短文檔，進而完成審核要點的提取及審核結果生成等子任務。

業務支撐層主要為業務層的各類智能功能提供基礎和保障，主要包括大語言模型服務及合規知識庫兩部分。其中，合規知識庫是一個由原始金融合規制度文檔加工而成的信息集合，通過對原始制度按照條款進行切分并構建索引，以便提供給業務層作為用戶檢索時的參考信息使用。底層存儲層在設計上主要引入了對象存儲、關系數據庫及向量數據庫這三種持久化工具。對象存儲主要用于存儲形成合規知識庫所需的原始合規規則、制度等文檔，關系數據庫用于記錄用戶檢索歷史、用戶信息等關系型數據，而向量數據庫主要能夠構建金融規章制度的文檔切片索引，以實現語義檢索功能[3]。

3 系統的詳細設計

由于大語言模型在金融合規體系中的應用主要集中在業務系統中，本文將重點對業務系統中合規問答、材料審核及制度起草這三種智能應用的詳細設計展開分析。

3.1 合規問答系統設計

合規問答系統的設計原理是以現有的金融合規制度、規則作為參考知識庫，通過智能客服的形式解答用戶提出的合規相關問題，主要包括線下知識庫構建與線上合規問答兩部分，其主要通過檢索增強的文本生成技術（RAG） 來實現。

首先，線下知識庫構建方面，主要將業務支撐層中的合規知識庫進行信息加工，加工成大語言模型可以識別的切片索引，每個制度切片均包含若干完整的條款及相關章節標題，以確保信息的完整性。其次，線上合規問答的設計包括問題增強、參考信息召回與排序及答案生成。問題增強主要通過大語言模型對用戶所提問題進行擴展，如問題概述、提取關鍵詞、模擬答案等，以提高檢索參考信息的召回率。參考信息召回主要通過用戶提問及問題增強生成的相關問題從所構建的線下知識庫進行檢索，并獲取知識庫中的相關制度、規則信息。與此同時，使用RRF（Recipro?cal Rank Fusion） 等算法對所獲取的相關信息進行優先級排序[4]。最終根據相關性最高的制度、規則信息生成提示詞來請求大語言模型，進而形成用戶問題的答案。

3.2 制度起草系統設計

制度起草是基于大語言模型功能完成金融合規制度的智能撰寫，包括合規制度的目錄大綱、各分章節具體內容等。其中，目錄大綱的撰寫主要依據合規知識庫中原始的金融合規制度大綱范式進行撰寫，各章節具體內容則是通過相應的章節標題來檢索合規知識庫，基于檢索出的相關制度片段作為參考進行撰寫。這樣設計的合理性在于，它基于已有的金融合規制度、規則文檔，模擬了人類制度起草時由整體到局部的思考邏輯。但是該方案存在系統響應時間長的問題，因為大語言模型輸出復雜內容一般需要5～20 秒的時間，耗時較長。由于制度撰寫整個過程的實現涉及多次大語言模型交互與參考信息的檢索，完成時間預計會超過5分鐘，用戶體驗較差。為此，本文提出以下兩種解決方案：一是采用大語言模型服務提供的流式輸出方案。大語言模型可以通過服務端事件協議（Server Side Events， SSE） 對外提供流式輸出，頁面能夠顯示類似打字機的輸出效果。經過測試，該種方案可以在5秒以內輸出響應內容。二是采用并發調用大語言模型服務的方案。雖然該方案無法獲取流式輸出效果，但可顯著縮短在制度起草完成后全文輸出的時間。經過測試，該種方案輸出制度全文的平均響應時間約為30秒。

3.3 材料審核系統設計

基于大語言模型的金融合規業務中材料審核系統主要包括審核點抽取及審核結果獲取兩個模塊。審核點抽取是從合規知識庫中總結提取若干審核點，并提交審核結果獲取模塊進行智能審核處理。審核結果獲取模塊會根據審核點對用戶提交的被審核材料進行智能閱讀，并輸出審核結果及改進意見。

智能閱讀與問答和撰寫類似，也是一種大語言模型的應用形式，其主要用于解決輸入文檔過長的問題，其在系統設計中主要借鑒了大數據技術中的MapReduce計算框架[5]。該框架分為Map與Reduce兩個階段，Map 階段主要處理拆分后的文檔切片，Re?duce階段則負責將上述處理結果進行匯總。這樣設計可以審核和處理遠超單次請求大語言模型提示詞長度上限的制度、規則文檔，并可以高效完成相應的材料審核任務（圖2） 。例如在金融合規制度或規則文檔的翻譯任務中，Map階段主要進行文本翻譯，而Re?duce階段則合并翻譯結果。

4 系統測試結果分析

基于大語言模型所設計的金融合規系統的響應時間主要由大語言模型服務的首Token響應時間決定，而響應時間的長短將直接影響用戶的使用體驗。為此，在保證系統功能的前提下，對系統設計中所使用的文心一言系列[6] 的3 個模型（erniebot-4.0-8k、erniebot-3.5-8k 與erniebot-speed-8k） 的響應時間進行測試與對比，重點關注各類大語言模型單次請求的提示詞Token數與接收到首個Token所耗時之間的關系，具體測試結果如圖3所示。由于這三個模型在性能上依次減弱，根據測算結果，在相同的輸入長度前提下，效果越好的大語言模型其響應速度越慢。這是因為效果越好的大語言模型其模型參數與相應的計算資源也越多，請求所需要的時間就越長。因此，在系統設計中選擇大語言模型時，需要根據自身業務特點在模型性能與響應時間之間做出平衡。

同時，根據以上測試結果，這三種大語言模型首Token延遲隨著提示詞Token量的增加而整體呈上升趨勢。這是因為大語言模型，如GPT-3和BERT，通常使用Transformer架構[1]。該架構在處理輸入時，需要對每個Token與其他所有Token的關系進行計算，輸入Token的數量會直接影響模型的計算復雜度。如果輸入的Token數量增加一倍，模型需要處理的Token 對（Token pairs） 的數量會變為原來的四倍，導致模型的響應時間明顯增加。因此，在基于大語言模型的金融合規系統設計中，還需要在用戶輸入問題復雜度和模型響應時間之間做出平衡。例如，可以根據上述曲線對用戶輸入問題的提示詞長度進行截段，或者在進行問答時減少參考信息的條數，從而減少輸入提示詞長度，進而達到較為理想的響應時間，提升用戶對系統的使用體驗。

5 結束語

基于大語言模型應用成本低、操作靈活性強等優勢，本文設計了一套集合規問答、制度起草、材料審核等智能化功能于一體的金融合規系統。同時，本文通過合規系統中提示詞長度與不同類型大語言模型響應時間關系的模擬與測算，為智能金融合規系統中大語言模型響應時間的合理優化與控制提供了解決方案和相應策略。