大語言模型和數(shù)據(jù)標簽模型在證券公司分支機構經(jīng)營情況審計分析中的應用\t

在當今數(shù)據(jù)驅動的商業(yè)環(huán)境中，作為證券公司管理的重要組成部分，證券公司內部審計承擔著對公司經(jīng)營活動進行深入分析和獨立評價的任務。根據(jù)中國證券監(jiān)督管理委員會發(fā)布的《證券經(jīng)紀業(yè)務管理辦法》等規(guī)定，證券公司需定期對每個分支機構實施內部審計，而這些全國性的分支機構分布廣泛，會產生數(shù)量眾多的經(jīng)營情況審計分析需求。企業(yè)內部審計有標準化的程序，開展工作時須嚴格遵循程序要求，而在具體審計方法的運用上則可以充分創(chuàng)新，通過結合所屬行業(yè)的業(yè)務特點，采取適用于本單位的內部審計方法。隨著人工智能和機器學習技術的進步，大語言模型已逐漸成為處理復雜文本和數(shù)據(jù)任務的新工具，其在內部審計領域應用廣泛，包括輔助制訂審計方案、輔助撰寫審計底稿、輔助查找審計線索等。但同時大語言模型的應用仍存在風險，經(jīng)研究和實踐發(fā)現(xiàn)，數(shù)據(jù)標簽模型具有和大語言模型優(yōu)劣互補的特點。

一、大語言模型和數(shù)據(jù)標簽模型介紹及其優(yōu)劣勢

（一）大語言模型應用現(xiàn)狀及其優(yōu)劣勢

大語言模型是指基于機器學習技術，利用大規(guī)模數(shù)據(jù)訓練的語言模型。近幾年，隨著計算能力的提升和數(shù)據(jù)積累的充足，大語言模型取得了突破和進展，可以處理各種復雜的文本任務，從文本摘要到文章生成，甚至圖像和語言的交叉處理等。

目前，大語言模型在內部審計職業(yè)中的探索與實踐仍處于初級階段，可以應用于審計數(shù)據(jù)分析，發(fā)揮模型的部分優(yōu)勢，但也因面臨一些模型的固有劣勢無法獲得理想結果。

1.大語言模型在審計應用中的優(yōu)勢。

一是總結與概括能力。大語言模型能夠在處理文本時快速總結關鍵信息，避免繁瑣的邏輯推理過程。在面臨大量文本處理與概括的工作時，可交由大語言模型進行處理。

二是知識積累。由于訓練數(shù)據(jù)的廣泛性和豐富性，大語言模型可以綜合其所掌握的繁復知識，處理多樣化文本任務。

三是小樣本學習能力。大語言模型具有非常強的小樣本學習（Few-shot Learning）能力，即只需要提供少數(shù)的幾個樣例、提示詞，就能對反饋結果進行完善。

2.大語言模型在審計應用中的劣勢。

一是幻覺問題。大語言模型可能會遇到對數(shù)據(jù)解讀和分析產生影響的幻覺（Hallucination），

幻覺問題可以分為內在幻覺和外在幻覺。內在幻覺指的是輸出內容和輸入內容不符，如輸出了錯誤的年份信息、人名信息等；外在幻覺指的是通過信息源無法判別是否正確的信息，既沒有辦法支持也沒有辦法否認。

二是對數(shù)字敏感性較差，計算、邏輯能力薄弱。大語言模型在數(shù)據(jù)處理的敏感性及計算邏輯方面存在一定局限性，如果直接輸入大量經(jīng)營數(shù)據(jù)，模型就容易給出錯誤答案，或忽略其中重要的邏輯關系。

三是問題回答的深度不足。在信息來源不足、判斷依據(jù)和線索比較隱晦時，大語言模型就難以生成高可信度的答案。為避免產生錯誤，模型往往容易依賴于更加廣泛和通用的信息來構建回答，導致生成的結果只停留在表面，泛泛而談，缺乏深入的分析。

（二）數(shù)據(jù)標簽模型介紹及其優(yōu)劣勢

數(shù)據(jù)標簽模型通過對數(shù)據(jù)進行標簽化處理，將數(shù)值轉變?yōu)樽匀徽Z言體系下更容易理解的特征表述。例如，可以將員工的工作經(jīng)歷標簽化為“資深”“普通”等，或者根據(jù)一定的規(guī)則將分支機構經(jīng)營策略標簽化為“財富轉型優(yōu)秀”“偏重傳統(tǒng)業(yè)務”等。

1.數(shù)據(jù)標簽模型優(yōu)勢。

這種自然語言的特征表述使數(shù)據(jù)分析過程變得更為直觀和便捷，即使是非技術背景的人員也能夠通過模型理解數(shù)據(jù)背后的含義，進而作出相應的決策。

數(shù)據(jù)標簽的標準是客觀的。在執(zhí)行數(shù)據(jù)標簽化過程中，可能涉及多種技術和方法，如決策樹、聚類算法等，這些方式和方法具有客觀性。

數(shù)據(jù)標簽的標準是統(tǒng)一的。在進行數(shù)據(jù)標簽化處理時，會根據(jù)數(shù)值指標、審計要求定義一套統(tǒng)一的標簽體系，保證標簽的一致性和可比性，使不同人員或團隊在使用標簽時能夠具有相同的理解。

2.數(shù)據(jù)標簽模型劣勢。

數(shù)據(jù)預處理和清洗需要投入大量精力。標簽化處理的前提是需要進行一定的數(shù)據(jù)預處理和清洗工作。如果數(shù)據(jù)質量不好或數(shù)據(jù)量過于龐大，可能會導致標簽化處理變得困難和耗時。

數(shù)據(jù)標簽提供的信息是零散化的，并且未能提供連貫的、有框架性的分析。數(shù)據(jù)標簽的設計是獨立的，標簽之間的關聯(lián)性較弱。

二、兩種模型的整合與銜接

（一）模型的整合理念

通過有效結合大語言模型和數(shù)據(jù)標簽模型，構建一個新的模型用于對證券公司分支機構經(jīng)營情況的評估，可以進一步發(fā)揮兩者優(yōu)勢。整合的理念在于：數(shù)據(jù)標簽模型可以優(yōu)化補充大語言模型對大量數(shù)據(jù)敏感性低下的問題；大語言模型在提取出的高層次的特征和關聯(lián)度上進行信息擴展，確保新模型不僅僅是從表面數(shù)據(jù)，而是結合背后的商業(yè)邏輯和行業(yè)知識作出回應。

（二）模型的銜接

模型的銜接通過確立兩種模型之間傳遞信息的順序和結構來進行。數(shù)據(jù)標簽模型處理形成分支機構標簽后，作為分支機構經(jīng)營表現(xiàn)描述的一部分輸入到大語言模型中，對大語言模型的提示詞進行優(yōu)化，使模型能夠更好地理解和處理與分支機構經(jīng)營情況相關的文本數(shù)據(jù)，模型整合方法如圖1所示。

三、整合模型在證券公司分支機構的部署與實現(xiàn)

（一）模型的部署

大語言模型方面，使用在線部署的文心一言；數(shù)據(jù)標簽模型方面，使用建立在內部審計關系型數(shù)據(jù)庫中的數(shù)據(jù)模型。打標邏輯由Postgre SQL及Python腳本實現(xiàn)。

（二）模型實現(xiàn)步驟

模型流程被劃分為數(shù)據(jù)準備和評估報告的形成兩個主要部分。

1.數(shù)據(jù)準備。

（1）基礎數(shù)據(jù)歸集。收集和整理所需的基礎數(shù)據(jù)，包括分支機構財務數(shù)據(jù)、客戶信息、合規(guī)情況數(shù)據(jù)等。基礎工作包括企業(yè)數(shù)據(jù)治理、內部審計數(shù)據(jù)庫的構建等。將分支機構的各項數(shù)據(jù)清洗后，明確數(shù)據(jù)來源和數(shù)據(jù)口徑，分類型歸集至數(shù)據(jù)庫中。

（2）整理分支機構的特征標簽。事先通過調查研究、分析挖掘、行業(yè)經(jīng)驗積累等方式，形成分支機構標簽體系。標簽所描繪的數(shù)據(jù)涵蓋數(shù)據(jù)分布、數(shù)據(jù)趨勢等多個維度，且標簽在時間上、分支機構間具有統(tǒng)一的標準，分支機構特征標簽體系如圖2所示。

（3）數(shù)據(jù)標簽運算。通過Postgre SQL存儲過程方式，將存儲在數(shù)據(jù)庫中的基礎數(shù)據(jù)運算形成數(shù)據(jù)標簽結果。

2.評價報告的形成。

（1）評估框架。通過大語言模型生成基礎的分支機構經(jīng)營分析框架，以此為基礎進行后續(xù)分析。實施過程要求大語言模型以管理會計的角度從多個方面進行評價，迭代優(yōu)化輸入提示。

（2）提示詞設計。可以通過提示詞（Prompt）

列舉向大語言模型提出的示例性問題與提示，以幫助完成審計活動。提示詞可以根據(jù)審計人員的具體情況調整，盡管提問技巧不是一門精確科學，但通過迭代方法可以獲得所需的特定輸出，提示詞示例如圖3所示。

以下是內部審計應用中設計提示詞策略。

角色扮演：明確需要大語言模型承擔的角色，這有助于模型理解其“身份”并根據(jù)該身份輸出對應的內容。

明確目標：首先明確希望大語言模型執(zhí)行什么樣的任務，是審計分析、技術指導，還是提供歸納性回答等。

語言清晰性：審計人員應確保使用準確、清晰的語言，避免歧義和復雜的句式結構，這有助于模型更準確地理解任務。

（3）生成分析報告。將大語言模型生成的經(jīng)營分析框架以及整理好的分支機構特征標簽和基礎數(shù)據(jù)輸入到大語言模型中，生成一份具體分支機構的分析報告。

四、整合模型效果的測試

（一）測試目標

測試人員將具體的文本需求通過接口輸入到大型語言模型中，期望獲得輸出結果為內容豐富、有充分證據(jù)支持的分支機構經(jīng)營分析報告，并通過對照實驗的方式驗證整合后的模型是否較原始模型在最終輸出結果上有所提升。

（二）測試對照

設計兩種不同的輸入情境，將輸出結果和人工編寫的分析報告進行比較。對照組1包含四部分：提示詞用來引導模型、經(jīng)營分析框架用來定向分析、標簽化的分支機構數(shù)據(jù)用來輔助模型理解上下文和分支機構經(jīng)營數(shù)據(jù)。對照組2輸入相對簡化，只含有提示詞、經(jīng)營分析框架和未經(jīng)標簽處理的經(jīng)營數(shù)據(jù)。

在對照實驗中，測試人員通過對照組1和對照組2分別生成10個模型結果，將每個對分支機構的合理評價定義為一個有效觀點，并且采用統(tǒng)計有效觀點數(shù)量的方式對模型的輸出結果進行評估。

（三）測試結果

從輸出結果來看，對照組1從給定的分析框架展開分析，全篇幅采用總分總的表述關系，輸出的分析報告對于框架中指定的每點評估標準均給出3個或以上的評價觀點，同時針對每個觀點提供了數(shù)據(jù)支撐，分析內容具有條理性。相較于人工編寫的分析報告，對照組1的輸出結果已能覆蓋一半以上的觀點；對照組2的輸出效果則稍弱，未能達到人工編寫報告一半以上的觀點的水平。對照組1的平均有效觀點數(shù)據(jù)高于對照組2。

通過上述測試，可以得出以下結論：對照組1能夠結合模型輸出觀點、人工判斷調整的方式提供有效的輸出結果，其分析結果可以為人工編寫報告提供強有力的支撐，從而有效提升對證券公司分支機構的審計評價結果，形成更精確、完整的經(jīng)營分析報告。

五、整合模型應用案例與成效

本案例為整合模型在證券公司某分支機構的審計項目實施經(jīng)歷，在內部審計重點關注的“老大難”問題上，通過模型輔助由點及面形成并提出管理建議，提升了內部審計的覆蓋范圍與專業(yè)程度。

（一）“老大難”問題

該類型分支機構具有“成立時間長，客戶基礎大”這一特征，在當?shù)馗偁幐窬种芯哂邢劝l(fā)優(yōu)勢，積累了重要客戶資源。該類型分支機構長期以來創(chuàng)收穩(wěn)定，但同時也面臨著增長乏力、員工積極性難以調動等各項經(jīng)營問題。證券公司內部審計部門希望通過整合模型對該類型分支機構進行審計，以給出客觀的評價。

（二）模型應用

項目組利用整合模型全方位分析了分支機構的運作情況，對系統(tǒng)內具有類似特征的營業(yè)部進行初步篩查，綜合分析其數(shù)據(jù)特征，并最終形成了一份高質量的分析報告。

1.確定關鍵評估維度。定義數(shù)據(jù)標簽框架，包括成立時間、客戶基礎、收入和利潤規(guī)模、現(xiàn)金流穩(wěn)定性、當?shù)刂饕獱I業(yè)部排名等核心指標。將數(shù)據(jù)標簽框架輸入到大語言模型中，由模型進一步細化分析方案，綜合各分支機構的標簽情況，篩選出符合要求的標簽范圍。

2.形成報告。在數(shù)據(jù)標簽模型處理了目標分支機構后，將處理后的數(shù)據(jù)和評估框架輸入到大語言模型中，利用確定的關鍵評估維度和標準綜合評估分支機構的情況，根據(jù)分析結果生成分支機構經(jīng)營情況審計分析報告。

報告描繪了分支機構經(jīng)營策略、客戶結構、當?shù)亟?jīng)濟發(fā)展等方面的特點，總結了部分員工工作動能下降的潛在原因、業(yè)務及客戶結構跟不上實體經(jīng)濟轉型升級步伐、服務實體經(jīng)濟能力相對薄弱的瓶頸。審計人員結合報告內容進一步提出改進意見，為公司管理層優(yōu)化分支機構差異化管理方案提供了決策參考。

六、模型在內部審計領域的推廣

得益于大語言模型靈活的特性，本模型中建立的用于輸入到大語言模型中的評價框架和數(shù)據(jù)標簽體系，可以遷移運用于證券公司其他業(yè)務的內部審計評價中。在滿足一定前提條件的基礎之上，該模型還可以推廣到金融行業(yè)其他需要進行經(jīng)營情況審計評估的領域。首先，該領域需要有標準化數(shù)據(jù)源，并通過數(shù)據(jù)治理的方式以保證數(shù)據(jù)的橫向可比性，目前金融行業(yè)數(shù)據(jù)治理工作已初見成效；其次，在設計提示詞時要考慮到不同領域的特定數(shù)據(jù)結構、業(yè)務流程和審計需求。

技術賦能可以提升審計工作的準確度和客觀性，降低合規(guī)風險，提升業(yè)務質量。同時，審計人員還可以將精力更多地投入復雜的審計任務中，進行徹底的檢查和監(jiān)督，實現(xiàn)內部審計價值最大化。

（作者單位：廣發(fā)證券股份有限公司稽核部，郵政編碼：510627，電子郵箱：chenyutao@gf.com.cn）