大數據技術在金融行業內部審計中的應用探究

武茗馨

[摘要]隨著大數據時代的到來，審計工作在思維模式、技術方法、審計重點等方面發生了重大變化。在金融信息快速增長、金融創新不斷升級的環境下，金融行業內部審計部門對大數據技術的需求也在不斷增加。本文從金融行業內部審計應用大數據技術的背景出發，通過對大數據及其相關技術的介紹，分析大數據的具體應用，探討大數據對相關領域的影響，對金融行業內部審計的發展做出展望。

[關鍵詞]大數據 大數據技術 內部審計 大數據

一、大數據及基本技術概述

（一）大數據概述

作為一個新興概念，大數據至今尚未有明確統一的定義。大數據研究先驅麥肯錫公司（McKinsey&Company）認為，大數據指的是大小超出常規數據庫軟件的采集、存儲、管理和分析等能力的數據集。這一定義包含兩方面的意義：第一，隨著時間推移和技術進步，符合大數據標準的數據集的大小會有所變化；第二，不一定要超過特定容量值的數據才算是大數據。此外，大數據研究機構高德納咨詢公司（Gartner Group）也對大數據給出定義：大數據是需要高效創新的處理模式來提高洞察力、增強決策力的海量、快速和多樣化的信息資產。這一定義提出了大數據的三大特征：大量化（volume）、快速化（Velocity）和多樣化（vafiety），簡稱大數據的“3V”特點。近年來，隨著對大數據的深入研究，大數據的特點逐漸由“3V”演變為“4V”甚至更多，包括：真實性（Veracity）、價值（value）、可變性（variability）、有效性（varidity）、波動性（volatility）、復雜性（complexity）等等，圖1.1展示了大數據的特點。

（二）大數據技術

根據大數據處理的生命周期，大數據技術體系中的關鍵技術包括：非結構化數據采集技術、數據清洗篩選技術、數據分布式存儲系統、數據并行計算分析技術、數據可視化技術等。

1.非結構化數據采集技術。大數據時代，數據信息來源十分廣泛，包括手機、電腦、網絡、衛星、社交媒體、交通工具、射頻信號、電子發射器等。從這些渠道所采集的數據往往格式不一，對大量數據進行格式轉換的效率低下，并會增加數據采集的難度。據統計，在現有大數據存儲系統中，非結構化數據和半結構化數據約占80%，因此，傳統的數據采集工具已經無法滿足時代的需要，非結構化數據采集技術必不可少。如今，大多數互聯網企業都建立了自己的大數據采集系統，例如：Facebook的Scribe系統、Cloudera的Flume系統、Apache的Chukwa系統、Linkedin的Kafka系統等。這些非結構化數據采集系統具有良好的可擴展性和容錯機制，并且是開源的系統，用戶可以根據不同需要選擇適合的數據采集技術。

2.數據清洗篩選技術。在大數據采集之后，需要對海量數據進行簡單的預處理，主要包括清洗技術和篩選技術。這兩項大數據技術適用于將網絡中的大量損壞、冗余、無用的數據進行徹底清理，優化多源數據和多模式數據，對采集來的數據進行整合，將高質量數據轉化為信息，并加以提取用于分析。因此，數據清洗篩選技術能夠控制不同來源的數據質量，為數據分析提供基礎性的技術保障。Hadoop平臺正是為了加快數據清理、數據轉換、數據加載進程，提高并行數據預處理而開發的。概括來說，Hadoop是一系列開源產品的組合，其核心的內容是：HDFS（Hadoop Distributed File System）和MapReduce，HDFS可以為海量數據提供存儲功能，MapReduce則為海量數據提供計算。

3.數據分布式存儲系統。非結構化數據存儲于分布式文件系統中，因而分布式存儲系統在大數據時代相當重要。傳統的數據存儲系統采用集中的方式，將所有數據存儲于一臺服務器中，存儲服務器的可靠性和安全性成為系統性能的瓶頸，也無法滿足大規模數據存儲應用的需要。而分布式數據存儲系統采用可擴展的系統結構，借助多臺服務器分擔存儲負荷，利用位置服務器定位存儲信息，不僅可以提高系統整體的可靠性、安全性、可用性和存取效率，還具備可擴展功能。目前，常見的數據分布式存儲系統主要有：GFS（Google File System）、HDFS、Lustre并行分布式文件系統、Ceph存儲系統等。以HDFS為例，圖1.2展示了數據分布式存儲系統的運行模式。

4.數據并行計算分析技術。對于混合負載的大數據庫進行分析處理是十分復雜困難的，對海量數據進行依次順序計算分析不僅費時費力，還存在影響系統安全的風險。表1.1展示了大數據分析技術的基本要求，由此可見，數據并行計算分析技術是大數據分析的關鍵技術。

非結構化數據主要通過分布式計算結構進行處理分析，基于不同的計算模型。目前，主要的并行計算結構有如下三種：

第一，MapReduce模型。這一模型應用較為廣泛，運用映射（Map）和規約（Reduce）函數，將一組鍵值對映射成一組新的鍵值對，從而保證所有映射的鍵值對共享相同的鍵組，適用于大規模數據集（大于1TB）的并行運算。

第二，Bulk Synchronous Parallel模型，簡稱BSP模型。這是一種具有可擴展并行性能的并行程序模型，與簡單計算模型相似，但區別在于：BSP模型在每次運算過后，對所有節點都會進行同步處理，適用于迭代計算。Google的圖算法引擎Pregel即基于此模型。

第三，DAG圖模型。這一模型利用無回路有向圖（DAG）描述復雜的計算處理關系和過程。微軟公司的Dryad項目即采用這一模型。

5.數據可視化技術。數據可視化技術是指利用表格、圖像、色彩、動畫等形式，對數據信息加以可視化解釋的技術。在大數據時代，面對海量數據信息，利用數據可視化技術能夠更加直觀、便捷的對數據分析結果進行展示，并進一步幫助研究人員進行大數據分析與挖掘。數據可視化技術適用范圍廣泛，涉及生物醫藥、氣象地理、商務金融、社交媒體、公共服務等眾多領域，并處在進一步發展開發階段。

二、大數據技術在金融行業內部審計中的應用

（一）數據采集

金融行業具有數據集中度高、信息化程度高、業務關聯度高等特點，這些特點使得金融審計在數據采集方面存在采集時間長、存儲難度大、處理速度慢等困難。大數據時代，金融行業內部審計部門在數據采集上不再拘泥于單一的業務單位或傳統的采集系統，而是從審計需要出發，整合歷史數據，針對金融機構業務開展情況有的放矢地進行數據采集。同時，借助計算機輔助審計軟件，對非結構化數據、半結構化數據進行統一采集，把不同信息來源都納入審計證據的范圍之內。此外，聯網審計也成為大數據時代下金融審計的重要方式。通過建立即時、快速、保密的專有數據網絡傳輸通道，對被審計單位數據進行動態采集、傳輸和接收，采集到的原始數據經過安全檢查后再導入集中的審計數據庫服務器中，實現了集中審計、實時審計和遠程審計的需要。

（二）數據分析

在完成數據采集之后，金融行業內部審計部門的主要工作在于對數據進行整合分析，發現諸如大額交易、頻繁交易、相似交易等異常數據信息，通過實施實質性程序，分析復核有關問題。大數據時代下，審計人員主要利用計算機實施審計工作，在審計分析平臺上，通過多維分析、查詢分析、關聯分析、專題分析等技術手段構建審計模型，找出趨勢、異常和錯誤，把握總體、鎖定重點、精確延伸，運用函數模型批量審核數據、篩選問題并自動匯總分析結果，必要時再核對賬簿或報表，最終根據需要生成數據分析報告。此外，通過對大量數據進行查詢分析、線索分析、預警分析等，也能夠有效確定金融機構各類業務的風險狀況，完善金融產品的設計與開發。

（三）數據挖掘

目前，數據挖掘技術在審計中的應用尚處于起步階段，主要與數據分析技術相結合應用。例如，通過數據挖掘的分類技術，可以從金融企業數據庫中提取年度財務報表、重要客戶交易等歷史數據，利用演化分析技術，將歷年數據與經濟指標對照，評估企業風險的可接受水平。此外，通過聚類分析，可以將數據庫中具有相似特征的交易數據進行分組，在評估貸款企業還貸能力、確認重復記賬的應收利息、鑒別虛假財務指數等方面起到作用。數據挖掘技術還可以通過建立知識庫，對已經進行的數據分析工作和已經得到的規律、模型等進行記憶存儲，并在以后的審計實踐中自動更新，從而便于審計人員在后續工作中隨時提取資料，或在原有成果上進行有選擇的改進，以適應不斷變化的審計要求。考慮到大數據挖掘技術的巨大潛力，運用數據挖掘技術解決傳統金融審計方法原先沒有涉及的問題，提升金融審計的后續影響和作用，將是未來數據挖掘技術的主要發展方向。

三、大數據技術對金融行業內部審計的影響探討

（一）有利影響

1.整合金融行業資源，便于審計業務開展。金融行業的特點決定了金融數據資料的復雜，在大數據金融的背景下，傳統審計方法難以應對海量數據的采集分析工作。隨著金融創新的不斷升級，金融產品推陳出新，金融行業的海量數據資源需要進行整合管理，轉換為規范統一的數據信息。利用大數據技術，對數據統一采集管理，針對重點審計對象進行實時跟蹤，不僅可以有效避免數據獲取不充分的情況，整合審計資源，更有利于提高審計人員的工作效率，便于合理分配審計力量，為后續審計工作的開展奠定基礎。

2.利用縱向、橫向比較，全面發現審計疑點。一方面，在數據分析平臺上，審計模型和審計結果均可以進行保存和修正，以便于多次使用。在后續審計過程中借鑒以往審計模型和經驗，提高分析處理效率，保證審計人員高效、準確地開展審計工作，這是大數據技術在縱向比較上的優勢。另一方面，利用聯網審計技術可以對各分行、支行進行同時的數據采集與分析工作，以便立足于整體角度評價有關指標，對審計過程中發現的疑點問題進行全面排查，這是大數據技術在橫向比較上的特點。

3.降低人為錯誤風險，提高審計效率。在對數據資料進行采集和預處理的階段，借助數據清洗篩選技術可以快速排查明顯重復、遺漏或錯誤的數據，并對存疑數據進行批量處理。而在分析處理的階段，通過構建大數據分析模型，對金融數據進行多層次、多角度的篩選評價，可以有效提高發現問題的準確性、及時性、全面性，規避傳統審計方法下人為原因造成的錯查、漏查的可能，將人為錯誤的風險盡量降低，保證全面、及時、準確地發現問題，提高審計效率。

（二）不利影響

1.數據存儲與傳輸安全成為新問題。大數據時代下，金融業務普遍采用無紙化操作，大部分審計工作也相應地需要在計算機上進行，電子數據的存儲、傳輸、提取等環節能否得到安全可靠的保障成為新的問題。由于審計工作所涉及的信息數據量大并且涵蓋范圍廣，聯網審計等項目往往需要將分散數據遠程傳輸到集中的數據庫，然后進行統一分析。然而，一旦需要保密的關鍵數據遭到流出或竊取，對于金融機構內部甚至整個金融行業都可能造成嚴重后果。因此，如何保證數據存儲與傳輸安全，對關鍵數據進行加密和權限設置是大數據時代需要解決的一大問題。

2.軟硬件設備匹配要求提高。大數據的大量化、快速化等特點對計算機軟硬件設備都提出了更高要求，金融機構不僅需要對存儲數據的服務器進行單獨存放、有序管理，確保服務器的安全、高效運作，審計部門也需要配備相應的適合于審計工作的計算機，安裝并更新審計軟件。現實中，金融機構往往建立了自己的數據庫，如何將數據庫中的數據完好無損采集傳輸，并且不對原始數據和數據庫造成影響，保證審計人員可以直接利用所采集數據，這些在軟硬件設備上都有了更高要求。

3.大數據技術利用程度仍處在較低層次。隨著大數據金融的不斷發展，審計工作不僅要求審計人員具備審計、會計、財務方面的專業知識，更對審計人員在計算機方面的能力提出更高要求。大數據技術涉及范圍廣，種類繁多，并且技術更新速度快，這對審計人員掌握大數據技術產生了一定難度。目前，審計行業對大數據技術的利用程度仍然不高，需要加大宣傳和培訓力度，幫助審計人員在工作中充分利用大數據，避免資源浪費，避免出現“有而不用、用而不靈”的情況。