大數據下統一審計技術框架研究*

裴 華，劉 煒，唐冬林

（中國電子科技集團公司第三十研究所，四川 成都 610000）

0 引言

各大安全廠商將審計追責功能集成到各自的安全產品中，將審計追責貫穿到各個安全功能中，根據安全產品功能不同而形成的審計追責功能，大致可分為主機審計、網絡審計、數據庫審計。隨著信息系統的迅速發展以及用戶需求的不斷增加，網絡規模日益龐大，應用系統日益復雜。同時，網絡安全事件層出不窮，使得信息系統面臨著嚴峻的安全形勢，傳統的單一的防御設備或者檢測設備已經無法滿足安全需求。有針對性的審計技術能夠綜合各方面的安全因素，從整體上動態反映網絡安全狀況，并對安全狀況的發展趨勢進行預測和預警，為增強網絡安全性提供可靠的參照依據[4]。

同時，國內各類網絡安全法和網絡安全等級保護標準2.0[2]相繼出臺與發布，其中明確了，審計追責功能不僅成為合規的需求，也是企業及組織關注的重點。總的來說，一套行之有效的監控審計系統，能夠形成威懾力，降低人為破壞和攻擊的可能性。

1 日志審計基本框架

應用大數據存儲分析技術，采用服務化、組件化的思想，本文提出一種前后端的日志審計體系框架，通過前段嵌入應用，后端能力輸出的模式構建統一安全審計體系。如圖1 所示。

圖1 審計系統結構圖

在前端，提供2 種方式嵌入應用：數據采集服務接口，被動接收應用系統的事件日志；數據采集構件，主動嵌入應用中，采集應用系統的事件日志。

在后端，通過部署服務，結合前端提取的日志信息，經過分析處理后，提供安全審計能力輸出。在后端服務中，日志接收服務接收前端采集提取的應用系統日志信息，傳遞給數據處理模塊進行數據處理及存儲；統計分析服務通過集成告警行為模式和各類插件式告警規則，完成告警事件分析、日志快速檢索、日常報表整理、定制報表匯總等功能。

2 數據采集

審計系統的審計日志采集分為被動接收和主動采集兩種方式，被動接收以提供審計接口，各系統通過調用審計接口，上報日志的方式采集用戶行為日志數據；主動采集是通過直接訪問業務系統或者既有系統的日志數據庫或者文件的方式，主動獲取日志數據。

2.1 數據接口收集

使用服務化的方式，提供日志采集接口，為用戶提供日志集中的通道，各數據源應用通過調用采集接口服務的方式，完成數據采集過程。

此方式的優點在于：不侵入應用系統，相關數據的準備由數據源系統自行準備，有利于數據源系統開展數據責任授權及控制擴散范圍。同時，也有利于數據采集源與目的系統狀態的固化，運維中系統升級帶來的接口風險較少。

缺點在于，由于現有系統狀態的固化，不利于對現有系統的數據采集，對形成數據效能存在一定的阻力及風險。

2.2 數據主動采集

主動獲取式采集模式，通過數據采集系統嵌入設備應用系統中，根據數據源系統，主動適配采集方式及數據格式，收集相關數據。

此方式的優點在于，能夠快速地集成現有數據，形成數據能力。

缺點在于，對于內含敏感數據的系統，面臨著數據擴散授權的風險，若數據格式未形成規范或標準，則不利于系統升級改造。

3 日志存儲

采用傳統關系型數據庫與大數據存儲相結合的方式完成，將數據量較小的基礎數據采用關系型數據庫存儲，將數據量大的日志數據采用分布式大數據技術存儲。

系統采用大數據中心的海量安全數據的統一存儲。隨著安全基礎數據的不斷匯聚，數據大小將呈現爆發式增長，而數據共享服務需要提供快速、高效的數據訪問與存儲能力，傳統的集中式數據庫顯然不能夠滿足需求。

因此，安全大數據采用分布式數據庫，提供對文本、圖片、關系型數據等類型數據的存儲與高效檢索能力，以及分布式冗余存儲能力，節點動態擴容能力，滿足態勢數據的大容量存儲需求。

相比于傳統集中式數據庫，分布式數據庫具有基于海量數據的高性能、高可靠性和動態擴展性的優點。

在分布式大數據系統中，可以隨時靈活地訪問信息而不必關心數據存放的地點和方法，數據不是集中存放在網絡的各個節點上，節點之間相互冗余備份，來實現數據服務的高可用性。

從大數據架構視圖來看，大數據設計如下圖2所示。

圖2 大數據架構視圖

采用大數據分析架構，具有如下特點：

一是提供大數據的基礎能力，包含大容量存儲能力、快速處理能力、快速檢索能力、智能分析能力等。

二是在基礎之上提高使用效率，能夠為用戶在大數據平臺上開發數據業務，包含數據倉庫、數據可視化、智能分析等功能提高效率，實現大數據中心的核心價值。

三是提升管理效率，將各方面的管理納入體系，為升級、擴容、技術支持等工作降低代價。

四是多用戶安全性，大數據中心服務于多個安全業務，需要用戶安全作為保障，將各個安全業務線流程隔離。

4 日志分析

網絡行為分析的目的是通過分析用戶及網絡中的行為模式，從海量日志中分析出具有參考價值的事件，提醒管理維護人員注意[1]。在實際使用過程中，一方面，用戶及網絡中的行為模式多種多樣，分析方法也完全不同；另一方面，未知的一些威脅行為模式特征無法確定，需在使用過程中累積知識和經驗，完成針對新的行為模式特征的提取與分析。

網絡行為分析采用插件式的規則分析方法，一個分析方法對應一類行為模式，通過插件管理程序加載到分析引擎中，輸入日志事件，輸出分析結果，如圖3 所示。

同時，系統采用離線數據分析方法，挖掘網絡中的異常行為及威脅[3]，并通過追蹤溯源開展責任認定。離線數據分析是大數據分析的主要分析場景，將海量的數據通過大數據的分析方法，挖掘出有用的知識后，供用戶查詢和展示。

圖3 基于構件化的動態分析引擎技術

分析方法按照技術實現的方案不同，可以分為以下三類：

基于行為規則的審計，該方法是提取已知異常行為特征，通過對行為特征進行邏輯范式描述后寫入審計規則知識庫中，在開展審計活動時，審計規則和標準化日志進行模式識別與匹配，發現可能存在的異常行為。

基于統計的審計，該方法的原理是利用統計學模型的特點，使用隨機變量及其概率分布刻畫目標對象的行為，通過統計學方法描述目標對象的行為特點。基于統計學的審計則是在統計學上發現目標行為特點偏離一般正常行為的異常行為。

基于特征自學習的審計，該方法是利用大數據挖掘相關分析方法，總結出一般行為間的頻繁模式、關聯和相關性，從總結出的數據規律間尋找異常行為的方法[3]。

系統分析算法管理模塊可綜合容納這三種方法的分析算法，針對不同的分析場景，開展適應性、針對性強的審計分析。

5 事件分析

在系統中，各類業務進行的工作越來越復雜，為了保護系統的安全，方便監控系統運行狀況，查看日志并進行分析已經成為一個重要手段。管理員可以查看在某時間段內所發生的事件，也可以通過對各種日志進行分析輔助安全保密管理工作。由于日志具有數據量大，不容易讀懂的特點，如果僅憑借管理員查看日志記錄的手段，其中所蘊含的有用信息也難以發現。將數據挖掘技術應用于日志分析是一個關鍵技術，能夠關聯多種類型的日志事件，綜合分析，依據事先設定的規則進行匹配，達到及時提醒和告警的效果，減輕管理人員的分析負擔，如圖4 所示。

日志事件分析負責對篩選后的待審計信息結合審計規則進行分析，從中發現異常和違規行為，為采取相應安全措施提供依據。

圖4 事件分析與告警流程示意圖

該流程能夠運用于重保任務和重點監控方向的實時監控，通過設置重保區域、對象、智能分析引擎來完成。同時，可以將實時分析結果用于網絡安全態勢呈現。

管理員在審計告警規則設置頁面事先設置關注的人員、關注對象、關注行為后，通過人工設置與自學習調整等方式設置警戒閾值，系統將設置好的內容生成告警觸發器，事件發生時，實時分析事件判斷是否能夠觸發告警，事件達到告警條件，分析系統將生成告警事件，給出告警信息。

6 結語

通過構建一個統一的審計系統，匯集用戶及各系統數據，依托大數據分析的技術優勢，將各分類算法，構建成統一的審計平臺，能夠有效地提升企業系統的安全防御能力。