基于用戶行為日志的內(nèi)部威脅檢測綜述

張有 王開云 張春瑞 鄧妙然

摘要：內(nèi)部人員威脅會對企業(yè)和組織造成重大損失，內(nèi)部威脅檢測對于維護(hù)企業(yè)信息安全是必要的。概述了基于用戶行為日志的內(nèi)部威脅檢測的一般思路和難點(diǎn)，介紹了常見的用戶行為日志數(shù)據(jù)集和預(yù)處理方法，分析了內(nèi)部威脅檢測機(jī)制的評估指標(biāo)和常見的內(nèi)部威脅檢測技術(shù)，最后給出未來的內(nèi)部威脅檢測研究的發(fā)展方向。

關(guān)鍵詞：內(nèi)部威脅檢測;行為日志;信息安全;異常檢測

中圖分類號：TP309.2

文獻(xiàn)標(biāo)識碼：A

文章編號：1006-8228（2020）09-45-05

A survey of insider threat detection based on user behavior log

Zhang You， Wang Kaiyun， Zhang Chunrun， Deng Miaoran

（Institude of Computer Application， Chinese Academy of Engineering Physics， Mianyang， Sichuan 621900. China ）

Abstract： Insider threat will cause great losses to enterprises and organizations， and the detection of insider threat is necessary tomaintain the information security of enterprises. This paper summarizes the general ideas and difficulties of insider threat detectionbased on user behavior log， introduces the common data sets and preprocessing methods of user behavior log， analyzes theevaluation indicators of insider threat detection mechanism and common insider threat detection technologies， and finally gives thefuture development direction of internal threat detection research.

Key words： insider threat detection; behavior log; information security; anomaly detection

0引言

對于許多的公司和政府機(jī)構(gòu)來說，內(nèi)部威脅是一個重大問題[1]。內(nèi)部威脅包括內(nèi)部用戶故意的惡意活動，例如信息系統(tǒng)破壞、知識產(chǎn)權(quán)盜竊、欺詐和國家安全犯罪，以及由于不小心使用計(jì)算資源而導(dǎo)致的無意威脅等[2]。相比外部攻擊，內(nèi)部人員更容易對組織造成重大損失，因?yàn)閮?nèi)部人員有使用組織資源的權(quán)限，且了解組織的結(jié)構(gòu)和安全程序。

惡意的內(nèi)部人員會利用特權(quán)謀取私利，并可能損害組織的完整性[3]。根據(jù)2017年網(wǎng)絡(luò)安全觀察的調(diào)查，雖然在針對美國組織的網(wǎng)絡(luò)犯罪中內(nèi)部威脅只占13%，但其中29%是代價最高的事件[4]。我國某涉密科研單位職員黃某在10年間將多項(xiàng)國家機(jī)密出賣給境外間諜，嚴(yán)重威脅國家安全，最終因間諜罪被判處死刑。內(nèi)部人員威脅會對企業(yè)和組織造成重大損失，內(nèi)部威脅檢測對于維護(hù)企業(yè)信息安全是十分必要的。

1概述

1.1內(nèi)部威脅檢測的一般思路

內(nèi)部威脅檢測可以通過對內(nèi)部用戶行為進(jìn)行異常檢測實(shí)現(xiàn)。內(nèi)部威脅用戶通常不是一開始就做出危害企業(yè)或組織的事，他們會有相對穩(wěn)定的行為習(xí)慣，如加班頻率、使用可移動設(shè)備的頻率等，之后由于一些原因，如不滿上司、被裁員，這些用戶就會做出損害企業(yè)利益的行為，而這些行為相比于他們以往的行為會有明顯異常。企業(yè)通過持續(xù)采集用戶的各種行為記錄，生成大規(guī)模異構(gòu)日志數(shù)據(jù)，從這些日志數(shù)據(jù)里可以挖掘出用戶的行為模式以及行為模式的改變，檢測到用戶異于以往的行為特征，從而達(dá)到內(nèi)部威脅檢測的目的。

1.2內(nèi)部威脅檢測的難點(diǎn)

（1）多種用戶行為日志的協(xié)同處理。企業(yè)通常會將所有用戶的行為按照行為類別分別記錄在不同的日志文件中，每個日志文件都針對所記錄的行為定義多個字段，這樣內(nèi)部威脅檢測工作面臨的就是幾個規(guī)模龐大的異構(gòu)日志文件，如何從這些日志文件中提取出既能準(zhǔn)確刻畫用戶行為、又能便于使用威脅檢測算法的特征是一項(xiàng)值得研究的工作。

（2）內(nèi)部威脅行為可能是單個危害性極大的惡意行為，也可能由復(fù)雜的上下文組合而成。前者較容易檢測出來，比如某惡意用戶將公司重要文件上傳至文件共享網(wǎng)站;后者由一系列不同種類、不同時段的行為構(gòu)成，比如某惡意用戶前期盜取部門領(lǐng)導(dǎo)的客戶端登錄密碼，后期利用密碼偽裝成領(lǐng)導(dǎo)群發(fā)惡意郵件，這就加大了內(nèi)部威脅檢測的難度。

（3）內(nèi)部威脅行為一般異于該用戶的正常行為特征，但是異常的行為不一定就是內(nèi)部威脅行為，用戶的行為會隨著時間變化。比如某用戶突然加大了可移動設(shè)備的使用頻率，他可能是在頻繁竊取公司數(shù)據(jù)，也可能是新加入了一個項(xiàng)目的工作所需，這時需要結(jié)合用戶的其他行為和背景數(shù)據(jù)判斷該用戶是否為內(nèi)部威脅用戶。

（4）正常、威脅用戶比例極其不平衡。在真實(shí)的企業(yè)環(huán)境中，內(nèi)部威脅用戶和威脅行為只占正常情況的很小一部分;在Senator等[5]的內(nèi)部威脅檢測實(shí)驗(yàn)環(huán)境下，威脅用戶只占到用戶比例的0.2%。由于內(nèi)部威脅行為的高危害性，我們不想錯過任何一例內(nèi)部威脅，這就往往會導(dǎo)致內(nèi)部威脅檢測結(jié)果有較高的誤報率。

2用戶行為日志數(shù)據(jù)集及預(yù)處理

2.1常見的用戶行為日志數(shù)據(jù)集

Cert數(shù)據(jù)集是典型的用戶行為日志數(shù)據(jù)集。Cert數(shù)據(jù)集來源于卡耐基梅隆大學(xué)的CERT內(nèi)部威脅中心，模擬大型企業(yè)或政府組織中分布在4400臺計(jì)算機(jī)上的基于主機(jī)的傳感器在500天左右收集的日志[6]。Cert數(shù)據(jù)集提供了用戶全面的行為觀測數(shù)據(jù)以刻畫用戶行為模型，涉及多個維度的用戶行為數(shù)據(jù)，包括文件訪問、郵件收發(fā)、設(shè)備使用、HTTP訪問以及登錄系統(tǒng)。同時，Cert數(shù)據(jù)集模擬了惡意參與者的行為數(shù)據(jù)以及背景數(shù)據(jù)，模擬了系統(tǒng)破壞、知識產(chǎn)權(quán)竊取、欺詐等主要內(nèi)部威脅類型，從關(guān)系圖模型、資產(chǎn)圖模型、行為模型、通訊模型、話題模型、心理學(xué)模型、誘餌模型以及威脅場景來關(guān)聯(lián)構(gòu)造攻擊數(shù)據(jù)，以達(dá)到最佳的真實(shí)度[7]。

2.2用戶行為日志的預(yù)處理

企業(yè)的日志通常根據(jù)不同行為儲存在不同的日志文件中，每個日志文件按時間順序記錄所有用戶的該類行為日志。這種形式不能直接用來對單個用戶進(jìn)行行為特征建模，這就需要對單個用戶進(jìn)行行為日志的預(yù)處理，即將該用戶單位時間內(nèi)的所有行為處理成便于進(jìn)行內(nèi)部威脅檢測的形式。

用戶行為特征定義是用戶行為日志預(yù)處理很重要的一步。用戶行為特征定義時需要考慮威脅場景中用戶的威脅行為，再對用戶行為進(jìn)行適當(dāng)粒度的劃分，例如，記錄登錄行為的日志文件會采集用戶在任意時段的登錄行為，很明顯，“在非上班時間登錄其他用戶的客戶端”比“上班時間登錄本人的客戶端”的威脅性更高，所以將登錄行為按時間、是否是本人的客戶端定義更細(xì)粒度的行為是合理的。

用戶行為日志的預(yù)處理方法受內(nèi)部威脅檢測方法的限制，用戶行為日志可以被預(yù)處理為數(shù)值型數(shù)據(jù)、序列數(shù)據(jù)和關(guān)系圖。

2.2.1數(shù)值型數(shù)據(jù)

將不同日志中用戶的行為按單位時間統(tǒng)計(jì)為數(shù)值型數(shù)據(jù)是最常見的用戶行為日志的預(yù)處理方法，經(jīng)預(yù)處理得到的數(shù)值型數(shù)據(jù)可以用于基于高斯混合模型、神經(jīng)網(wǎng)絡(luò)等異常檢測方法。

Tuor等[8]的特征提取系統(tǒng)將系統(tǒng)日志行轉(zhuǎn)換為適合輸入神經(jīng)網(wǎng)絡(luò)的數(shù)字特征。特征提取系統(tǒng)為每個用戶每天累積了408個在某個固定時間窗口內(nèi)執(zhí)行的“活動”的計(jì)數(shù)，比如從l2：OOp.m.到6：OOp.m.之間的可移動媒體中不常見的非誘餌文件拷貝的數(shù)量。圖1直觀地列舉了計(jì)數(shù)特征集：只需沿著從右到左的路徑，沿途在每組中選擇一個項(xiàng)，所有這些遍歷的集合就是計(jì)數(shù)特征的集合。

Senator等[5]除了對郵件、文件、打印等日志進(jìn)行用戶行為特征計(jì)數(shù)產(chǎn)生共83個數(shù)值型特征外，還定義了28個比率特征，如可移動驅(qū)動器上的文件事件與所有文件事件的比率、URL上傳與URL下載的比率等。

2.2.2序列數(shù)據(jù)

雖然數(shù)值型數(shù)據(jù)在機(jī)器學(xué)習(xí)中應(yīng)用更加廣泛，但具有排序結(jié)構(gòu)的序列數(shù)據(jù)也許能揭示更有價值的信息，因?yàn)樾蛄袛?shù)據(jù)考慮了用戶在相關(guān)上下文中的行為[1]。序列數(shù)據(jù)可以用于基于隱馬爾可夫模型的異常檢測方法。

Rashid等[9]考慮了兩個基于Cert數(shù)據(jù)集的特征集：簡單特征集和綜合特征集。簡單特征集有7個用戶行為特征，包括登錄、注銷、文件（將文件復(fù)制到USB設(shè)備）、郵件、網(wǎng)站、連接USB、斷開USB;綜合特征集有16個用戶行為特征，是兩簡單特征集的細(xì)分。每項(xiàng)行為特征被指定為一個數(shù)字序號。對于每一個用戶，將所有日志中該用戶的行為寫成數(shù)字序號并按時間戳排序，可以得到該用戶的操作序列及時間;再將這些操作以周為單位分組，這樣就得到了每個用戶每周內(nèi)執(zhí)行的一系列操作序列。

2.2.3關(guān)系圖

企業(yè)的用戶之間、用戶與設(shè)備之間有繁雜的關(guān)系，這些關(guān)系可以映射生成多種關(guān)系圖，以輔助內(nèi)部威脅檢測。關(guān)系圖可以用于基于圖聚類等異常檢測方法。

Gamachchi等[10]以屬性圖的形式表現(xiàn)企業(yè)組織層次結(jié)構(gòu)和用戶間電子郵件通信關(guān)系，用戶及行為的相關(guān)信息作為對應(yīng)頂點(diǎn)和邊的屬性存儲，這種方法同時考慮了圖的拓?fù)浣Y(jié)構(gòu)和圖的屬性。用戶關(guān)系被映射到一個無向無加權(quán)的圖g（v，e，a）中，其中v是頂點(diǎn)集，每個頂點(diǎn)代表一個用戶;e是邊集，包括用戶間“主管一下屬”關(guān)系和郵件收發(fā)行為;a是屬性集，每個頂點(diǎn)有一個125維的數(shù)值型用戶行為特征向量。Senator等[5]從用戶的計(jì)算機(jī)使用記錄中導(dǎo)出關(guān)系圖，包括用戶間的電子郵件網(wǎng)絡(luò)、電子郵件地址、計(jì)算機(jī)和消息圖，用戶、計(jì)算機(jī)、域和單個URL之間的web網(wǎng)絡(luò)圖等。

3內(nèi)部威脅檢測

3.1內(nèi)部威脅檢測機(jī)制的評估

在內(nèi)部威脅檢測時，正常、威脅用戶和日志的比例懸殊，此時檢測的準(zhǔn)確率指標(biāo)意義不大，因?yàn)榫退銓⑷繕颖緳z測為正常，得到的準(zhǔn)確率也很高。內(nèi)部威脅的危害性極大，所以在內(nèi)部威脅檢測問題中，希望盡可能將內(nèi)部威脅行為全部檢測出來，可以容許有少量正常行為被誤檢為威脅行為。常用的內(nèi)部威脅檢測指標(biāo)包括召回率、誤報率、F1分?jǐn)?shù)、ROC（接收器工作特性，receiver operating characteristic）曲線和AUC（ROC曲線下的面積，area under the roc curve）。

3.2內(nèi)部威脅檢測方法

本文將調(diào)研到的內(nèi)部威脅檢測方法分為以下幾類：基于統(tǒng)計(jì)模型的方法，基于圖聚類的方法，基于機(jī)器學(xué)習(xí)的方法和其他方法。

3.2.1基于統(tǒng)計(jì)模型的方法

HMM（隱馬爾可夫模型，hidden markov model）提供了從一組觀測序列中學(xué)習(xí)參數(shù)以及預(yù)測給定觀測序列的概率的算法。Rashid等[9]用隱馬爾可夫模型分別模擬每個用戶每周的正常行為，然后用它們來檢測異常行為與正常行為的顯著偏差。在訓(xùn)練階段，假設(shè)所有用戶前五周的行為都是正常行為，采用BaumWelch算法最大化用戶觀測序列的可能性，求得該用戶正常行為的HMM的參數(shù)（轉(zhuǎn)移矩陣、發(fā)射矩陣和啟動狀態(tài)概率等）。在測試階段，用戶觀測序列先被該用戶的HMM預(yù)測計(jì)算出該序列的可能性，再與閾值進(jìn)行比較，進(jìn)而判別序列是否異常。Le等[1]也使用HMM對Cert數(shù)據(jù)集進(jìn)行內(nèi)部威脅檢測，使用最近兩周的用戶數(shù)據(jù)來訓(xùn)練新的HMM，這似乎足以模擬用戶的行為，并且能更好地適應(yīng)用戶行為隨時間的變化和漂移。

GMM（高斯混合模型，gaussian mixture model）提供了對復(fù)雜概率分布的數(shù)據(jù)集建模的能力。在基于用戶行為日志的威脅檢測中，由于用戶的行為隨時間變化，并且每個用戶都有一個典型的正常行為，因此可以使用概率分布的混合來模擬每個用戶的行為[11，12]。Happa等[13]在訓(xùn)練階段使用EM算法為每個用戶第一個月的行為洲練一個GMM以模擬該用戶的正常行為;在測試階段，利用訓(xùn)練好的GMM計(jì)算輸入觀測的似然性表示該輸入的可能性大小。如果似然性小于閾值，則將該觀測檢測為異常。

3.2.2基于圖聚類的方法

Gamachchi等[10]應(yīng)用了基于子空間和子圖聚類的屬性圖異常檢測方法進(jìn)行內(nèi)部威脅檢測。論文將Cert數(shù)據(jù)集高維異構(gòu)的日志數(shù)據(jù)處理成無向無加權(quán)的屬性圖g后，采用“edcar”和“gamer”算法對圖g進(jìn)行子空間聚類，產(chǎn)生一組子圖和子空間，再利用“GOutRank”方法的評分函數(shù)在子空間中進(jìn)行異常值計(jì)算，得分較高的用戶被視為正常用戶，因?yàn)樗麄儗?yīng)于一組屬性的密集連通子圖;而得分較低的用戶被認(rèn)為是可疑用戶，他們與大多數(shù)用戶存在偏差。Senator等[5]也對用戶關(guān)系圖使用社區(qū)發(fā)現(xiàn)、靜態(tài)社區(qū)發(fā)現(xiàn)等技術(shù)輔助內(nèi)部威脅檢測。

3.2.3基于機(jī)器學(xué)習(xí)的方法

Tuor等[9]提出了一個在線無監(jiān)督深度學(xué)習(xí)系統(tǒng)來過濾系統(tǒng)日志數(shù)據(jù)，以供分析人員審查。全連接神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)的新變體LSTM（長短期記憶網(wǎng)絡(luò)，long short-term memory）被訓(xùn)練來識別網(wǎng)絡(luò)中每個用戶的行為，并同時實(shí)時評估用戶行為是正常還是異常。

神經(jīng)網(wǎng)絡(luò)模型將給定用戶的一系列特征向量映射到用戶序列中下一個向量的概率分布，計(jì)算概率值的負(fù)對數(shù)為異常分?jǐn)?shù)，并將每日異常得分最高的k個用戶特征向量提供給人工分析師，由他們判斷異常行為是否表示內(nèi)部威脅。

Legg等[14]采用PCA（主成分分析，principal com-ponent analysis）來識別在衍生特征集合中表現(xiàn)出不規(guī)則方差的用戶。Jeong等[15]在可視化分析儀表板中引入了交互式PCA，這項(xiàng)技術(shù)允許分析員清楚地了解每個特征對PCA度量輸出的貢獻(xiàn)。Le等[1]分別采用SOM（自組織映射，self organizmg map）和DT（決策樹，decision tree）對數(shù)值型行為特征進(jìn)行學(xué)習(xí)和建模。

3.2.4其他方法

除了上述幾種方法，Senator等[5]的PRODIGAL項(xiàng)目綜合應(yīng)用了關(guān)系偽異常檢測、關(guān)系密度估計(jì)、高斯混合模型等十余種異常檢測算法進(jìn)行內(nèi)部威脅檢測，并開發(fā)了一種可視化語言來綜合使用這些檢測方法。

部分方法性能對比如表1。

由表1可以看到，基于統(tǒng)計(jì)模型的方法和基于神經(jīng)網(wǎng)絡(luò)的方法誤報率偏高，PRODIGAL[5]的性能很好，但是應(yīng)用起來很復(fù)雜，其他方法的召回率偏低，這些方法在總體性能上尚未達(dá)到理想的效果，未來可以研究如何在保證內(nèi)部威脅檢測方法召回率的同時降低誤報率。

4結(jié)束語

內(nèi)部人員威脅會對企業(yè)和組織造成重大損失，內(nèi)部威脅檢測對于維護(hù)企業(yè)信息安全是十分必要的。企業(yè)通過持續(xù)采集用戶的各種行為記錄，生成大規(guī)模異構(gòu)日志數(shù)據(jù)，從這些日志數(shù)據(jù)里可以挖掘出用戶的行為模式以及行為模式的改變，檢測到用戶異于以往的行為特征，以達(dá)到內(nèi)部威脅檢測的目的。

總體來說，目前基于用戶行為日志的內(nèi)部威脅檢測可以有以下發(fā)展方向。

（1）內(nèi)部威脅檢測方法尚存在誤報率過高的問題，整體的威脅檢測性能還有提高的空間和需求。除此以外，檢測結(jié)果一般只能給出內(nèi)部威脅用戶有異常行為的日期，不能給出判斷該用戶該天異常的原因，這不利于人工分析師審核結(jié)果。因此，研究人員可以考慮將檢測結(jié)果的可解釋性作為未來發(fā)展方向。

（2）公開可用的用戶行為日志數(shù)據(jù)集較少，涉及的內(nèi)部威脅場景種類不全面，這不利于內(nèi)部威脅檢測方法的研究。未來研究人員可以根據(jù)與時俱進(jìn)的企業(yè)用戶行為和內(nèi)部威脅場景，生成更符合現(xiàn)代企業(yè)特征的日志數(shù)據(jù)集。

（3）近年來機(jī)器學(xué)習(xí)領(lǐng)域的高速發(fā)展為研究人員探索許多未經(jīng)試驗(yàn)的機(jī)器學(xué)習(xí)算法留出了空間，如Brown等[16]將帶注意機(jī)制的神經(jīng)語言模型用于系統(tǒng)日志異常檢測，取得了很好的效果，研究人員可以嘗試將新興的機(jī)器學(xué)習(xí)技術(shù)擴(kuò)展應(yīng)用于內(nèi)部威脅檢測。

參考文獻(xiàn)（References）：

[1]Le D C， Zincir-Heywood A N. Evaluating insider threatdetection workflow using supervised and unsupervisedlearning[C]//2018 IEEE Security and Privacy Workshops（SPW）.IEEE，2018：270-275

[2]Bettadapura V， Schindler G， Plotz T， et al. Augmentingbag-of-words： Data-driven discovey of temporal andstructural information for activity recognition[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition，2013： 2619-2626

[3]Ko L L ， Divakaran D M ， Liau Y S ， et al. Insider threatdetection and its future directions[J]. InternationalJournal of Security and Networks， 2017.12（3）：168

[4]CSO， U.S. Secret Service. CERT Division of SRI-CMU，F(xiàn)orcePoint. "The 2017 U. S. State of CybercrimeSurvey，" IDG， Tech. Rep.，2017.

[5]Senator T E， Goldberg H G， Memory A， et al. Detectinginsider threats in a real corporate database ofcomputer usage activity[C]//Proceedings of the 19thACM SIGKDD international conference on Knowledgediscovery and data mining，2013： 1393-1401

[6]Glasser J， Lindauer B. Bridging the gap： A pragmaticapproach to generating insider threat data[C]//2013IEEE Security and Privacy Workshops.IEEE，2013：98-104

[7]楊光，馬建剛，于愛民等.內(nèi)部威脅檢測研究[J].信息安全學(xué)報， 2016.1（3）： 21-36

[8]Tuor A， Kaplan S， Hutchinson B， et al. Deep learning forunsupervised insider threat detection in structuredcybersecurity data streams[C]//Workshops at theThirty-First AAAI Conference on Artificial Intelligence，2017.

[9]Rashid T， Agrafiotis I. Nurse J R C. A new take ondetecting insider threats： exploring the use of hiddenmarkov models[C]//Proceedings of the 8th ACM CCSInternational workshop on managing insider securitythreats，2016：47-56

[10]Gamachchi A， Boztas S. Insider threat detection throughattributed graph clustering[C]//2017 IEEE Trustcom/BigDataSE/ICESS.IEEE，2017：112-119

[11]Legg P A， Moffat N， Nurse J R C， et al. Towards aconceptual model and reasoning structure for insiderthreat detection[J]. Journal of Wireless MobileNetworks， Ubiquitous Computing， and DependableApplications， 2013.4：20-37

[12]Legg P A， Buckley O， Goldsmith M， et al. Automatedinsider threat detection system using user and role-based profile assessment[J]. IEEE Systems Journal.2015.11（2）：503-512

[13] Happa J. Insider-threat detection using gaussian mixturemodels and sensitivity profiles[J]. Computers &Security，2018.77：838-859

[14]Legg P A. Visualizing the insider threat： challenges andtools for identifying malicious user activity[C]//2015IEEE Symposium on Visualization for Cyber Security（VizSec）. IEEE，2015：1-7

[15]Jeong D H， Ziemkiewicz C， Fisher B， et al. ipca： Aninteractive system for pca-based visual anallrtics[C]//Computer Graphics Forum. Oxford， UK： BlackwellPublishing Ltd，2009.28（3）：767-774

[16]Brown A， Tuor A， Hutchinson B. et al. Recurrent NeuralNetwork Attention Mechanisms for InterpretableSystem Log Anomaly Detection[J].2018.

收稿日期：2020-04-27

作者簡介：張有（1997-），女，山西省祁縣人，碩士研究生在讀，主要研究方向：網(wǎng)絡(luò)與信息安全。

通訊作者：王開云（1964-），男，甘肅張掖人，研究員，主要研究方向：網(wǎng)絡(luò)與信息安全。