基于R計算智能技術的桌面用戶大數(shù)據(jù)安全分析的研究*

陳立軍，張 屹，蔣慧勇

(廣州大學華軟軟件學院 軟件工程系，廣東 廣州 510990)

0 引言

由于防火墻日志、事件日志、應用程序日志、Web日志和許多其他安全日志等形式的不同安全工具生成了大量數(shù)據(jù)，安全性分析對于桌面用戶來說正變得越來越復雜，有效處理這些收集的數(shù)據(jù)需要大量的系統(tǒng)資源和功能強大的分析工具。但是，傳統(tǒng)的系統(tǒng)和工具無法處理和分析這些大型非結構化的數(shù)據(jù)。在沒有適合這些大型數(shù)據(jù)集的處理機制的情況下，有價值的數(shù)據(jù)集可能變得無用，并且構成其他重要應用程序的資源開銷。因此，桌面用戶需要易于實施且價格低廉的大數(shù)據(jù)安全分析方法，以滿足其數(shù)據(jù)處理要求。然而，由于其成本和對系統(tǒng)的要求，大多數(shù)安全分析解決方案對普通桌面用戶來說是不可承受的；加之使用復雜，許多普通用戶都是未經(jīng)培訓的IT用戶，或者不愿接受長期復雜的IT應用培訓，因此，桌面用戶需要相對簡單、經(jīng)濟且資源有效的數(shù)據(jù)分析方法。R是一個開源數(shù)據(jù)分析工具，由各種CI包組成，用于高級數(shù)據(jù)分析，但是，它需要對任何數(shù)據(jù)分析所需的統(tǒng)計數(shù)據(jù)有基本的了解，R可能不適用于數(shù)據(jù)收集或清潔功能，但可以通過一些其他支持工具用于各種分析。

本文介紹了一種直觀且廉價的安全分析方法，該方法在R for Windows桌面用戶中使用CI技術。Windows桌面的選擇是其受歡迎的結果，其中安裝的Microsoft Windows操作系統(tǒng)占據(jù)了大約70%的計算機操作系統(tǒng)市場[1]。因此，Windows桌面用戶數(shù)量很多，如果Windows桌面用戶可以找到或設計一個易于實施且價格低廉的大數(shù)據(jù)安全分析解決方案，那么他們就可以分析非常大的安全日志來提取有意義的安全信息，從而提高系統(tǒng)安全性，使其更加強大[2-3]。在這種提議的安全分析方法中，Windows批處理編程EmEditor(可以用任何強大的編輯器替換)和R的組合用于桌面用戶分析的目的。R主持了幾個與人工神經(jīng)網(wǎng)絡、進化算法、模糊系統(tǒng)和混合智能系統(tǒng)相關的CI軟件包，用于設計智能系統(tǒng)。此安全性分析方法涉及多個階段，其中使用Windows批處理腳本執(zhí)行數(shù)據(jù)收集和合并，使用EmEditor進行數(shù)據(jù)清理和編輯，最后，R用于構造數(shù)據(jù)，使用CI技術執(zhí)行分析、可視化和解釋結果。實驗模擬基于1 006 889 160 B(1.01 GB)的實際數(shù)據(jù)集，具有超過1 000萬個觀測值(從Windows防火墻日志中收集30天)。隨后，對收集的Windows防火墻日志執(zhí)行安全性分析，以演示桌面用戶如何深入了解其豐富且未觸及的數(shù)據(jù)并提取有用信息，以防止其系統(tǒng)受到當前和未來的安全威脅[2]。這種基于CI的大數(shù)據(jù)安全分析方法還可以擴展到其他類型的安全日志，例如事件日志、應用程序日志和Web日志。

本文首先解釋了數(shù)據(jù)分析工具R、Windows防火墻和模糊推理的理論背景；然后說明了所提出的安全分析方法的設計和實施過程，包括其各個階段：收集和合并日志、清理和編輯日志、將文本日志轉換為R表結構、使用CI技術分析R數(shù)據(jù)集以及可視化和解釋結果；接著解釋了這種方法對桌面用戶的大數(shù)據(jù)可擴展性；最后提出了未來的延伸領域。

1 理論背景

1.1 R

R是一種開源統(tǒng)計計算和數(shù)據(jù)可視化軟件工具，適用于所有主要操作系統(tǒng)，如UNIX、Windows和MacOS平臺。R包括數(shù)據(jù)處理設施，用于矩陣計算的優(yōu)越機制、過多的數(shù)據(jù)分析和圖形包以及簡單的編程語言[4]。R最強大的特征是對外部包的支持。目前，R已經(jīng)通過CRAN系列的互聯(lián)網(wǎng)網(wǎng)站整合了大約5 000個包[5]。R還擁有多個與人工神經(jīng)網(wǎng)絡、演化算法、模糊系統(tǒng)和混合智能系統(tǒng)相關的CI軟件包，用于設計智能系統(tǒng)。因此，將R與一些數(shù)據(jù)收集和清理工具相結合可以為桌面用戶提供潛在的數(shù)據(jù)分析解決方案。R被許多官方統(tǒng)計機構用作常規(guī)統(tǒng)計生產(chǎn)的計算工具。除官方統(tǒng)計外，它還被用于金融、零售、制造、科學和學術研究等許多領域，這使其成為統(tǒng)計學家和研究人員的熱門工具[4]。

1.2 Windows防火墻

自Windows XP SP2發(fā)布以來，Microsoft在Windows操作系統(tǒng)中嵌入了防火墻實用程序，現(xiàn)在可用于所有版本的Windows，具有“高級安全性”功能的Windows防火墻是一種狀態(tài)防火墻，可檢查和過濾IPv4和IPv6流量的所有數(shù)據(jù)包，數(shù)據(jù)包過濾過程基于用戶或管理員定義的規(guī)則，并在此基礎上允許或阻止網(wǎng)絡流量。防火墻會自動阻止所有傳入流量，除非它是對主機請求的響應，或者通過編寫防火墻規(guī)則特別允許。Windows防火墻還可以為特定端口號、應用程序名稱、服務名稱或其他基于標準的流量配置“高級安全性”，然后可以明確允許這種流量[6]。這些功能專為需要在企業(yè)環(huán)境中管理網(wǎng)絡安全性的高級用戶而設計，它通常不適用于家庭網(wǎng)絡。

1.3 模糊推理

模糊推理是從現(xiàn)有模糊規(guī)則庫中導出邏輯結論的過程[7]，它模仿人類思維總結數(shù)據(jù)的能力，并專注于決策相關信息[8]。模糊推理對于那些由于不確定性、不可預測的動力學和其他未知現(xiàn)象，無法用精確的數(shù)學術語或模型來定義系統(tǒng)的有效和有用[9]。在網(wǎng)絡安全中，大部分信息和流量數(shù)據(jù)本質(zhì)上是不完整和不精確的，因此，模糊推理比其他類型的推理方法更為合適[10-13]。模糊推理基于模糊規(guī)則庫，可以由主題專家推導出來，也可以通過規(guī)則歸納過程從數(shù)據(jù)中提取出來。如果模糊規(guī)則庫是一個密集的規(guī)則庫，則可以使用任何規(guī)則推斷方法，如Mamdani推理[14]或Takagi-Sugeno推理[15]。

2 利用R中的計算智能技術對WINDOWS防火墻進行安全性分析

由于系統(tǒng)資源和IT技能的限制，桌面用戶的安全性分析是一項具有挑戰(zhàn)性的任務。因此，本節(jié)介紹了為桌面用戶提供的基于CI的大數(shù)據(jù)安全分析方法的設計和實現(xiàn)，以便在其限制內(nèi)執(zhí)行安全性分析。此安全性分析僅關注Windows桌面用戶，該實驗在Windows 7操作系統(tǒng)和桌面上進行配置(處理器為Intel Core i7 3.0 GHz(4核)，RAM為16 GB，L2 Cache為8 MB，以太網(wǎng)為100 Mb/s)，此安全性分析需要兩個軟件工具：EmEditor和R(使用RStudio IDE)。與其他安全分析不同，任何具有統(tǒng)計學基礎知識和基本IT技能的用戶都可以在沒有任何技術培訓的情況下進行安全分析，這種面向桌面的安全分析方法有幾個階段，如圖1所示。各個階段的描述如下。

2.1 使用Windows批處理腳本收集和合并Windows防火墻日志

默認情況下，Windows防火墻日志記錄在“pfire-wall.log”中，“pfirewall.log”文件的最大大小為4 096 KB，超過此限制后，會將日志保存在名為“pfirewall.log.old”的備份文件中，該文件為4 096 KB。兩個日志文件都不會超出此大小，并且當“pfirewall.log”文件再次超過最大限制時，將刪除舊的日志條目，以便為新創(chuàng)建的日志條目騰出空間。在Windows防火墻日志的安全性分析中，需要一個合理的日志文件來執(zhí)行大量分析，并且通過編寫Windows批處理腳本以最簡單的方式創(chuàng)建，如圖2所示，此批處理腳本在后臺工作完成實驗的一段時間，最初，“mergedLog”文件是使用包含“pfirewall.log”文件的所有17個默認變量的標題。最后，在逐漸日志記錄過程中獲得了具有超過1 000萬個觀測值的1 006 889 160 B(1.01GB)的“mergedLog”文件。

圖1 用于分析Windows防火墻日志的

圖2 用于創(chuàng)建Windows防火墻日志的mergedLog文件的Windows批處理腳本

把“mergedLog”文件內(nèi)容復制到EmEditor(有些用戶關閉了防火墻的功能，導致找不到mergedLog文件)，但是，仍需要手動檢查“mergedLog”文件以用于各種目的，并根據(jù)R的要求進行對齊，如果“mergedLog”文件不適合R格式，則R可能會生成錯誤消息，并且無法導入數(shù)據(jù)，因此，“mergedLog”文件中的主要清理和編輯任務是檢查兩個字段之間的空格，并根據(jù)需要對齊。

圖3 在EmEditor中清理和編輯mergedLog文本文件

2.2 使用EmEditor清理和編輯“mergedLog”文本文件

通常，收集的數(shù)據(jù)可能不正確、不完整、格式不正確或重復，需要清理和編輯才能去除這些雜質(zhì)[16-17]。雖然日志文件是一個簡單文本文件，但Notepad ++和其他桌面編輯器無法處理樣品非常大的文本文件，而EmEditor可以輕松處理高達248 GB的文件大小[18]。對于此分析，使用EmEditor清理和編輯“mergedLog”文件(大于1 GB)，如圖3所示，“mergedLog”文件的創(chuàng)建方式與“pfirewall.log.old”的前五行相同。

2.3 將“mergedLog”文本文件轉換為R表結構

R支持基于R數(shù)據(jù)幀的表格式數(shù)據(jù)結構，因此，數(shù)據(jù)幀是R中的基本數(shù)據(jù)結構，read.table()以表格格式讀取文件并從中創(chuàng)建數(shù)據(jù)幀，該函數(shù)的語法如公式1所示：

數(shù)據(jù)框名稱=read.table(文件名，標題= F / T，sep =“”)

(1)

其中“標題”是一個邏輯值，表示文件是否包含變量名并作為第一行，“sep”是字段分隔符，在該實現(xiàn)中，使用read.table()函數(shù)將合并的日志文件“mergedLog”轉換為表格類型的數(shù)據(jù)結構，如圖4所示。

圖4 在R中創(chuàng)建“mergedLogDataSet”

如果合并日志文件的結構，標題和內(nèi)容準確，則在R中創(chuàng)建一個名為“mergedLogDataSet”的數(shù)據(jù)集，如圖5所示。該數(shù)據(jù)集顯示在RStudio IDE的“環(huán)境和歷史窗格”中，并包含10 866 240個觀測值和17個類似于防火墻標題變量的變量，“mergedLogDataSet”(參見圖6)的實際表結構可以在“腳本編輯器菜單”中看到。

通過“str”命令可以看到該“mergedLogDataSet”的結構相關信息，如圖7所示。

這個“mergedLogDataSet”是直接從Windows防火墻合并日志文本文件創(chuàng)建的，因此，所有17個變量的數(shù)據(jù)類型都是“因子”，這種數(shù)據(jù)類型信息對于大多數(shù)統(tǒng)計分析來說非常重要，因為“因子”是R中的分類數(shù)據(jù)，對于許多計算模型，它需要轉換為數(shù)值數(shù)據(jù)。

2.4 使用CI技術對mergedLogDataSet進行安全性分析

根據(jù)需求，不同用戶的安全性分析的主要目的可能不同，此特定分析側重于總結“mergedLogDataSet”以提取重要信息，使用零假設和二項分析確定桌面的安全狀態(tài)，根據(jù)目標協(xié)議和IP地址調(diào)查細節(jié)異常，設計智能系統(tǒng)來預測攻擊風險。

(1)用于安全性分析的Windows防火墻規(guī)則：基于規(guī)則的流量數(shù)據(jù)被收集在“pfirewall.log”文件中，創(chuàng)建了兩個入站規(guī)則來阻止特定流量的兩臺特定計算機，如圖8所示。創(chuàng)建第一條規(guī)則是為了阻止計算機，IP地址為192.168.0.50，僅用于ICMP數(shù)

圖5 使用觀察數(shù)和變量數(shù)創(chuàng)建“mergedLogDataSet”

據(jù)包；第二條規(guī)則用于計算機的IP地址 192.168.0.51，僅用于TCP數(shù)據(jù)包。因此，在日志生成期間可以記錄足夠的丟棄活動。同樣，為了停止主機端的某些活動(192.168.0.154)，還創(chuàng)建了一個出站規(guī)則來阻止傳出的ICMP數(shù)據(jù)包到其他計算機，如圖9所示。這些阻塞規(guī)則在防火墻中產(chǎn)生了足夠的“丟棄”流量。

(2)Windows防火墻日志的初步統(tǒng)計分析：R中最簡單的數(shù)據(jù)分析命令是“摘要”命令，它提供有關給定數(shù)據(jù)集的合理統(tǒng)計信息，但是，它可能不足以進行詳細調(diào)查或預測未來趨勢。因此，根據(jù)研究的性質(zhì)，可能需要一些高級分析包，如圖10所示，summary命令顯示了很少有關“mergedLog”文件的統(tǒng)計信息，這對于進一步調(diào)查非常有用，此摘要包括與日期、時間、操作、協(xié)議、源地址、目標地址、源端口和目標端口相關的信息，這些信息非常清晰且易于理解。

圖6 R中“mergedLogDataSet”的表結構

圖7 創(chuàng)建了包含觀察和變量數(shù)量的“mergedLogDataSet”

圖8 IP地址分別為192.168.0.50和192.168.0.51的傳入ICMP和TCP丟棄規(guī)則

圖9 主機IP地址192.168.0.154的傳出ICMP丟棄規(guī)則

圖10 “mergedLogDataSet”的摘要分析

(3)零假設和二項精確分析：所提出的摘要分析只是表面數(shù)據(jù)，防火墻日志變得非常巨大，普通用戶很難從該防火墻日志中提取有意義的安全信息。用戶的第一步是確定收集的流量數(shù)據(jù)是否接近正常/理想流量水平，因此，需要不同的統(tǒng)計分析來評估桌面的當前安全狀態(tài)，R中的零假設是最簡單的分析，用于比較數(shù)據(jù)的統(tǒng)計顯著性，而不會使分析與進一步的細節(jié)復雜化，任何防火墻的核心操作都是根據(jù)規(guī)則允許或丟棄數(shù)據(jù)包，為此，“table()”函數(shù)顯示每個因子級別組合的計數(shù)表，在圖11中，table()函數(shù)顯示并簡化了針對所有10 866 240數(shù)據(jù)包的防火墻操作，其中7 952 160數(shù)據(jù)包是“允許的”，2 913 840數(shù)據(jù)包是“丟棄”的。因此，基于允許的分組數(shù)(成功)，構造零假設以確定收集的業(yè)務狀態(tài)/級別。

圖11 允許、丟棄和丟失數(shù)據(jù)包的摘要

在零假設中，當所有數(shù)據(jù)包(10 866 240)可以允許檢查兩個樣本之間的統(tǒng)計相似性時，將允許數(shù)據(jù)包的數(shù)量(7 952 160)與理想流量狀況進行比較，以便可以使用其理想評估桌面安全級別交通狀況，當顯著性水平= 0.05且置信水平= 95%時，prop.test()函數(shù)給出的p值為2.2×10-16(即，R中的p值<.Machine MYM double.eps)，如圖12中所示，該值實際上接近于零并且遠小于顯著性水平的值(0.05)，另外，值0不在置信區(qū)間(0.2 684 409和0.2 679 139)內(nèi)，因此，相關性具有統(tǒng)計學意義，并且零假設被高度拒絕。該結果表明桌面當前的流量狀況不正常，因此需要對攻擊/威脅的類型進行進一步的詳細調(diào)查。

圖12 基于允許的流量確定桌面安全狀態(tài)的空假設分析

零假設檢驗的結果也通過R中的二項精確檢驗精確地驗證，在圖12中，成功的概率是0.7 318 226，因此，使用binom.test()函數(shù)計算二項精確值，如圖13所示，但是，p值與prop.test()函數(shù)計算的先前p值相同，兩個測試均拒絕零假設，顯著性水平= 0.05，置信水平= 95%，因此，需要進行進一步的詳細分析，以獲得對桌面的風險和攻擊的性質(zhì)。

(4)ICMP / TCP / UDP數(shù)據(jù)包和IP地址分析：零假設和二項分析導致進一步調(diào)查防火墻日志以確定安全漏洞的原因，在圖10所示的摘要分析結果中，可以容易地觀察到協(xié)議和IP地址相關信息，并且可以用于分析原因，圖14顯示了總ICMP、TCP和UDP的匯總表。

圖13 二項精確分析，根據(jù)允許的流量確定桌面安全狀態(tài)

圖14 總ICMP，TCP和UDP數(shù)據(jù)包的摘要

在Windows防火墻中，可用的協(xié)議選項是TCP、UDP和平CMP，因此，“2”是協(xié)議號，“ - ”用于丟失的分組(參見圖11中的信息-事件-丟失)。

圖15和16顯示了兩個協(xié)議ICMP和TCP以及兩個IP地址為192.168.0.50和192.168.0.51的計算機系統(tǒng)的詳細分析，IP地址為192.168.0.50的系統(tǒng)在實驗期間僅在最長時間內(nèi)阻止ICMP數(shù)據(jù)包，但在整個持續(xù)時間內(nèi)均未阻止，因此，圖15指出了幾乎所有ICMP分組(350 640)作為丟棄的分組，其中源IP地址是192.168.0.50，為主機(192.168.0.154)編寫了另一條規(guī)則來停止任何傳出的ICMP數(shù)據(jù)包，因此，所有532 800數(shù)據(jù)包都被丟棄，試圖發(fā)送到目標IP地址192.168.0.50，但是，允許其他TCP和UDP數(shù)據(jù)包通過防火墻，IP地址為192.168.0.51的系統(tǒng)被阻止。

圖15 IP地址192.168.0.50的協(xié)議摘要

圖16 IP地址192.168.0.51的協(xié)議摘要

圖16示出幾乎所有TCP分組(1 507 680)作為丟棄分組，其中源IP地址是192.168.0.51，先前為主機(192.168.0.154)編寫的規(guī)則，以阻止任何傳出的ICMP數(shù)據(jù)包在此處強制執(zhí)行，因此，所有522 720數(shù)據(jù)包都被丟棄，試圖發(fā)送到目標IP地址192.168.0.51，但是，允許其他TCP和UDP數(shù)據(jù)包通過防火墻。

(5)設計用于預測攻擊風險的模糊推理系統(tǒng)：分析通常需要建模和開發(fā)智能系統(tǒng)以用于未來的事件響應和預防目的[19]。R包含幾個與人工神經(jīng)網(wǎng)絡、進化算法、模糊系統(tǒng)和混合智能系統(tǒng)相關的CI軟件包，用于設計智能系統(tǒng)。在R中使用這些CI技術相對容易，使用集合包(參見圖17)設計模糊推理系統(tǒng)，以基于先前的分析來預測攻擊的風險，如圖18、圖19、圖20所示。

圖17 用于在R中設計模糊推理系統(tǒng)的集合包的安裝

圖18 在R中定義語言模糊變量

圖19 在R中設計模糊規(guī)則庫

圖20 R中的結果模糊推理系統(tǒng)

對“mergedLog”文件及其數(shù)據(jù)集的詳細分析表明，除了防火墻規(guī)則之外，ICMP和TCP數(shù)據(jù)包的速率可以幫助系統(tǒng)預測未來的攻擊風險，隨后，對于該主機的基線，確定ICMP分組的范圍(0～2 000分組/秒)和TCP分組(0～8 000分組/秒)以確定正常和異常的業(yè)務狀況，基線信息用于設計兩個模糊輸入變量icmprate和tcprate，其進一步的細節(jié)可以在文獻[10-13]中找到，基于這兩個模糊輸入變量，確定模糊輸出變量攻擊風險，以百分比(0～100%)預測攻擊風險。

預測攻擊的風險：此系統(tǒng)可與防火墻規(guī)則一起使用，以預測Windows防火墻中無法實現(xiàn)的攻擊的可能性和級別，其進一步的細節(jié)可以在文獻[10-13]中找到。

R中模糊智能系統(tǒng)的這種簡單易行的設計可以監(jiān)控和預測攻擊風險，這只是R強度及其對CI技術支持的一個例子。

進化算法和混合智能系統(tǒng)也可以以相同的方式用于設計各種智能系統(tǒng)，另外，可以根據(jù)特定主機/網(wǎng)絡的要求來調(diào)整和操縱基線分析和參數(shù)范圍。

2.5 使用R中的圖表對安全性分析結果進行可視化解釋

R是一個強大的數(shù)據(jù)可視化工具，由于許多外部軟件包，如ggplot2、vcd或hexbin，用于增強信息的圖形顯示[20]。使用簡單的內(nèi)置圖形函數(shù)“plot”呈現(xiàn)了一些主要發(fā)現(xiàn)，然而，高級包“ggplot2”也可用于更具信息性和吸引力的表示。圖21表示繪圖命令，圖22描述了其關于所有允許、丟棄和丟失分組的結果信息，其顯示桌面允許73%的分組與丟棄的27%的分組相比。圖23表示繪制源IP地址及其相應動作的繪圖命令。圖24顯示了從特定源IP地址允許或丟棄了多少分組的繪圖命令的結果圖。紅色和綠色分別顯示該源IP地址的允許和丟棄數(shù)據(jù)包。

圖21 繪制允許和丟棄數(shù)據(jù)包的繪圖命令

圖22 允許和丟棄數(shù)據(jù)包的圖示

圖23 用于繪制源IP地址和相應操作的繪圖命令

類似地，圖25表示繪制目的地IP地址及其相應動作的繪圖命令，圖26指出了針對特定目的地IP地址允許或丟棄了多少分組的繪圖命令的結果圖，紅色顯示允許的數(shù)據(jù)包，青色顯示該目標IP地址的丟棄數(shù)據(jù)包，在所有安全性分析中，分析的性質(zhì)及其解釋由用戶/分析師確定。

3 桌面用戶的大數(shù)據(jù)可擴展性

桌面用戶的任何大數(shù)據(jù)分析方法都應該能夠應對不斷增加的數(shù)據(jù)量及其有效處理，今天的臺式機包括多核處理器和增加的內(nèi)存，因此，大數(shù)據(jù)分析方法應優(yōu)化處理器和內(nèi)存資源的使用。R被用于提出的方法，但需要額外軟件包的支持才能優(yōu)化使用處理器和內(nèi)存[21-22]。

R被設計為一次只使用一個線程(處理器)，除非與多核/多線程庫相關聯(lián)，否則R的運行方式相同[21]。為了利用多核，R需要支持與高性能和并行計算(HPPC)相關的附加軟件包[23]。在R中有幾個可用于并行處理的包，例如并行、多核、Rmpi、pbdMPI、Rborist、h2o、randomForestSRC、Rdsm和Rhpc。包“并行”基于包“mul- ticore”和“snow”構建，并提供了這些包的大部分功能的替代[24]。程序包“并行”處理并行運行更大的計算塊,典型的例子是在許多不同的數(shù)據(jù)集上評估相同的R函數(shù),對于Windows桌面用戶，Microsoft R Open包含多線程數(shù)學庫以提高R的性能，并且適用于所有操作系統(tǒng)(Windows / UNIX / Mac)[25]。這些庫使得幾種常見的R操作(例如矩陣乘法/逆矩陣、矩陣分解和一些更高級別的矩陣操作)可以并行計算并使用所有可用的處理能力來減少計算時間[26]。

圖24 源IP地址和相應操作的圖示

圖25 用于繪制目標IP地址和相應操作的繪圖命令

圖26 目標IP地址和相應操作的圖示

大型數(shù)據(jù)集也需要大量內(nèi)存，如果文件大小與系統(tǒng)的現(xiàn)有存儲器相比非常大，則可以使用“ff”包來執(zhí)行有效和快速的數(shù)據(jù)處理，“ff”包提供了存儲在磁盤上的數(shù)據(jù)結構，但它們就像在RAM中一樣，只透明地映射主內(nèi)存中的一個部分(頁面)[27]。處理不斷增加的數(shù)據(jù)量的另一個解決方案是“大”軟件包系列，它由幾個軟件包組成，用于在大型數(shù)據(jù)集上執(zhí)行任務，如bigmemory[28]、biganalytics、bigtabulate、synchronicity和bigalgebra[22]。

4 結論

本文介紹了一種直觀且廉價的大數(shù)據(jù)安全分析方法，該方法使用針對Windows桌面用戶的計算智能(CI)技術，基于Windows批處理腳本EmEditor和R的組合。這種安全分析方法是在1 006 889 160 B(1.01 GB) 的真實數(shù)據(jù)集上進行的，超過1 000萬次觀察，這些觀察在Windows防火墻日志文件“pfirewall.log”中收集并在30天內(nèi)整合到“mergedLog”文件中。這種面向桌面的安全分析可以成功地推斷出桌面的安全狀態(tài)，以及安全漏洞的來源和原因。在分析結果的基礎上，設計了一個模糊推理系統(tǒng)來預測攻擊風險并保護桌面。這種安全分析方法及其在適度桌面配置上的成功實施，顯示了所提出方法的潛力。但是，這種特殊的實現(xiàn)僅限于基于某些防火墻規(guī)則、少數(shù)協(xié)議和IP地址的模擬數(shù)據(jù)。擴展規(guī)則和領域并收集外部流量以使這種方法成為一種通用的安全分析方法，是今后努力的方向。