基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法

張曉慧，張千福，張才俊，林鴻，余錦河

（1.國(guó)家電網(wǎng)有限公司客戶服務(wù)中心，天津 300300；2.北京中電普華信息技術(shù)有限公司，北京 100085）

系統(tǒng)運(yùn)行日志既是一個(gè)存儲(chǔ)盤，也是一個(gè)監(jiān)測(cè)器件，因?yàn)橄到y(tǒng)運(yùn)行日志一方面可以記錄系統(tǒng)硬件區(qū)域和軟件區(qū)域的重要數(shù)據(jù)信息，另一方面系統(tǒng)運(yùn)行日志可以根據(jù)用戶的執(zhí)行命令，查詢到一定時(shí)間內(nèi)系統(tǒng)中的網(wǎng)絡(luò)攻擊信息和痕跡信息，受到廣泛的應(yīng)用。根據(jù)系統(tǒng)日志的類型將系統(tǒng)運(yùn)行日志主要分為三個(gè)方面，分別為系統(tǒng)日志、應(yīng)用程序日志以及安全日志，系統(tǒng)運(yùn)行日志分布式查詢方法主要針對(duì)這三種不同類型的系統(tǒng)運(yùn)行日志進(jìn)行功能分類設(shè)計(jì)[1-2]。

為了提高系統(tǒng)運(yùn)行日志的查詢效率，該文以隨機(jī)游走模型為基礎(chǔ)，設(shè)計(jì)一個(gè)全新的系統(tǒng)運(yùn)行日志分布式查詢方法。該文根據(jù)需求，分析出系統(tǒng)運(yùn)行日志組件的功能，然后分析系統(tǒng)運(yùn)行日志的數(shù)據(jù)節(jié)點(diǎn)流量，根據(jù)隨機(jī)游走模型理論基礎(chǔ)，總結(jié)出系統(tǒng)運(yùn)行日志分布式查詢方法的工作流程。最后通過(guò)對(duì)比實(shí)驗(yàn)驗(yàn)證了基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法具有意義。

1 隨機(jī)游走模型分析

隨機(jī)游走模型的查詢?cè)硎菍?duì)需要查詢的數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行特征相似性游走路線加權(quán)處理，該路徑涵蓋數(shù)據(jù)庫(kù)內(nèi)的所有信息，然后將具有待查詢特征的數(shù)據(jù)與路徑上的所有數(shù)據(jù)進(jìn)行聚類處理，最終查詢出待檢測(cè)數(shù)據(jù)集合。為了使待查詢數(shù)據(jù)重構(gòu)路徑內(nèi)的數(shù)據(jù)具有唯一性，成功編入隨機(jī)游走路徑后，該文將對(duì)每一個(gè)數(shù)據(jù)向量分配一個(gè)m維向量。

特征數(shù)據(jù)向量與數(shù)據(jù)路徑內(nèi)的其他數(shù)據(jù)相似度的計(jì)算公式如下所示：

其中，x、y分別表示不同的向量數(shù)據(jù)量[3-5]。

計(jì)算數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)之間的關(guān)聯(lián)度后，將數(shù)據(jù)向量之間關(guān)聯(lián)度的數(shù)值帶入關(guān)聯(lián)矩陣中，計(jì)算出數(shù)據(jù)待查的特征向量，計(jì)算矩陣如下所示：

其中，dj表示聯(lián)合梯度算子；wij表示對(duì)角線映射的加權(quán)值。

如果關(guān)聯(lián)矩陣之間不存在差值，則Aij=0 表示數(shù)據(jù)庫(kù)內(nèi)的所有數(shù)據(jù)信息相同，立即輸出向量作為特征向量即可。

完成數(shù)據(jù)特征輸出后，根據(jù)調(diào)和函數(shù)和特征向量的標(biāo)記點(diǎn)，計(jì)算出非特征數(shù)據(jù)向量與特征向量之間的直接連接概率。計(jì)算完成后，概率值最大的就可以相互連接，構(gòu)成一個(gè)新的數(shù)據(jù)游走路徑，多次重復(fù)此計(jì)算，就可以得出數(shù)據(jù)特征的游走路徑[6-7]。計(jì)算公式如下所示：

積極開展水土保持知識(shí)進(jìn)校園活動(dòng)，針對(duì)中小學(xué)生開展了新一輪水土保持知識(shí)教育活動(dòng)。在西寧市教委的支持下，2013年4月19日西寧市黃河路小學(xué)組織200余名師生在長(zhǎng)嶺水土保持科技示范園區(qū)開展了“攜手保護(hù)生態(tài)，共建綠色家園”的主題活動(dòng)。5月31日西寧市南川西路小學(xué)近1400名少年兒童到西寧長(zhǎng)嶺水土保持科技示范園開展水土保持科普教育戶外實(shí)踐活動(dòng)。同時(shí)編印了中小學(xué)《水土保持科普教育知識(shí)讀本》，在西寧市、海東市、黃南州等地中小學(xué)發(fā)放5000余冊(cè)。面向生產(chǎn)建設(shè)單位、水土保持重點(diǎn)地區(qū)印發(fā)了《水土保持科普讀本》1000余冊(cè)。同時(shí)制作了《青海小流域綜合治理紀(jì)實(shí)》《生態(tài)公園、綠色長(zhǎng)嶺》等兩部專題宣傳片。

其中，L表示拉普拉斯變換參數(shù)；XI、XJ均表示連接路徑[8]。建立的隨機(jī)游走模型如圖1 所示。

圖1 隨機(jī)游走模型

2 基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢分析

正常的系統(tǒng)運(yùn)行日志組件由P2P 網(wǎng)絡(luò)插件、搜索引擎插件、日志文件交換插件、日志數(shù)據(jù)定位插件以及通信插件共同組成，以維持系統(tǒng)日志的運(yùn)行[9-10]。

P2P 網(wǎng)絡(luò)插件主要依靠C/S 網(wǎng)絡(luò)結(jié)構(gòu)運(yùn)行，處于系統(tǒng)的服務(wù)器和客戶端之間，主要的工作任務(wù)是維護(hù)系統(tǒng)硬件之間網(wǎng)絡(luò)數(shù)據(jù)正常的傳輸。P2P 網(wǎng)絡(luò)插件的優(yōu)勢(shì)在于系統(tǒng)運(yùn)行日志的加載量越多，那么網(wǎng)絡(luò)會(huì)對(duì)所有運(yùn)行的日志進(jìn)行限制，并且減少排隊(duì)的進(jìn)程，減輕系統(tǒng)的負(fù)載量。插件為系統(tǒng)的查詢提供了有力的計(jì)算協(xié)助和較大的存儲(chǔ)能力，保證系統(tǒng)日志的正常運(yùn)行。搜索引擎插件是系統(tǒng)運(yùn)行日志組件的重要組成部件，插件的作用一方面是滿足系統(tǒng)日志內(nèi)部的查詢需求，另一方面是與系統(tǒng)運(yùn)行日志分布式查詢方法的插件進(jìn)行感應(yīng)連接，以提高分布式查詢的速度和準(zhǔn)確率[11-12]。

搜索引擎插件的特點(diǎn)是只需要提供P2P 網(wǎng)絡(luò)即可驅(qū)動(dòng)搜索引擎插件，不需要通過(guò)傳感器進(jìn)行設(shè)置，不受系統(tǒng)日志格式的約束。日志文件交換插件的工作任務(wù)是將系統(tǒng)內(nèi)部的有效日志在不擾亂系統(tǒng)正常運(yùn)行的基礎(chǔ)上進(jìn)行合理的對(duì)換處理。通信插件作為系統(tǒng)運(yùn)行日志組件之一，其作用是利用P2P 網(wǎng)絡(luò)技術(shù)記錄系統(tǒng)日志與外界日志之間的通信記錄，在必要時(shí)可以通過(guò)語(yǔ)句命令，查詢到日志通信的數(shù)據(jù)信息以及系統(tǒng)運(yùn)行日志的交換地址等信息。以上各個(gè)功能的插件共同維護(hù)一個(gè)系統(tǒng)日志運(yùn)行的正常工作[13]。

隨著設(shè)備運(yùn)行的變化，日志的內(nèi)容通過(guò)網(wǎng)絡(luò)節(jié)點(diǎn)的傳遞，也會(huì)發(fā)生變化。為了保證系統(tǒng)運(yùn)行日志分布式查詢過(guò)程中查詢數(shù)據(jù)庫(kù)信息的時(shí)效性，需要通過(guò)對(duì)日志數(shù)據(jù)節(jié)點(diǎn)流量的分析來(lái)完成。因?yàn)榛ヂ?lián)網(wǎng)的連通性，每臺(tái)設(shè)備處于開機(jī)狀態(tài)一分鐘主動(dòng)運(yùn)行和被動(dòng)運(yùn)行的次數(shù)就會(huì)達(dá)到幾十次，導(dǎo)致計(jì)算互聯(lián)網(wǎng)的點(diǎn)擊記錄量的工作十分復(fù)雜，所以該方法不是查詢方法中最佳的途徑[14-15]。系統(tǒng)實(shí)時(shí)運(yùn)行日志的網(wǎng)絡(luò)點(diǎn)擊路徑是最短的，該文對(duì)系統(tǒng)運(yùn)行日志實(shí)時(shí)狀態(tài)的確定通過(guò)分析日志節(jié)點(diǎn)流量的路徑長(zhǎng)度實(shí)現(xiàn)。一個(gè)系統(tǒng)運(yùn)行日志網(wǎng)絡(luò)中存在多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)，日志跳轉(zhuǎn)概率如下所示：

其中，fi表示日志數(shù)據(jù)節(jié)點(diǎn)之間每個(gè)流量跳轉(zhuǎn)的概率；fk表示日志數(shù)據(jù)在節(jié)點(diǎn)之間多次跳轉(zhuǎn)的概率。點(diǎn)擊流示意圖如圖2 所示。

圖2 點(diǎn)擊流示意圖

在完成系統(tǒng)內(nèi)運(yùn)行日志的節(jié)點(diǎn)跳轉(zhuǎn)結(jié)算后，形成許多不同長(zhǎng)度的日志節(jié)點(diǎn)段，然后衡量每段節(jié)點(diǎn)相對(duì)于日志特征節(jié)點(diǎn)的影響度，在一定范圍內(nèi)影響度最大的節(jié)點(diǎn)映射運(yùn)行IP 地址就是系統(tǒng)實(shí)時(shí)運(yùn)行的日志地址[16]。節(jié)點(diǎn)之間的影響度計(jì)算公式如下所示：

流量推測(cè)公式如下所示：

其中，K表示系統(tǒng)運(yùn)行日志的相對(duì)流量系數(shù)。

經(jīng)過(guò)以上對(duì)系統(tǒng)運(yùn)行日志組件、隨機(jī)游走模型以及系統(tǒng)運(yùn)行日志節(jié)點(diǎn)流量的分析，初步完成了基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法研究。該文為了使查詢方法的應(yīng)用效果更佳，總結(jié)出系統(tǒng)運(yùn)行日志分布式查詢方法流程，具體流程如圖3所示。

圖3 系統(tǒng)運(yùn)行日志分布式查詢方法流程

首先，查詢方法需要采集查詢?nèi)罩舅鶎俚南到y(tǒng)信息，為接下來(lái)分布式查詢奠定數(shù)據(jù)基礎(chǔ)；

其次，查詢方法驅(qū)動(dòng)系統(tǒng)運(yùn)行日志的各個(gè)相關(guān)組件，通過(guò)隨機(jī)游走模型鎖定系統(tǒng)運(yùn)行日志的基本信息，根據(jù)模型計(jì)算出系統(tǒng)運(yùn)行日志的關(guān)鍵路徑；

最后，通過(guò)對(duì)系統(tǒng)運(yùn)行日志信息的節(jié)點(diǎn)流量分析，驗(yàn)證數(shù)據(jù)是否具有時(shí)效性，如果信息是最新更新的日志信息，就保留信息，如果不是，則存儲(chǔ)更新后的日志信息。隨機(jī)游走模型將系統(tǒng)運(yùn)行日志內(nèi)部需要查詢的數(shù)據(jù)信息按照規(guī)定的查詢順序匯總為文件的形式輸出，完成系統(tǒng)運(yùn)行日志的分布式查詢。

3 實(shí)驗(yàn)研究

通過(guò)以上論述完成了基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法的研究，為了檢驗(yàn)該方法是否具有效果，是否達(dá)到查詢規(guī)范，該文進(jìn)行對(duì)比實(shí)驗(yàn)完成驗(yàn)證。對(duì)比實(shí)驗(yàn)方法采用基于人工智能分類的系統(tǒng)運(yùn)行日志分布式查詢方法和基于數(shù)據(jù)流查詢的系統(tǒng)運(yùn)行分布式查詢方法，另外為了保證對(duì)比實(shí)驗(yàn)結(jié)論的精度，在實(shí)驗(yàn)過(guò)程中，同時(shí)采用專業(yè)的軟件對(duì)系統(tǒng)運(yùn)行日志進(jìn)行查詢，將不同方法的查詢結(jié)果與標(biāo)準(zhǔn)結(jié)果進(jìn)行對(duì)照。

為了保證實(shí)驗(yàn)的公平性，對(duì)比實(shí)驗(yàn)的測(cè)試樣本是一個(gè)具有工作痕跡的計(jì)算機(jī)，三種查詢方法分別連入計(jì)算機(jī)設(shè)備內(nèi)，完成測(cè)試。在實(shí)驗(yàn)過(guò)程中，待測(cè)的計(jì)算機(jī)設(shè)備還會(huì)連入一個(gè)數(shù)據(jù)監(jiān)測(cè)儀，方便實(shí)驗(yàn)結(jié)束后對(duì)測(cè)試數(shù)據(jù)進(jìn)行復(fù)盤，避免實(shí)驗(yàn)數(shù)據(jù)出現(xiàn)誤差。將三個(gè)系統(tǒng)的運(yùn)行觸發(fā)時(shí)間作為實(shí)驗(yàn)的開始時(shí)間，在運(yùn)行日志數(shù)據(jù)采集過(guò)程中，工作人員需要實(shí)時(shí)觀察數(shù)據(jù)監(jiān)測(cè)儀，一旦出現(xiàn)危險(xiǎn)情況，立即關(guān)閉電源，停止實(shí)驗(yàn)，保證安全。當(dāng)三個(gè)查詢方法全部提交了系統(tǒng)運(yùn)行日志的查詢信息報(bào)告，則立即結(jié)束實(shí)驗(yàn)，整理實(shí)驗(yàn)器材，分析實(shí)驗(yàn)數(shù)據(jù)，得出實(shí)驗(yàn)結(jié)論。

得到的采集數(shù)據(jù)匹配度實(shí)驗(yàn)結(jié)果如表1 所示。

表1 采集數(shù)據(jù)匹配度實(shí)驗(yàn)結(jié)果

查詢精度實(shí)驗(yàn)結(jié)果如圖4 所示。

圖4 查詢精度實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)操作結(jié)束后得出基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法查詢出的數(shù)據(jù)結(jié)果與專業(yè)軟件查詢出的數(shù)據(jù)結(jié)果匹配度達(dá)到了98.54%的結(jié)論，且查詢精度最高。三種查詢方法所耗用的時(shí)間由短到長(zhǎng)分別是基于人工智能分類的系統(tǒng)運(yùn)行日志分布式查詢方法、基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法、基于數(shù)據(jù)流查詢的系統(tǒng)運(yùn)行分布式查詢方法。另外，三種查詢方法只有基于數(shù)據(jù)流查詢的系統(tǒng)運(yùn)行分布式查詢方法在查詢過(guò)程中破壞了系統(tǒng)運(yùn)行日志的數(shù)據(jù)信息，因此該方法不是最佳的查詢方法。因?yàn)橄到y(tǒng)運(yùn)行日志分布式查詢方法的性能評(píng)價(jià)在于查詢的精度，查詢所耗用的時(shí)間只是一個(gè)輔助因素，綜上各種數(shù)據(jù)參數(shù)，可以得出基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法具有查詢功能，達(dá)到了查詢規(guī)范。

得到基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法是最佳方法的關(guān)鍵在于基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法借鑒了隨機(jī)游走模型的理論核心，將一個(gè)系統(tǒng)內(nèi)部的所有運(yùn)行日志進(jìn)行隨機(jī)游走加權(quán)處理，按照一定的規(guī)律進(jìn)行關(guān)聯(lián)分類和聚類，在分布式查詢命名被觸發(fā)時(shí)，該方法可以快速地完成日志查詢，保證查詢結(jié)果的效率。另外，基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法還融入了日志數(shù)據(jù)節(jié)點(diǎn)流量分析和系統(tǒng)日志組件的分析，可以保證系統(tǒng)運(yùn)行日志分布式查詢的精度。

4 結(jié)束語(yǔ)

通過(guò)以上的對(duì)比實(shí)驗(yàn)分析，證明了基于隨機(jī)游走模型的系統(tǒng)運(yùn)行日志分布式查詢方法，可以準(zhǔn)確地查詢到系統(tǒng)的相關(guān)信息。該文研究的查詢方法，通過(guò)隨機(jī)游走模型對(duì)系統(tǒng)運(yùn)行日志的相似數(shù)據(jù)進(jìn)行游走加權(quán)處理，實(shí)現(xiàn)系統(tǒng)運(yùn)行日志的快速聚類和關(guān)聯(lián)，為日志的分類查詢奠定分類基礎(chǔ)，提高系統(tǒng)運(yùn)行日志的查詢準(zhǔn)確率。以該文研究的方法作為實(shí)踐基礎(chǔ)，接下來(lái)需進(jìn)一步分析系統(tǒng)內(nèi)部信息的分布式查詢方法，完善系統(tǒng)的查詢功能。