MySQL二進(jìn)制日志的分布式電子取證系統(tǒng)設(shè)計(jì)

◆王偉兵 吳 琪 文伯聰

?

MySQL二進(jìn)制日志的分布式電子取證系統(tǒng)設(shè)計(jì)

◆王偉兵 吳 琪 文伯聰

(廣東警官學(xué)院計(jì)算機(jī)系 廣東 510230)

由于MySQL數(shù)據(jù)庫(kù)在互聯(lián)網(wǎng)行業(yè)的使用越來(lái)越廣泛，所以針對(duì)MySQL的電子取證問(wèn)題變得越來(lái)越重要。針對(duì)該數(shù)據(jù)庫(kù)在長(zhǎng)時(shí)間運(yùn)行后產(chǎn)生的海量日志，通過(guò)分析日志的結(jié)構(gòu)，設(shè)計(jì)出一種電子取證系統(tǒng)。該系統(tǒng)利用Hadoop大數(shù)據(jù)處理平臺(tái)，將海量日志經(jīng)預(yù)處理后導(dǎo)入分布式文件系統(tǒng)HDFS中，然后通過(guò)Map-Reduce并行編程模型，實(shí)現(xiàn)了對(duì)日志的分布式檢索和提取。通過(guò)實(shí)際編程驗(yàn)證，當(dāng)增加Hadoop集群中節(jié)點(diǎn)時(shí)，取證的速度呈線性增長(zhǎng)。取證速度遠(yuǎn)遠(yuǎn)高于單機(jī)系統(tǒng)的取證速度，日志量越大，效率的提高越明顯。

電子取證；MySQL；二進(jìn)制日志

0 引言

隨著互聯(lián)網(wǎng)產(chǎn)品和用戶(hù)的爆炸式增長(zhǎng)，互聯(lián)網(wǎng)系統(tǒng)產(chǎn)生的日志可用海量來(lái)形容。針對(duì)互連網(wǎng)類(lèi)型的犯罪，如何在海量日志中找到偵查線索和提取電子證據(jù)，就成為一線偵查辦案部門(mén)面臨的重要問(wèn)題。近年來(lái)，隨著大數(shù)據(jù)處理技術(shù)的成熟，給這一問(wèn)題的解決帶來(lái)新的突破點(diǎn)。采用分布式思想，在云計(jì)算平臺(tái)上，使用大數(shù)據(jù)處理技術(shù)，更快更準(zhǔn)確地分析海量日志，這既是技術(shù)發(fā)展的必然，也是電子取證與鑒定模式發(fā)展的必然。

過(guò)去數(shù)年間，使用開(kāi)源工具來(lái)運(yùn)行自己的 IT 基礎(chǔ)設(shè)施和網(wǎng)站，或基于開(kāi)源工具而建的產(chǎn)品和服務(wù)，成為眾多互聯(lián)網(wǎng)企業(yè)的首選，這就導(dǎo)致開(kāi)源數(shù)據(jù)庫(kù)MySQL在互聯(lián)網(wǎng)行業(yè)中得到非常廣泛應(yīng)用。在互聯(lián)網(wǎng)類(lèi)型的犯罪案件偵查過(guò)程中，往往需要針對(duì)MySQL數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行電子取證。而用戶(hù)通過(guò)互聯(lián)網(wǎng)應(yīng)用軟件對(duì)MySQL數(shù)據(jù)庫(kù)服務(wù)器的寫(xiě)操作全部記錄在二進(jìn)制日志（binlog）中，即使犯罪嫌疑人提前刪除了MySQL數(shù)據(jù)庫(kù)服務(wù)器中的有關(guān)數(shù)據(jù)，但是只要有二進(jìn)制日志，仍然能從中檢索出線索和證據(jù)信息。問(wèn)題是在一個(gè)大型的互聯(lián)網(wǎng)應(yīng)用系統(tǒng)中，通常會(huì)有若干臺(tái)甚至數(shù)十臺(tái)MySQL數(shù)據(jù)庫(kù)組成數(shù)據(jù)庫(kù)集群。這樣的應(yīng)用系統(tǒng)在長(zhǎng)時(shí)間運(yùn)行后，會(huì)產(chǎn)生非常龐大的二進(jìn)制日志。如何在短時(shí)間內(nèi)，從這些海量日志信息中提取證據(jù)信息，是一件非常困難的事情。

本文在分析MySQL數(shù)據(jù)庫(kù)服務(wù)器的二進(jìn)制日志數(shù)據(jù)的結(jié)構(gòu)基礎(chǔ)上，設(shè)計(jì)出一種電子取證系統(tǒng)。該系統(tǒng)利用Hadoop大數(shù)據(jù)處理平臺(tái)，將海量日志經(jīng)清洗后導(dǎo)入分布式文件系統(tǒng)HDFS中，然后通過(guò)Map-Reduce并行編程模型，編程實(shí)現(xiàn)了對(duì)海量的MySQL數(shù)據(jù)庫(kù)服務(wù)器日志數(shù)據(jù)的高效檢索和電子證據(jù)的提取。

1 二進(jìn)制日志結(jié)構(gòu)分析

MySQL數(shù)據(jù)庫(kù)服務(wù)器的二進(jìn)制日志數(shù)據(jù)并不是一個(gè)單獨(dú)的文件，而是由一系列文件組成，包括一組二進(jìn)制日志文件和一個(gè)索引文件。二進(jìn)制日志文件真正記錄針對(duì)MySQL數(shù)據(jù)庫(kù)的寫(xiě)操作事件，文件名類(lèi)似于mysql-bin.000001。索引文件則記錄所有使用的二進(jìn)制日志文件的文件名，用來(lái)跟蹤所有已存在的二進(jìn)制日志文件，以及當(dāng)前服務(wù)器正在寫(xiě)入的二進(jìn)制日志文件，索引文件的文件名類(lèi)似于mysql-bin.index。日志數(shù)據(jù)的構(gòu)成如圖1所示。

每個(gè)二進(jìn)制日志文件由若干二進(jìn)制日志事件（Binary Log Event）組成，以格式描述（Format_Description）事件作為文件頭，以日志輪換（Rotate）事件作為文件尾。格式描述事件記錄MySQL數(shù)據(jù)庫(kù)服務(wù)器的基本信息，以及關(guān)于日志文件的基本信息。日志輪換事件則指明下一個(gè)日志文件的名稱(chēng)。如果服務(wù)器正常關(guān)閉或重新啟動(dòng)，服務(wù)器會(huì)創(chuàng)建一個(gè)新的二進(jìn)制日志文件，同時(shí)向其中寫(xiě)入一個(gè)新的格式描述事件。如果升級(jí)服務(wù)器，需要寫(xiě)入新的格式描述事件。 如果服務(wù)器突然停止或死機(jī)，服務(wù)器則可能來(lái)不及在文件末尾寫(xiě)入輪換事件。

除了格式描述和輪換事件外，二進(jìn)制日志文件中的其他事件都被分成組。在事務(wù)型存儲(chǔ)引擎中（例如InnoDB），每個(gè)組基本記錄一個(gè)事務(wù)；但是對(duì)于非事務(wù)存儲(chǔ)引擎（例如MyISAM），每個(gè)語(yǔ)句就是一個(gè)事件組。

二進(jìn)制日志是以二進(jìn)制記錄格式保存在文件中，對(duì)于電子取證而言，直接分析二進(jìn)制每個(gè)字節(jié)或字段的含義非常耗時(shí)，也無(wú)必要，因?yàn)镸ySQL數(shù)據(jù)庫(kù)提供了一個(gè)功能十分強(qiáng)大的工具mysqlbinlog，可以快速的將二進(jìn)制格式的日志轉(zhuǎn)化為文本格式，便于直觀和快速地檢索。一條轉(zhuǎn)換后的具體的文本格式事件記錄如表1所示。

2 系統(tǒng)框架與模塊設(shè)計(jì)

2.1分布式取證系統(tǒng)的整體框架

Hadoop 是一個(gè)開(kāi)源的，針對(duì)大數(shù)據(jù)分布式處理的計(jì)算平臺(tái)。該平臺(tái)可將大量廉價(jià)的計(jì)算機(jī)連接起來(lái)，構(gòu)成分布式存儲(chǔ)和計(jì)算的集群，可對(duì)PB級(jí)數(shù)據(jù)進(jìn)行快速處理。

基于大數(shù)據(jù)處理平臺(tái)Hadoop，在分析傳統(tǒng)日志取證與檢索系統(tǒng)的缺點(diǎn)，使用高效的文本匹配算法和Map-Reduce計(jì)算框架，針對(duì)MySQL數(shù)據(jù)庫(kù)服務(wù)器長(zhǎng)時(shí)間運(yùn)行后產(chǎn)生的海量二進(jìn)制日志，設(shè)計(jì)的電子取證系統(tǒng)的整體框架如圖2所示。

圖1 二進(jìn)制日志的組成

表1 一條具體的事件記錄及其含義

圖2 取證系統(tǒng)總框架

2.2 HDFS 模塊設(shè)計(jì)

HDFS是Hadoop平臺(tái)中的分布式文件系統(tǒng)，可以將大量文件分布存儲(chǔ)于集群中的各個(gè)節(jié)點(diǎn)中，具有存儲(chǔ)容量大、安全可靠、擴(kuò)展性強(qiáng)等優(yōu)點(diǎn)。

HDFS集群采用主/從（Master/Slave）架構(gòu)，即S集群中包含一個(gè)主節(jié)點(diǎn)和若干個(gè)從節(jié)點(diǎn)。主節(jié)點(diǎn)也叫名字節(jié)點(diǎn)（NameNode），從節(jié)點(diǎn)也叫數(shù)據(jù)節(jié)點(diǎn)（DataNode）。主節(jié)點(diǎn)作為主服務(wù)器，負(fù)責(zé)存儲(chǔ)文件系統(tǒng)中的元數(shù)據(jù)，包括文件名，備份數(shù)量和存儲(chǔ)位置等信息，以及文件被分割成具體塊（Block）的信息和每一個(gè)塊歸屬的名字節(jié)點(diǎn)的信息。主節(jié)點(diǎn)也接受并處理客戶(hù)端對(duì)文件的訪問(wèn)需求。對(duì)于整個(gè)集群來(lái)說(shuō)，HDFS通過(guò)主節(jié)點(diǎn)對(duì)用戶(hù)提供了一個(gè)單一的命名空間。一般情況下，一個(gè)從節(jié)點(diǎn)運(yùn)行在一臺(tái)單獨(dú)的物理服務(wù)器上，從節(jié)點(diǎn)負(fù)責(zé)管理自身存儲(chǔ)的數(shù)據(jù)，它將數(shù)據(jù)劃分為多個(gè)塊，管理塊信息，同時(shí)定期將其所管理的塊信息發(fā)送給主節(jié)點(diǎn)。圖3為HDFS系統(tǒng)架構(gòu)圖，主要有三個(gè)角色：客戶(hù)端、名字節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)。客戶(hù)端既可以是交互式終端，也可以是Hadoop平臺(tái)上運(yùn)行的程序。

圖3 HDFS系統(tǒng)架構(gòu)圖

2.3 Map-Reduce模塊設(shè)計(jì)

Map-Reduce是Hadoop平臺(tái)上的并行編程模型，適用于海量數(shù)據(jù)的分布式處理。大規(guī)模的數(shù)據(jù)一般存儲(chǔ)于HDFS中，而Map-Reduce并行程序的運(yùn)行節(jié)點(diǎn)往往和HDFS中的數(shù)據(jù)節(jié)點(diǎn)位于同一物理計(jì)算機(jī)上。Map-Reduce編程簡(jiǎn)單，特別適用于數(shù)據(jù)并行性任務(wù)的快速解決。

Map-Reduce編程模型的主要思想是映射（Map）和規(guī)約（Reduce）。具體編程時(shí)，需要實(shí)現(xiàn)Mapper和Reducer兩個(gè)接口，主要是這兩個(gè)接口中的map函數(shù)和reduce函數(shù)。map函數(shù)的主要作用是對(duì)讀取的文件分片數(shù)據(jù)，然后根據(jù)內(nèi)容和處理目的進(jìn)行分割，最后以key-value的形式輸出，這個(gè)過(guò)程是在各個(gè)節(jié)點(diǎn)并行執(zhí)行。而框架會(huì)將map函數(shù)輸出的數(shù)據(jù)按照key進(jìn)行歸并，歸并后的數(shù)據(jù)就是一個(gè)key對(duì)應(yīng)由多個(gè)value組成的列表，稱(chēng)之為key-list對(duì)。這種形式的歸并的結(jié)果會(huì)作為reduce函數(shù)的輸入，由reduce函數(shù)按照處理需求進(jìn)行處理，當(dāng)然這個(gè)處理過(guò)程也是在各個(gè)節(jié)點(diǎn)并行完成。

這種并行編程模型概念簡(jiǎn)單，編程人員不必深入理解并行程序工作的具體細(xì)節(jié)，不需要對(duì)任務(wù)進(jìn)行劃分、分配和調(diào)度，也不需要處理并行工作的各個(gè)進(jìn)程之間的消息。所有這些都由Map-Reduce框架自動(dòng)完成。編程人員只需要把精力集中在處理需求和業(yè)務(wù)流程上，極大地降低了編程門(mén)檻，使得編程人員很快就能將自己的程序運(yùn)行在分布式系統(tǒng)上。Map-Reduce模塊的工作框圖如圖4所示。

圖4 Map-Reduce模塊工作框圖

3 關(guān)鍵技術(shù)

3.1日志清洗

雖然用戶(hù)對(duì)MySQL數(shù)據(jù)庫(kù)的所有寫(xiě)操作都記錄在二進(jìn)制日志中，但是由于以下兩個(gè)原因，對(duì)其檢索比較困難。第一個(gè)原因是日志格式是二進(jìn)制記錄，很難對(duì)其直接進(jìn)行高效檢索；第二個(gè)原因是日志文件一般比較大，不便于并行處理。所以必須對(duì)日志進(jìn)行清洗。MySQL數(shù)據(jù)庫(kù)提供了一個(gè)工具mysqlbinlog，不但可以將二進(jìn)制格式的日志快速轉(zhuǎn)換為文本格式，而且還可以對(duì)日志文件按照時(shí)間戳或者位置進(jìn)行分割。在持續(xù)轉(zhuǎn)換分割的過(guò)程中，還需將分割形成的小尺寸的文本格式的日志文件持續(xù)地導(dǎo)入到分布式文件系統(tǒng)HDFS中，以便下一步處理。這個(gè)過(guò)程可以并行處理，既可以在一臺(tái)計(jì)算機(jī)上啟動(dòng)多個(gè)任務(wù)，也可以在不同的計(jì)算機(jī)上啟動(dòng)多個(gè)任務(wù)。日志清洗算法流程如圖5所示。

3.2文本匹配算法

在Map-Reduce模塊中，map階段需要從分片日志中檢索出感興趣的事件操作語(yǔ)句，這些SQL語(yǔ)句均為文本格式，所以需要高效的字符串查找算法。KMP算法對(duì)于任何字串和母串，都可以在線性時(shí)間內(nèi)完成。

匹配查找，時(shí)間復(fù)雜度是O（n+m），而且不會(huì)發(fā)生退化，是一個(gè)非常優(yōu)秀的文本匹配算法。算法的核心思想在于：在每一次查找匹配過(guò)程中，當(dāng)出現(xiàn)字符不相等的時(shí)候，母串不需要回退到下一個(gè)起始位置后和子串的第一個(gè)字符重新開(kāi)始比較，而是利用已經(jīng)比較的信息，母串位置不回退，子串回退盡可能短的位置后繼續(xù)進(jìn)行比較。

圖5 日志清洗算法流程

當(dāng)比較不成功時(shí)，為了確定母串中當(dāng)前字符與子串中哪個(gè)字符再次進(jìn)行比較，需要提前定義和計(jì)算出一個(gè)next數(shù)組。該數(shù)組中第j個(gè)元素的值表示當(dāng)子串中第j個(gè)字符與母串中相應(yīng)字符不相等時(shí)，需要從子串中哪個(gè)位置的字符和母串中當(dāng)前位置的字符重新進(jìn)行比較。next數(shù)組的定義如下所示：

1）next[j] =0 ，當(dāng)j=1時(shí)；

2) next[j] = max(k)，當(dāng)集合{1

3) next[j] = 0，其他情況。

給定一個(gè)子串，可以根據(jù)此定義計(jì)算出的next數(shù)組各元素的值。一個(gè)具體的例子如表2所示。

表2 字串和next數(shù)組對(duì)應(yīng)表

基于該數(shù)組，具體的查找算法過(guò)程如圖6所示。

FUNC KMP(s,t:strtp):integer;{求子串t在母串s中位置的KMP算法}i:=1; j:=1; {指針初始化}WHILE(i<=s.curlen AND j<=t.curlen) DOIF(j=0 OR s.ch[i]=t.ch[j])THEN [i:=i+1; j:=j+1] {繼續(xù)下一對(duì)字符的比較}ELSE j:=next[j]; {子串向右滑動(dòng)}IF j>t.curlenTHEN RETURN (i=t.curlen) {查找匹配成功}ELSE RETURN(0)ENDF;{KMP}

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)集群環(huán)境由7臺(tái)Dell服務(wù)器搭建(1個(gè)Master節(jié)點(diǎn)，6個(gè)Slave 節(jié)點(diǎn)) 。節(jié)點(diǎn)機(jī)器配置如下: CPU:Xeon E5-2620*2；內(nèi)存：48GB；硬盤(pán)：500 GB；以太網(wǎng)卡:1000Mb/s；操作系統(tǒng): CentOS Linux。

為測(cè)試系統(tǒng)處理海量數(shù)據(jù)時(shí)的性能，實(shí)驗(yàn)針對(duì)不同數(shù)量級(jí)的MySQL二進(jìn)制日志數(shù)據(jù)進(jìn)行對(duì)比測(cè)試，并且對(duì)比不同節(jié)點(diǎn)數(shù)的集群和單機(jī)模式下檢索二進(jìn)制日志的速度。實(shí)驗(yàn)結(jié)果如圖7 所示。

圖7 實(shí)驗(yàn)結(jié)果

通過(guò)實(shí)驗(yàn)，可以得出兩個(gè)結(jié)論：

（1）當(dāng)日志數(shù)據(jù)量小于5G時(shí)，且Hadoop 集群中僅有2個(gè)節(jié)點(diǎn)時(shí)，檢索速度與單機(jī)系統(tǒng)相比提升不明顯。分析原因，主要是因?yàn)镠adoop 集群的分布式特性，在執(zhí)行Map-Reduce 程序時(shí)要消耗一定的時(shí)間對(duì)任務(wù)進(jìn)行分解和分配，集群的性能優(yōu)勢(shì)并沒(méi)有發(fā)揮出來(lái)。

（2）隨著數(shù)據(jù)量增大，集群的海量數(shù)據(jù)處理能力便顯現(xiàn)出來(lái)。當(dāng)數(shù)據(jù)量大于5G時(shí)，單機(jī)系統(tǒng)檢索日志的時(shí)間將非常漫長(zhǎng)，甚至超出了忍耐極限，而在集群中，隨著日志量的增加，日志檢索所耗費(fèi)時(shí)間呈線性增長(zhǎng)，只不過(guò)不同規(guī)模的集群，檢索時(shí)間增長(zhǎng)的速度不同而已。

5 結(jié)束語(yǔ)

文中基于Hadoop大數(shù)據(jù)處理平臺(tái)，設(shè)計(jì)并實(shí)現(xiàn)了針對(duì)海量MySQL二進(jìn)制日志的電子取證系統(tǒng)。該系統(tǒng)首先將海量日志分割存儲(chǔ)于分布式文件系統(tǒng)HDFS中，然后利用Map-Reduce并行計(jì)算框架，分割檢索任務(wù)到各節(jié)點(diǎn)，協(xié)同工作，最終完成電子取證目的。通過(guò)選取不同數(shù)量級(jí)的日志數(shù)據(jù)進(jìn)行測(cè)試，并與單機(jī)系統(tǒng)進(jìn)行對(duì)比測(cè)試，實(shí)驗(yàn)表明本系統(tǒng)能有效提高日志檢索的速度、并發(fā)性以及處理海量數(shù)據(jù)的能力，可以滿(mǎn)足實(shí)際偵查工作的需要。

下一步的研究將著重關(guān)注以下兩個(gè)方面：優(yōu)化適用于Map-Reduce編程模型的更加高效的文本匹配算法，進(jìn)一步提高日志檢索的效率。以及日志清洗與分割的粒度對(duì)Map-Reduce處理效率的影響，以期找到最優(yōu)或次優(yōu)的分割參數(shù)。

[1]吳松洋，張熙哲，王旭鵬等.基于Hadoop的高效分布式取證:原理與方法[J].電信科學(xué)，2014.

[2]譚森，郭捷.基于日志分析的MySQL數(shù)據(jù)庫(kù)取證算法[J].信息安全與通信保密，2015.

[3]竇蒙，聞立杰，王建民，閆志強(qiáng).基于MapReduce的海量事件日志并行轉(zhuǎn)化算法[J].計(jì)算機(jī)集成制造系統(tǒng)，2013.

[4]王梅，朱信忠，趙建民，黃彩鋒.基于Hadoop 的海量圖像檢索系統(tǒng)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013.

[5]夏杰.協(xié)同電子取證模型研究與設(shè)計(jì)[J].西北工業(yè)大學(xué)學(xué)報(bào)，2013.

[6]陳光宣，杜彥輝，杜錦等.云環(huán)境下電子取證研究[J].信息網(wǎng)絡(luò)安全，2013.

[7]張超.云計(jì)算環(huán)境下的電子數(shù)據(jù)調(diào)查與取證[J].信息網(wǎng)絡(luò)安全，2010.

[8]劉建軍，陳光宣.電子取證技術(shù)體系研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2013.