基于DPI識別的應(yīng)用流量誤差研究

朱曉嵐宋力劉遇哲

（河北遠東通信系統(tǒng)工程有限公司，河北石家莊050000）

基于DPI識別的應(yīng)用流量誤差研究

朱曉嵐宋力劉遇哲

（河北遠東通信系統(tǒng)工程有限公司，河北石家莊050000）

深度數(shù)據(jù)包檢測應(yīng)用識別測試過程中發(fā)現(xiàn)某些按照知識庫可被識別為應(yīng)用的流量識別不全，應(yīng)用流量統(tǒng)計結(jié)果與真實流量存在差距。如何準(zhǔn)確統(tǒng)計應(yīng)用的流量，是一個值得思考的問題。針對應(yīng)用流量識別不全問題，研究了3種解決方案:查找應(yīng)用會話中所有報文的共同字符、在規(guī)則中加入peer學(xué)習(xí)和記錄識別為應(yīng)用會話的IP和端口號、會話老化機制。通過對3種方法的實驗對比，最優(yōu)的解決方案是采用會話老化機制，輔助采用peer學(xué)習(xí)和查找會話中所有報文的共同特征。

流量識別網(wǎng)絡(luò)協(xié)議識別流量與真實流量差距會話老化peer學(xué)習(xí)報文共同字符

1 引言

隨著網(wǎng)絡(luò)資源的不斷增多，合理使用網(wǎng)絡(luò)資源成為人們不可避免的問題[1]，深度數(shù)據(jù)包檢測(Deep Packet Inspection, DPI)技術(shù)適應(yīng)了當(dāng)前網(wǎng)絡(luò)急速增長，并且是解決當(dāng)前網(wǎng)絡(luò)威脅的有效途徑，網(wǎng)絡(luò)應(yīng)用的識別率成為DPI的一個重要指標(biāo)，DPI識別主要是提取報文載荷部分的特征[2-4]。在特征匹配中是以會話的形式對報文處理[5-6]，匹配完成之后對該會話的流量進行統(tǒng)計，流量統(tǒng)計的準(zhǔn)確性與定義的會話起始與會話終止直接相關(guān)，下面介紹的對會話老化的解決方案中會話終止時間的定義是決定會話流量統(tǒng)計準(zhǔn)確與否的關(guān)鍵。

2 DPI處理流程

DPI程序處理中，設(shè)備接收到報文，具有相同五元組的報文以會話形式進行應(yīng)用識別及流量統(tǒng)計[7]。DPI程序?qū)捛?個有載荷報文進行識別，通過數(shù)據(jù)鏈路層判斷是否為IP協(xié)議，如果為IP協(xié)議進一步進行上層識別；如果為非IP協(xié)議，標(biāo)記為非IP協(xié)議，之后報文不再進行識別處理。屬于IP層的會話進行識別標(biāo)記，并進入到IP層協(xié)議識別，并對IP層協(xié)議進行協(xié)議標(biāo)記。之后進行四層協(xié)議識別，如果會話能識別為四層協(xié)議，則更新識別標(biāo)記，最后進入應(yīng)用層識別，如果應(yīng)用層可以識別，則再次更新識別標(biāo)記，會話的識別標(biāo)記以最高層識別結(jié)果作為最后識別結(jié)。識別結(jié)束之后進入審計，審計模塊對具有相同應(yīng)用標(biāo)記的會話進行流量統(tǒng)計，不再對會話進行應(yīng)用識別，只進行流量識別。

3 DPI識別流量差距原因查找

DPI測試中通過設(shè)備統(tǒng)計應(yīng)用流量與wireshark工具統(tǒng)計的應(yīng)用流量存在一定差距，為了分析查找原因，查看應(yīng)用會話，并與知識庫中的特征對比，發(fā)現(xiàn)該應(yīng)用會話符合知識庫中特征及規(guī)則的定義，排除了知識庫中特征的輸入錯誤原因；為了更進一步調(diào)試錯誤原因，將程序識別情況進行打印，在打印信息中發(fā)現(xiàn)應(yīng)用的會話最初是可正確識別，但是之后該會話又被識別為四層協(xié)議。經(jīng)對程序處理流程進行思考，儀器統(tǒng)計的流量與wireshark流量存在差距原因為具有特征的報文處于會話的前5個報文，待會話識別之后對識別標(biāo)記位置位。過一段時間接收到的屬于該會話的報文再一次進行了DPI識別，按照程序的審計，這些報文應(yīng)該直接進入審計，統(tǒng)計會話的流量。但通過打印信息看被識別的會話后面的報文被當(dāng)成新的會話處理，新的會話進入程序會先進行DPI識別，在DPI識別中這些被當(dāng)做新會話的報文已不具有特征，因此只能被識別為協(xié)議，這種現(xiàn)象原因為會話老化，下文主要采用了3種機制對抗會話老化。

4 會話老化解決方案

因會話老化導(dǎo)致的的會話流量與實際流量差距的解決方法有3種，查找應(yīng)用會話中所有報文的共同特征；加入peer學(xué)習(xí)；利用TCP和UDP協(xié)議本身的機制。

4.1 查找應(yīng)用會話中所有報文的共同特征

為了解決被識別的會話因某些原因之后的報文再次進入DPI識別之后被識別為協(xié)議，從會話所有報文中提取共同的特征[8-11]，這樣即便被識別的會話中后面的報文被處理為新會話時，進入DPI識別模塊，報文因仍然具有應(yīng)用的特征，可被識別為應(yīng)用，因此會話的流量可被正確統(tǒng)計。該方法的的優(yōu)勢為不需要考慮如何定義會話的建立和會話的結(jié)束，流量統(tǒng)計準(zhǔn)確。缺點為并不是所有應(yīng)用的特征在會話的所有的報文中都有，即便是特征貫穿會話始終，提取出來的特征一般比較弱，很容易造成誤識別。這種方法不具有普遍性，并且提取特征比較繁瑣。以局域網(wǎng)聊天事業(yè)線應(yīng)用為例，將所有報文的共同特征字符添加入特征庫前后實驗結(jié)果對比，如表1所示。

表1 共同特征字符添加入特征庫前后對比表

4.2 加入peer學(xué)習(xí)

在DPI識別模塊中peer學(xué)習(xí)的優(yōu)先級最高，peer學(xué)習(xí)機制中將IP和port綁定，并對其應(yīng)用標(biāo)記，綁定之后出現(xiàn)該peer就認為具有該IP和端口的會話為應(yīng)用標(biāo)記位標(biāo)記的應(yīng)用。為了避免被識別的會話后面的報文被當(dāng)做新的會話再次進行識別，加入peer學(xué)習(xí)機制，加入peer學(xué)習(xí)之后將指定端的IP和端口號記錄，之后的一個小時內(nèi)只要含有這個IP和端口號的報文都被認為屬于該應(yīng)用。通過peer學(xué)習(xí)之后在測試應(yīng)用流量可準(zhǔn)確識別，該方法優(yōu)點比第一種方法節(jié)省了查找全部報文的共同特征的工作量，簡單快捷，但是該方法存在的弊端為在peer被老化之前，只要存在該peer的會話都被認為是被標(biāo)記的應(yīng)用，如果其他應(yīng)用也使用了該IP和端口則造成的誤識別是很嚴(yán)重的，記錄的IP和端口號對也會占用系統(tǒng)內(nèi)存。以局域網(wǎng)聊天事業(yè)線應(yīng)用為例，將peer學(xué)習(xí)加入特征庫前后實驗結(jié)果對比，如下面表2所示。

表2 將peer學(xué)習(xí)加入特征庫前后對比表

4.3 利用TCP建立連接機制及UDP會話的連接特點

TCP是基于連接的協(xié)議，在正式收發(fā)數(shù)據(jù)前，必須和對方建立可靠的連接。一個TCP連接必須要經(jīng)過3次“對話”才能建立起來，數(shù)據(jù)傳輸結(jié)束之后，結(jié)束時雙方需要終止連接。會話結(jié)束時應(yīng)用程序首先發(fā)送FIN給服務(wù)器，服務(wù)器收到FIN報文之后發(fā)送ACK報文，之后發(fā)送FIN報文，客戶端收到FIN報文之后進入TIME_WAIT狀態(tài)，最終向服務(wù)器發(fā)送ACK報文[12]。

RFC文檔中關(guān)于TCP關(guān)閉之后的等待時間規(guī)定如下：當(dāng)TCP執(zhí)行一個主動關(guān)閉，并發(fā)回最后一個ACK，該連接必須在TIME_WAIT狀態(tài)(TCP發(fā)起終止連接以后收到最后一個FIN報文時的狀態(tài))停留的時間為2倍的MSL(報文段最大生存時間)，超過2MSL時間之后系統(tǒng)也會自動關(guān)閉。這樣可讓TCP再次發(fā)送最后ACK以防這個ACK丟失，這種2MSL等待的另一個結(jié)果是這個TCP連接在2MSL等待期間，定義這個連接的插口(客戶的IP地址和端口號，服務(wù)器的IP地址和端口號)不能再被使用。在連接處于2MSL等待時，任何遲到的報文段將被丟棄。因為處于2MSL等待的、由該插口對(socket pair)定義的連接在這段時間內(nèi)不能被再用。這暗示著終止一個客戶程序，并立即重新啟動這個客戶端程序，則這個新客戶程序?qū)⒉荒苤赜孟嗤谋镜囟丝凇τ诜?wù)器，情況就有所不同，因為服務(wù)器使用熟知端口。如果終止一個已經(jīng)建立連接的服務(wù)器程序，并試圖立即重新啟動這個服務(wù)器程序，服務(wù)器程序?qū)⒉荒馨阉倪@個熟知端口賦值給它的端點，因為這個端口是處于2MSL連接的一部分。在重新啟動服務(wù)器程序前，它需要在1～4分鐘。RFC793指出MSL為2分鐘，然而實現(xiàn)中的常用值是30 s，1分鐘或者2分鐘。

UDP和TCP協(xié)議的主要區(qū)別是二者在實現(xiàn)信息的可靠傳輸方面，TCP協(xié)議中包含了專門的傳遞保證機制，當(dāng)數(shù)據(jù)接收方收到發(fā)送方傳來的信息時，會自動向發(fā)送方發(fā)出確認消息，發(fā)送方只有在接收到該確認消息之后才繼續(xù)傳送其他信息，否則將一直等待直到收到確認信息為止。與TCP不同，UDP協(xié)議是一個面向數(shù)據(jù)報的傳輸層協(xié)議，UDP不提供可靠性，它把數(shù)據(jù)發(fā)送出去，但是并不保證它們能到達目的地。如果在發(fā)送方到接收方的傳遞過程中出現(xiàn)數(shù)據(jù)報的丟失，協(xié)議本身并不能做出任何檢測或提示。UDP協(xié)議本身沒有提供數(shù)據(jù)開始發(fā)送和發(fā)送結(jié)束標(biāo)志機制，因此不能確定UDP會話開始和結(jié)束的準(zhǔn)確時間。

杭州華三通信技術(shù)有限公司的H3C SecPath系列防火墻中會話管理模塊具有支持對各協(xié)議報文創(chuàng)建會話、更新會話狀態(tài)以及根據(jù)協(xié)議狀態(tài)設(shè)置老化時間；支持應(yīng)用層協(xié)議的端口映射，允許為應(yīng)用層協(xié)議自定義對應(yīng)的非通用端口號，同時可以根據(jù)應(yīng)用層協(xié)議設(shè)置不同會話老化時間；支持設(shè)置長連接會話，保證指定的會話在一段較長的時間內(nèi)不會被老化。

H3C SecPath系列防火墻會話管理中具有優(yōu)先級，長會話老化時間僅在TCP會話進入穩(wěn)態(tài)時生效。在會話穩(wěn)態(tài)時，長連接老化時間具有最高的優(yōu)先級，其次為應(yīng)用層協(xié)議老化時間，最后為協(xié)議狀態(tài)老化時間。老化時間的修改需要結(jié)合實際的使用場景，避免過大或過小，從而影響會話協(xié)議報文的正常交互，例如，F(xiàn)TP協(xié)議的會話老化時間若小于FTP保活報文發(fā)送的間隔，會造成FTP連接無法正常建立。H3C缺省設(shè)置下，UDP的保持時間為60 s。

華為Eudemon防火墻會為了維持系統(tǒng)內(nèi)存會設(shè)定一個會話連接最大值，一旦系統(tǒng)記錄的會話達到這個數(shù)值，系統(tǒng)就不再建立新的會話。同時，為了保證防火墻的會話連接不會過多，防火墻針對不同的應(yīng)用協(xié)議調(diào)整會話連接保持的時間。為了保證內(nèi)部網(wǎng)絡(luò)的安全，防火墻上的各會話缺省保持時間都相對較短，例如：缺省情況下UDP的保持時間為120 s。

UDP會話具體的老化時間設(shè)置與設(shè)備的性能有關(guān)，如會話池內(nèi)存、會話并發(fā)數(shù)等相關(guān)因素。在本程序中UDP會話的老化時間的設(shè)定對UDP流量統(tǒng)計統(tǒng)計誤差有直接關(guān)系，老化時間定義過長，使可被老化的會話仍然在會話池中占據(jù)內(nèi)存空間，造成浪費；老化時間過短，將為結(jié)束數(shù)據(jù)傳送的會話作為新的UDP會話重新識別，因含有特征的報文在該會話的前5個有載荷的報文中出現(xiàn)，之后再進行DPI識別時報文不具有應(yīng)用的特征，將新會話只能識別到協(xié)議層而不能準(zhǔn)確識別為應(yīng)用。

5 結(jié)束語

通過上述實驗對比，采用TCP會話機制，對于UDP會話除采用一般廠家的會話老化機制，還可輔助采用peer學(xué)習(xí)和查找所有報文的共同字符方式。在會話老化問題中因peer學(xué)習(xí)記錄會話的一方IP與端口號，peer老化時間較長，在局域網(wǎng)絡(luò)中出現(xiàn)誤識別的概率較高，公網(wǎng)中誤識別的概率較低，因此peer機制可適當(dāng)采用；對于在所有報文中含有共同字符的應(yīng)用可采用提取共同字符，提取過程需要考慮這些字符在其他應(yīng)用報文中是否也出現(xiàn)過，若在其他報文中也出現(xiàn)則不能采用。

[1]王向輝.基于DPI與特征識別的p2p流量檢測技術(shù)研究[D].南寧:廣西大學(xué)，2010.

[2]吳軍,杜澤華.一種以DPI為核心的網(wǎng)絡(luò)流量識別方案[J].軟件導(dǎo)刊，2014(1):23-26.

[3]馬婧.網(wǎng)絡(luò)流量特征提取與流量識別研究[D].北京:北京郵電大學(xué)，2012.

[4]吳昊,程光.HTTP網(wǎng)絡(luò)應(yīng)用特征串的自動提取[J].廣西大學(xué)學(xué)報,2011,36(增刊1):61-64.

[5]周延森，汪永好.入侵檢測匹配算法的研究與改進[J]. Proceedings of 2010 International Conference on Broadcast Technology and Multimedia Communication(Volune 4)，2010 (4):13-17.

[6]李倫.針對大規(guī)模URL關(guān)鍵字的多模匹配算法的性能優(yōu)化[D].哈爾濱:哈爾濱工業(yè)大學(xué)，2011:20-29.

[7]黃麗云.網(wǎng)絡(luò)流量識別控制系統(tǒng)的設(shè)計與實現(xiàn)[D].北京:北京郵電大學(xué)，2012:35-54.

[8]李鴻斌.網(wǎng)絡(luò)深度包業(yè)務(wù)識別(DPI)方法的改進[D].南京:南京郵電大學(xué)，2011:66-80.

[9]林冠洲.網(wǎng)絡(luò)流量識別關(guān)鍵技術(shù)研究[D].北京:北京郵電大學(xué)，2011:29-44.

[10]郭明亮.高速網(wǎng)絡(luò)中實時流量識別系統(tǒng)的研究與設(shè)計[D].北京:北京郵電大學(xué),2010:39-53.

[11]米淑云.IP網(wǎng)絡(luò)流量監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D].北京:北京郵電大學(xué),2009:33-40.

[12]rfc793，Transport Control Protocol[S].

Research on Application Flow Error Based on DPI

ZHU Xiao-lan,SONG li,LIU Yu-zhe
(Hebei Far-east Communication System Engineering Co.,Ltd,Shijiazhuang,Hebei 05000,China)

In the process of the Deep Packet Inspection(Deep Packet Inspection,DPI)test,it is found that some application can be identified according to the knowledge base,but the flow of application is not complete,and the statistic result of actual application flow is different from that of real flow.How to precisely calculate the application flow is an important problem.Aiming at this problem,this paper presents three solutions such as searching common character of all messages in application session,adding peer learning in rules and recording IP and port number of application session as well as session aging mechanism.The experiment results show that the optimal solution is to adopt session aging mechanism,and use peer learning and searching common features of all messages in session as assistance.

flow identification;network protocol;gap between actual application flow and real flow;session aging;peer learning; common characters of message

TP391.4

A

1008-1739(2015)08-38-3

定稿日期：2015-03-26