基于DPI的移動分組網絡流量分析技術的研究與實現*

張艷榮，張治中，姜明志，鄭小平

（重慶郵電大學通信網與測試技術重點實驗室 重慶 400065）

1 引言

2013年12月4日，工業和信息化部向三大運營商發放了LTE-TDD網絡商用牌照，LTE正式在國內商用。由于LTE大帶寬、高速率、低時延的特點，加之豐富的移動互聯網內容，OTT勢不可擋，運營商在傳統的以語音為主的移動通信網絡中的管道優勢已經不復存在。對于運營商來說，其掌握的核心資源就是用戶和用戶注意力（即內容商提供的內容，運營商所謂的“流量”）的傳輸通道。為了避免被管道化和邊緣化，獲取與OTT內容商談判的籌碼，運營商必須發揮自己在資源上的優勢，通過先進的網絡技術和網絡設備充分掌握網絡和用戶狀況，有效地管理和控制網絡，制定科學的網絡發展計劃，實現運營模式的轉變[1]。

傳統的流量分析都是基于傳輸層的端口號來區分不同業務的，通過識別這些端口號對業務流量進行分類和統計。然而，隨著人們對移動互聯網內容需求的急速增長，基于HTTP和P2P的小眾業務占據了移動數據網絡的絕大多數流量，基于端口號的業務識別技術無法識別這些小眾業務。深度分組檢測（deep packet inspection，DPI）技術是在傳統的基于IP五元組（源IP地址、源端口號、目的地IP地址、目的地端口號和承載協議）的業務識別的基礎上，對數據應用層進行進一步探測。采用DPI技術識別數據流業務，需建立流量特征庫，通過采用模式匹配算法匹配特征庫和待識別的數據流，匹配成功則將數據識別為對應的業務。對于HTTP數據流，其業務特征可能存在于URL、host、user-agent等信息中；對于基于P2P的應用，其業務特征一般都是數字型的，如基于TCP的微信消息數據分組，端口號為80或8080端口，第一個上行攜帶payload分組的前3個字節為“060104”，最后 4 個字節為“04010000”[2]。

DPI技術有著業務識別率高、原理簡單等特點，但是DPI業務識別技術的關鍵在于強大的特征庫，一方面，業務特征會隨著應用升級和新業務加入發生變化，需要隨時更新特征庫，另一方面，對于一些加密或者特征不明顯的業務，DPI技術就無法進行業務識別。深度流檢測（deep flow inspection，DFI）技術就是一種可以和 DPI互補的技術。DFI是通過傳輸層宏觀統計特性來分析業務流量。DFI技術不需要關心應用層的微觀特征，而是通過對數據流的持續時間、上下行流量、報文長度等統計信息進行分析，識別應用類型。通過建立應用類型與報文數據流特征模型的對應關系，可以識別出數據流的應用類型[3]。

本文提出了一種基于DPI的流量分析系統，并引入DFI技術輔助業務識別，最大限度地發揮DPI和DFI技術的優點，同時合成xDR，用于業務統計優化，集流量統計與業務識別分析于一體。

2 基于DPI/DFI的流量監測方案

對移動數據業務進行流量分析，需從現網采集數據并預處理，包括簡單的解碼和基于端口號的協議識別，然后分別交付DPI業務識別和xDR合成。基于DFI技術的業務識別流程可以建立在xDR合成的基礎上，通過以傳輸層數據分組合成xDR，統計數據流的上下行流量、傳輸時延、亂序分組數、重傳分組數等信息，一方面可以作為網絡數據業務優化的信息來源，另一方面可以為DFI識別提供識別上下文?；贒PI技術的流量分析系統的整體框架如圖1所示，采用模塊化的設計，將不同協議解碼合成等封裝成動態庫/靜態庫，實現系統的低耦合性和高重用性，易于管理維護。

圖1 基于DPI技術的流量分析系統框架

2.1 數據預處理模塊設計方案

在DPI業務識別和xDR合成之前，首先要將采集過來的原始數據進行預處理。將原始的二進制數據流轉換成具有邏輯意義的數據結構，為業務識別和xDR合成提供上下文環境。預處理的主要任務就是解碼，本文的解碼分為詳細解碼和簡單解碼。詳細解碼是逐字節地解釋數據流；簡單解碼則根據需求，只從數據流中讀出關心的內容。本文的預處理方案是封裝詳細解碼為基礎解碼靜態庫，協議棧解碼器依次調用各個詳細解碼接口解碼。解碼器采用依據協議棧從底層到上層逐層解碼的方法，解碼完本層協議數據后，如有上層業務數據單元（service data unit，SDU），根據上層數據類型，調用相應的基礎解碼接口，直到無上層SDU[4]。

解碼的目的是為DPI和xDR合成提供具有邏輯意義的結構化信息，在交付識別和合成前，需要對數據流進行簡單的分類。移動數據網絡的用戶數據一般以TCP/UDP為傳輸層，因此可以根據第1節所述的基于端口號的業務識別方法，將數據流粗略地分為以下幾大類:HTTP業務、FTP 業 務 、DNS 業 務 、E-mail （POP3、SMTP）業 務 、MMS（WTP、WSP）業務、RTSP業務和除此之外的通用業務，包括如即時通信、P2P業務等。

解碼完成后，需要對數據進行DPI業務識別和xDR合成，對于 FTP、DNS、E-mail、RTSP 和 MMS 數據，在這里是不需要進一步進行業務識別的，但是所有業務都需要進行合成xDR，供業務分析和優化使用。下面詳細說明這兩部分的原理和實現。

2.2 DPI業務識別

基于DPI的業務識別技術的關鍵在于建立一個全面準確的業務特征庫。然而由于LTE網絡數據量巨大，加之匹配算法的復雜度較高，對服務器的壓力也非常大。這里采用和DFI類似的處理方法，通過一種自學習的機制，大大降低了業務數據和特征庫匹配的次數。自學習的主要方法是將已經識別出的應用類型和該應用數據的IP五元組添加到統計表中，在識別數據時，先匹配統計表，無法匹配統計表的數據才通過DPI匹配特征庫。流程如圖2所示。

DPI業務識別統計表是一個以IP五元組為關鍵字key，以業務類型（包括應用類型、服務類型、客戶端類型等信息以及應用統計信息等）為散列值（value）的散列表。本表有自學習的功能，能夠將通過DPI特征庫匹配到的業務信息，通過IP五元組學習到表中，為以后相同業務數據省去大量匹配所占用的資源。同時，對于一部分常見應用，比如咪咕音樂，其應用數據的層三IP地址為218.200.160.29:80或218.200.160.30:80。為了提高識別率，將這些已知IP三元組的應用也配置以IP三元組為關鍵字key、以業務類型為value的散列表，提供業務識別的快速查詢。對于從以上兩個散列表中都無法查詢到應用類型的數據，才通過特征庫進行匹配識別。

圖2 DPI業務識別流程

建立特征庫是DPI業務識別的關鍵。特征庫是一個包括了應用類型信息、服務端口號、特征值、層三IP地址等信息的可配數據庫。特征值根據類型可以分為數字型特征和字符型特征，根據出現的位置可以分為host key、refer key、URL key、user-agent key、承載層 key 等。匹配時，根據特征值的優先級從高到底的級別依次匹配特征值和相應字段。識別統計結果表存盤，入庫后供應用層查詢。

DPI業務識別的技術核心就是匹配算法，通常DPI采用正則表達式匹配特征值與數據流。特征字符串匹配也稱關鍵詞匹配，它研究從大量數據中快速匹配多個關鍵詞（多個模式）的技術?；贒PI的特征匹配業務識別的特點是需要處理的數據量大，待匹配的關鍵詞集合大，這些對多關鍵詞匹配算法的處理能力提出了更高的要求。常見的匹配算法包括Aho-Corasick算法、AC-BM算法等，而正則表達式的描述有 NFA （non-deterministic finite automata）與DFA（deterministic finite automata）兩種方式。通過前人大量的研究已經證明，采用DFA方式比采用NFA方式具有更強的處理能力與計算性能。因此，本文采用DFA算法匹配特征值與數據流。DFA算法較為復雜，具體算法實現參考文獻[5]。

2.3 xDR合成及DFI業務識別

xDR包括詳細記錄CDR和事務詳細記錄TDR。xDR能夠反映出一次信令/數據流程的全部過程。信令面xDR是進行網絡優化和網絡故障快速定位的基礎，數據面xDR是進行移動數據網絡流量統計和分析的基礎。在本文的方案中，xDR也是基于DFI業務識別的必要步驟，通過xDR合成統計傳輸流的宏觀特性，如上下行流量、持續時間、上下行分組數、響應時間等。這些統計信息是進行DFI合成的必備上下文環境。

2.3.1 xDR合成方案

xDR合成的任務是關聯屬于同一個流程的所有消息。對于數據業務合成，有兩個關鍵點:一是關聯哪些消息；二是如何關聯這些消息[6]。

對于第一個關鍵點，傳統的業務合成方法是對應用層消息進行關聯。這樣的xDR是不能反映出一次HTTP傳輸的全部信息的，尤其是對應用數據的統計特性所獲甚少。因此根據xDR的統計需求，本文提出一種基于完整傳輸流的xDR合成方案。對于基于TCP的應用，以TCP 3次握手消息（tcp_syn）作為xDR合成的起點，以 TCP重置消息（tcp_rst）或超時作為xDR結束消息。

xDR合成的第二個關鍵點，就是如何關聯屬于同一個流程的消息。在本方案中，采用了散列的方法關聯消息，主要是將網絡中的消息按照傳輸流進行歸類。采用散列算法完成查找功能。利用合成關鍵信息key作為散列表的關鍵字，并通過關鍵字key值和這些消息聯系到一起，再現一次數據傳輸流的詳細過程。因此，關鍵字key值的選取，將影響到xDR合成的效率和關聯的準確性。

對于用戶應用數據流，屬于同一個傳輸流程的消息，應該有相同的IP五元組信息。因此，本文xDR合成方案選擇源IP地址、目的地IP地址、源端口號、目的地端口號作為消息關聯參數。通過這4個字段，可以唯一確定網絡上的一個數據傳輸流。特殊的，由于DNS不是基于傳輸流的應用層協議，完整的DNS流程只有請求和響應消息，因此DNS需要額外增加DNS事務ID(Tid)作為消息的關聯參數。

xDR合成狀態分為創建、更新和結束:對于一條數據，首先查找處于更新狀態中的xDR，xDR未創建，則由xDR創建消息觸發創建xDR。對于非xDR創建消息，需要更新統計信息，并且xDR結束消息觸發結束xDR操作，更新當前xDR，從合成xDR列表中移除。具體的合成流程如圖3所示。為了提高核查效率，本文采用散列算法的思想，先建立key值和待關聯的合成xDR的存儲地址的映射關系H(key)，使每個key對應唯一的存儲地址。通過映射關系找到key對應的xDR，進行xDR的建立、修改和刪除操作。

合成xDR的關鍵是統計傳輸流的宏觀特性，包括上下行流量、上下行IP分組數、上下行TCP亂序分組數、上下行重傳報文數、上下行分片數、第一個HTTP響應分組時延、最后一個HTTP內容分組的時延，最后一個ACK確認分組的時延等信息。這些統計信息一方面是移動分組網數據業務管理和優化的基本信息，通過業務使用持續時間、業務連接間隔、上下行速率等方面分析流量業務模型。另一方面，這些數據流的宏觀統計信息，將會作為DFI業務識別的上下文，詳見第2.3.2節。

2.3.2 DFI業務識別方案

鑒于DPI技術識別準確度高、不適用于P2P業務和加密數據的特點，DFI技術是對DPI技術的很好的補充。DFI技術基于會話連接或數據流一系列流量的行為特征，建立流量特征模型，通過分析會話連接流的分組長度、連接速率、傳輸字節量等信息來與流量模型對比，從而識別應用程序類型[7]。

圖3 業務xDR合成流程

DFI業務識別技術的關鍵是建立應用流量特征模型。本方案利用機器學習的方法根據不同業務流量間的差異進行流量分類模型的建立，生成流量分類器；流量分類器根據xDR合成統計出的流量特征對流量進行分類，識別數據流業務類型。總體過程如圖4所示。

圖4 DFI業務識別流

DFI業務識別技術的關鍵在于通過機器學習監督學習的方法建立一個完整的業務流量特征模型，即流量分類器。分類器的建立過程如圖5所示。

數據預處理主要是數據流宏觀特征提取，采用第2.3.1節所述的數據關聯方法即可提取樣本數據流的統計數據。然后需要進行特征選擇，特征選擇是指對預處理模塊統計出來的數據進行去除冗余的操作。經過篩選的數據，就可以進入學習模塊，開始學習。這里選擇精確度較高的C4.5決策樹算法作為機器學習算法[8]，它是一種貪心算法，實現過程不在這里敷述。分類器經過準確性測試后，可以根據數據流的統計特性對數據流進行流量分類。為上層應用對業務識別和統計數據入庫方便，DFI識別的結果一樣存儲為業務統計表的格式。

圖5 流量分類器的建立

3 流量分析

本文方案首先將采集卡從相關的網絡接口采集數據通過匯聚設備將數據匯聚到數據處理局域網，數據處理服務器接收數據后對數據進行解碼、xDR合成和業務識別統計處理，分別將原始數據、xDR和業務識別統計出表，存儲在數據存儲服務器，并入庫到數據庫服務器；應用服務器從數據存儲服務器和數據庫服務器獲取數據，進行再次處理，供業務優化和決策參考。但是，和傳統的業務監測分析系統相比，本方案改進了處理流程，增加了業務識別功能。下面對傳統監測方案和本方案進行比較。

傳統監測方案主要是解碼和合成，在數據處理服務器端完成消息的解碼合成工作，應用層通過套接字（socket）接口查詢處理結果，處理結果通過二進制文件存在本地處理網絡。業務xDR合成基于應用層消息，傳統合成的僅關聯帶有應用層消息頭的消息，圖6所示為一個HTTP請求xDR，該xDR僅包含了HTTP請求和HTTP響應消息，xDR結構體中亦沒有統計信息，對于流量分析統計和業務優化的意義較小。相同數據在基于本方案的系統下運行結果如圖7所示。本方案結合了流量分析技術的特點和要求，xDR采用CSV文件格式保存并寫入數據庫服務器，上層應用通過數據庫讀取結果再處理。

本方案的xDR統計出表結果如圖8所示，選中行為該xDR的出表文件的統計部分截圖。與圖6對比可知，本方案xDR出表文件統計了上下行流量、上下行IP分組數、上下行亂序/重傳分組數、響應時延（第一個內容分組、最后一個內容分組和最后一個ACK分組時延）和host、URL等信息，全面地統計了數據流的微觀內容和宏觀特性，這些數據將是流量統計和網絡業務優化的基礎。

傳統的監測系統主要針對的是信令數據，對于業務數據沒有進行詳細的業務識別和深度分組監測，無法滿足運營商對業務精細化識別與統計的需求。因此，本方案引入DPI/DFI技術對流量進行深度識別和分析，結果形成出表文件入庫，供應用層再開發。圖9所示為業務識別出表文件的一段。文件中，C列和D列分別表示數據的應用主類型號和子類型號，K 列和 L列為 host和 URL，M、N、O、P列分別為上行分組數、上行流量、下行分組數和下行流量。圖中方框標識的兩行的host字段中分別包含微信 （主類型1:即時通信，子類型 9）特征“weixin.qq.com”和豌豆莢（主類型 7:應用市場，子類型 8）特征“.wandoujia.com"。通過excel統計，可知主類型為1（即時通信）和15（應用商店）的業務占據了絕大多數流量；進一步統計可發現，微信數據分組在數量上占據整個網絡較大份額（197/581）。

4 結束語

圖6 一個傳統的HTTP請求xDR

圖7 一個基于本方案的HTTP請求xDR

圖8 xDR結構出表CSV文件（部分）

圖9 業務識別出表文件截圖（部分）

隨著4G網絡商用拉開序幕，數據業務的分析和優化將是運營商面臨的重要舉措。本文基于傳統的信令監測系統架構，在其基礎上添加了基于DPI業務識別技術，用于業務識別與統計；設計了一種基于傳輸層數據流的xDR合成方案，并在xDR合成工程中統計數據流的宏觀統計特性，使得合成xDR不僅能夠用于傳統的業務優化和流量統計，也能通過DFI業務識別技術識別P2P業務和音視頻相關應用。DFI業務識別和DPI業務識別在技術上優勢互補，本文將合成xDR的統計特性進一步用于DFI業務識別，DFI業務識別作為對DPI業務識別的一種補充，提高了系統的業務識別率。經過現網數據測試，本方案能夠很好地對移動分組網進行業務xDR合成和流量識別統計，具有較高的處理效率和識別準確性。

1 羅憶祖.DPI技術助力運營商精細化運營.電信網技術，2009(1):22～24

2 葉文晨，汪敏，陳云寰等.一種聯合DPI和DFI的網絡流量檢測方法.計算機工程，2011(10):102～107

3 蔣文龍.基于DPI技術的P2P流量監控系統的研究與設計.北京郵電大學碩士學位論文，2013

4 李娟，雒江濤.用戶感知智能分析系統Abis接口信令監測的研究.電信科學，2012(9):58～62

5 劉胤.深度包檢測技術的研究與設計.貴州大學碩士學位論文，2008

6 馬陳澤.移動核心網優化分析系統——Gn接口信令處理模塊的研究與開發.重慶郵電大學碩士學位論文，2011

7 桑寅，孟少卿，鹿凱寧.基于DPI和機器學習方法傳輸層檢測的P2P流量識別模型.電子測量技術，2011(10):45～48

8 李國平，王勇，陶曉玲.基于DPI和機器學習的網絡流量分類方法.桂林電子科技大學學報，2012,32(2):140～144