基于眾核的高速流量解析系統(tǒng)研究

周小宇，張佳杰，袁 亮

（1.重慶郵電大學(xué) 電子信息與網(wǎng)絡(luò)工程研究院，重慶 400065；2.貴州力創(chuàng)科技發(fā)展有限公司，貴州 貴陽(yáng) 550000；3.廣元市經(jīng)濟(jì)和信息委員會(huì)，四川 廣元 628000）

基于眾核的高速流量解析系統(tǒng)研究

周小宇1，張佳杰2，袁 亮3

（1.重慶郵電大學(xué) 電子信息與網(wǎng)絡(luò)工程研究院，重慶 400065；2.貴州力創(chuàng)科技發(fā)展有限公司，貴州 貴陽(yáng) 550000；3.廣元市經(jīng)濟(jì)和信息委員會(huì)，四川 廣元 628000）

互聯(lián)網(wǎng)的發(fā)展導(dǎo)致了互聯(lián)網(wǎng)流量的高速增長(zhǎng)，這給網(wǎng)絡(luò)運(yùn)營(yíng)商運(yùn)營(yíng)帶來了巨大挑戰(zhàn)，傳統(tǒng)的流量識(shí)別系統(tǒng)的性能已經(jīng)無法滿足運(yùn)營(yíng)商的需求。文章提出一種基于眾核的高速流量解析系統(tǒng)，系統(tǒng)在平均報(bào)文長(zhǎng)度為1 000字節(jié)時(shí)，http協(xié)議處理性能達(dá)到4.4 Gbps。

眾核；高速流量解析；流量識(shí)別

隨著網(wǎng)絡(luò)流量的爆炸式增長(zhǎng)，如何提升流量識(shí)別系統(tǒng)的整體性能是當(dāng)前面臨的嚴(yán)峻挑戰(zhàn)，近年來多核眾核的引入成為解決該問題的突破點(diǎn)。其中眾核具有集成度高，處理能力強(qiáng)等特點(diǎn)，文獻(xiàn)[1]利用眾核平臺(tái)大幅提升了網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)的性能；文獻(xiàn)[2]在tilera眾核平臺(tái)上實(shí)現(xiàn)了高吞吐量低功耗的網(wǎng)絡(luò)應(yīng)用識(shí)別；文獻(xiàn)[3]設(shè)計(jì)了一個(gè)基于tilera眾核平臺(tái)的高強(qiáng)度的流媒體流量發(fā)生系統(tǒng)。基于以上研究方法和思路，本文提出了基于眾核的高速流量解析系統(tǒng)，它充分利用了眾核的高速數(shù)據(jù)包處理能力，提高了流量解析系統(tǒng)的性能。

1 系統(tǒng)各模塊的設(shè)計(jì)與實(shí)現(xiàn)

基于眾核的高速流量解析系統(tǒng)主要包括兩個(gè)模塊：并行處理模塊，協(xié)議解析模塊。以下將對(duì)兩個(gè)模塊重點(diǎn)分析。

1.1 并行處理模塊

本文采用的TILERA-GX36 眾核處理器芯片上集成了36個(gè)同構(gòu)的處理器核心。另外為了提高數(shù)據(jù)包處理能力，該芯片上還集成了一個(gè)協(xié)處理器—多核可編程智能分組引擎（Multicore Programmable Intelligent Packet Engine，MPIPE），它主要完成高速的數(shù)據(jù)包捕獲、分類、負(fù)載均衡以及緩沖管理的功能。并行模塊的流程如圖1所示。

圖1 并行模塊流程

網(wǎng)絡(luò)流量從網(wǎng)口進(jìn)入MPIPE，MPIPE根據(jù)程序定義的分發(fā)模式將流量分發(fā)到核心上，每個(gè)核心上綁定有數(shù)據(jù)包處理線程，線程主要完成數(shù)據(jù)包接收，包檢驗(yàn)，協(xié)議解析，數(shù)據(jù)合成等功能。合成的數(shù)據(jù)將由一個(gè)獨(dú)立的核心完成輸出。

1.2 協(xié)議解析模塊

本文主要針對(duì)TCP數(shù)據(jù)流量進(jìn)行識(shí)別解析，協(xié)議識(shí)別流程如圖2所示。

圖2 協(xié)議識(shí)別流程

系統(tǒng)使用了半流思想，即將每個(gè)方向上的TCP數(shù)據(jù)流以半流的形式保存，這樣使得程序結(jié)構(gòu)清晰，并且利于后期整個(gè)TCP信息的合成。系統(tǒng)對(duì)應(yīng)用層的解析現(xiàn)主要針對(duì)http協(xié)議。

2 實(shí)驗(yàn)分析

實(shí)驗(yàn)使用的眾核平臺(tái)為一個(gè)獨(dú)立的ATCA刀片服務(wù)器，服務(wù)器內(nèi)部含有兩個(gè)對(duì)稱的眾核系統(tǒng)，每一個(gè)眾核系統(tǒng)含有一顆36核處理器，64位指令集，主頻1.2 GHz，內(nèi)存大小為16 G。

系統(tǒng)對(duì)Tcp連接的解析內(nèi)容主要包括：開始時(shí)間、結(jié)束時(shí)間、Vlan端口、源IP、目的IP、源端口、目的端口、第一條Syn包的時(shí)間、在SynAck前，最后一條Syn包的時(shí)間、第一條SynAck的時(shí)間、最后一條SynAck的時(shí)間、第三次握手的時(shí)間、第一次握手的消息數(shù)量、第二次握手的消息數(shù)量、第一條Rst的時(shí)間、第一條Fin包的時(shí)間、第一條RST消息的方向、第一條FIN包的方向、上行RST的數(shù)目、下行RST的數(shù)目、上行FIN的數(shù)目、下行FIN的數(shù)目、上行計(jì)費(fèi)流量、下行計(jì)費(fèi)流量、上行TCP凈荷的流量、下行TCP凈荷的流量、上行總包數(shù)、下行總包數(shù)、上行有TCP凈荷的包的數(shù)目、下行有TCP凈荷的包的數(shù)目、上行重傳總包數(shù)、下行重傳總包數(shù)、上行重傳的包有TCP凈荷的數(shù)目、下行重傳的包有TCP凈荷的數(shù)目、上行TCP凈荷的實(shí)際流量、下行TCP凈荷的實(shí)際流量。一次TCP會(huì)話解析出來的結(jié)果如圖3所示。

http協(xié)議解析結(jié)果是在tcp連接的基礎(chǔ)上加上了一些http獨(dú)有的信息，其中主要包括：Http會(huì)話的總時(shí)長(zhǎng)（us）、第一個(gè)HttpRequest的Host、第一個(gè)HttpResponse的URL、第一個(gè)HttpRequest的UserAgent、第一個(gè)HttpRequest的Refer。與圖3TCP連接對(duì)應(yīng)的http信息如圖4所示。

圖3 TCP連接解析結(jié)果

圖4 http連接解析結(jié)果

在平均報(bào)文長(zhǎng)度為1 000字節(jié)的情況下，系統(tǒng)對(duì)http協(xié)議解析的吞吐量與x86平臺(tái)（Intel Xeon E5410，主頻2.33 GHz，內(nèi)存16 G）進(jìn)行對(duì)比如圖5所示。圖5中眾核平臺(tái)優(yōu)勢(shì)明顯，隨著線程數(shù)的增加，眾核的吞吐量開始基本呈線性上升的趨勢(shì)，后來增速放緩。原因是眾核各處理線程之間都獨(dú)立運(yùn)行，互相之間沒有競(jìng)爭(zhēng)。但隨著線程增多系統(tǒng)的內(nèi)存占用和二級(jí)緩存的失效率都隨之增長(zhǎng)。由于處理器的運(yùn)算速度遠(yuǎn)大于內(nèi)存的訪問速度，大量的緩存失效會(huì)顯著降低處理器的處理能力。

3 結(jié)語(yǔ)

本文提出了一種基于眾核的高速流量解析系統(tǒng)，它充分利用了眾核芯片的高速數(shù)據(jù)包捕獲以及處理能力，獲得了較高的性能。系統(tǒng)未來將增加應(yīng)用層協(xié)議解析種類，進(jìn)一步擴(kuò)展系統(tǒng)的功能與性能。系統(tǒng)的輸出將來會(huì)直接與大數(shù)據(jù)平臺(tái)相連，借助大數(shù)據(jù)平臺(tái)對(duì)輸出信息進(jìn)行實(shí)時(shí)的分析，再結(jié)合爬蟲分析出熱點(diǎn)url的相關(guān)內(nèi)容，最終借助于數(shù)據(jù)可視化對(duì)大數(shù)據(jù)平臺(tái)的分析結(jié)果做形象化展示，形成整套的流量監(jiān)測(cè)系統(tǒng)。

圖5 眾核與x86測(cè)試量吞吐對(duì)比

[1]JIANG H，ZHANG G，XIE G X，et al. Scalable high-performance parallel design for network intrusion detection systems on many-core processors[C]. Architectures for Networking and Communications Systems，2013：137-146.

[2]吳舜，蘇丹，吳佳，等.基于Tilera平臺(tái)的網(wǎng)絡(luò)細(xì)粒度應(yīng)用行為識(shí)別[J].電信科學(xué)，2013（11）：94-98.

[3]曾帥，高宗彬，趙國(guó)鋒.基于Tilera眾核平臺(tái)的流媒體流量發(fā)生系統(tǒng)的設(shè)計(jì)[J].電子技術(shù)應(yīng)用，2016（4）：56-59.

Research on high-speed Internet traffc analysis system based on many-core

Zhou Xiaoyu1, Zhang Jiajie2, Yuan Liang3
（1.Electronic Information and Networking Research College of Chongqing University of Posts and Telecommunications, Chongqing 400065, China; 2.Guizhou Lichuang Technology Development Co., Ltd., Guiyang 550000, China；3.Guangyuan Economic and Information Technology Committee, Guangyuan 628000, China）

Development of the Internet has led to the rapid growth of Internet traffc, which poses great challenges for network operators, the performance of traditional Internet traffc analysis system is unable to meet the needs of operators. This paper presents a high-speed Internet traffc analysis system based on the nuclear, When the average packet size is 1 000 bytes, the performance of the HTTP protocol processing is 4.4 Gbps.

many-core; high-speed Internet traffc analysis; traffc identifcation

周小宇（1993— ），男，河南周口，碩士研究生；研究方向：網(wǎng)絡(luò)數(shù)據(jù)分析。