面向大規模網絡流量數據的實時匯聚查詢關鍵技術研究

郭 慶，朱一凡，謝瑩瑩，張 榆，陳小兵

1(北京理工大學計算機學院，北京100081)

2(中科曙光大數據事業部，北京100193)

1 引 言

隨著互聯網的不斷發展及移動互聯網的出現，網民數量及網絡流量快速的增長.此外，各種新的互聯網應用，如微博、互聯網金融、共享交通系列APP、微信、支付寶、在線短視頻等等層出不窮，同時智能終端、人工智能、物聯網、云計算等信息技術的快速發展和廣泛應用，促使數據呈現爆炸式增長的態勢，推動人類社會邁入大數據時代［1-3］.與之相伴，大量的數據需要通過網絡傳輸，進而產生了大規模的網絡流量數據，企業級用戶已有Gbps 級的數據規模，而在運營商骨干網、城域網等環境下更是已高達Tbps 級的超大規模［4］.網絡流量數據中包含了豐富的信息，包括時間戳、協議類型、源IP、目的IP、源端口、目的端口、數據報文等多維數據，可反映網絡狀態，發現網絡事件，已廣泛用于入侵檢測、異常流量檢測、溯源分析、態勢感知、網絡安全監控等多種場景［5］.

隨著大規模網絡流量數據的發展，其在數據量、數據規模、處理速度、響應時間等方面的要求越來越高，因此大規模數據的實時匯聚處理等技術成為現在重要的研究熱點之一［6］.為此，業界相繼出現了一系列分布式流處理系統，如Yahoo 推出的S4，Twitter 推出的Storm，有力的推動了流計算的廣泛應用［7］.而面向海量數據的實時分析，也取得了一定成果，以MapReduce、Spark 等為代表的離線計算、內存計算系統，在實踐中獲得了大量應用［8，9］.Palacio 等針對企業網絡流量監控的應用場景，提出了一個基于Spark 的系統框架，通過流處理和批處理的使用，監視網絡活動，分析離線歷史數據，實現對異常行為的識別檢測［10］.Qiao 等針對運營商的應用場景，提供了一套移動大數據框架，可用于對海量數據流量的采集存儲和分析監控［11］.

但是在面向大規模網絡流量數據時，這些系統在數據吞吐量、分析查詢性能、負載均衡、系統容錯等諸多方面仍然存在著不足:在大規模Tbps 量級下，這些系統很難有效采集接收大規模的網絡流量數據;在數據量累積到PB 量級時，有效組織數據存儲并從中快速的查詢檢索數據仍很難直接支持;同時這些系統通常關注于某個環節的處理，沒有可直接用于網絡流量數據處理的整體系統.因此構建低延遲、高吞吐、高性能且持續可靠可擴展的網絡流量大數據一體化系統，滿足大規模、實時性的需求，仍是當前亟待解決的問題.

本文針對上述問題，基于業界已有的研究基礎，提出一種面向大規模網絡流量數據的實時匯聚查詢平臺，實現對大規模數據的匯聚采集、實時處理、存儲組織以及快速查詢分析.對平臺中半同步半異步模式的分級數據采集、多分區隊列的并行分布式數據流處理和基于屬性劃分的數據加載、基于抽象數據訪問驅動的虛分區式數據存儲、基于異步構建分級索引的數據檢索查詢等關鍵技術進行了深入研究并給出了實現方案.平臺具有良好的數據讀寫并發度、計算并發度，以及良好的可擴展性和可維護性，能有效應對網絡流量數據規模大和時效性高的需求.平臺已在實際項目中應用實施，本文給出了用例測試以表明該平臺的有效性和可用性.

2 平臺架構

面向大規模網絡流量數據的實時匯聚查詢平臺，是針對海量異構數據的匯聚采集、存儲管理、查詢分析的一體化實時處理平臺，可對高速網絡流量數據進行采集和預處理，并對流量數據的五元組信息(源IP 地址、目的IP 地址、協議、源端口、目的端口)進行提取，可對接入的網絡流量數據進行合理存儲，并對數據報文五元組信息構建索引，可對數據報文進行快速查詢與檢索，實現網絡全流量的回溯.

圖1 是平臺的系統整體架構，從左往右主要包括數據采集、實時處理、存儲計算、數據服務等模塊，數據源中的數據通過各模塊的協同處理，最終供用戶使用.

圖1 系統整體架構Fig.1 System overview architecture

1)數據采集:平臺支持對實時的網絡原始流量數據的匯聚，也支持對日志類的安全數據采集.對于網絡流量數據，通過分級專用的采集設備匯聚網絡分流過來的流量，對于日志類的文本數據，通過日志采集軟件增量匯聚.同時平臺提供分布式消息中間件，可對接匯聚采集的流量數據和日志數據.

2)實時處理:平臺提供分布式流式處理系統，可對消息系統中的實時數據進行預處理，并實時的持久化到存儲平臺.對于流量數據將進行基于安全規則的監測，同時為提升整個系統對大規模流量數據的存儲量和查詢分析性能，可通過會話合并、清洗去重等預處理技術手段壓縮原始數據量;對于日志類安全數據，支持根據業務需求實現對數據去重清洗轉換等各類預處理功能.

3)存儲計算:提供對網絡流量數據和日志類安全數據的存儲和分析計算功能.結構化、半結構化數據由分布式數據庫存儲，非結構化數據由分布式文件系統存儲，能夠根據業務需求對數據進行劃分，使得數據合理地寫入到平臺的各個節點上.并提供數據處理的計算和分析挖掘功能，包括離線計算、內存計算等，支持聚類分析、特征提取、關聯分析、異常檢測、深度神經網絡等數據挖掘算法.具體應用包括為存儲到分布式數據庫中的流量數據根據查詢需求建立索引;對存儲在分布式文件系統中的非結構化數據進行統計分析等離線處理.

4)數據服務:提供數據接口服務和圖形化的交互服務，對于數據報文提供圖形化的數據檢索和下載界面，對于挖掘分析提供圖形化的分析統計、挖掘建模的交互分析界面.

3 關鍵技術

平臺通過軟硬設備一體化集成，采用分布式可擴展服務架構，利用增加節點擴大系統規模，可實現整體處理能力的增長，通過數據處理主要環節的技術優化，可達到對大規模網絡流量數據的匯聚接入和實時處理的效果.為實現對大規模網絡流量數據處理的實時性，平臺采用了基于半同步半異步模式的分級數據采集、基于多分區隊列的數據緩存和流處理、基于抽象數據訪問驅動的數據虛分區式存儲組織、基于批量構建模式的分級索引數據查詢等關鍵技術方案，有效提升了整體處理能力.

3.1 半同步半異步模式分級數據采集

網絡流量數據的采集，目前通用的服務器設備可以滿足百兆到準萬兆的環境.而在幾十Gbps 以上數量級的網絡流量數據下，因為通過網卡收進來的數據包，經過協議棧處理，緩存在內核態空間中，應用程序調用數據的時候，需要將內核態空間的數據拷貝到用戶態中再使用，這樣帶來了CPU 的開銷，而隨著CPU 核數的增多，多個核之間交互協同的開銷會成指數增長(如跨NUMA 內存訪問)，所以對于數據量規模較大的情況下，通過高端的設備(如四路、八路服務器)來增加CPU 數量，并不能帶來流量數據收發解析等處理的整體性能的過多提升.因此針對大規模流量數據，需要采用分布式的軟硬件架構［12］.本平臺采用了半同步半異步模式，利用Scaleout 方式設計了分級處理的可擴展技術架構，性能彈性靈活擴展，可支持幾十Gbps 以上的大規模網絡流量數據的實時接入.

半同步半異步模式的分級架構中前一級以異步模式向后一級分發數據，后一級以同步模式進行數據的任務處理，兩者通過隊列進行相關信息交互.異步模式可提升執行效率，同步模式可簡化并行難度，半同步半異步整體提升了系統的并行度，可應對大規模數據處理并行的要求.

圖2 是分級采集流量數據的架構圖，首先一級處理主要通過專用的高性能匯聚分流設備，將多條雙向鏈路流量接入，對數據包進行過濾，丟棄不需要分析的報文，并根據規則對流量進行負載均衡分流，保持會話.二級處理通過流量采集設備，利用協處理卡釋放服務器計算資源，加速網絡流量處理，實現零拷貝、無中斷線速收發包.三級處理采用分布式消息系統，通過采集軟件從二級處理設備中獲取流量數據，將五元組數據和報文數據組成網絡包結構體，序列化到消息系統中，以供后續流處理環節對數據進一步進行分析處理.

圖2 分級數據采集架構Fig.2 Hierarchical data collect architecture

一級處理通常應對上百Gbps 的數據規模，一般存在于骨干網或核心網出口.目前主要使用大型的高端匯聚分流設備，將通過分光方式獲取的多條鏈路的雙向流量全部匯聚下來，可采用設備堆疊或者集群的方式來支持超大規模的網絡環境.在對流量匯聚后，將根據五元組信息，通過Hash 運算把數據轉發到后端的二級處理集群，并使得同一個流的數據轉到同一個節點之上［13］.

二級處理接收一級匯聚分流設備轉發過來的流量數據，通常在幾十Gbps 的數據規模.目前單個節點的處理能力遠不能支持，因此面對規模較大的流量數據，平臺采用了Scale-out和Scale-up 結合的方式，通過可擴展的分布式集群來支持大流量處理.在集群的節點分布上，根據流量數據的不同類型，用不同的節點處理不同類型的流量，比如根據協議類型，有HTTP、DNS、FTP 等協議的流量數據;根據后期分析的業務類型，有DDoS 攻擊檢測、入侵檢測、郵件監測等不同業務的流量數據，因此在一級分流時就將根據數據內容，過濾出對應的數據并分發到相應二級節點進行處理，可通過增加節點來支持不同內容的流量數據，并擴大系統支持的數據規模［13］.同時平臺設計中也考慮到集群規模大帶來的能耗和成本，可通過增強單節點能力降低節點數量，來提升整個系統的投資回報率.鑒于現在的CPU 計算能力已經較強，所以對于網絡流量數據處理的主要瓶頸是在數據收發包環節.通用網卡在數據處理時需發起CPU 中斷，數據包需在內核空間和用戶空間之間轉換，此過程會占用大量的系統資源.平臺為了優化性能，設計支持了零拷貝和專用網卡兩種方式.零拷貝通過Intel的DPDK 技術，網卡在收到數據包時，直接把數據存入到用戶態空間中，以供應用程序調用，從而減少從內核態空間拷貝的開銷;DPDK 提供指定NUMA 號來申請內存接口，用戶可以通過指定NUMA 號申請內存來保證CPU 使用就近內存，以降低訪存的消耗;同時DPDK 可利用CPU 的親和性將線程與CPU 綁定，避免運行過程中被隨意調度而帶來的頻繁切換開銷，綜上整體可有數倍性能的提升［14］.專用網卡通過專用芯片(如FPGA、ASIC)來加速數據包的處理，首先與零拷貝一樣，其避免了內核態到用戶態的拷貝，降低了開銷，同時作為專用協處理卡，可根據分析需求對高負載應用進行負載卸載.包括數據過濾，通過五元組、特征碼規則等過濾不需分析的流量，以減少CPU 處理的數據量;數據匹配，對于報文內容的關鍵字/正則表達式匹配等高消耗CPU 的任務，將其卸載到專用網卡上實現，可有效降低CPU 的資源消耗;同時專用網卡可與CPU 配合，CPU 在對一條流內前部數據包分析得出結論后，即可下發規則，讓專用網卡對該流后續數據包直接轉發或丟棄，無需再經CPU 處理，綜上專用網卡可對高負載應用卸載，過濾或降低需CPU 處理的數據，進而帶來處理能力的提升.

三級處理支持接入二級流量采集設備中的實時流量，也支持批量的日志類數據，并通過分布式消息系統緩存數據.此級處理主要包括原始網絡流量數據、批量數據的采集和序列化數據到消息系統兩個過程.原始網絡流量數據的采集與專用設備對接，可以多個節點并行以提高傳輸速度.獲取流量數據過程中，可通過基于協議的單獨和組合規則對流量數據進行過濾以減少吞吐數據量，并打上精確到納秒級別的時間戳，為后續分析提供精確的時間索引.采集到的網絡報文解析后，對IP 報文獲得IP 地址，對TCP 或者UDP 數據包則進一步獲取通信端口，進而將五元組數據和實際報文數據組成一個含時間戳的網絡包結構體，并將該結構體序列化到消息系統中.

3.2 多分區隊列的并行分布式數據流處理和基于屬性劃分的數據加載

面對網絡流量數據的大規模，在采集接入后，還需要解決數據實時處理的可靠性、時效性和數據加載持久化的可擴展性，從而實現對數據的及時處理和合理存儲，并為后續的挖掘分析和檢索查詢墊定基礎.

3.2.1 基于多分區隊列的數據緩存

為了保障數據采集后的可靠性和吞吐量，平臺在架構設計中引入了分布式消息系統對數據緩存，實現多點采集的統一維護與管理.緩存系統使用本地磁盤對收到的消息進行持久化，克服傳統內存瓶頸實現數據的高可靠性，并設置消息的副本數大于1，從而有效保障緩存數據的可靠.為了提高吞吐量，將消息隊列拆分為多個分區，并將每個分區位于不同的機器或者不同的磁盤上，以保證磁盤讀寫的連續性.在大數據量的情況下，可通過加大緩存系統主題的分區數，使得采集數據分散到消息系統的各個節點的各個磁盤上，增加處理的數據量，也提升后續消息訂閱處理時的并行度.

3.2.2 并行分布式的數據流處理

采集的數據進入緩存系統后，通常需根據業務需求進行預處理并進行數據持久化操作，此過程中因節點宕機或存儲系統響應慢，就會出現大面積的數據丟失.因此，平臺設計采用了并行的分布式流式處理技術，統一從緩存系統中獲取數據，根據預處理的規則和不同的持久化目標，構建作業級容錯的實時處理拓撲［15］.通過配置每個拓撲節點的并行數，充分利用集群計算資源達到較高的并行度，大幅度提高數據預處理和持久化的時效性;同時通過捕獲錯誤信息，對數據進行回滾，可以保證有節點故障時不會出現數據未被執行的情況.圖3 展示了流式處理的過程.

圖3 流式處理過程Fig.3 Streaming process

3.2.3 基于屬性劃分的數據加載

針對網絡流量數據，有五元組等結構化數據，也有原始報文等非結構化數據，平臺支持分布式數據庫和分布式文件系統來滿足不同類型的數據存儲，在流式處理環節會根據數據的特性加載到相應的存儲系統中.為了適應數據規模的擴展，數據存儲分布策略按照各個數據對象的屬性值進行劃分［16］.在數據加載時，需按照數據的關鍵字，即劃分屬性，將數據寫入到相應的存儲節點中.而在分布式文件系統中，由于文件是按照塊的方式分布在多個節點上，因此采用文件夾的方式，對分區進行管理，每個分區可以表示一個文件夾.

3.3 基于抽象數據訪問驅動的虛分區式數據存儲

網絡流量數據涉及結構化數據和非結構化數據，因此平臺設計提供不同類型的存儲，采用基于抽象數據訪問驅動的虛分區進行數據組織，用于支持不同場景的存儲需求，底層存儲包括關系型數據庫、分布式NoSQL 數據庫、分布式文件系統和文本檢索系統等以及這些數據存儲和處理系統的復合［17］.平臺采用軟件中間件的架構方式，將底層的存儲系統組織管理起來，對外提供統一的數據存儲服務，并實現對各種類型數據的統一處理［18］.架構如圖4 所示.

圖4 數據統一存儲處理架構Fig.4 Architecture of unified data storage and process

架構中的抽象數據訪問驅動，是對底層各種類型數據訪問的統一接口，采用Portable 的設計，針對不同的數據類型，可添加或者裝載新的驅動.目前支持數據庫訪問接口、文件系統接口、文本檢索接口，并可通過添加新的驅動庫來擴展其它數據訪問接口.通過抽象的數據訪問驅動層，可以屏蔽數據訪問的差異細節，將對不同類型存儲數據的訪問統一起來，簡化了系統的設計和實現，同時也對不同數據的聯合查詢分析提供了支撐基礎，可實現不同類型數據的通用處理［19］.比如將文本檢索和數據庫查詢相結合進行數據分析，在網絡流量數據基于五元組查詢數據報文的場景中，就可以先通過關鍵字檢索到五元組信息，再根據五元組進行數據庫查詢得到所需數據報文.

平臺對數據的統一存儲組織，提供對數據的邏輯劃分功能，支持按照數據語義的 hash、range、list 和 round-robin 的數據劃分策略［20］.針對結構化數據處理的數據庫系統，每個數據節點保存整個數據集的一部分.針對非結構化數據處理的分布式文件系統或者文本檢索系統，則可以劃分到不同的文件或者文件夾，每個文件或文件夾保存數據集的一部分.

為了適應節點數的動態擴展，平臺設計了一種虛分區的技術，即分區和節點是多對一的關系，每個節點包含多個虛分區.每個表定義時需要指定一個節點組，包含若干數據節點.分區表進行存儲劃分時，每個節點包含若干分區(也叫虛分區)，因此采用數據劃分的數據表的存儲可以分為分區、節點和節點組的三層包含關系.為了充分利用系統的計算資源，在多分區時對讀寫等負載進行有效調度，分區數量可以設定為CPU 的核數×2，或者更多，這樣使得CPU 的每個核能對應一個以上分區，避免分區過少造成的計算資源空閑，從而可以在運行過程中根據不同的負載模式做相應的調度策略，使得每個CPU核都能分配到對應任務，從而充分發揮出節點的計算能力.

當系統規模擴大時，比如往節點組中增加新節點時，需要對在線數據進行遷移，以保證節點組內各節點間的數據均衡.采用虛分區技術，數據遷移時只需將一定數量的分區整體遷移到新增節點，避免了重新分區的開銷，同時也保證節點間的最小數據遷移量.

3.4 基于異步構建分級索引的數據檢索查詢

在網絡流量數據分析的需求中，其中典型的應用場景是根據需求檢索查詢出原始數據報文，以進行溯源和深入的內容分析，在大規模數據存儲量的環境下，需要提供從中快速檢索查詢的技術方案.為此平臺設計了以分布式列式數據庫為存儲載體，利用全文搜索引擎為數據建立二級索引，通過異步批處理進行數據的會話合并和索引構建的整體方案，來應對網絡流量大數據量的查詢挑戰.

數據存儲使用典型的NoSQL 非關系數據庫系統，采用key-value 模式的數據模型，在主鍵上建立索引，可以高效地支持基于主鍵的數據查詢［21］.為了支持流量數據的快速查詢，平臺設計了以源 IP 地址+目的 IP 地址+協議+源端口+目的端口+時間戳為組合的rowkey.根據實際數據量，對表進行周期性切分，如按天、周進行分表;對表進行預分區，確保數據能夠均勻的寫入每個節點，提高系統的吞吐量，降低熱點節點出現的概率.并通過啟用數據壓縮、增加處理線程數、調整塊緩存大小、增加阻塞時存儲文件數目等多種手段進行整體優化.

為實現對報文數據的快速檢索，利用分布式搜索引擎對五元組等關鍵字段構建二級索引.數據報文的ID 為唯一字段，可與rowkey 一致，源IP 地址、目的IP 地址、協議、源端口、目的端口、時間為索引字段，查詢時可根據任意條件組合的索引字段查詢到ID，再根據ID 從數據庫中獲取報文內容.考慮網絡流量的數據規模，容易形成數據積壓，平臺采用了異步批處理模式來創建索引.批處理主要實現將文件系統中數據包結構的rcfile 文件合并為會話結構的avro 文件，并根據索引字段對avro 文件生成搜索引擎的索引文件，直接導入搜索引擎，從而繞過原生的導數據建索引同步接口，性能可大幅提升.在對數據報文建立索引的過程中，基于時間窗口將五元組相同的報文合并成一條會話，會話記錄報文的五元組信息、起始時間、結束時間、報文數量，也可以有效減少數據量，提升檢索效率.

4 測試結果

本文所設計提出的面向大規模網絡流量數據的實時匯聚查詢平臺，可應對網絡流量數據的采集、實時處理、存儲組織和檢索查詢的需求，為了檢驗本文中關鍵技術和整體系統的實際性能，我們選取了主要環節進行性能驗證.

表1 節點配置信息和角色Table 1 Node config information and role

測試環境中接入20Gbps 網絡流量數據，測試服務器集群共有30 個節點，節點硬件配置和角色分布參見表1.

實驗采用發包儀構造網絡流量包，持續發送20Gbps 的流量數據進行采集性能、數據寫入性能、數據查詢性能、構建索引性能和可擴展性的測試.

1)采集性能

針對采集性能實驗，分別通過發包儀構造64b/512b/1024b 的小包，經分流設備向每路采集節點發送網絡數據包，最終我們測試的單節點采集性能大于4200Mbps，峰值可達到4900Mbps，且數據包越大，單節點采集性能越高，具體實驗結果詳見圖5.由于各個采集節點是獨立處理分流的數據，相互可并行工作，因此整體采集能力可隨節點線性擴展，5 個節點即可處理20Gbps 的流量數據，通過增加節點數量可以處理更大規模的流量數據.

圖5 單節點采集性能對比Fig.5 Single node collect performance comparison

2)數據寫入性能

采集的數據經過實時處理并入庫存儲，以大小為1024b的包為例，如圖6 所示，整體數據解析及入庫能力不低于350萬條/s，穩定在370 萬條/s，峰值可達390 萬條/s.實驗表明通過多分區隊列的數據緩存、并行分布式的數據流處理和基于屬性劃分的數據加載等構建的整體流程，可以快速的處理解析流量數據，并根據數據特征有效的完成數據入庫加載，具備對大數據量的實時處理能力.

圖6 數據解析入庫性能Fig.6 Data parsing and writing performance

3)數據查詢性能

為了提高數據查詢性能，在本系統中，我們通過對分布式數據庫中存儲的原始數據建立二級索引實現數據的快速查詢響應.在1PB 數據量下，分別對本系統查詢響應時間和直接查詢原生分布式數據庫HBase 的響應時間進行了多種場景的測試，包括雙向源IP 精確查詢、單向源IP模糊查詢、雙向源IP 模糊查詢源、雙向雙端口精確查詢和雙向源IP 模糊+雙端口精確查詢.在本系統下精確查詢響應時間＜1s，復雜查詢時間秒級返回，比直接從分布式數據庫查詢性能提升30 倍以上，部分場景可達80 倍的效果，具體測試數據參見表2.結果表明通過二級索引的構建，可以大幅提升查詢數據的尋址時間，同時結合五元組數據特征構建合理的鍵值結構，整體可實現對流量數據查詢場景的快速響應.

表2 數據查詢性能對比Table 2 Data querying performance comparison

4)構建索引性能

為了提高建索引的速度和存儲空間利用率，平臺采用了異步模式來批量建立索引并進行數據的會話合并，規避同步模式構建索引的時間消耗，并利用會話合并來減少處理的數據量.實驗過程中我們以小時的數據為單位周期建立索引，索引數18 億條左右，實測每次建立索引10 分鐘內完成，系統整體構建索引速度平均329 萬條/s.如圖7 所示對比，檢索系統Elasticsearch 的原生索引構建速度平均91 萬條/s，性能優化提升 3.5 倍以上.

圖7 構建索引速度Fig.7 Build index speed

5)擴展性測試

為了支持大規模，系統需要具有良好的擴展性，我們選擇了數據采集和數據寫入，通過對不同集群規模的壓力測試來驗證系統的可擴展性.

數據采集性能如圖8 所示，以1024b 大小的包為例，由于各個采集節點的并行工作，可以看到隨著采集節點數的增加，采集性能保持線性增長，驗證了數據采集的架構在可擴展性方面有著良好的表現.

圖8 數據采集性能Fig.8 Data collect performance

數據寫入性能如圖9 所示，以1024b 大小的包為例，由于系統整體采用分布式的服務架構，當節點從5 個擴展到25個，數據寫入性能從80 萬條/s 提升到370 萬條/s，基本保持近線性增長，驗證了存儲計算節點在擴展性方面同樣具備良好表現.

受限于硬件條件的限制，測試沒有針對更大規模的數據進行驗證，但通過實驗可以表明，系統整體具備高吞吐量高性能的處理能力，系統中的模塊采用分布式可擴展服務架構，通過擴大集群規模即可實現系統處理能力的增長，從而支持更大規模流量數據處理的需求.

圖9 數據寫入性能Fig.9 Data write performance

目前系統已在用戶項目中使用，實時處理20Gbps 的網絡流量，數據存儲量5PB，持續穩定運行一年以上，具有很好的應用價值.

5 結束語

本文闡述了面向超大規模網絡流量數據的實時匯聚查詢平臺的系統架構、關鍵技術以及相關測試.結果表明平臺通過半同步半異步模式的分級架構，能夠接入采集大規模的網絡實時流量;通過多分區隊列的消息緩存、并行分布式流處理和基于屬性劃分的數據加載等手段的優化組合能夠對流量數據進行可靠高效的實時處理;采用基于抽象數據訪問驅動的虛分區式數據存儲可對異構數據進行統一的管理，并具備良好的擴展性;通過異步構建的分級索引架構，實現對海量數據報文的快速查詢檢索，最終為用戶提供數據匯聚查詢的一體化平臺，并達到支撐超大規模和高實時性的目標，可廣泛應用于網絡流量數據的各類使用場景.下一步，我們會針對五元組信息外的條件檢索查詢場景進行研究并提出更高效的數據存儲、索引和查詢優化方法，并針對更為復雜的流量數據分析挖掘需求提供解決方案.