創新采購方式改進運營商統一DPI系統

中國移動通信集團采購共享服務中心 │高峰 劉棟

中國移動通信集團設計院有限公司 │呂紅衛 潘潔 侯慧芳

創新采購方式改進運營商統一DPI系統

中國移動通信集團采購共享服務中心 │高峰 劉棟

中國移動通信集團設計院有限公司 │呂紅衛 潘潔 侯慧芳

現網統一DPI系統存在系統建設與上層應用系統建設進度不匹配、同一采集點異廠商DPI設備上下行數據合成不準確和維護復雜度高等問題，本文提出了基于創新采購方式對上述問題進行改進的方案。

運營商統一DPI（De ep Packet Inspection）系統通過最少的采集點獲取全網最全量的數據，實現部署位置合理化、設備功能規范化、數據格式標準化。運營商通過建設統一DPI系統解決了鏈路重復采、重復存、重復分析以及數據格式不標準等問題，符合未來大數據平臺建設的需要。但在以往的系統建設過程中，采用傳統采購模式，導致在同一部署位置出現異廠商設備，而現階段技術方案又不能很好解決異廠家同源同宿的問題，且較長的采購周期造成采購結果和省內實際需求不匹配。為解決以上現網統一DPI系統存在的問題，本文提出了一種創新的采購模式，能夠很好地解決現網系統同源同宿以及采購周期長的問題，推進統一DPI系統在全網的建設更加合理化。

統一DPI系統概述

樣化、營銷精細化以及為部分增值業務提供技術支持，同時也是面向數據挖掘方向的信息采集系統。

移動網內流量，從用戶出發，按照接入網、城域網、省網、骨干網的順序在網內傳輸，由此在全網5個點進行流量分析，部署DPI設備可捕捉到網內流量全貌。通過減少采集點和DPI設備數量，實現多系統間同一采集點的DPI設備共享，力爭通過最少的采集點獲取最全的數據。

統一DPI系統由光設備、DPI設備、XDR合成服務器和DPI管理服務器組成，如圖1所示。在并接部署模式下，光設備為分光器和光放大器；在串接部署模式下，光設備為BYPASS設備。

管理服務器和XDR合成服務器采用通用服務器，而流量識別技術可由多種軟硬件方式實現，因此不同廠商DPI設備的實現方式也不同。

DPI是一種基于數據包的應用層流量檢測和控制技術，針對數據包的不同層信息（如IP地址、應用層端口、應用層協議、凈荷內容等）進行深度檢測和分析，從而得到整個數據流或數據包的應用層信息，然后按照系統定義的策略對流量進行統計分析和控制。DPI系統的基本功能包括業務識別、報文過濾、生成日志、業務統計和流量控制等，DPI系統作為網絡運營商進行IP業務流量監控的一種技術手段，其主要目的是為實現服務差異化、計費多

DPI主流架構平臺實現方案分析

圖1 統一DPI系統架構

DPI設備的核心功能理論上可通過ASIC架構、FPGA架構、NPU架構、MIPS架構、路由器架構以及x86架構等加以實現，但鑒于每種架構技術的局限性和對實際應用場景的適用性等原因，現網主流廠商一般采用FPGA架構、x86架構以及路由器架構來搭建DPI設備。以下對3種主流架構平臺的實現原理進行闡述。

FPGA架構

FPGA是現場可編程邏輯門陣列，使用預建的邏輯塊和可重新編程布線資源，支持用戶自定義硬件功能。FPGA芯片沒有固定的功能，內嵌有排列規整的門級電路和用于連接這些門級電路的連線，這些連線所連接的路徑是可以改變的，通過通用的EPROM、PROM編程器，同一片FPGA，不同的編程數據，可以產生不同的電路功能。基于FPGA架構的DPI系統實現原理如圖2所示。

基于FPGA硬件架構的DPI設備，其數據采集、業務識別、流量統計、策略控制等復雜功能均由FPGA設計實現，板內處理器則執行設備配置、網管通信、策略下發、流量上報等功能。

FPGA比CPU單次可處理更多的數據指令，并且系統可靠性更高、設備功耗較低，但由于基于FPGA架構的DPI設備使用硬件設計語言，開發周期較長，同時受硬件資源限制，存在產品升級較困難的瓶頸。

路由器架構

路由器架構的DPI系統基于成熟高端路由器硬件平臺開發，繼承了高端路由器的架構設計特性，提供電信路由器級別的高性能和高可靠性，能夠按動態的靈活策略實現高密度大容量端口的帶寬管理，利用多項專利業務感知技術，通過高性能的硬件平臺實現網絡數據報文的分析和處理。基于路由器架構的DPI系統由前臺和后臺系統組成，如圖3所示。

圖2 基于FPGA架構的DPI系統原理圖

基于路由器架構的DPI系統既能滿足數據處理的實時性、高性能，也可滿足電信業務的低網絡時延、高傳輸質量的要求，可提供智能、靈活的業務控制手段，業務擴展性好，同時系統集成度較高。但基于路由器架構的DPI系統存在設備功耗較高的問題，在運營商建設綠色節能網絡系統的大趨勢下，高性能、低功耗是路由器架構DPI設備未來的發展方向。

x86架構

x86架構也稱為CPU架構，以通用的Intel x86 CPU作為整個系統的轉發核心，采用C語言編程，可編程能力優于其它種類的芯片，通過軟件過濾方式（基于特征碼）實現包處理，依托x86平臺的軟件生態系統，可根據用戶的實際需求而做相應調整，增加或減少功能模塊。基于x86架構的DPI系統原理如圖4所示。

x86架構使各種網絡功能的開發難度顯著下降，產品比較靈活，其功能也具有更好的可擴展性，是網絡設備領域高靈活性和低門檻的開發平臺；但由于它是作為通用服務器設計的，在網絡包處理方面需要做有針對性的性能優化，在這方面Intel公司推出了DPDK平臺，而各公司也需要研發自己的網絡高性能處理平臺以達到更好的處理性能。

目前，運營商的統一DPI系統主要由以上3種主流架構實現，多廠商設備共存遏制了技術壟斷現象的發生，促進DPI技術的快速發展，同時也能更好地滿足各省的實際應用場景和個性化需求；但異架構的實現方式在實際的現網運行中會產生數據無法同源同宿以及增加聯調難度等問題，因此需要按照建設方案實際需求設定采購標的，更好地滿足各需求單位的差異化建設需求。

創新采購方式對統一DPI系統的改進

傳統的運營商產品集中采購均按照模型方式進行招標采購，在實際執行過程中，需按照中標比例進行產品分配，同一采集位置可能會分配多個廠商，因此無法有效解決多廠商異構產生的同源同宿等技術制約。同時，當上層應用系統對于統一DPI系統的數據需求發生變化時，產生了異廠商DPI設備協同改造、系統聯調引起工作量增加的問題。此外，傳統的運營商集中采購方式采用模型方式進行報價，由于DPI系統網絡配置屬性較強，集采結果無法精準地匹配實際需求，且無法針對建設方案進行靈活調整，省公司在落地執行時存在一定難度。同時，傳統的運營商集中采購還存在采購周期較長、采購需求不準確等問題。

為了有效解決上述傳統運營商產品集中采購的問題，本文提出了一種批次項目采購結合突發量控制的采購方式。即按照項目方式，將一段時間內的采購需求進行匯總作為一個批次采購，其中采購需求將依據建設方案進行分類并采用相應的采購方式。同時，為了滿足批次采購周期內的突發需求，引入了突發配額解決方案。新的采購方式從時效性及需求準確性兩方面確保滿足實際業務需求，并能夠有效解決統一DPI系統建設過程中存在的問題。

改進異廠商DPI設備同源同宿問題

在數據分析應用領域，應用系統需要對會話的上下行完整數據流進行分析，而實際工程中受網絡建設的影響，較多會話的上行流、下行流分布在不同的設備或同一設備的不同端口上，如圖5所示，對于一個用戶來說，其上行流量可能經過一個省干核心路由器，而下行流量可能經過另外一個省干核心路由器（參考-綠線），此時省網出口就存在非對稱路由；同樣對于IDC中的業務系統，其上行流量可能經過IDC出口的一臺路由器，而下行流量可能經過另外一臺路由器（參考-藍線），這樣IDC出口也存在非對稱路由。

如分布的設備為同廠商設備可采用同一種HASH算法，使不同鏈路或端口中同一HASH值的流數據在同一端口輸出；若分布的設備為不同廠商設備時，如果不同廠商不能在以下HASH策略的參數上達成一致，就無法實現同一會話的流量歸并，這些HASH策略包括源地址/目的地址HASH方式、HASH目標鏈路的數量和負載分擔選擇算法，由于涉及到各廠商產品的核心技術和商業考慮，推進過程緩慢；除此之外，還可以采用在異廠商DPI設備之后再部署一級服務器作為流同步服務器進行異廠商流信息互通，但此方案會大幅度增加建設投資。

圖3 基于路由器架構的DPI系統原理圖

圖4 基于x86架構的DPI系統原理圖

圖5 非對稱路由示意圖

統一DPI新的采購方案遵從同一采集位置采用同一廠商部署DPI設備的原則，從根源上避免了同一采集位置不同廠商設備并存的現象。在從技術方面解決問題推進緩慢的情況下，從采購制度上有效緩解了各省現階段面臨的異廠商上下行數據合成不準確的問題。

推進各應用系統接入建設

統一DPI系統對鏈路上的流量進行采集、轉發和分析控制操作，將滿足上層應用系統所需的流量或分析統計數據分發給各應用系統服務器，如圖6所示，上層應用系統一般包括WebCache系統、IDC/ISP信息安全管理系統、“僵木蠕”檢測系統、日志留存系統、信令分析系統、流量分析系統、封堵系統等。現網同一采集位置存在部署異廠商DPI設備的情況，當應用系統接入統一DPI系統時，需協調多廠商進行數據聯調，由于各廠家DPI系統工作原理、軟件部署方案差異較大，存在聯調周期長、整體系統工作效能低下、可靠性不高等問題，影響應用系統的上線進度。

統一DPI新的采購方案限定在同一采集位置采用同一廠商部署DPI設備，有效避免了多廠家設備聯調帶來的冗余工作量，更好地推進工程建設進度；此外，當上層應用系統對于統一DPI系統的數據需求產生變化時，也避免了異廠商設備協同改造、升級造成的系統復雜性提高的問題；對于網絡維護工作，維護人員也能更方便和清晰地進行系統問題的排查和糾錯。

圖6 統一DPI系統與上層應用系統對接圖

保障各系統考核工作的完成

統一DPI系統作為省內各應用系統所需數據的來源方，其建設進度直接影響了各考核系統的整體完成進度。統一DPI新的采購方案以3個月為1批次進行采購，采購周期短，能更好滿足各省的差異化建設需求，各省在1年內各階段的系統建設任務幾乎不會受到影響。工信部每年會對運營商IDC/ISP信息安全管理系統、“僵木蠕”檢測系統和移動上網日志留存系統，進行信息安全技術手段測試檢查和考核工作，集采模式的創新保證了采購份額的及時下發，進而推進了系統的建設完工，保證各省安全系統考核工作的順利進行。

應對互聯網鏈路大規模增長態勢

隨著各類互聯網業務的發展以及用戶數量的激增，運營商骨干網間互聯鏈路、各省省網出口、城域網和IDC出口鏈路規模均在大規模擴容建設中，統一DPI系統的規劃建設與運行必須與CMNet基礎建設保持同步，而各省的CMNet建設又可能會根據政策及市場需求進行調整。傳統采購模式以一個長周期的鏈路規劃規模作為采購規模，往期建設中會出現與實際建設內容不符、實施周期延長等情況。在對集團和各省網絡規劃發展充分調研的基礎上，統一DPI新的采購方案順應互聯網大規模、突發式的增長趨勢，按照項目方式、以各省公司上報本批次內采購需求為依據，每3個月為1批次進行采購。新的采購模式保證采購結果能夠及時下發到省內，方便各省完成各季度的系統建設任務；同時采購結果更加符合各省的實際建設需求，避免造成不必要的投資浪費；在每批次的采購份額中，還配置了突發份額，保證各省能夠應對可能發生的突發建設任務。

通過對運營商現網主流DPI架構進行分析對比，本文提出創新的采購模式對全網系統進行改進，有效解決統一DPI系統由于傳統采購模式帶來的一系列現網問題，在從技術方面推進問題的改進遇到瓶頸時，及時轉換思路，從創新的采購制度方面完善全網系統建設，促進系統部署合理化。

編輯｜張鵬 zhangpeng@bjxintong.com.cn