大數據背景下運營商IP城域網DPI系統部署方案探討

程燁 華信咨詢設計研究院有限公司數據所所長

大數據背景下運營商IP城域網DPI系統部署方案探討

程燁 華信咨詢設計研究院有限公司數據所所長

隨著國內運營商向綜合信息服務商轉型，中國電信、中國移動等開始著手基于自身擁有的海量網絡運營及用戶數據建設大數據應用平臺。作為大數據平臺關鍵數據來源，運營商IP城域網出口各類寬帶用戶及業務流量，由于其海量的網絡用戶覆蓋、全量的互聯網數據、典型的行為特征，日益受到運營商、互聯網公司及第三方數據運營公司的關注，相應DPI（Deep Packet Inspection）系統部署建設也成為運營商構建大數據平臺的基石。本文主要從DPI部署現狀出發，對于DPI架構、40G/100GE大顆粒度鏈路分光、DPI網絡承載等關鍵問題進行分析并提供相應的部署建議。

DPI 40G/100GE 鏈路分光 部署模式

1 引言

近年越來越多的政府機構、公司對于大數據有了更深刻的認識，將其視為各自單位的關鍵資產，數據資源化、價值化將成為大數據發展的焦點，在解決數據脫敏及安全的前提下各類數據將更加趨于開放共享，進一步與傳統商業智能融合，透過運營商、互聯網公司及第三方數據運營公司為各行各業提供定制化數據分析運營解決方案。

國內互聯網公司如百度、阿里、騰訊、京東等對于大數據的收集整合應用已經先行一步，包括搜索、消費行為分析等。運營商也在向流量經營、數據運營的方向轉型，紛紛開始基于建設部署DPI等各類數據流量采集處理系統，作為自身大數據平臺的全量數據源，并在此基礎上構建運營商整體視角和全業務、全用戶維度的大數據運營平臺，對內提供電信運營所需的統計分析數據，支持前后端的網絡運維管理、市場策略制定等；對外提供大數據解決方案、數據源提供服務、數據分析與咨詢服務，并與第三方合作實現數據資產變現。

2 運營商DPI系統部署現狀及存在的問題

運營商DPI系統作為大數據分析應用系統重要數據來源之一，可對運營商網絡管道內各類應用、用戶行為、流量流向進行識別分析，并實現網絡深度視圖、及時發現網絡異常流量、動態調控資源、進行流量精細化運營等。

2.1 DPI系統部署現狀

從2005年開始國內運營商陸續在固網國際出入口、IP骨干網（CR）層面建設部署了DPI系統，相應部署鏈路類型多為GE/10G，采用分光并接或串接模式，DPI系統多為前端分流平臺+后端服務器架構；此外，考慮投資因素大多采用了抽樣輪詢部署方案，通過該系統與運營商其他IP/IT支撐系統聯動協同，試圖建立流量—應用—用戶之間的關聯模型，實現低價值應用流量控制、基于流量的用戶行為分析，為運維、建設等部門提供業務承載和網絡運行相關分析數據。

2010年之后國內運營商紛紛啟動戰略轉型，基于DPI構建智能管道感知體系成為這一階段各大運營商智能管道建設的重點，特別是隨著3G普及應用，移動互聯網風生水起，運營商在相應移動核心網（PDSN/ GGSN）相關互聯網出口鏈路全覆蓋部署了DPI系統，相應系統采用前端專用設備+后端服務器架構，借此強化對于移動互聯網的流量分析和管理，并結合PCC等技術手段實時根據相關分析數據調優移動網絡基站負載和覆蓋，保障移動用戶感知，開展流量精確化管理和運營。

2014年隨著大數據應用成為業界熱點，國內運營商也將目光投向這一領域。中國電信計劃基于全國各地市IP城域網出口（全球規模最大的IP城域網，覆蓋將近1億的家庭寬帶用戶）按照不同省份分批部署DPI系統，希望為其大數據平臺提供最為豐富的用戶流量數據，搶占大數據應用市場。

2.2 DPI系統架構及接口

現階段運營商DPI系統建設大多采用前端+后端的模式，系統架構參見表1，前端涉及分光所需的分光器/光放、DPI設備（路由器架構設備、協議轉換/分流設備、專用設備等），主要實現流量的實時I/O轉發、分析和控制；后端主要包括數據處理服務器，完成離線數據分析。

不同運營商從構建完整智能管道感知體系的角度，要求DPI系統構建應實現采集識別執行單元與分析控制單元解耦合，不同DPI系統通過特定接口規范統一與DPI集中管控平臺、大數據平臺等對接。如中國電信制定了《固網寬帶深度包檢測系統技術要求-U/Tp/Td接口》，并結合大數據平臺與DPI系統交互需求擬定了若干DPI輸出接口及推送接口規范，并在具體的DPI系統部署中不斷修訂完善，從而逐步向全視圖統一的智能管道感知體系演進，按需為大數據平臺提供各類合規數據。

2.3 DPI系統性能及功能

現階段DPI系統性能瓶頸一般在前端DPI設備，后端數據分析處理平臺可通過服務器集群或資源池方式實現性能平滑擴展。為了提高性能，前端DPI設備硬件實時I/O轉發、控制單元通常采用ASIC硬件，實時分析單元多采用FPGA和NP；后端服務器離線分析單元對可編程性要求高，多采用X86服務器自帶的CPU。目前，DPI系統并沒有規范統一的性能標準，主要關注大顆粒度鏈路無損采集、流量采集識別準確率、特征庫更新周期頻次、智能鏡像處理時延等性能參數，在實際部署中常根據大數據平臺對于DPI系統數據輸出要求定制化相關性能指標，如HTTPGET報文的識別成功率、單鏈路推送有效HTTPGET請求并發條數等。

業界部署的DPI系統大多具備設備采集、策略管理同步、全應用識別管理、用戶行為采集識別數據采集與管理、認證計費信息采集識別、流量流向、CP/SP資源采集識別、多鏈路/設備協同應用（實現同源同宿）等功能。不同運營商對于DPI系統功能定位有所差異，有的側重運維功能實現，有的關注應用數據識別分析，為此會在DPI系統部署時選擇不同的功能子項組合滿足建設需求。

2.4 DPI部署存在的問題

盡管DPI技術及產品較為成熟，但由于部署場景、系統演進、數據需求等因素影響，運營商在DPI部署中仍存在一些問題，包括部署模式、大顆粒度鏈路分光、同源同宿、DPI系統網絡承載等。

2.4.1 部署層面及方式多樣化

DPI部署方式分為串接和并接兩大類，可靈活部署在互聯網國際出入口、運營商互聯互通、IDC出口、IP骨干網、IP城域網等層面，甚至以DPI板卡內嵌在Bras等IP設備上進行部署。實際部署中運營商需結合自身DPI定位、建設需求、成本造價等因素，綜合評估后選擇合適的部署層面及方式。

表1 運營商DPI系統架構簡析表

2.4.2大顆粒度鏈路分光難度較大

隨著現網40GPOS、100GE等大顆粒度鏈路的規模引入，40G/100GE鏈路光端口參數如光功率、接收靈敏度等較10G更為嚴苛，運營商DPI鏈路分光部署時將面臨分光比不合規、分光后光參數不達標等難題。

2.4.3 同源同宿制約規模部署

在多臺路由設備間的多條鏈路進行DPI規模部署時，需考慮流量的同源同宿處理要求。

2.4.4 標準化和互通性有待提升

對于DPI識別的應用和識別率無統一要求，識別的準確性與廠家的協議識別技術、設備處理能力有密切關系，部分廠家設備的識別率低；系統的數據采集功能模塊和分析模塊采用私有接口，多廠家設備采集的信息無法實現共享分析，不同設備平臺難以有效互通。

3 運營商IP城域網DPI部署方案

目前，運營商DPI部署的重點是IP城域網出口，以期獲得海量固定寬帶用戶相應的應用流量。本文以某運營商為例說明IP城域網DPI部署中應關注及解決的關鍵問題，并給出相應的建議。

3.1 大顆粒度鏈路分光方案

IP城域網鏈路分光關鍵要素主要涉及原鏈路光模塊發射及接收功率、不同分光比場景下分光器的光衰（分光及附加、回波、偏振等損耗）、光放大器的靈敏度和增益、光路自身損耗（光纜、跳纖、法蘭插入等損耗）等，若干要素之間的協同才能保證不同鏈路特別是40G及以上大顆粒度鏈路的順利分光引流。此外，現網鏈路中存在公安等機構已有分光的情形，需要分光部署時盡量減少對于實際運營及既有分光的影響。

城域網出口主流IP設備光接口參數如表2所示，基于表中數據可知40G鏈路的接收功率（最小）為-6dBm，較100GE鏈路還惡劣，其原因主要在于目前100G往往采用10×10G或者4×25G打散，相應光參數獲得改善。

考慮到保證既有鏈路的正常承載，現階段運營商主流分光比多為7：3、7：2：1、7：1：1：1，相應分光器的經驗分光及附加損耗數值（不考慮偏振、回波損耗）參見表3。

表3 IP城域網DPI鏈路不同分光比對應光損耗參數表

綜上，在鏈路分光過程中需要結合各光器件相應參數及經驗值進行公式計算及測試（本端光接口實際接收功率=對端最大發射功率+光放增益-分光損耗-附加損耗-光路損耗，對照本端最小接收功率看光接口是否能夠正常接收）。

由于10G分光有較多成熟案例，本文主要針對40GPOS、100GE鏈路分光給出相應建議。

3.1.1 40GPOS鏈路分光部署

40G POS鏈路分光部署如圖1所示。對于40G POS鏈路，基于光路衰耗計算結果（30%以下光功率＜-6dBm）、現網實際部署案例，并預留一定的光富裕度，建議采用二級分光：一級分光7：3+光放+二級分光X：Y（MinofX，Y不小于3，一般也為7：3），一級分光的70%作為既有鏈路使用，二級分光的70%可作為DPI使用。

3.1.2 100GE鏈路分光部署

100 GE鏈路分光部署如圖2所示。對于100GE鏈路，參考光路衰耗計算結果、光路測試、現網實際部署案例等，正常情況下同機房DPI分光部署可采用一級分光7：1.5：1.5。

表2 IP城域網出口主流IP設備光接口參數情況表

圖1 IP城域網40G鏈路分光部署示意圖

圖2 IP城域100G鏈路分光部署示意圖

對于DPI設備部署在與出口路由器不同機房的場景，結合光路損耗（樓間光纜損耗約-1～-2dB；光纜傳輸損耗約0.35dB/km）建議采用一級分光6：2：2或者直接采用二級分光。

3.2 IP城域網DPI部署模式選擇

3.2.1 IP城域網DPI部署位置

目前，運營商結合自身流量管控或者監管要求已經在互聯網國際/國內互聯互通側、IDC出口側、移動互聯網出口側部署了相應的DPI系統，覆蓋鏈路規模從幾十G到幾百G不等；但對于城域網，限于投資、技術成熟度等因素暫未有DPI規模部署。

IP城域網DPI部署主要有出口（旁掛DPI獨立設備）及業務控制點設備（插DPI卡或旁掛DPI獨立設備）兩種方式，前者集中部署、獲得城域網范圍內海量固網寬帶用戶各類行為信息和流量數據；后者分散部署、可對業務控制點覆蓋區域內的固網寬帶用戶及業務流量進行精細化分析和控制。

隨著運營商數據運營需求逐步明晰以及規模DPI系統技術的成熟，基于數據獲取有效性及投入產出等維度分析，IP城域網出口成為DPI規模部署的首選。

3.2.2 IP城域網DPI部署方式

DPI部署方式主要有串接和并接兩大類，如表4所示。基于目前數據需求及DPI廠商設備成熟度，IP城域網DPI部署建議優選旁路并接方式。

3.2.3 IP城域網DPI部署規模

基于國內某運營商DPI部署現場試驗相關經驗，運營商可根據自身分析需求采用不同規模的鏈路覆蓋方案，在部署時應注意在滿足鏈路覆蓋率前提下盡量均衡地市、出口設備鏈路局向的分布，同時結合現網大顆粒鏈路開通及流量實際適度調整鏈路覆蓋方案，相關規模部署建議參見表5。

3.3 IP城域網DPI網絡承載方案

DPI系統中DPI設備實現具體數據包分析（實時）和流量管控，DPI后臺負責數據分析統計（離線）和管理策略下發，為此部署在各地市城域網出口的DPI設備與集中部署的DPI后臺存在各類數據及控制流量，包括DPI設備上報DPI平臺的數據流，用來傳遞DPI設備的分析結果等；DPI設備與后臺之間的控制流用來傳遞管理策略，如DPI設備網管、用戶賬號/IP綁定信息同步、流量管理策略、廣告推送策略等，各類流量對于網絡承載質量特別是時延有一定的要求。

表4 IP城域網DPI部署方式比較表

表5 IP城域網DPI部署規模分析表

現階段主要存在基于傳輸的專網承載及基于IP網的公網承載兩類IP城域網DPI網絡承載方案，相應比較參見表6。運營商可根據自身傳輸資源、DPI流量承載需求等綜合評估選擇合適的網絡承載方案。

3.4 IP城域網DPI同源同宿解決方案

各地市IP城域網出口架構和鏈路組織有所差異，由于網絡負載均衡和路由不對等等原因，同一個會話的多個報文可能被負載均衡到多條鏈路上，如上行和下行報文流經不同物理鏈路，需要把屬于同一會話的所有報文歸至同一臺DPI設備處理，即實現同源同宿處理。

業界對于同源同宿主要有DPI前端處理和DPI后臺處理兩類方式，前者在分流器/路由器背板上將多條鏈路流量按照五元組進行分流匯聚（對于超大規模流量一般采用分流器分層方式實現分流匯聚），將同源同宿流量匯聚到一個DPI處理單元進行處理；后者由DPI后臺對于各DPI單元匯聚過來的流量進行關聯實現同源同宿處理。

表6 IP城域網DPI網絡承載方案比較表

4 結束語

現階段運營商尤其是固網優勢運營商應首先基于大數據分析應用對于數據源的要求以及DPI技術成熟度做好IP城域網出口DPI比例覆蓋及部署，關注不同場景下大顆粒度鏈路規模分光、DPI數據網絡承載、同源同宿、與其他平臺協同（如CRM、AAA、大數據平臺等）等難點問題的解決，先行開展精準廣告推送等大數據應用；后續應逐步實現IP城域網出口、互聯互通等流量出口的全覆蓋，充分利用網絡基礎設施優勢，匯聚全網包括IP城域網、3G/4G移動網、IDC等海量流量數據，在合規的前提下實現數據商業運營及數據資產變現，并爭取在政府頂層規劃引導下基于運營商大數據平臺建設面向全社會的大數據平臺，接入互聯網公司、政府等大數據平臺，提供各類政務、民生、行業等數據服務。

1 章建聰,程燁.IP網流量管理及應對.電信科學.2007,3

2 武光達,蔣朝惠.基于DPI的流量識別系統的研究.信息網絡安全.2014,10

3 張劼,呼斯楞.運營商DPI設備規范化技術研究.電信快報.2014,11

4 曾傳璜,陳景忠.基于DPI的流媒體流量監控系統的分析與設計.電視技術.2014,9

5 基于分離架構的深度包檢測系統技術要求接口送審稿.中國通信標準化協會.2014

6 基于分離架構的深度包檢測系統技術要求獨立式流量采集設備送審稿.中國通信標準化協會.2014

7 基于分離架構的深度包檢測系統技術要求數據綜合分析平臺送審稿.中國通信標準化協會.2014

Discuss on DPI Solution of IP MAN for ISPs Under the Background of Big Data

With the transformation of domestic ISPs to comprehensive information service provider,China Telecom, China Mobile begin to construct the Big Data Platform based massive network and user data.As the key Data Source, the export of IP MAN nearly owns all kinds of broadband users and internet data for its massive network coverage,is concerned by ISPs,internet company and the 3nd party.The DPI System construction has become cornerstone of ISPs’Big Data Platform.It based the ISPs’DPI deployment at this stage,mainly analyzes the DPI architecture,40G/100GE large granularity link light splitting,the bearer network,etc,tries to provide the corresponding deployment proposal.

DPI,40G/100GE,light splitting,deployment models

2015-08-25）