CDMA2000 1XEV－DO中R－P接口大流量數據負載均衡技術研究和實現＊

王立夫 明慧芳

（1.海軍駐武漢地區通信軍事代表室 武漢 430079）（2.中船重工集團公司第七二二研究所 武漢 430079）

1 引言

隨著3G數據業務的不斷深化和移動互聯網數據通信的持續發展，帶來流量的快速增長，業務類型越來越豐富，為移動網絡運營商帶來新的業務增長點和創收點，移動網絡的骨干出口呈現高寬帶和高流量化的發展趨勢。隨著寬帶和流量的增大移動網絡運營將面臨網絡負荷和網絡設備數量不斷增大，網絡的質量和性能的穩定性難以保證，客戶投訴攀升等問題。

通過獲取網絡接口控制信令和業務數據并快速在線關聯分析可以全面有效地掌握網絡運行狀態、快速準確定位網絡故障［1］、了解業務區域使用情況和用戶使用喜好和習慣，為用戶提供更可靠的網絡和個性化的服務。移動網絡數據的主要特征是數據流量大，會話關聯性強，因此在大流量數據接入系統中負載均衡技術必須能夠滿足根據實際流量可擴展和保持會話關聯的需求。

本文提出并驗證了一種適用于中國電信的CDMA2000 1XEV－DO 網 絡 R－P（PCF 和 PDSN之間的連接）接口大流量數據處理（10G～40G）的負載均衡方法。

2 CDMA2000 1XEV－DO中R－P接口數據特征

CDMA2000 1XEV－DO技術是目前已經商用的、成熟的第三代移動通信標準。CDMA2000 1X EV－DO網絡與CDMA2000 1X網絡的無線接入網部分在邏輯功能上相互獨立，分組域核心網部分可以共用［10］，一般采用混合組網方式［11］，如圖1所示。

圖1 CDMA2000組網示意圖

R－P（Radio Network to PDSN）接口是無線網絡和核心網分組域的分界點［2］，它是無線網絡提供分組數據服務的基礎。R－P接口承載的交互信令和業務數據碼流，可以反映網絡原始流量特性。RP接口包括兩個邏輯接口，A11接口和A10接口［4］。A11是用戶的接入控制的信令接口，為用戶的分組數據業務維護PCF到PDSN之間的信令連接［5］，用于傳輸會話、連接以及其他相關消息。A10接口是數據接口，承載用戶的分組業務數據，用戶的數據業務（如：視頻、音樂、圖像等）所需要的數據流都由A10連接承載。A10鏈路由A11信令完成建立、維持和釋放［9］。在CDMA2000 1XEVDO中的數據業務都要經過A10／A11接口的協商，R－P接口是移動互聯網用戶數據業務通信必經的接口，同時R－P接口是開放接口，數據封裝在PPP協議中，沒有進行加密處理，不同廠家的設備都按照R－P接口規定設計就可以實現互聯互通［6］。通過獲取R－P接口數據可以掌握網絡運行狀態、定位網絡故障、了解業務區域使用情況和用戶使用喜好和習慣。

R－P接口中信令數據和業務數據之間存在緊密的關聯關系，要實現快速R－P接口業務流程還原、業務故障還原和用戶會話還原，要求大流量數據接入系統中的負載均衡技術能根據不同的關聯關系，按照一定的均衡策略將大流量數據在使用多個采集板協調工作的同時，保證同一用戶的數據在同一塊處理設備上進行處理，不打亂用戶會話過程。

隨著移動數據業務的快速發展，R－P接口數據流量增長迅速，僅以中國電信一個中等規模的省會城市為例：目前的峰值流量已經超過15Gbps，并且以每月5%左右的趨勢持續遞增。大流量數據接入系統中的負載均衡技術必須具有硬件設備的可擴展性和均衡算法的可分層性，以適應實際網絡發展。

3 常用負載均衡技術

常用的負載均衡方法都是將負載進行平衡，平均分攤到多個操作單元［3］上執行。如加權法、輪詢法［7］就是以報文分組為顆粒度［8］，在需要恢復用戶會話數據的應用場景中采用傳統的負載均衡方法會使得具有相同屬性的流量可能被分離，失去了會話關聯性，導致有序數據處理亂序，數據分析存在較大的誤差和難度，無法滿足快速還原CDMA2000 1X EV－DO用戶會話流程的需要。

目前通用的數據接入系統中的負載均衡方法是將接入的數據通過單塊10G處理板將接入數據均衡地發送到多塊協議解析板卡上，由多塊協議解析版來承擔整個數據接入帶來的大負荷。但是，隨著移動數據業務的快速發展，R－P接口數據流量增長迅速，受制于硬件性能，單塊處理板入口峰值流量將遠遠超過10Gbps，單靠多塊協議解析板來進行扁平化的負載均衡將導致相當一部分有效數據由于處理板不能及時處理被丟棄，這種方法不能適應大流量數據接入。

4 R－P接口大流量數據的負載均衡方案關鍵技術

針對CDMA2000 1XEV－DO實際網絡中的R－P接口數據流量大且持續遞增和數據間關聯關系緊密等特點，硬件上采用多級設備級聯的提升負載均衡的可擴展性，軟件上采用基于會話關聯的分層負載均衡算法，實現將R－P接口接入的大流量數據均衡的發送到多套處理板卡上進行處理，且保證每個用戶的數據在同一套處理板卡上。

具體實現方案中主要包括以下兩大技術：

1）硬件設備可擴展的級聯結構部署方式

硬件設備可擴展的級聯結構部署方式中采用商用成熟穩定的10G處理板和10G交換設備，根據網絡中R－P接口的實際數據流量，按照每塊處理板負荷流量在10G以內的原則，擴展處理板數量，多塊處理板卡通過級聯方式均衡數據，通過中心交換設備進行匯聚，適應入口數據流量增長。

2）基于會話關聯的分層負載均衡算法

基于會話關聯的分層負載均衡算法中首先通過接入數據所屬的PCF（分組控制功能設備）的IP標識和處理板板號之間的對應關系將數據包發送到對應的處理板，進行第一層數據負載均衡；緊接著按照用戶IMSI（國際移動用戶標識碼）和會話Key關聯信令和業務數據還原會話流程，以用戶IMSI為索引查找對應協議解析板的MAC地址，將對應用戶的數據發送到獲取到MAC地址的協議解析板上進行協議處理，完成第二層數據負載均衡。

5 R－P接口大流量數據的負載均衡方案實施

5.1 硬件設備可擴展的級聯結構部署方法

本文針對R－P接口峰值流量為20Gbps和40Gbps的場景分別描述硬件設備可擴展的級聯結構的具體實施部署方式。

1）R－P接口數據峰值流量為20Gbps時硬件設備級聯部署

R－P接口20G的峰值流量數據通過10對千兆口發送到10G交換設備A中，交換設備A按照預先配置的原則（地市、區域等）將數據分為兩部分，并從交換設備萬兆口發出。數據從兩塊10G處理板的后IO板中的萬兆口進入，處理板關聯分組報文協議上下文，并按IMSI關聯關系查找目的協議解析板卡MAC地址，數據從兩塊處理板的后IO千兆口發出進入10G交換設備B，并經其匯聚按目的MAC地址發往對應的協議解析板卡，從而保證數據均衡并且屬于同一用戶的數據包發往一個協議解析板卡，硬件部署如圖2所示。

圖2 20G流量時硬件設備級聯部署圖

2）R－P接口數據峰值流量為40Gbps時硬件設備級聯部署

圖3 40G流量可擴展的設備級聯結構部署圖

40G的R－P接口數據通過10對千兆口發送到10G交換設備A中，交換設備A按照預先配置的原則（地市、區域等）將數據分成四部分，并從交換設備的萬兆口發出。數據從四塊10G處理板的后IO板中的萬兆口進入，處理板關聯分組報文協議上下文，并按IMSI關聯關系查找協議解析辦卡MAC地址，數據從四塊處理板的后IO千兆口發出進入10G交換設備B，并經其匯聚進入10G交換設備C，10G交換設備C按目的MAC地址發往對應的協議解析板卡，從而保證數據均衡的同時屬于同一用戶的數據包發往同一個協議解析板卡，硬件部署如圖3所示。從20G流量數據和40G流量數據中的設備部署來看通過增加處理設備和交換設備的級聯數量可以實現更大流量數據的負載均衡，該方法具有可擴展性。

5.2 負載均衡軟件實施流程

負載均衡算法軟件實施過程如圖4所示，包括如下過程：

1）解析數據包所屬PCF的IP地址，查找與該IP對應的預先配置好的處理設備板卡號，將數據包發送到對應的處理板上，完成第一層數據負載均衡；

2）處理設備板對R－P接口數據包進行解析，在A11信令消息中解析Message Type字段，在Message Type等于Request的消息中，進一步解析數據的IMSI、GRE key［5］值；

3）根據解析得到的IMSI、GRE key值確定一個用戶的一個會話，在A11和A10數據中對信令數據和業務數據進行上下文關聯還原會話數據；

4）將IMSI作為索引，查找IMSI對應用戶協議處理的協議解析板卡號，獲取該協議解析板卡的MAC地址；

5）將獲取到的MAC地址值改寫為數據包的目的MAC地址，把數據發送到對應的協議處理板卡上，完成大數據入口的負載均衡工作。

圖4 負載均衡軟件實現流程圖

6 實驗結果分析

實驗中選用上海恒為科技的兩臺SF2300交換板作為負載均衡系統的10G交換設備，選用兩塊AC2620系列（或者更高端）網絡處理器的板卡作為系統10G處理設備，部署25塊協議解析板。SF2300和AC2620都是基于ATCA架構，SF2300背板符合標準PICMG3.1規范，前面板提供11個萬兆以太網接口；AC2620采用多路Cavium公司芯片，集成了多核處理器，配備高性能網絡I／O。

該策略充分利用硬件設備和軟件算法的性能和優勢，可以處理10G以上的網絡數據流量，在多省份的CDMA2000 1XEV－DO網絡中得到了應用，運營情況良好。表1和表2是實際流量為20G的某省商用點負載均衡系統的統計數據。

表1 系統運行簡協議解析板流量瞬時表

表2 系統負載均衡流量統計表

實驗數據為系統運行74天6小時43分鐘的數據，實驗獲得數據的負載均衡系統的實時峰值流量約為14Gbps，最大峰值流量為15Gbps。負載均衡系統累計接收到5153817482340個數據包，發送5131656067165個數據包，瞬時丟包率為0.43%，在系統設計指標（5%）以內，系統在峰值為15Gbps的網絡中運行正常符合設計要求。

7 結語

本文通過分析CDMA2000 1XEV－DO中R－P接口數據壓力和數據特征，提出了一種基于硬件設備的可擴展性和保持會話的分層負載均衡方法，文章從硬件部署和軟件實施兩個方面對提出的負載均衡方法進行了闡述。該方法能夠在保證一個用戶的所有會話從建立到拆除的整個過程數據集中在一個協議解析板中進行處理的基礎上實現對峰值流量大于10Gbps小于40Gbps的數據進行流量均衡。該方法可廣泛應用于大流量強會話關聯數據的接入系統，具有較強的可擴展性和易用性。

［1］李玉華，明慧芳，黃濤.TD－SCDMA中Gn接口數據均衡方案的研究與實現［J］.移動通信研究，2012（6）：65－68.

［2］3GPP2A.S0017－D 2009.Interoperability Specification（IOS）for cdma2000Access Network Interfaces－Part2 Transport［S］.

［3］羅擁軍，李曉樂，孫如祥.負載均衡算法綜述［J］.科技情報開發與經濟，2008，23：134－135.

［4］3GPP2A.S0017－D 2011，Interoperability Specification（IOS）for cdma2000Access Network Interfaces－Part7（A10and A11Interfaces）［S］.

［5］劉旸.CDMA2000系統下無線接入網與核心網分組域協議的設計與實現［D］.南京：南京航空航天大學，2010.

［6］李玉華.基于Hadoop的CDMA分組域海量數據處理模型的研究［D］.武漢：武漢郵電科學研究院，2012.

［7］王彬.無線局域網中的負載均衡技術［J］.中興通訊技術，2006（3）：46－50.

［8］陳偉，蔣鈴鴿，何晨.一種基于負載均衡的WCDMA基站站址選擇算法［J］.上海交通大學學報，2007（5）.

［9］張強.CDMA2000 1xEV－DO網絡監測技術研究與應用［D］.重慶：重慶郵電大學，2010.

［10］劉申建.聯通CDMA網絡演進相關問題研究［D］.南京：南京航空航天大學，2010.

［11］張寅申.CDMA2000系統互操作規范R－P接口協議的研究與設計［D］.北京：北京郵電大學，2007.