井 雅,李 群,陳 亭,張海闊
(1.中國互聯網絡信息中心,北京100190;2.國網北京市電力公司電力科學研究院,北京100075;3.北京計算機技術及應用研究所,北京100854;4.中國互聯網絡信息中心,北京100190)
隨著通信技術和計算機技術的高速發展,通信網絡規模不斷擴大、結構愈發復雜,很多專業的網絡管理系統(以下簡稱 “網管系統”,即NMS)采用不同技術和協議,整個網絡的管理節點分散、操作界面各異。為了最大限度利用通信網絡資源[1],協調、分配基站使用的衛星頻率、帶寬等資源,實時監控、調整全網運行狀態,提示、報警系統任何環節出現的故障、異常等情況,提高網絡的運行質量和效率,本文就實現大規模異構通信網絡管理信息系統軟件進行了具體闡述。
網管系統在運行環境中,與所在的局域網和網控單元作數據交互。網控單元與局域網交互,向前向處理子系統傳輸數據,同時也跟IP路由和防火墻作數據交換。網管系統所在的局域網主要包含中頻設備 (與局域網交互)、前向處理子系統、回傳處理子系統、時間頻率基準器。其中前向處理子系統包含DVB-S調制器、MPEG 復用器、NCR/SI生成器、IP封裝機等模塊,并向中頻設備發送數據,向局域網外部傳達網管指令。
NMS[3]與主站其它設備的交互都是通過局域網的方式,運行網管系統的服務器和組成主站的所有服務器連接在同一個局域網中,網管系統與這些設備之間的交互都遵循TCP/IP協議通過局域網方式連接[3]。
NMS與小站及小站側的用戶信息交互則需要通過衛星鏈路來完成,一方面,NMS將網管指令通過前向鏈路發送給小站,小站接收后在相應的設備或終端用戶處執行;另一方面,小站將本身的設備信息或終端用戶的信息通過回傳鏈路返回,經過回傳處理子系統接入主站內部的局域網,再轉發給NMS服務器。
NMS功能設計,是為了實現對網絡鏈路進行參數配置,對網絡設備進行監控和管理。在功能劃分上,設計的模塊主要包括:主站配置、空中接口、服務管理、網絡管理、告警管理、性能管理、系統管理和日志管理。
設備管理模塊由設備管理視圖、網控服務器、設備配置向導、路由器、性能加速器、Qos服務器、IP 封裝機、DVB調制器、下變頻器組成。空中借口模塊由空中接口視圖、頻帶配置、頻帶組件配置、TXmode、TS流配置、超幀配置、Area配置、Segment配置組成。服務管理模塊由服務管理視圖、SPRL SLA 配置、小站組配置、SGFL SLA配置、前向鏈路Qos 配置、回傳鏈路Qos 配置、回傳Queue過濾、小區軟件版本配置組成。網絡管理模塊由網絡管理視圖、小站管理、小站Tralffic Queue、前向鏈路路由管理、VLAN 視圖、地址空間、ISP 端網絡、IP 地址范圍配置、PID 范圍配置組成。操作管理模塊由操作管理視圖、小站監控、小站組監控組成。告警管理模塊由告警管理視圖、主站設備活動告警、小站設備活動告警、主站設備歷史告警、小站設備歷史告警、告警標準化、相關性分析、告警通知、告警級別組成。性能管理由性能管理視圖、主戰性能監視、小站性能監視、任務配置、性能指標、配置參數組成。
本系統中共有4個功能模塊用以實現網絡基礎設備的配置。首先配置設備管理模塊,包含網控配置、路由配置、PEP配置、Qos配置、IPE 配置、調制器配置、下變頻器配置。二是空中接口模塊,包含頻帶配置、頻帶組件激活、超幀定義、TS流定義。三是服務管理模塊,包含前向鏈路帶寬管理,回傳鏈路帶寬管理,小站組配置,前向鏈路Qos配置,SGFL SLA 配置,回傳鏈路Qos 配置,回傳Queue配置。四是網絡管理模塊,包含小站管理,小站Traffic Queue配置,前向鏈路路由管理,TSP端網絡配置,地址空間管理,IP地址范圍配置,PID 范圍配置。
為了完成NMS 的業務需求,本系統設計為4 個子系統,各個子系統之間的數據交換關系、所包含的構件如圖1所示。

圖1 各個子系統中邏輯組件以及相互關系
其中應用子系統是一個Web應用程序,負責和用戶進行交互;其它的3個子系統負責監控[4]、采集[5]以及設備配置[6]等后臺任務。
3個子系統都是獨立運行的程序,可以部署在一臺、多臺服務器上,其中采集可以部署多套,通過設定他們的采集范圍,可以自動完成各自的采集任務。
4個子系統的實現視圖如圖2所示。

圖2 子系統實現視圖
采集監控子系統、Trap監聽子系統、配置命令服務子系統是3個以后臺服務形式存在的子系統,在功能上統歸為服務子系統。因此系統總體邏輯結構可以用圖3來表示。
Trap監聽子系統通過監聽Trap,分析事件,反應系統的實際運行狀態;
采集監控子系統通過主動采集系統性能數據,實現對系統性能的監控;
Trap監聽子系統和采集監控子系統一起為應用子系統提供數據,應用子系統將這些數據展示給用戶。
配置命令服務子系統是完成配置命令的一個服務通道,在他的幫助下,用戶在應用子系統提交的設備參數以及配置命令,可以提交到設備上,完成設備配置任務。
下面對各個子系統進行詳細說明。
應用子系統是網絡管理人員與網管軟件進行交互的界面。主要通過它來進行系統數據的錄入、監控數據的查詢等等。處理流程如圖4所示。
網絡管理人員可以通過應用子系統執行所有的網絡管理功能。
應用子系統的層次分解和設計構件之間的關系如圖5所示。
采集子系統主要使用SNMP等協議,在網絡中向衛星小站、Router、NCC等網絡單元發送采集指令,獲取、分析指令結果,從而最終得出網絡單元的狀態信息。
系統將采集過來的數據分類處理、存儲,并根據系統閾值設置,決定是否報警等等。采集子系統處理流程如圖6所示。
采集監控子系統專門負責主動對系統中各個網絡設備進行狀態采集。采集子系統需要采集諸如路由器、NCC 等主站設備,同時需要采集數量眾多的小站設備。為了最大限度降低系統不同任務之間的耦合、提高效率,采集監控子系統作為獨立的程序運行,通過自動任務分配,通過讀取系統配置參數,自動完成數據采集任務。
采集監控子系統的模塊連接如圖7所示。
3.2.1 主要處理算法
(1)被采集設備列表數據:被采集設備列表信息在初始化時,需要查詢數據庫。
(2)采集任務裝載:定時獲取數據庫配置的采集任務,裝載并執行。
(3)采集子任務分配:采集子任務分配采用同步隊列的方式緩存。需要采集的任務按照周期,一次性插入到任務隊列中緩存。線程調度模塊將根據任務經驗完成時間,設定線程數 (這個線程數遠遠小于緩存在隊列中待處理的任務數),逐步完成采集任務。
(4)采集數據第一次緩存[7]:采集任務在獲取數據后,并不急于處理,而是將采集到的對象緩存到同步處理隊列中。采集任務只負責通訊的部分 (UDP 包的收發),從而使采集任務分配和線程調度更簡單、調度也更合理。
(5)采集數據內存數據庫入庫:采集數據隊列中的數據,由固定數目的采集數據處理線程在同步處理,將采集數據對象解析、存儲到內存數據庫。
(6)數據同步處理:內存數據庫中的數據實際上將大部分活動數據放到內存中,而將另外部分數據存儲到文件中。因此,在系統Demo測試中,內存數據庫文件可以達到10G(理論上,可以達到1T),但是內存數據并發處理線程在設置到1000時,系統頻繁提示內存數據庫連接失敗。因此,此部分數據處理要將線程設定在經驗上允許的范圍內。

圖3 系統功能模型

圖4 應用子系統處理流程

圖5 應用子系統邏輯視圖
3.2.2 大量小站任務分配方法
在指定的周期內,使用更多的線程,會使整體上任務更快的完成,但是會造成更大的帶寬。
針對固定數目的采集目標來說,采集任務要盡可能的在在周期內平均分布[8],這樣可以達到理想的目標:
IP=Tm*Nm/Tl;
(1)IP–理想線程數;

圖6 采集子系統處理流程

圖7 采集監控子系統邏輯視圖
(2)TmP–當前平均任務執行時間;
(3)Nm–剩余任務數;
(4)Tl–剩余時間。因此,采用線程調度和動態調整的方式不斷對線程數進行調整,是線程盡可能的在整個周期內平均分布。
3.2.3 周期保護方法
所謂周期保護,就是指保證在周期內能完成指定的任務。因此在計算的時候,需要使用周期保護時間,即:
T=Ti-TP;
(1)T–實際周期;
(2)Ti–理想周期;
(3)TP–周期保護時間。
系統動態調整的目標是實際周期。這樣在一定的時間范圍內,任務在實際周期邊界上動態吻合。
3.2.4 數據緩存和數據處理取到的數據,首先放置到內存數據庫中。數據同步任務使用固定的頻率將數據同步到物理數據庫中。
監聽子系統監聽系統中的TRAP信息[6],對TRAP信息進行分析處理,保存到告警信息庫中。
Trap信息監聽子系統負責網絡內Trap信息的采集和處理。在接受到Trap信息后首先根據過濾規則判斷是否處理,對于需要處理的Trap信息系統解析并進行狀態或者告警分析。
Trap監聽子系統的模塊連接如圖8所示。

圖8 Trap監聽子系統模塊邏輯視圖
主要處理過程如下:
(1)Trap偵聽,接收來自各網元設備的原始數據trap類型的PDU 數據;
(2)對采集到的原始PDU 信息進行解析,并將其封裝為Java對象,放置到TRAP隊列中,多個線程同時處理;
(3)從隊列中獲取封裝的PDU 對象,匹配告警規則,構造完整的trap告警事件;
(4)拼裝的告警事件SQL,裝入內存數據庫;
(5)獲取內存數據庫的告警事件SQL,并將其同步到物理數據庫告警事件表中;
(6)獲取物理數據庫中告警事件信息進行計數和配對操作,完成告警事件到活動告警的轉化;
(7)啟動告警事件清除線程,定時完成清除操作。
配置命令子系統監聽設備配置命令隊列,當接收到新的配置命令,系統分析命令格式、獲取設備相關配置參數,使用相應的協議配置到設備中。配置命令子系統的模塊連接如圖9所示。
配置命令監聽子系統負責設備配置命令的接收和處理。配置命令子系統監聽配置命令隊列,在接收到應用子系統發來的設備配置命令后,首先根據數據庫中配置對命令進行分析,判斷是否需要處理,對于需要處理的配置命令系統解析并通過相應的設備配置適配器完成最終的配置工作。

圖9 配置命令子系統處理流程
配置命令監聽子系統的模塊連接如圖10所示。

圖10 配置命令監聽子系統邏輯視圖
部署視圖的結構包括各個物理節點的硬、軟件配置,網絡邏輯的拓撲結構,節點交互與通訊等;同時還表達了進程視圖中的各個進程具體分配到物理節點的映射關系。
用戶客戶端:用戶客戶端為普通pc機或筆記本,要求客戶端的瀏覽器為IE6.0或以上,或者Firefox2.0或以上。
Web服務器:操作系統為Windows Server系列/Linux。Web服務器上部署的是NMS應用程序,該應用程序運行在Tomcat5或Tomcat5 以上,或者Jboss4 及以上,要求jre的版本為1.5或1.5以上的環境下。
數據庫服務器:Oracle9i。
應用服務器:操作系統為Windows Server系列/Linux。主要部署設備配置服務和監控子系統,要求jre的版本為1.5或1.5以上。
采集服務器:操作系統為Windows Server系列/Linux。主要部署采集子系統,要求jre的版本為1.5或1.5以上。
本研究結果是通信網絡管理的工程應用,重點介紹了系統的體系結構、邏輯視圖和功能模塊分解,并給出了部署方法。重點對采集系統的處理算法,任務分配和周期保護算法進行了說明。實踐證明,本系統是快速、智能、可靠、易用的實踐成果,有效提升到端端網絡管理能力和通信網絡運行質量。下一步,將繼續研發應急NMS,增加安全風險評估[8]功能,以保障在自然災害、突發事件頻繁發生的情況下通信系統的穩定運行[10]。
[1]CHEN Jingyang.Key techniques of end-to-end network management system [D].Wuhan:Wuhan Institute of Posts and Telecommunications Science,2014:1-75 (in Chinese).[陳競陽.端到端網管系統關鍵技術研究 [D].武漢:武漢郵電科學研究院,2014:1-75.]
[2]AN Fengdong.Small and medium-sized VSAT satellite communications network administrator protocol research [D].Xi’an:Xi’an University of Science and Technology,2013:1-80 (in Chinese).[安豐東.中小型VSAT 衛星通信網網管協議研究[D].西安:西安科技大學,2013:1-80.]
[3]XU Ning.Design and implementation of mobile communication network performance management system [D].Jinan:Shandong University,2014:1-82(in Chinese).[許寧.移動通信網絡性能管理系統的設計與實現[D].濟南:山東大學,2014:1-82.]
[4]WANG Qian.Research and development of wireless communication network equipment performance monitoring system [D].Xi’an:Xi’an University of Electronic Science and Technology,2012:1-77(in Chinese).[王倩.無線通信網絡設備性能監控系統的研究與開發[D].西安:西安電子科技大學,2012:1-77.]
[5]LIANG Wenbo.Research and design of centralized WLAN extended network management system [D].Beijing:Beijing Jiaotong Universery,2013:1-79 (in Chinese). [梁文波.集中式WLAN 中可擴展網絡管理系統的研究與設計 [D].北京:北京交通大學,2013:1-79.]
[6]ZHOU Haifeng.Design implementation of ultrashort wave network management system configuration and parameters regulation subsystem [D].Harbin:Harbin Institute of Technolog,2012:1-79 (in Chinese). [周海峰.超短波網管系統網絡參數配置與監管子系統的設計實現 [D].哈爾濱:哈爾濱工業大學,2012:1-79.]
[7]WANG Xuliang.Research and application of huge amounts of data caching algorithm and design patterns [D].Hangzhou:Zhejiang Universery,2013:1-57 (in Chinese).[王旭良.海量數據緩存算法與設計模式的研究及應用 [D].杭州:浙江大學,2013:1-57.]
[8]XIAO Xin,ZHANG Hesheng,YANG Jun,et al.A method of traffic information collection sensor network task allocation[J].Chinese Journal of Scientific Instrument,2012,33 (11):2529-2534 (in Chinese).[肖欣,張和生,楊軍,等.一種交通信息采集傳感器網絡任務分配方法 [J].儀器儀表學報,2012,33 (11):2529-2534.]
[9]ZHANG Min.Research of electric power communication network administrator system security risk assessment algorithm[D].Baoding:North China Electric Power University,2014:1-68 (in Chinese).[張敏.電力通信網網管系統安全風險評估算法研究 [D].保定:華北電力大學,2014:1-68.]
[10]LI Kaipeng.Design and implementation of emergency communications network management system [D].Beijing:Beijing University of Posts and Telecommunications,2014:1-77 (in Chinese). [李凱鵬.應急通信網絡管理系統設計與實現[D].北京:北京郵電大學,2014:1-77.]