廣電網絡省級IT系統平臺設計與實現

孫述陽

摘? ?要：文章介紹了福建廣電網絡IT系統平臺的建設情況及現狀，深入分析機房網絡拓撲和各業務平臺架構，通過搭建VMware虛擬化平臺和數據庫一體機，整合現有的計算、存儲、網絡和數據庫資源，提高資源利用率，節省機柜空間，縮短系統建設周期。同時，大數據平臺的建設，為廣電網絡產品開發和市場營銷提供可靠的數據基礎。福建廣電網絡IT系統平臺的建成，將為集團搭建一個實時、準確、高效、穩定的綜合業務運營支撐平臺，為業務發展提供有力支撐，幫助企業降低運營成本，提高運營收益。

關鍵詞：小型機;存儲;VMware虛擬化;數據庫一體機;大數據

1? ? 福建廣電網絡業務介紹

福建廣電網絡主要承擔各級電視臺以及付費頻道節目信號傳輸，經營高清互動電視、廣電寬帶、電子商務、視頻點播、陽光政務、遠程教育等增值業務。為黨委政府企業提供專線傳輸業務，開展“互聯網+”業務，是廣播電視網絡運營商和節目集成商。福建廣電網絡IT系統平臺已經過4期建設，目前主要包括核心交換區域、公網區域、地市業務對接區域、部門互聯區域、銀行互聯區域、boss系統集群、呼叫中心、統一支付平臺、虛擬化平臺、數據庫一體機、大數據平臺和異地備份等部分，形成一個小型的數據中心。數據中心承載了BOSS系統（業務運營支撐系統）、呼叫中心、統一支付平臺、微廳、報表經分、工單維系、ESB總線（企業服務總線）、OA系統、財務系統、工程系統和大數據等B域、O域、M域和D域的信息化系統，為廣電業務的發展提供可靠的保障。

2? ? 網絡架構設計

按照結構化、模塊化、扁平化的設計原則，整體網絡拓撲采用扁平化兩層組網架構，從核心交換區直接到服務器接入，省去了中間的匯聚層，有利于簡化網絡拓撲，降低網絡運維的難度，便于后期的虛擬化改造和擴展。

2.1? 核心交換區域

核心交換區域采用兩臺H3C S7608XV虛擬化成一臺邏輯設備，在S7608XV上部署兩塊防火墻板卡和兩塊負載均衡板卡，兩塊相同業務板卡之間采用VRRP協議實現冗余備份，如圖1所示。防火墻板卡作為核心設備，通過3層與公網區域、地市業務對接區域、部門互聯區域、銀行互聯區域、呼叫中心和辦公網系統區域等業務區域互聯;負載均衡板卡作為BOSS系統、支付平臺等業務的網關設備，同時啟用4或7層的負載技術實現系統應用的均衡調度。負載均衡板卡與防火墻板卡通過H3C S7608XV內部互聯接口進行3層互通，實現業務區域之間的互聯互通[1]。

2.2? 公網區域

公網區域采用兩臺H3C S7606-V虛擬化成一臺邏輯設備，S7606-V上部署兩塊負載均衡板卡、兩塊IPS板卡和兩塊VPN板卡，其中，兩塊負載均衡板卡之間采用VRRP協議實現冗余備份，兩塊IPS板卡集成了入侵防御和抗DDOS攻擊功能，兩塊VPN板卡采用熱備方式，用于日常遠程維護。兩臺H3C S7606-V通過3層接口與核心交換區域互聯，同時上聯到兩臺天融信NGFW4000公網防火墻。兩臺天融信防火墻采用主備冗余方式，通過訪問策略對內外網地址訪問，電信聯通出口進行相應配置和管理。在安全防護方面，后期增加了入侵檢測系統、日志審計系統和堡壘機，并通過等保二級備案。

2.3? 部門互聯區域

本區域采用華三防火墻與集團各部門的業務系統進行對接，主要涉及電視直播平臺、互動點播平臺、寬帶認證平臺和辦公網等。通過路由和域間策略對訪問IP和端口進行控制，保證內部系統互聯的安全性。

2.4? 銀行互聯區域

本區域采用10 Mb/s或100 Mb/s傳輸專線鏈路，通過防火墻與銀聯、中國銀行、工商銀行、農信社和招商銀行等各大銀行進行支付業務對接。

2.5? 地市業務對接區域

地市業務對接區域主要包含地市CA授權、營業廳和呼叫坐席專線互聯業務。地市CA授權專線采用10 Mb/s的SDH傳輸鏈路，營業廳和呼叫坐席專線采用IP承載網上VPN鏈路。地市機房放置一臺H3C S5530交換機，提供互聯地址用于業務接入，省中心機房放置一臺H3C S7606，用于匯聚各地市流量，上聯到核心交換區域的防火墻。各地市專線業務在防火墻上分域控制，進行域間策略控制，同時，通過入侵檢測系統對地市專線流量進行鏡像分析，監控異常攻擊行為，確保該區域的安全性[2]，如圖2所示。

3? ? 業務平臺設計

機房業務平臺整體遵循高可用、低能耗、易管理和易擴展的設計原則，主要用于支撐業務域、運營域、管理域和數據域的業務系統。隨著云計算技術的發展，除了核心業務系統、ORACLE數據庫和大數據HADOOP平臺外，其余業務系統逐步遷移到虛擬化平臺。

3.1? BOSS系統集群

BOSS系統作為廣電網絡核心業務系統，為營業廳提供模擬電視、數字電視（標、高清）、互動電視和寬帶等全業務流程受理，構建滿足業務運營需要的核心功能和統一客戶數據，提供一致客戶服務和客戶體驗。BOSS系統包含客戶關系管理系統、賬務管理系統、資源管理系統、產品管理系統、服務開通系統、統一授權平臺、系統管理和報表管理等子系統。系統采用“Web+應用+數據庫”分離集群部署方式，整體架構如圖3所示，兩套HP C7000刀框部署兩套集群應用，通過負載設備實現4層或7層應用負載均衡。4臺IBM P750小型機通過POWERVM虛擬化技術，用于搭建ORACLE RAC集群、DG庫、培訓庫、測試庫、賬管和計費應用等。兩套V7000存儲分別存放生產庫和DG庫數據，存儲層面做7天快照，系統層面定期做RMAN備份并上傳到FTP服務器，保證數據的安全性。

3.2? 呼叫中心集群

呼叫中心主要負責全省廣電客戶服務工作，平臺支持多種交互方式，為客戶提供全方位、多渠道的業務服務，涵蓋業務咨詢、故障申告、投訴處理、業務受理、客戶維系（回訪）、電話營銷、市場調查等，成為廣電網絡為客戶提供綜合性服務的無形窗口。兩臺匯聚交換機CE3000和4臺接入交換機S5500通過虛擬化技術形成3臺邏輯設備，兩套華為E9000刀框、一套華為S2600存儲、一臺U2990排隊機和數據庫服務器分別接入到S5500交換機，如圖4所示。系統采用主備模式和集群負載模式搭建，網絡采用雙鏈路互聯，保證業務的可靠性。

呼叫中心包含話務系統平臺、業務系統平臺和坐席區域平臺。話務系統平臺通過電話方式作為主要渠道，由電信運營商提供40條E1中繼線路接入，最大支持1 000路并發呼叫，包括語音排隊機U2990、計算機電話集成（CTI）、互動式語音應答（IVR）等話務核心控制系統，主要部署在華為E9000刀框、U2990排隊機和S2600存儲上。業務系統平臺包含客戶信息管理、工作流管理、知識管理、報表管理等，為各業務受理提供支撐，主要部署在虛擬化平臺上。坐席區域平臺采用PC電腦+軟終端+耳麥的接入方式[3]。

3.3? 統一支付平臺

統一支付平臺通過與銀聯、公有銀行、商業銀行、支付寶和微信等支付渠道的對接，為廣電業務提供統一支付體系。整體分為業務受理服務（包括TV網廳、PC網廳、手機網廳、微信網廳等多種接入渠道）、對賬結算、支付平臺和運營管理等子系統。統一支付平臺采用“Web+APP+數據庫”的分離集群部署方式，兩臺DELL R420服務器搭建外網Web應用，兩臺DELL R420服務器搭建內網Web應用，4臺DELL R420服務器搭建APP應用、接口應用和MemCache應用，3臺DELL R820服務器和兩套DELL MD3600F存儲搭建ORACLE 11g RAC和DG庫。

3.4? 虛擬化平臺

機房采用VMware vSphere 6.5來構建虛擬化架構平臺，實現計算、存儲和網絡的資源池化，并以此作為私有云和公共云的基礎。目前虛擬化平臺包含14臺高性能X86服務器、4套存儲、兩臺16 Gb SAN交換機、兩臺千兆交換機和兩臺萬兆交換機。其中，千兆交換機用于ESXI主機的管理網絡，萬兆交換機用于業務網絡和VMkernel網絡，兩套華為5300雙活存儲用于提供重要存儲資源，兩套DELL SC8000和SC4020主備存儲用于提供非重要存儲資源，4套存儲總容量約200 TB，如圖5所示。VMware虛擬化平臺目前承載了BOSS系統、呼叫中心、工單系統、報表應用、實名認證系統、ESB總線、大數據應用、掌上營銷、OA系統、人資系統和工程系統等業務系統，共計150多臺虛擬機，為新系統的快速上線提供了堅實的硬件平臺保障。

3.5? 數據庫一體機

數據庫一體機由計算節點、存儲節點以及分布式存儲管理軟件組成，節點之間通過高速InfiniBand網絡互聯，各節點均為x86架構服務器。通過二期建設數據庫一體機共有10個節點，其中，兩個計算節點搭建ORACLE 11g，兩個計算節點搭建ORACLE 12c，6臺存儲節點每3臺做一個分布式存儲資源池，如圖6所示。存儲節點配置SSD固態盤、PCLe閃存卡和SAS硬盤，通過分布式存儲管理軟件，單臺節點可以達到20萬IOPS的性能。數據庫一體機整合了業務系統的ORACLE數據庫，包括報表經分庫、大數據應用數據庫、BOSS歷史數據庫、自助取數庫和人資庫等，云化數據庫資源，便于DBA的日常運維和管理。

3.6? 大數據平臺

大數據運營支撐平臺通過采集用戶的直播、點播和寬帶上網數據，結合3戶信息，進行用戶行為分析，為廣電網絡產品開發和市場營銷提供可靠的數據基礎。如圖7所示，整體硬件平臺包括HADOOP集群、數據采集、應用集群和數據庫。星環HADOOP平臺采用X86服務器搭建，包含一個主控節點、一個備控節點和12個計算存儲節點，實現對采集的數據進行分布式計算。數據采集區域用于臨時存放各業務系統傳輸過來的數據。大數據數據庫搭建在數據庫一體機上，與報表經分庫共享數據。應用集群采用虛機部署，包括用戶行為分析、掌上營銷、水晶球、大屏展示等系統。

3.7? 異地備份

目前在泉州搭建了BOSS系統數據庫異地災備平臺，采用IBM P740小型機和IBM V3700存儲的傳統架構搭建DG庫，通過1 Gbps的傳輸專線將福州生產庫的數據同步到泉州。同時，在泉州搭建FTP服務器，將重要業務系統數據備份到泉州，確保數據的安全性。

3.8? 監控平臺

監控平臺主要包含icinga監控軟件、華三IMC網管和明御安全預警平臺。Icinga軟件用于監控主機、應用和數據庫的性能和狀態。華三IMC網管用于監控網絡設備的狀態和告警。明御安全預警平臺用于監控地市專線和公網出口的異常攻擊行為。

4? ? 結語

福建廣電網絡省級IT系統平臺的建成，將為全省搭建一個實時、準確、高效、穩定的基礎平臺，為完成業務轉型及業務拓展提供有力支撐，幫助企業降低運營成本，提高運營收益。滿足未來有線業務發展、運營管理、科學決策的迫切需要，為實現“管理架構集團化、產業發展多元化、經營運作市場化”的戰略思想奠定基礎，是有線行業邁向科學化、信息化運營管理的里程碑，它不僅能為業務體系的精細化管理提供有力保證，更將大大提高業務應變能力與市場競爭力，為全面提升有線行業多業務運營和管理水平、客戶服務水平奠定堅實的基礎。

[參考文獻]

[1]譚文輝.利用VMware實現數據中心服務器虛擬化[J].艦船電子工程，2008（6）：162-165.

[2]奧斯本.深入理解Oracle Exadata[M].黃凱耀，張樂奕，張瑞，譯.北京：電子工業出版社，2012.

[3]蔡斌，陳湘萍.Hadoop技術內幕深入解析Hadoop common和HDFS架構設計與實現原理[M].北京：機械工業出版社，2013.