通信運營商大數據量系統數據存儲云化淺談

陳達忠（上海郵電設計咨詢研究院有限公司，上海 200093）

0 前言

當前，通信業務的競爭日趨激烈，保證網絡質量無疑是網絡運營商競爭取勝的關鍵所在。為提高網絡服務質量，網絡運營商必須建立高效運作的維護體系、推進移動網絡基礎運營的精確管理，并以信息化為支撐，通過先進的維護手段不斷提高維護管理效率，為整個運營網絡提供可靠的業務保障。就無線網絡而言，由于網絡結構和設備的復雜度遠高于固網，因此在同一網絡級別下，其管理平臺系統的數據量要遠大于固網。這些系統以基礎數據為核心，并與性能管理、流程管控相耦合，實現了移動網絡工作的全程管控，確保了移動網絡質量，支持了移動業務發展。

以中國電信為例，其網絡管理平臺分為省（區）和地（市）2個級別。可以想象出，一些大省份的網絡管理平臺的用戶數量是如何之大。但因其硬件水平有限，這類平臺都不同程度地出現了新增數據存儲受限和訪問速度減慢等現象。顯然，這些現象是由于早年設計的存儲架構不能很好地滿足當前存儲需求造成的。因此，對這類平臺的數據存儲方式進行研究就有著極其重要的現實意義。本文以上海電信無線網管平臺數據存儲實現云化為例，對數據存儲云化有關問題進行簡要論述。

1 大數據存儲現狀

1.1 無線網管類平臺

盡管上海電信無線網管平臺在經歷3期建設后相繼解決了一些問題，使整個系統不斷得到完善和優化，但隨著用戶群的不斷擴大和電信業務的不斷豐富，需采集、存儲和處理的數據量也越來越大，使其逐步面臨數據存儲瓶頸和因數據備份恢復龐大而訪問緩慢問題。

1.2 云存儲

云存儲［1］是指通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能的系統，亦即以數據存儲和管理為核心的云計算系統。云存儲平臺架構由數據存儲層、數據管理層和數據服務層組成，其難點是對大規模存儲設備的管理。

云存儲目前所能解決的問題有以下3個方面。

a）提供大規模存儲空間，滿足存儲海量數據。

b）面對新增數據，滿足存儲空間可擴展性。

c）面對海量數據，提供較高性能存儲。

目前，已有不少IT公司向中小型企業及個人提供了云存儲服務［2］。對每天都需處理和分析大量數據業務的大型企業來說，云存儲無疑是個恰到好處的選擇。2009年12月，上海電信與EMC公司合作將分布在異構存儲系統和平臺中的數據進行了虛擬化云存儲，推出了面向家庭和個人用戶的云信息服務的“e云”［3］。同時，安徽移動從BOSS3.0上線開始就利用云存儲技術對原存儲系統進行了改造，通過虛擬化和云計算技術實現了異構環境下的統一管理，使其應用逐步擺脫了對硬件基礎架構的依賴［4］。

由此看來，選擇云存儲是未來企業大數據存儲的一個必然趨勢。

2 網優平臺特征分析

2.1 無線網管平臺架構

無線網管平臺由數據層、應用層和展示層組成，數據層負責采集和存儲數據，應用層負責業務邏輯處理，展示層負責向用戶展示數據，下層為其上層提供所需接口，具有較好的封裝性。

a）數據層。數據層負責完成數據采集、入庫及備份工作，它在任何一個管理平臺中都是至關重要的。數據層又可分為采集層和數據庫層。采集層通過各商家設備提供的采集接口采集原始數據，由采集服務器解析原始數據并生成數據文件。在采集數據的同時，還需要及時地將保存在采集服務器上的數據文件存入到數據庫中 （如所有數據必須在1 h的時間窗口內完成入庫）。在入庫過程中，將涉及到數據的統計和匯總，統計和匯總信息也會持久化在數據層中。在數據被持久化到數據庫后，上層應用會有對數據庫中的數據進行查詢和統計的需求，故數據層需提供查詢和統計接口給應用層。對存儲大量數據的單一存儲服務器來說，查詢和統計性能的挑戰是很大的。

b）應用層。應用層主要負責平臺業務邏輯，依據功能模塊劃分出不同類型的業務方法。業務方法通過調用數據層提供的接口完成業務工作。

c）展示層。展示層根據應用層Web Service提供的數據，將其以不同形式展示出來。

2.2 數據特點

無線網管平臺數據具有以下特點。

a）存儲數據量大且增長迅速。系統目前需采集基礎、性能、參數、話單、鄰區及告警等數據。上海朗訊統計數據表明，上海電信2011年3月份無線性能數據達10 MB/h、話單數據忙時最大達4 MB/min。至2011年4月，中國電信CDMA的用戶總量已突破1億戶，用戶增速達365%［5］，成了全球最大的CDMA網絡運營商。系統的數據存儲量無疑是與電信用戶量成正比的。

b）數據安全性要求高。數據是系統的核心，平臺上的所有應用也都是基于數據的。系統中存儲的數據對電信業務質量的分析和評價至關重要。如果用于評價電信業務質量的數據完整性和正確性遭到破壞，建立管理平臺的目標就難以達到；同時面向用戶的話單數據對業務也影響非常大，一旦話單數據的完整性和正確性遭到破壞，展示給用戶的話單數據會引起極大不滿，所以管理平臺對數據安全性的要求是比較高的。

c）數據入庫的及時性要求高。系統對數據入庫的及時性也有一定的要求 （如話單數據必須在1 h內完成入庫）。采集服務器采集和預處理的數據量大，入庫的數據量也勢必大。如果采集服務器的入庫并發性不高，數據入庫的及時性就會受到威脅。數據入庫的及時性將直接影響到數據庫數據的新鮮度。

d）大量的數據統計需求。由于采集服務器搜集到的均是原始數據，而應用所需的不僅是原始數據，還包括較多的統計和分析數據，因此為滿足前端應用的查詢性能，在數據入庫過程中還需做大量的數據統計工作，將統計數據與普通數據一起入庫供應用查詢。

3 數據存儲云化分析

經對網管類系統特征分析發現，海量數據平臺正逐步面臨著數據存儲量大、數據備份恢復涉及數據量龐大且過程緩慢等瓶頸問題；同時還發現，采用平臺數據存儲云化（即采用并行計算采集和處理數據）、重復數據刪除及差分增量備份等技術，可有效地解決平臺目前即將面臨的問題和挑戰，能為網管類平臺創造較好的發展前景。

以下基于上海電信無線網管平臺數據存儲實現云化工程的實踐經驗總結，對數據存儲云化的有關問題進行簡要論述。

3.1 數據存儲云化框架

由于網管類平臺本身已有了較好的分層方式，因此該工程的設計和分析重點主要集中到了數據層上。

云存儲平臺由數據存儲層、數據管理層和數據服務層組成，其中：數據存儲層包括存儲設備和統一存儲層（虛擬化技術）（實現動態擴容就在這一層），數據管理層包括數據安全策略（如數據備份），數據服務層提供應用層訪問接口。

在分析原框架和數據特征后認為，欲實現系統數據存儲和使用的高效性，可能需要改進的是：將原數據庫層包裝成云存儲層，則需在存儲設備上加入存儲設備管理系統，以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理及硬件設備狀態監控和故障維護，并加入基礎管理層。基礎管理層是云存儲的核心，也是云存儲中最難實現的部分。基礎管理層通過集群、分布式文件系統和網格計算等技術，實現云存儲中多個存儲設備間協同工作，以提供更大更強更好的數據訪問性能。

3.2 數據存儲云化技術

3.2.1動態擴容

面對系統每天都要增長巨大數據量問題，可通過動態擴容技術來實現自動擴展系統容量，使其能承受起數據增長壓力。也就是說，在系統需要擴充容量時能方便地加入新的存儲設備，僅需通過相關配置便可實現動態擴容。這就需要采用一定的技術將存儲設備虛擬化，并為存儲設備配置管理接口。存儲設備虛擬化，能很好地滿足存儲數據量大且增長迅速的需求。

使用存儲設備虛擬化技術的好處在于，不再為存儲容量不足而發愁，因為通過配置相關文件、動態加入新的存儲設備，就可以滿足動態擴容需求。存儲設備虛擬化不僅方便有效，還能保證存儲設備的在線狀態。

3.2.2 映射 /簡化（map/reduce）[6]數據處理

由于系統存儲數據量巨大，需處理和分析的數據量也十分龐大，因此其計算性能尤為重要。經研究后認為，通過并行計算技術可滿足其高效計算需求。由于map/reduce是一種用于分布系統的編程模型，支持在計算機集群中對超大數據集進行分布式處理，所以通過map/reduce實現系統的并行執行能力，可較好地滿足大量數據統計需求，同時將入庫數據按要求分成若干個優先級后，使用map/reduce先計算并入庫優先級要求較高的數據，還能滿足系統高及時性需求。

使用map/reduce技術的好處在于，map/reduce程序可運行在普通PC上，只需通過增加機器數量即可實現計算能力的線性擴展，因此可根據系統的業務量來規劃系統規模，從而獲得良好的投資回報。

3.2.3重復數據刪除

存儲系統中通常會有大量的重復數據。為消除冗余數據副本，可在數據存放磁盤前先進行重復數據刪除（dedup）［7］工作。對海量存儲系統來說，這種刪除技術在節省存儲空間方面具有顯著效果。map/reduce與dedup技術的結合使用見圖1。

dedup可應用在文件、數據塊或字節層面上。采用某個hash函數為數據單元計算校驗和，該函數能以很高的概率唯一地識別數據（如SHA 256的hash碰撞概率約為2-256）。數據單元被記錄在一張表內，從而也就建立了從數據校驗到存儲位置及引用次數的映射。當存儲已有數據備份時僅增加引用次數，當數據高度冗余時（如備份服務器、虛擬機映像和源碼庫）重復數據刪除能成倍地減少空間消耗。

3.2.4差分增量備份

對于系統數據的安全性和完整性問題，可采用差分增量備份技術可得到較好的解決。差分增量備份相對于全備份技術而言，有著巨大的空間節省效益。

差分增量備份是一種將自分裂備份與增量備份合二為一的備份模式。在該模式下，初始備份仍是一個全備份，后續的每次備份是與其前一次備份的自分裂增量備份。例如：星期一作一個全備份，星期二在將與星期一不同的部分進行備份的同時將已被刪除的文件作為一個負增量記錄在這個備份版本里，星期三在將與星期二不同的部分進行備份的同時將已被刪除的文件作為一個負增量記錄在這個備份版本里，依此類推。當需要恢復時，首先恢復初始的全備份，然后將每次的差分增量依次疊加上去。如果有負的增量，則需將該文件刪除掉。這種備份模式不僅備份效率最高，同時還能保證被用戶刪除的文件不會被恢復出來。如果用戶希望恢復被刪除的文件，可選擇不啟用自分裂。由此可知，相對于全備份技術而言，差分技術可大大地節省存儲空間。

鑒于差分增量備份恢復過程較為復雜，我們曾提出在備份服務器閑置時在備份介質上進行差分增量合成以形成新的全備份，并在經典差分增量備份上進行增強。另外，由于每個版本的經典差分增量備份的索引文件都是孤立的，如果能將索引文件組合成一個索引網絡，由其直接指出每個數據塊的具體位置（可能是任何一個備份的歷史版本中的一個文件），就能避免逐個恢復歷史版本。

在分布式系統中，可把備份數據發送到多臺服務器上，恢復時可并行接收數據。并行恢復可提高效率，尤其當服務器的速度成為瓶頸時就更是如此。一般來說，備份系統都不會是單一的服務器。采用分布式并行恢復時，在無須付出額外代價的情況下，就可帶來性能的提升，且在一定條件下，提升有可能是巨大的。

3.3數據存儲云化的利弊衡量

調查表明，半數以上的大型企業都傾向于擁有私有云。企業擁有私有云可帶來巨大的商業價值（如加速企業內部創新速度、整合企業內部資源及提高資源利用率等）。當企業擁有私有云時，企業自身就能更好地控制云計算，并根據實際需求進行動態調整和自主創新，其發展前途是很大的。

大存儲解決方案需要長期的規劃和大量的前期投資。虛擬存儲可模塊化擴增，通過適當工具可逐漸地擴展專業云存儲容量、自由地配置資源，并能以經濟方式平衡工作負載和容量，而其實施難點則在于對存儲設備的統一管理和監控上。

針對存儲系統性能問題，我們采用map/reduce技術來加大計算的并行數，以提高吞吐量和計算速度。同樣，這里也引進了一些如map/reduce函數確定等難點問題。

對云存儲來說，數據的安全性是至關重要的［8］。在設計框架和系統時，需考慮好數據安全性策略以保證系統的正常運行。

4 結束語

針對運營商網管類平臺目前所存在的問題，期望通過將數據存儲云化（即通過分布式架構及并行計算）來提高采集數據的存儲效率，通過云備份更好地對海量數據進行處理，通過備份恢復來保障數據的安全性。本文對數據存儲云化相關技術和方案的簡要論述，對擁有繁多類似平臺的電信運營商來說具有一定的參考意義，同時也為其他海量數據應用平臺及數據平臺的云化提供了借鑒和方法。

［1］Schmuck F B，Haskin R L.GPFS：A shared-disk file system for large computing clusters［EB/OL］.［2011-12-10］.http://citeseerx.ist.psu.edu/showciting?cid=46297.

［2］周可，王樺，李春花.云存儲技術及其應用［J］.中興通訊技術，2010（4）.

［3］黃海峰.從上海e云現狀看云存儲發展難題 ［J］.通信世界，2010（15）.

［4］沈權，周崎.云存儲下的容災建設［J］.通信世界，2011（5）.

［5］中國電信用戶超過 1 億 年增長率 365% ［S/OL］. ［2011－12－10］.http：//www.cb.com.cn/1634427/20110408/198214.html.

［6］徐小龍，吳家興，程春玲，李玲娟.基于大規模廉價計算平臺的海量數據處理系統的研究［J］.計算機科學技術，2010.

［7］王樹鵬.重復數據刪除技術的發展及應用 ［J］.中興通訊技術，2010，16（5）.

［8］劉國萍，譚國權，楊明川.基于云存儲的在線備份安全技術研究［J］.電信科學，2010，26（9）：79-83.