運營商擁抱Big Data Power助力平臺構建

本刊記者 | 李璐

近年，在移動互聯網日益蓬勃的背景下，國內電信運營商傳統的語音、短信業務日漸萎縮，ARPU值下降，量收剪刀差突出等已成既定事實。逐漸“被管道化”的運營商，如何在新時代突圍？

在新環境下，部分運營商開始著手利用Big Data技術，補充現有IT系統，提升客戶體驗，同時實現精細化流量經營，利用數據創收。目前，電信行業重點的大數據應用主要包括清單查詢、客戶行為分析、日志分析、流量分析等。

清單查詢系統：開源Hadoop難勝任

當前運營商現有清單查詢系統大多采用傳統架構，支持5+1個月或者11+1個月的詳單查詢，可以查詢到N天后的最新話單。然而傳統架構卻存在一系列問題。在容量方面，數據增長過快（n×100億條，n×TB數據），應用緊耦合，不能平滑的橫向擴展，導致查詢響應時間長，查詢成功率保障不足，系統部署過于集中，主機資源競爭嚴重。同時傳統模式建設與擴展成本高，除此之外，在安全、可靠、管理方面，傳統架構系統高可用保障能力不足。

為了解決上述問題，運營商迫切希望應用Big Data技術。開源Hadoop技術的高擴展性，接近100%的性能線性擴展比正越來越受到業界青睞。然而對于運營商，其除了數據密集型的M-R型，還需支持更多的計算場景；需要多負載支持，一個集群上支持多種不同類型應用；需要智能的作業調度能力，支持搶占、獨占、共享等各種調度策略，保證服務等級SLA；需要數據生命周期管理，包括備份、快照；需支持短任務，低延遲（任務延遲<1毫秒 ）等，而這些能力是開源Hadoop方案難以支撐的。

據了解，福建電信基于3臺IBM PowerLinux服務器7R1，采用IBM的Symphony + GPFS-FPO+HBase的企業級大數據解決方案，以滿足清單查詢的業務需求。在其清單加載場景中，加載了一個月的清單數據，約29.9億條，共700GB，而該系統以每秒72.7Mbit/s，30萬條數據記錄的結果展現了優勢。

用戶行為分析：挖掘數據資產

海量且穩定的客戶群體，可持續的數據源，用戶每一條上網話單中包含的重要信息，正是電信運營商在大數據時代的重要資產。而借用大數據技術，運營商可以通過判定用戶的使用習慣實現精準的定向營銷、制定符合用戶習慣的資費政策，通過預判用戶的興趣愛好提供有針對性的網絡便利性服務，比如精準廣告、應用推送。

據悉，在北京信合運通科技有限公司與北京電信聯合打造的大數據和分析項目——互聯網行為標簽系統中，已建立獨立的DPI流量即席查詢功能，并可以開展針對性的內容與應用推薦營銷。

該系統采用四層應用架構。在接口層，互聯網行為標簽系統抽取白名單用戶號碼，并從DPI采集用戶移動互聯網上網日志信息；數據庫層，保存同步的用戶移動互聯網上網日志、保存并更新URL庫、APP庫、分類庫，以及互聯網行為標簽結果數據；應用層，實現對用戶移動互聯網行為標簽分析過程、智能機搜索匹配分析過程、專題分析的網址匹配分析過程，并將分析結果標識，同時應用層實現對地址庫的定期更新；輸出層，互聯網行為標簽系統將互聯網行為標簽、智能機搜索標簽、專題分析的地址匹配標簽統計并輸出到ODS等應用系統。

在I T環境搭建方面，該系統基于I B M PowerLinux 7R1平臺，同時利用商業化的GPFSFPO文件系統取代開源的HDFS文件系統，聯合商業化的Map/Reduce軟件Symphony共同作用，來支持混搭的基礎架構，也為將來的平臺的擴容及演進提供了很大的靈活性。目前該系統對數據的解析率可達89.46%。

Power構建企業級大數據和分析平臺

隨著大數據和分析在電信行業的深入，運營商對大數據和分析平臺的企業級可靠性、穩定性、安全性要求會越來越高。同時面對著極為復雜的行業應用場景，不同類型和來源的數據需要統一地被利用，特別是新的大數據方案如何與傳統的數據倉庫無縫集成成為難點。IBM方面表示，現在企業客戶需要企業級的、全面的大數據和分析解決方案，并且還要有深厚的行業經驗支持，而在這些方面，IBM Power都為企業級大數據和分析應用基礎架構平臺提供了更好的選擇。

針對要求迥異的應用場景，IBM Power家族已發展兩條子產品線：天合大數據服務器（PowerLinux）憑借優秀的橫向擴展性主要運行靜態和實時大數據應用；而PowerAIX則倚重強大的企業級優勢承載數據倉庫整合和數據集市構建等工作負載。

Power靜態大數據解決方案：Power支持Open Hadoop/ BigInsights/ Symphony等大數據解決方案，并能夠與傳統數據倉庫系統無縫集成；天合大數據服務器（PowerLinux）/GPFS-FPO/Symphony相對x86方案擁有巨大的性能優勢；

Power實時大數據處理解決方案：Power支持IBM Infosphere Streams和開源的Storm構建流計算解決方案；天合大數據服務器（PowerLinux）/GPFS-FPO/Streams實現了業界最為強大的實時數據處理功能和性能；

Power數據倉庫整合解決方案：長久以來，Power集中式架構是企業級用戶構建數據庫、數據倉庫的首選，在各行業被廣泛應用；DB2 PureScale實現對Power集中式架構的進一步增強；Power基于DB2 BCU構建起強大的Scale-Out架構數據倉庫，以及基于Power低端服務器的創新解決方案；

Power數據集市構建解決方案：DB2 BLU內存列式數據庫帶來數據管理的革命性轉折點，實現了數據查詢的革命性進步；專門針對Power Systems進行優化，以充分發揮Power獨有的特性，報告和分析快8-25倍，以及10倍的存儲空間節省。

IBM系統與科技部大中華區Power Systems總經理侯淼表示：“IBM Power大數據和分析應用平臺憑借業界領先的性能、企業級的可靠性/安全性、強大的擴展能力（Scale Up & Scale Out)，以及全面的行業應用場景覆蓋和深厚的行業洞察積累，無疑是當前最佳大數據和分析平臺的不二之選。目前，基于IBM Power平臺的大數據實踐已經深入到包括中國在內的全球市場的各個行業，包括電信、金融、醫療、零售、制造等眾多客戶已經在IBM Power大數據平臺及大數據分析等技術的支持下獲益。”