基于Hadoop和OGG技術的運營商裝維數據傳輸分析

段鵬程+梁洪

【摘要】 以Hadoop框架為基礎，建立了全量裝維實例數據傳輸通道，以OGG技術為基礎，建立了元數據及配置數據的傳輸通道，并設計了通道監控與管理模塊，實際運營效果表明，基于Hadoop和OGG技術的運營商裝維數據傳輸有著良好的可靠性和高效性。

【關鍵詞】 裝維數據 數據傳輸 Hadoop OGG

在電信行業市場競爭失去激烈的背景下，提升服務水平成為了各個運營商提升自身競爭力的重要手段，發揮裝維服務作用對于客戶價值挖掘、客戶忠誠度提升等方面有著積極的意義，在此過程中，裝維數據的有效傳輸至關重要。基于以上，本文以某運營商為例，探討了基于Hadoop和OGG技術的裝維數據傳輸，旨在為相關研究和實踐提供參考。

一、全量裝維實例數據通道建立

面對新業務要求，運營商OSS系統需要擺脫孤立系統的限制，并對專有應用進行消除。對于OSS系統來說，其不僅需要提供綜合性報表，還應當具備端到端的實時多位分析視圖及分析管理，這就對全量裝維實例數據的傳輸提出了更高的要求，全量裝維實例數據需要在短時間內實現省到集團的傳輸，并實現數據共享[1]。保障、開通、預處理等單實例數據、實體數據、平臺上網記錄數據及寬帶測速數據等都屬于全量裝維實例數據的范疇，由此可見，全量裝維實例數據量是十分龐大的，為了保證傳輸的有效性和及時性，需要建立全量裝維實例數據通道。

在全量裝維實例數據傳輸的過程中，省生產系統將統一轉化為Key-Value模型，之后由兩級數據總線互聯網實現數據同步，將轉化完成的Key-Value模型同步到集團數據總線，最后進行存儲、整合及索引等數據處理，供集團應用系統使用。為了實現規定時間內海量全量裝維實例數據的有效同步、傳輸、存儲和共享，以Hadoop框架的復制數據同步架構技術為基礎，主要包括兩個部分：①并行計算及框架Map/ Reduce；②Hadoop分布式文件系統。

采用java語言開發Hadoop分布式文件系統，其主要功能是為應用程序提供API接口，保證分布式系統有著良好的擴展性與可靠性[2]。在不了解分布式底層細節的基礎上，用戶也可以實現對分布式程序的開發，并進行高速運算和存儲。這種基于Hadoop框架的全量裝維實例數據傳輸方案有著高效性、安全性及穩定性的優點。具體全量裝維實例數據同步流程如下：①省內進行業務系統生產數據的Key-Value結構轉化，并將其寫入到數據總線中；②以Hadoop架構的數據傳輸通道為基礎，將全量裝維實例數據同步到集團裝維前置庫；③集團側進行數據的切分、校驗及索引等處理，之后將數據存儲到集團裝維統一庫中，供集團應用系統使用。

二、元數據及配置數據通道建立

將裝維數據中，元數據及配置數據同步到集團也是十分重要的，為了實現元數據及配置數據上傳的穩定性和高效性，在建立數據互聯通道的過程中采用OGG技術，即非插入行的結構化數據復制技術，其有著數據處理量大、傳輸效率高、安全性高及資源占用少等優點，能夠實現元數據及配置數據傳輸的高效性、靈活性和穩定性。具體數據同步傳輸流程如下：①省側對集團側裝維基庫進行訪問，以此來獲取最新的標準元數據；②以標準元數據為基礎，省側對私有元數據、流程數據、人員組織數據及配置模型數據等進行上行傳輸，在集團側裝維元數據庫中存儲；③集團側對存儲于裝維元數據庫中的數據進行校驗和整合處理，最后共享給集團應用系統，供集團應用系統使用。

三、配套兩級數據通道監測與管理

3.1兩級數據通道監測

結合裝維業務的實際特點，在凌晨時段，裝維數據傳輸存在周期時間沒有數據傳輸的問題，為了實現對裝維數據傳輸通道的有效監控，本文主要采用心跳架構模式，具體監控流程如下：①心跳寫入：指的是省數據總線心跳寫入，新建數據表，以實際業務需求配置周期為基礎，周期性的將心跳數據寫入到新建數據表中[3]；②心跳監控：指的是省數據總線的心跳監控，新建數據表，周期性接受與省內同步的心跳數據，并進行與上傳數據的比對；③計算監測指標：計算通道可用性指標和通道數據傳輸及時性指標；④異常報警：監測指標數據出現異常則會以郵件及短信形式進行告警。

3.2兩級數據通道配置管理

設計配置管理模塊，對裝維兩級數據同步通道進行統一的配置和管理，實現可視化展示功能，可進行數據總線的新增、修改、網絡撥測及刪除等相關處理，保證裝維兩級數據同步通道的有效運營。

結論：本文提出了基于Hadoop和OGG技術的運營商裝維數據傳輸方案，實際運行表明，裝維數據傳輸有著良好的可靠性和高效性，為提升運營商裝維服務奠定了堅實的數據基礎，值得進一步推廣和應用。

參 考 文 獻

[1]謝翠琴，吳春. 基于Hadoop和OGG技術的運營商裝維數據傳輸方案[J]. 電腦與電信，2016，06：71-73.

[2]林文輝. 基于Hadoop的海量網絡數據處理平臺的關鍵技術研究[D].北京郵電大學，2014.

[3]馮明麗，陳志彬. 基于電信運營商的大數據平臺及去IOE應用研究[J]. 電信技術，2015，09：25-28+34.