大數據PaaS平臺架構的研究

彭 昭，董 斌，楊 迪，馬怡安/Peng Zhao,Dong Bin,Yang Di,Ma Yi’an

（中國電信股份有限公司上海研究院 上海 200122）

（Shanghai Research Institute of China Telecom Co.,Ltd.,Shanghai 200122,China）

1 引言

隨著移動互聯網技術和智能終端的發展，創新應用層出不窮，用戶的數據和行為所蘊含的價值也越發凸顯，這些數據通過合理的挖掘和分析可以為轉變運營模式帶來驚人的新視角和新機遇。如何挖掘這些數據，在數據大爆炸的場景下面臨著技術與商業的雙重挑戰。大數據的目標是追求數據價值的最大化，必須從海量的數據資源中抽取信息并進行分析挖掘，為構建上述能力，企業需要搭建數據的采集、抽取、清洗、挖掘、分析、統計等環節的大數據平臺。

大數據PaaS借鑒云計算PaaS的理念，旨在將大數據服務能力和工具平臺化、服務化，結合云基礎資源租用和大數據能力開放，為企業提供一站式的大數據端到端解決方案，企業可直接使用或二次開發大數據PaaS平臺提供的服務，便捷地搭建高性能、高可靠的大數據應用平臺，并可將數據共享給第三方，無需考慮底層硬件與運行環境的搭建和調試。大數據PaaS平臺可以為電信運營商匯聚高質量的合作伙伴和大數據的運營經驗，為打造全新的大數據生態價值鏈提供有益的嘗試。

2 大數據PaaS平臺體系架構

大數據PaaS平臺面向的服務對象是政企行業用戶，提供大數據資源和服務組件兩種服務，為用戶的數據抽取、存儲、分析、呈現提供一站式解決方案。通過云資源構建大數據應用運行環境，利用Hadoop搭建大數據資源池，通過工具服務組件化提供大數據PaaS服務。

2.1 服務內容

大數據PaaS服務按服務深度大致可以分成兩種。

（1）提供基礎資源的租用服務

大數據PaaS平臺為用戶提供大數據集群和云資源，用戶可以自行部署大數據應用和相關ETL工具、分析工具等。根據大數據集群安全性要求，提供的大數據集群可以是物理機、虛擬機等不同緯度。此種場景適用于具備一定大數據開發技術，或者已經完成有大數據相關應用和服務的用戶。

（2）在基礎資源租用服務的基礎上提供大數據工具組件服務

大數據PaaS平臺為用戶提供基礎的大數據集群和云資源，在該資源上部署定制化的運行環境和服務組件，用戶只需關注數據導入、清洗、分析的類型，無需考慮環境與工具的部署與安裝。此種場景適用于使用大數據服務和工具分析自己數據的用戶。

2.2 系統框架

大數據PaaS平臺結合大數據技術與PaaS理念，充分發揮資源和大數據的服務價值，將面向大數據的采集、存儲、分析等工具服務化，為用戶提供大數據的平臺服務。平臺通過大數據組件構建面向用戶個性化的大數據分析平臺，降低企業部署大數據的門檻和成本。

大數據PaaS平臺的系統框架如圖1所示，主要分為門戶層、服務層、組件層、資源層和管理層。

①門戶層：平臺服務與用戶的交互界面，面向用戶提供大數據資源申請、維護功能；面向平臺管理員提供平臺用戶、服務、資源等管理功能；面向開發者提供平臺使用和大數據技術交流功能。

②服務層：將大數據平臺提供的存儲資源、運行環境、大數據組件打包成面向多租戶的服務，用戶通過門戶直接調用這些資源和服務即可搭建簡單的大數據分析平臺，也可基于此層進行二次開發實現更加負載的功能服務。

③組件層：將大數據3個重要環節涉及的工具服務組件化，可靈活地配置到各大數據服務集群，也可以作為大數據能力對外開放。

④資源層：提供大數據應用或者調用大數據應用的存儲和運行基礎資源。

⑤管理層：實現大數據PaaS平臺的用戶管理、服務管理、組件管理、資源管理和運維管理。

2.3 平臺核心服務

大數據PaaS平臺不僅提供大數據服務能力，還通過服務的集成實現大數據服務的端到端一站式服務，其涉及的關鍵技術包括以下4種。

（1）大數據平臺與組件的自動部署服務

平臺對基礎資源進行統一管控，根據用戶的網絡環境、資源配置、工具版本等要求分配資源和運行環境，保證大數據資源和平臺能夠自動化部署并服從平臺集中管理。針對主流大數據服務組件，如HDFS、Hive、HBase、YARN、內存迭代、流式處理等的自動安裝、部署和注冊，確保組件動態增加。

（2）多租戶隔離服務

平臺支持多租戶模式下的資源和組件調度，為用戶提供數據采集、存儲、分析等大數據服務，因此，不同用戶之間的數據相互隔離值得考慮。平臺采用安全組機制為不同的用戶配置相應的安全組，對應用或組件進行網絡訪問的權限限制，保障各租戶數據的隔離和安全以及處理任務的相對獨立、互不影響。

（3）數據挖掘與分析服務

數據分析是大數據價值鏈的最后也是最重要的階段，是大數據的價值體現，提供論斷建議或支持決策。通過模型算法管理和調度引擎，從大量的、不完全的、有噪聲的、隨機的數據中挖掘出有潛在價值的數據。平臺集成開源或第三方挖掘工具，支持回歸分析法、決策樹算法、聚類分析、關聯分析等方法，面向用戶提供大數據建模分析服務。

（4）組件發布服務

大數據PaaS平臺支持服務提供商或大數據應用開發者在平臺上發布自有服務。服務發布后，服務提供商或開發者能夠查詢發布的服務信息、使用統計等。大數據應用開發者能夠查詢可用的服務列表并進行訂購，可直接使用該服務或者基于該組件服務開放的API進行二次開發。通過持續不斷的大數據組件服務迭代開發與發布，豐富大數據PaaS平臺的服務類型和范圍。

3 大數據PaaS平臺的思考

電信運營商在大數據時代需要實現商業模式轉型，在資源與業務運營的過程中感知用戶特征數據，通過數據采集、挖掘、分析服務整合形成大數據能力和資產，并在此基礎上構建面向大數據服務的開放平臺，向第三方開放共享資源和大數據服務，打造大數據價值鏈仍面臨挑戰。

3.1 大數據PaaS平臺的擴展性

大數據PaaS平臺是基于PaaS云平臺服務理念構建的大數據服務平臺，隨著大數據服務的深入研究，平臺提供的大數據組件化服務會更加豐富，這對大數據PaaS平臺的架構提出了可擴展性要求。PaaS平臺與大數據服務組件采用松耦合的方式集成，通過采用中間件服務的方式，為大數據應用開發或大數據平臺搭建企業，提供快速構建平臺應用的各種基礎中間件服務。同時引入服務發布渠道，將服務提供商或開發者開發的大數據應用以開放或服務的方式接入平臺，快速擴展大數據PaaS平臺的服務倉庫。

3.2 大數據資源的共享

大數據PaaS平臺降低了大數據平臺搭建和組件服務使用的門檻，但平臺最終輸出有潛在價值的數據才是大數據的目標。有價值的數據資產如何用于指導業務創新，或者通過不同用戶的數據資產組合衍生更多創新需求是值得研究的課題。不同用戶的大數據資源共享是前提。面向不同大數據集群的數據，平臺可考慮增加數據導出接口，想要共享數據的用戶可以有限制地將部分或全部數據分享給第三方簽約用戶。面向同一大數據集群的數據，通過用戶組的權限訪問，并考慮采用一些授權機制確保數據之間的交互。

3.3 大數據開發社區的構建

雖然大數據應用面臨許多挑戰，目前很多研究、技術甚至應用仍處于初期階段。通過構建大數據開發社區，匯聚大數據開發者和服務提供商，并引入“眾包”理念將需要部署大數據平臺或應用的企業和開發者匯聚在平臺上，在大數據PaaS平臺服務介紹的基礎上為其提供更多的社區活動和服務，打造整個大數據價值鏈。讓企業能夠在社區找到大數據平臺建設方案，讓開發者能夠在社區找到大數據應用開發需求，讓大數據服務提供商能夠推介服務，實現大數據價值鏈的多方共贏。

3.4 大數據安全性的考慮

數據安全是大數據的基礎。大數據的數據隔離分為靜態和動態。靜態數據即用戶導入平臺存儲的基本數據；動態數據即在數據清洗、挖掘、分析等過程中產生的動態數據。為了保證這兩種數據的隔離，大數據PaaS平臺可為每個用戶建立獨立的數據庫來存放數據，實現數據的物理隔離，同時為每個用戶單獨分配基礎設施資源和平臺服務，確保用戶之間的數據在物理上進行隔離。此外，大數據PaaS平臺對于數據庫共享方式下的用戶數據進行隔離，應考慮為每個用戶設定數據訪問權限和操作權限，實現多層級角色管理，確保用戶的資源和數據不會被非法訪問。

4 結束語

挖掘用戶的行為習慣和喜好，在凌亂紛繁的數據背后找到更符合用戶興趣和習慣的產品和服務，并對產品和服務進行有針對性的調整和優化，這就是大數據的價值。大數據時代的到來，給電信運營商帶來了巨大的機遇和挑戰。基于運營商的服務資源，打造大數據的生態價值體系，聚合大數據服務提供商、大數據應用企業和大數據應用開發者，以高質量、高可靠的大數據能力與組件服務，實現大數據服務的推廣與拓展，最終實現運營商與合作伙伴的多方共贏。

[1] 童曉渝,張云勇,房秉毅等.大數據時代電信運營商的機遇[J].信息通信技術,2013.5-9.

[2] 張引,陳敏,廖小飛.大數據應用的現狀與展望[J].計算機研究與發展,2013,50(z2):216-233.

[3] 彭昭,陸玉蘭,魏民等.電信運營商PaaS云技術發展研究[A]. 2012全國無線及移動通信學術大會[C].2012.