基于PaaS 技術的大數據云化平臺分析

符曉洪，柳羿，何寬政，張升平，曾麒杰

（深圳供電局有限公司，廣東 深圳 518000）

在當前通信技術的發展中，已經確定了“大數據、超細分、微營銷”發展方向，基本建構了跨域數據融合和能力共享的大數據集中平臺，在云化ETL 基礎上完成數據采集、計算以及處理，建構相應的數據采集以及處理平臺，以此實現對數據的統一運維管理。在業務發展進程中，業務量在逐漸加大，也促進了平臺接入相關數據量的增長，大數據平臺中也出現了電商、政企客戶等數據。數據量的激增，對于大數據平臺的運營支撐工作提出了較大挑戰，需要注重提升系統的資源計算、數據資源分析以及數據挖掘能力，實現數據的使用和管理效率。在此需求下，則需要進一步建構一體化架構，以滿足一體化運營發展的要求。PaaS 技術下的大數據云化平臺建構，能夠有效滿足運營商業務發展的相關技術需求[1-3]。

1 系統架構

在大數據技術和PaaS 理念的應用下，完成大數據PaaS 平臺的建構，以實現資源和大數據服務價值的充分應用。針對大數據采集、存儲以及處理等實現工具服務化，具備大數據平臺服務功能。在大數據組件下，為廣大用戶建構個性化的大數據分析平臺，以降低企業大數據的部署成本。

大數據PaaS 平臺系統框架詳情見圖1。

圖1 大數據PaaS 平臺系統框架

2 主要技術實現

2.1 能力集成

在開放平臺建構中，能力集成是核心組成部分，可以將其分成工具和組件、標簽庫產品、數據服務以及數據處理框架和容器服務4 個模塊。在平臺中可以為廣大用戶提供元數據、安全管理、建模以及數據質量等相關工具和服務。統一日志服務則是在平臺上完成一站式集中日志收集以及分析服務，有助于提高平臺運行和維護工作效率。同時在統一日志管理服務基礎上，可以完成平臺相應監控系統的建構。在統一日志的應用下，實現對不同資源運行狀態、不同公共服務狀態和租戶相應自我部署狀態實施分析，從而建構相應的診斷結果。數據服務主要為兩種，分別是：數據資產管理，重點是針對固定網絡、用戶數據及賬單、關系圈信息、在線行為日志等相關的數據結構管理；數據采集服務，則是針對租戶訂閱以及采集樣本數據所提供的相關服務過程。在數據服務過程中，能夠通過多個樣本獲取相應的規則，例如定制用戶組、用戶組關聯關系以及連續賬戶期等，在平臺的運行中即可以實現對適配數據的自助獲取。標簽庫產品，主要分為3 種，具體標簽產品及其分類見表1。

表1 標簽產品及其分類

2.2 多應用類型的分層調度

大數據業務系統完整化設計中，主要包括有多種應用形態，不但要存在有MapReduce 作業等的框架類應用，也需要存在有營銷門戶等普通交易類應用。對于以上兩種類型應用同時實施管理以及調度，作為研究重點，在該研究中提供了兩種解決方案[4]。

2.2.1 獨立調度方式

針對不同類型應用采用相應的資源調度器，彼此之間為相互獨立關系。Hadoop 集群針對自身資源采用YARN 實施管理以及調度，對框架類應用提供支持；PaaS 專門設置將Kubernetes 作為核心的調度器，針對普通應用通過管理虛擬機、容器等資源實施支持[5]。

2.2.2 兩層調度方式

這一方式則需要先疊加兩種類型應用的資源調度器，不但可以實現資源共享，同時也能夠針對應用實現統一管理。對于不同租戶間的資源則可以顯著提升共享程度，在這一需求下則需要應用多層資源調度方式。例如，Kubernetes 可以是統一的一層資源調度器，YARN/Mesos 可以是大數據應用下的兩層資源調度器，詳情見圖2。

圖2 兩層調度技術方案數據類應用

2.3 多租戶及其資源調度管理

多租戶概念最早出現在軟件領域，即為一個軟件實例可以對多個用戶架構提供服務，其中的各個用戶即為一個租戶。如果是多租戶可以建構資源高度共享模式，在顯著提升資源利用率基礎上，也有助于降低資源成本。

2.3.1 租戶權限管理

針對租戶資源級以及數據集設置相應的權限，以此實現管理；針對多租戶開放能力權限管理，主要是對數據開放、工具開放以及資源開放實施管控，以能夠提升租戶訪問資源以及數據等的安全性。其租戶權限管理界面見圖3。

圖3 租戶權限管理界面

2.3.2 租戶資源調度管理

在租戶資源管理中，主要是實現資源分配、數據隔離以及對安全問題實施控制。作業調度則是針對租戶作業優先級以及業務優先級實施控制。如果在大數據平臺多租戶以及多系統并存下，實現作業的統一調度，有助于顯著提升系統運行效率以及資源有效利用率。統一調度需要實現對集群內所有資源的管控，計算資源以及存儲資源均包含其中。統一調度是實現對各種作業的調度，其中主要包括數據采集、數據交互以及數據處理等，同時對于跨系統作業依賴以及調度也具有支持作用，可以有效控制作業優先級以及并發，另外也能夠對可視化監控以及管理功能提供支持作用。

Hadoop 平臺下的大數據多租戶實現中，則是在租戶方式下實現對Hadoop 組件YARN、組件Thrift 以及組件HDFS 的調用，從而通過多租戶資源的自動分配管理，實現相應管控。第一，定義最小分配資源、資源單位以及共享資源，并提供相應的API；結合Hadoop 的API 則可以實現PaaS 管控平臺的資源信息查詢以及分配功能。第二，提供數據共享以及安全管控，針對Hadoop 應用的忙閑時間能夠實現相應的資源復用，數據保存有且僅有一份；租戶間的數據需要實施隔離，禁止出現非法跨系統互訪。第三，資源優先級控制，結合租戶的優先級，實現對相應資源容量的分配。第四，業務優先級保護，統計分析型離線業務優先級和清單查詢型實時業務相比明顯偏低[6-9]。

2.4 全局優化的YARN調度技術

在本次系統建構中，提供了全局的YARN 調度技術，不但提出相應的算法，也提出了任務調度以及資源利用率等提升策略。在全局優化調度器的應用中，內部建構的調度機制和開源調度具有差異化，本次的調度流程是從作業到資源的正向匹配，在對調度線程實施轉換的過程中，可以實時查看作業過程，結合全局作業以及資源實際情況匹配相應的任務，各調度作業過程中均具備有全局資源視圖，在此過程中有助于顯著提升調度精度，其中全局優化調度如圖4 所示[10-11]。全局調度器中引入了專門的調度線程，把調度同心跳剝離開，可以有效防范超大規模集群中的系統心跳風暴問題。和開源調度器相比，優化后的調度器顯著提升了系統運行中的利用率、吞吐量以及數據親和性等[12-14]。

圖4 全局優化任務調度

3 實踐檢驗分析

針對建構完成的基于PaaS 大數據云化平臺，實施連續6 個月的應用實踐，實際應用中云化大數據PaaS 平臺主要業務為暢游業務，以此對建構平臺的應用性能實施檢驗分析。通過實踐驗證，基于PaaS的大數據云化平臺在應用中，能夠針對多租戶提供統一全網數據資源；數據開發過程中，有助于提高了數據開發效率，縮短應用上線周期；平臺所具備的彈性擴展能力，也能夠通過資源應用實現業務突發。平臺的硬件資源準備時間、數據準備時間等方面的應用效果見表2。從表中可以看出，建構完成的PaaS 大數據云化平臺和傳統大數據平臺應用相比，具有顯著優勢[15-18]。

表2 開發模式對比

4 結論

通過以上分析得出以下結論：

1）基于PaaS 建構的大數據云化平臺，能夠提供，實現能力集成、多應用類型的分層調度、多租戶及其資源調度管理以及全局優化的YARN 調度技術，滿足移動通信多業務和多用戶運行需求；

2）基于PaaS 建構的大數據云化平臺和傳統大數據模式相比，在硬件資源準備時間、數據準備時間等方面具有顯著優勢。