中國移動IT云資源池自動化部署技術應用及問題分析

孫翠鋒，胡建村，張 琳

（中國移動通信集團信息技術中心，北京 100037）

0 引言

云計算（Cloud Computing）也可以稱作為網絡計算，是屬于互聯網計算方式的一種計算方式，基于此方法，能夠使共享的軟硬件資源和信息按相關的需求傳輸給計算機終端以及其他設備，運用服務商所提供的電腦設備作為計算資源[1]。其最大的特征主要體現為高性能、低成本、可平滑擴展等。云計算為IT技術發展提供了新的技術手段和業務模式，這不僅可以更好地降低企業的維護建設與成本，也為企業技術、業務和管理創新帶來了新的契機[2]。本文研究大規模云資源池建設部署的自動化部署技術，并對問題進行分析探討。

1 中國移動IT云概述

隨著中國移動集團公司信息技術中心（以下簡稱IT中心）的成立，中國移動一級IT云相關建設、運營及維護進度不斷加快。IT云資源池依照“扁平化架構、多點多活”，逐步形成“一云多中心”布局，推動全網IT能力整合，面向公司內部IT系統提供基礎設施云服務，承載內部各單位IT系統。

1.1 中國移動IT云資源池架構

中國移動IT云平臺遵循OpenStack標準建設，IT云計算平臺由云資源管理平臺和一個或多個資源池系統組成，云資源管理平臺包含多個遠端資源管理模塊。

1.1.1 云資源池管理平臺

云資源池管理平臺負責IT云計算各種資源及服務管理，云資源管理平臺支持OpenStack標準接口，同時通過與資源池系統之間的資源服務接口下發資源管理指令[3-4]。

1.1.2 資源池系統

資源池系統由遠端資源管理模塊和提供IT基礎資源的各類系統軟件或設備組成，資源池系統遵循OpenStack標準架構建設，資源池系統通過虛擬化和分布式集群等技術構建各種類型的IT資源，這些資源具有彈性供給和高可擴展的特點，通過遠端資源管理模塊實現基本的屬地運維[5]。為實現對多資源池大規模資源的管理，增強資源池的可靠性和規模，每個資源池系統由一個或一個以上資源池節點組成，每個資源池節點內包含多個POD。

（1）資源池節點：考慮機房局址等實際情況，分為多個物理/邏輯區域；擁有獨立的數據中心基礎設施及網絡出口，任意一個資源池節點失效不會影響其他資源池節點的正常工作。資源池節點之間采用高速低延遲方式連接，保證分區之間的通信通暢。

（2）POD：資源池節點由多個最小交付單元（POD）組成。每個POD是以一組核心交換機為單位的建設單元，包含約1000～3000臺萬兆/25G服務器；POD之間通過二層或三層組網技術實現水平擴展，可達到數萬臺服務器規模。

按照部署服務器的類型不同，分為業務POD和存儲POD。業務POD內部署計算節點服務器，采用SDN組網，每個POD單獨部署OpenStack模塊、SDN控制器和SDN轉發設備[6-7]。

1.2 資源池中網絡部署SDN技術

SDN（Software Defined Network，軟件定義網絡）是一種新型網絡創新架構，其核心思想是將網絡設備的控制層面與轉發層面分離，這樣可以有效地控制網絡流量，從而為其創新提供相應的平臺。SDN主要好處如下。

（1）面向業務：能夠輕松地集成計算功能，實現對資源的合理管理和維護。因此，網絡和業務目標保持一致[8]。

（2）可定制：每位開發者都可以編寫靈活使用網絡和操作的軟件。

（3）更加敏捷：不需等待廠商進一步提供服務，用戶就可以快速地獲取所需的功能。根據業務需求進行部署，快速上線服務。

（4）更簡單：整個IT工作狀態可以由一個控制點來管理。由于可以實現網絡的自動配置，從而降低了人工配置數量；對于Openflow的SDN解決方案是一個公開的標準方法，這樣就可以為不同的供應商提供一個開放的市場。

2 IT云建設部署過程中面臨的問題

2.1 建設規模大造成交付壓力大

一級IT云在建設過程中采用模塊化建設思路，每個POD作為一個獨立建設模塊。每個POD內計算節點規模上千臺，采用資源混編的構建方式，在一個POD內采用計算+存儲、虛擬化+裸金屬、應用+數據庫混合部署形態，以就近訪問降低時延，提升整體性能。每期工程單POD建設規模大，涉及廠商多，設備類型多，設備初始化要求參數不同，連線多，工期短，對建設要求質量高，整體交付壓力大。在進行硬件集成初始化時，單個POD需要持續一周多，多個POD更加耗時。隨著IT云的不斷建設，每年幾十個資源池擴容或新建，上萬臺服務器的硬件集成要求2周完成，交付要求時間緊張，交付壓力大。采用自動化部署技術可提升設備的初始化工作效率，能夠有效提高IT云資源池建設的交付速度。

2.2 設備眾多造成集成難度大

隨著IT系統云化轉型步伐加快，云資源池架構也向多層解耦方向演進。造成每期IT云資源池建設硬件集成涉及十多類網絡安全設備，服務器廠商四五家。云資源池架構帶來大量跨廠商互操作和集成工作[9]。

另外，隨著IT云多年的建設，硬件配置差異大，單純依靠廠商無法實現云集成自動化。廠商自動化工具通常只能兼容自身產品，無法跨廠商互操作，從而無法依靠一個設備廠商實現多廠商的自動化部署。

在資源池建設中設定的技術標準/規范無法實現徹底的多廠商解耦。以相關規范為例，在某些情況下只規定產品具備的功能和接口方式，而諸如虛擬層和分布式存儲產品之間大量對接等多廠商對接過程中的具體配置、私有接口對接等仍然需要集成解決。

2.3 傳統部署工作效率低、交互體驗差

設備建設規模大、廠商多，設備類型多，設備初始化要求參數不同，集成工作難度大，硬集設備初始化工作依靠廠商各自的自動化部署工具，帶來巨大部署工作量，需要工程師使用各個廠商提供的自動化部署工具，根據不同廠家、設備型號、不同版本使用不同的工具。版本更新導致頻繁的版本適配，工作量巨大，效率低，傳統部署手段使現場工程師部署工作煩瑣、工作量巨大，效率低，交互體驗差[10]。為了提升硬集集成效率，需要一種可對眾多的設備進行指令批量下發的自動化部署工具。

3 自動化部署平臺應用實踐

3.1 技術體系

本文所研究的自動化部署工具的主要技術體系如下：①構建一套一體化數據采集體系，實現對多廠家不同設備不同為維度的數據進行采集；②設計一套圖形化的編排引擎，支撐可視化可靈活拖曳的預案流程配置；③通過圖形化的編排完成各節點的腳本設置，實現預案配置；④設計執行預案的任務調度機制，實現預案的自動化執行；⑤建立應用場景模型，實現預案的自動化執行。

3.2 應用場景

自動化部署平臺主要應用于IT云資源池設備自動化部署。①IT云資源池設備配置參數的初始化，通過該平臺實現不同廠家不同設備配置參數的初始化，有效提升硬件集成效率。②IT云資源池網絡、安全設備基礎配置參數設置：通過該平臺實現不同廠家IT云資源池網絡、安全設備基礎配置參數設置，有效地提升硬件集成效率。

3.3 應用效果

以單個POD節點為例，傳統部署方式，完成設備初始化配置，需要2周左右，通過自動化部署工具，能夠在3天左右完成配置工作，大大提高建設效率。應用實踐證明，在大規模云計算基礎設施建設中，通過自動化部署技術，以可視化方式部署向導，能夠自動化實現服務器、網絡設備初始化配置，從而減少人為操作造成的錯誤，提升云計算基礎設施建設效率。

4 應用前景

4.1 市場預測

中國移動已經對云計算技術進行了長時間的跟蹤及研究，通過云計算技術可以降低系統建設和運營成本，提高資源利用效率和信息處理能力，同時，采用云計算技術實現業務和服務創新，有助于提高市場占有率，增強企業核心競爭力。

中國移動通過“建設成本最低、維護成本最低、運營成本最低、企業價值最高”來打造低成本高效運營的電信運營管理體系，通過建設集中化、標準化、信息化的系統，不斷提升工作效率和能力，從而實現在全球范圍內成為最優秀的、最卓越的公司。通過云計算技術建設內部IT系統資源池是推動集中化、降低建設成本、提高運維效率的一個重要手段。

目前在建的各IT云資源池工程在滿足集團、IT中心、專業公司及省公司相關IT資源需求的基礎上仍有較大資源缺口。為進一步滿足各單位對IT云區域中心資源池的資源使用需求，后續會不斷進行IT資源池建設。可將本文研究成果進行落地，在區域IT資源池建設中提升交付效率[11]。

4.2 應用前景分析

自動化部署工具，通過統一的Web入口進行工具選擇、參數配置，便于管理；配置參數通過模板實現，避免單臺修改，降低錯誤率；通過圖形化編排引擎完成可視化預案流程配置，完成各節點的腳本配置，操作簡易，根據使用說明快速上手。根據中移IT云硬件集成規范，針對網絡設備，服務器等的配置形成標準配置，適用于所有IT云資源池建設要求，后續可以支撐各地IT云資源池建設，進行推廣應用，提升硬件集成的工作效率。針對當前市場主流自動化部署工具，本文所研究的自動化部署工具優勢如下。

（1）充分結合中國移動IT云建設過程中對設備初始化的業務特性，貼合實際用戶場景需求。

（2）針對云資源池硬件集成的要求，進行硬件集成標準化，形成標準化硬件集成規范。

（3）構建一體化數據采集體系，實現多設備多維度數據采集。

（4）設計圖形化編排引擎，支持可視化預案流程配置。

（5）通過圖形化預案的任務調度機制，實現預案的自動化執行。

（6）針對各配置或硬件設備的特點，基于開源組件開發部署工具，支持標準化、批量自動化部署，具有可移植，可擴展的特點。

（7）硬件集成工具具有統一的Web管理入口，操作簡單，提供圖形化的流程引擎、實施人員可以通過拖曳的方式，完成預案流程的配置，具有良好的交互體驗。

（8）配置參數通過模板實現，避免單臺修改，降低錯誤率。

（9）針對各配置或硬件設備的特點，開發集成工具，支持標準化批量安裝和部署。

本文研究的自動化部署平臺具備很強的競爭優勢，有望成為該領域的標志性產品。

5 結束語

在中國移動IT云規劃期內，IT云將優化資源布局，結合地域情況、數據中心布局及建設進度，進一步推動全網IT云資源池集中共享，最終實現IT云規劃“區域節點+省節點”布局，承載全網各單位IT系統，支撐IT系統集中化。為解決當前IT云建設部署過程中存在的問題，并結合當前業務，本文研究開發了一套完善的云資源池設備配置初始化自動化部署系統，具備根據標準配置方案進行批量自動推送安裝的功能，具備巡檢比對功能，可形成檢查日志；通過硬件集成規范和硬件集成工具，減少部署和運維人力投入。

基于自動化部署技術的研究，隨著IT云的繼續建設擴容，在建設中進行落地推廣使用，并繼續對工具進行優化，簡化操作配置流程，優化圖形界面。該工具將有助于進一步擴大中國移動云計算的應用范圍、推動中國移動自有IT系統向IT云資源池遷移，對于加快云計算技術在中國移動的應用落地，加快集中化建設步伐，從根本上增強企業的核心競爭力，有著重要的意義。■