一種分層的企業級云管理平臺設計

陳娜，張金娟，劉智瓊

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

1 引言

云計算（Cloud Computing）是一種通過網絡統一組織和靈活調用各種ICT信息資源，實現大規模計算的信息處理方式[1]。作為未來信息服務體系的核心，其全新的服務方式為企業用戶和個人用戶帶來了革命性的ICT體驗。

當前，政府、電信、教育、醫療、金融、石油石化和電力等行業都對云化的實施開展了大量研究，由于行業性質、企業規模和文化等存在各種差異，其云計算的策略和方法也有所不同。總的來說，其實施策略可以歸結為2類：對內構建私有云，進行業務系統IT資源整合，提升內部IT資源的利用率和管理水平，降低業務的提供成本；對外搭建公有云，通過云計算構建新興商業模式的基礎資源平臺，提供公用IT服務，提升傳統經濟的效率，并在應用層面推動云計算的落地。本文通過對業界主流的云計算架構進行深入研究，結合電信運營商業務支撐系統的現狀，提出一種分層的云管理平臺架構，同時對云平臺的彈性服務進行了闡述。

2 企業私有云的云管理平臺設計

2.1 典型云計算架構

結合當前云計算的應用與研究，其體系架構可分為核心服務、服務管理、用戶訪問接口3層，如圖1所示。核心服務層將硬件基礎設施、軟件運行環境、應用程序抽象成服務，這些服務具有可靠性強、可用性高、規模可伸縮等特點，滿足多樣化的應用需求；服務管理層為核心服務提供支持，進一步確保核心服務的可靠性、可用性與安全性；用戶訪問接口層實現端到云的訪問[2]。

圖1 云計算體系架構

按照核心服務層提供的資源所在的層次，可以分為IaaS（基礎設施即服務）、PaaS（平臺即服務）和SaaS（軟件即服務）等。IaaS以服務的形式，提供計算、存儲和網絡等基礎設施資源，用戶無需購買服務器、存儲設備、網絡設備，通過互聯網租賃即可搭建自己的應用系統，幫助削減IT基礎設施的建設成本和運維成本；PaaS以服務的形式，提供軟件開發、測試、部署和運行環境以及能力開放接口或應用服務引擎，屏蔽軟件開發底層復雜的操作，用戶可以快速開發出基于云平臺的高性能、高可擴展的服務；SaaS以服務的形式，提供各種在線軟件，用戶不必購買軟件，只需按需租用軟件[3]。將核心服務層劃分為IaaS、PaaS和SaaS，這是典型的云計算架構設計方法。

2.2 電信業務支撐系統的層次化設計

電信運營商依托網絡和數據中心的優勢，公有云方面主要通過IaaS服務進入云計算市場；在其私有云的構建上，往往遵循上述典型云計算架構，將其核心服務層分為IaaS、PaaS和SaaS。在建設初期，建設的重點是IaaS和PaaS，其中IaaS的建設需要同時考慮搭建全新環境以及利用遺留IT資產進行改造的場景；PaaS則主要為適用于云的新應用系統提供支撐，以及提供將原有的應用系統遷移至云中的解決方案。在IaaS和PaaS建設初具規模后，可考慮引入SaaS服務，重點將企業多年來信息化建設積累的產品進行云化，以實現由應用到服務的徹底轉型[4]。

在初期進行IaaS層構建時，可以同步考慮原有大型復雜應用系統的改造方案。由于這些系統大部分是“煙囪式”獨立建設的，甚至部分系統是應急建設的，隨著業務的發展和技術的進步，存在應用擴展性差、資源不能共享、開發部署周期長等諸多問題，因此首要工作是設計清晰的分層架構和應用解耦的準備。

采用業務與通用操作分層原則，把與業務無關的資源使用、管控操作這些功能，獨立形成資源控制層，以提高系統魯棒性和資源管控能力。目前的電信業務支撐系統會大量使用底層的內存、進程、消息隊列、網絡等服務，并且各個應用都有其獨立的使用方法。在初期設計資源控制層時，可以先把上述內容納入統一管理，對上層應用提供標準系統調用，形成平臺級能力，允許經授權后的業務支撐系統和其他業務系統訪問。

資源控制層的主要能力在未來的云計算環境下可以構成云操作系統（BOSS-OS），如圖2所示。其主要目標是對云計算“基礎設施”中的資源（計算、存儲和網絡等）進行統一管理，構建具備高度可擴展性并能夠自由分割的ICT資源池；同時，向云計算服務層提供各種粒度的計算、存儲等能力。

從一級功能視圖看，資源控制層至少包括資源管控、資源使用和自管理三大部分。

（1）資源管控是BOSS-OS的核心，保證其穩定運行，主要完成資源分配、資源監控等管控工作。

（2）資源使用服務主要是基于底層平臺資源向外提供服務（如內存服務、存儲服務、進程服務、進程間通信服務、網絡服務）以及原子能力，向外提供資源基礎（原子）能力作為補充手段。另外，還包括數據層訪問服務，向外提供統一的數據訪問接口。

（3）系統自管理包括配置管理、通信管理、日志輸出和系統相關界面管理等。

從二級功能視圖看，資源控制層可以再進一步細分為南向接口、資源管控和資源池、北向接口。

（1）南向接口（資源獲取）

南向接口面向操作系統層面。通過南向接口實現對系統環境的資源的訪問和獲取，系統環境的資源包括平臺資源和應用資源。平臺資源包括內存、存儲和網絡等；應用資源包括數據庫、中間件和其他第三方軟件等。南向接口是最底層的封裝，向上屏蔽實現細節，屏蔽各種操作系統、數據庫和中間件的差異性。

（2）資源管控和資源池

各種資源以資源池形式存在，并由各種資源的基礎服務來進行管理和加工；資源管控負責負載均衡、路由轉發以及對基礎服務層的資源池進行監控。

（3）北向接口（資源提供/分配）

北向接口面向應用層面。通過北向接口向外部應用提供加工后的平臺資源和應用資源，主要為服務型接口。

2.3 企業私有云管理平臺功能架構

云管理平臺的主要功能包含設備管理、資源管理、應用管理和運維管理，為傳統IT到云的過渡提供完整的解決方案。資源管控層與云管理平臺相結合，可以實現對底層資源池的共享及統一調度、軟件自動部署、應用統一監控、系統彈性伸縮，滿足企業私有云的業務和管控目標。云管理平臺參考架構如圖3所示。

云管理平臺的流程步驟如下：

a：應用管理節點進行作業的任務切分和分發，如有空閑的資源普通節點，則轉d。

b：應用管理節點向資源管理節點申請任務執行的相關資源。

c：資源管理節點根據申請的要求進行各節點的資源分配：

◆如果有相應的資源普通節點，則在分配的節點上部署應用任務的執行環境；

◆如果普通節點資源不夠，則向設備管理申請資源（如主機），設備管理對資源進行相關的配置、部署和激活等。

d：在資源普通節點上已部署激活的應用，執行相關的應用任務。

圖2 電信業務支撐系統的云化分層架構

圖3 云管理平臺參考架構

e：云管理平臺監控應用管理、資源管理、設備管理的資源狀態并提供彈性服務。

（1）設備管理

1）設備分配管理

◆裸機設備資源的注冊。

◆裸機設備資源的分配：應用部署時，云管理平臺需要能夠根據用戶設定的資源要求，自動分配所需的服務器資源進行應用的部署。資源申請信息包括但不限于：硬件規格、設備數量、操作系統類型。

◆資源的安裝部署：管理平臺分配資源之后進行自動遠程安裝部署，包括但不限于：安裝操作系統、配置IP地址等網絡屬性以及相應的配置、安裝、部署、激活。

2）設備監控

◆能夠對系統中運行的所有服務器的健康狀況和負載狀況進行監控，并可在界面上查看到相關的信息。

◆監控信息包括但不限于：CPU狀態、內存使用狀態、硬盤空間、網卡狀態。

監控的方式包括主動心跳檢測和接收上報；

需要對性能信息、告警信息進行采集和實時展示；

可以設置性能門限，資源使用超越設置的門限可自動生成告警上報；

提供告警轉E-mail、告警轉手機短消息功能，使相關人員隨時隨地了解告警信息。

◆資源回收：對空閑的資源普通節點進行回收處理。

◆資源的動態伸縮：根據資源狀態，動態調度資源的使用。

（2）資源管理

資源管理在設備資源之上（實際建設可以考慮將設備管理合并到資源管理），云管理平臺需要對其進行管理。

1）資源普通節點需要向云管理平臺上報資源使用情況。

2）負載均衡：云管理平臺根據應用管理分派的任務，找到空閑的資源普通節點，執行相應的應用任務。如沒有空閑的資源普通節點，則需要向設備管理申請投入新的資源。

3）資源節點心跳檢測：定期主動檢測資源節點的運行狀態。

4）資源節點運行監控：對資源節點的運行情況進行統計、分析和展示報告。

5）資源節點動態伸縮：根據設定的策略對資源節點進行激活和去激活。

6）資源普通節點上的應用加載和卸載。

（3）應用管理

1）應用軟件拓撲展示

云管理平臺需要支持對部署運行的應用提供應用拓撲管理能力，包括但不限于：應用的部署形態（單節點/雙機/集群）、應用分別部署于哪些設備之上。

2）應用程序部署

應用部署是云管理平臺把用戶設計的應用拓撲結構實例化的過程。在這個過程中，統一云管理系統根據用戶的軟件配置，將軟件包構建在資源（物理機、虛擬機、計算資源）上，使應用靜態的拓撲結構實例化，成為動態運行的并提供符合設計能力的功能實體。

3）應用升級

云管理平臺根據用戶提供的升級包、升級配置和腳本，生成節點升級數據，并下發給剛剛建立的節點的客戶端代理；客戶端代理執行腳本完成升級包安裝、配置，并啟動升級后的軟件包。

云管理平臺通知智能路由部件某個業務開始升級，并注冊升級后的業務路由地址。智能路由部件不再向業務原有的路由地址轉發新的業務請求，而是向新注冊的路由地址轉發。當業務原有路由地址關聯的業務會話結束后，原有路由地址將從路由記錄中刪除，智能路由通知云管理平臺已刪除的路由地址，云管理平臺對此節點執行節點卸載，回收資源。

4）應用作業管理

對作業進行任務分解，并向資源管控主節點申請資源來執行相應的任務。

（4）運維管理

1）用戶管理

對于云管理平臺的運維用戶的權限進行分權分域的管理控制，通過認證、授權、鑒權和加密等方式保證云管理平臺用戶帳號的安全性和云管理平臺/被管設備運行的安全性。

用戶管理提供用戶的增刪改查功能，可以設置和修改用戶所屬的角色，同時還可以設置和修改用戶的訪問控制策略。訪問控制策略包括登錄時間控制以及登錄IP地址控制。

用戶的安全策略管理包括用戶密碼策略、帳戶策略和訪問控制策略（任務列表、黑白名單等）。通過這些策略，保證用戶帳戶、密碼和云管理平臺運行的安全性。

為了避免非法用戶攻擊系統和監控在線用戶的操作，云管理平臺提供用戶會話監控功能，可以監控當前登錄用戶以及登錄時間、登錄IP等信息。管理員可以將某用戶強制退出云管理平臺。

2）日志管理

為云管理平臺管理的應用程序提供日志服務，統一收集應用程序產生的日志，集中存儲并提供日志獲取、審計分析和前臺展示等服務。

3）告警管理

提供告警服務，應用程序和云管理系統在系統發生故障，不能自動修改需要人工干預時，通過告警服務上報告警。

◆業務定義的告警：由業務通過云管理平臺提供的告警服務上報的告警，告警的具體含義由業務自行定義。

◆云平臺自身產生的告警，包括但不限于：

環境類：溫度、濕度、電源、風扇。

資源類：

CPU、內存占用率持續超過設定的閾值，并且無法通過自動伸縮等措施來解決；

VM資源不足，需要人工增加或替換已損壞的單板；

時鐘同步告警：云平臺中各個物理機器上當前時間不一致，并且自動調整失敗。

通信類：

VM或PM間通訊中斷，并且在指定的時間內沒有恢復；

端口告警，監控的端口持續收到超過閾值的連接請求。

4）支持批量運維操作

支持一次性對多個節點執行同一操作。

例如：用戶希望刪除一個文件，則選擇需要刪除的節點，然后一次性刪除所有這些節點上的該文件。

用戶需要做磁盤整理的操作，則輸入該命令，然后選中需要操作的節點，系統自動在所有的節點上執行這些命令，返回的結果輸出在文件中。

5）應用參數配置

提供各種系統和應用軟件的統一參數配置功能，實現配置一次就更新所有相關或者選中節點的配置。

3 基于云管理平臺的彈性服務

云計算的獨特性在于它是建立在可自我維護和管理的物理/虛擬資源層上，可以按不同的需求動態改變需要訪問的資源的種類和數量，包括增加或減少資源的使用。本文提出的云管理平臺能夠根據系統的負載進行動態伸縮，合理利用資源。電信業務支撐系統應用負載可以分為聯機交易處理、計算密集型等，下面以計算密集型的任務如何進行管理和分配為例說明云管理平臺如何實現彈性服務。

3.1 任務分配機制

為了更合理的利用資源，將優勢資源應用于關鍵應用，云管理平臺在進行資源分配時需要有靈活的分配策略，形成相應的任務分配機制。計算任務分配的主要思想如下：

（1）外部計算請求到達應用管理節點（A-Master）。

（2）應用管理節點根據任務信息和執行規則，將任務分配給應用執行節點（A-Slave）。

（3）如沒有足夠的應用執行節點來完成任務，則向資源管理節點（B-Master）請求資源。

（4）資源管理節點（B-Master）部署新的應用執行節點（A-Slave）到資源普通節點（B-Slave）來完成新的任務。

（5）任務分配后，外部計算請求直接和分配的應用執行節點（A-Slave）交互來完成任務。

任務分配機制按照一定的云計算資源調度策略來執行，調度策略是云計算技術的一個重要組成部分，它主要研究如何為用戶提交的任務分配計算節點、如何對計算節點進行動態擴展，以及在滿足用戶服務質量要求并且執行時間最短的前提下負載均衡程度最高，它的效率直接影響整個云計算環境的工作性能。文獻[5]和[6]對如何優化現有策略分配算法進行了研究，為虛擬機提供合適的物理資源。后續研究可以參考其優化算法并納入資源調度的流程。

3.2 動態增減節點，提供彈性服務

應用動態伸縮是云計算的一大特色，云管理平臺能根據系統的負載進行動態伸縮，合理利用資源。業務應用的動態伸縮主要有以下2個典型應用場景：

（1）業務進程動態增加（N+1）

步驟說明如下：

1）資源管控模塊根據應用服務器負載情況（CPU、內存）判斷需要增加1臺業務服務器。

2）資源管控模塊在新服務器上自動部署全部業務應用并啟動。

3）資源管理模塊修改業務能力狀態表，增加服務器。

4）資源管理器根據負載將業務請求分派到新增加的業務服務器上。

（2）業務進程動態減少（N-1）

步驟說明如下：

1）資源管控模塊根據應用服務器負載情況（CPU、內存）判斷減少1臺業務服務器。

2）資源管理器根據策略選擇需要停止業務的服務器。

3）資源管理模塊修改業務能力狀態表，修改服務器狀態。

4）資源管理模塊通知應用服務器，告知處理完當前業務后退出。

5）應用服務器完成當前業務處理。

6）應用服務器停止業務進程，終止業務能力的提供。

4 結束語

大型企業構建私有云是一個漫長而艱苦的過程。本文從目前電信業務支撐系統的現狀出發，提出了一種分層設計方案，深入細致地介紹了企業私有云管理平臺的功能架構，為企業應用改造以及向云計算環境的遷移提供了一條可行的路徑。后續將會在基于優化策略的應用調度上進一步研究，以滿足業務處理的性能需求和提高資源的利用率。

[1] David S Linthicum. 云計算與SOA[M]. 馬國耀,譯. 北京: 人民郵電出版社, 2011.

[2] 羅軍舟,金嘉暉,宋愛波,等. 云計算：體系架構與關鍵技術[J]. 通信學報, 2011,32(7): 3-21.

[3] 李衛,李濟漢,張云勇,等. 電信運營商云計算體系架構思考[J]. 電信科學, 2013,29(3): 123-127.

[4] 伍治平,王磊,毛淑華. 面向傳統大型企業集團的私有云解決方案研究與設計[J]. 冶金自動化, 2012,36(5): 1-5.

[5] 田宏偉. 云計算環境下資源分配策略的研究[D]. 濟南: 山東師范大學, 2012.

[6] 郭怡. 基于云計算平臺的電信業務支撐系統中資源提供策略的研究[D]. 南京: 南京郵電大學, 2012.★