分布式系統運維交付解決方案研究與應用

曹雨薇 張 毅

（中國移動（深圳）有限公司，廣東 深圳 518048）

分布式系統運維交付解決方案研究與應用

曹雨薇 張 毅

（中國移動（深圳）有限公司，廣東 深圳 518048）

伴隨著云計算與大數據技術的飛速發展，SOA、微服務等分布式軟件架構模式已成為業務系統的基本架構模式。相對于傳統的非分布式系統，分布式系統以其易擴展、高可靠、處理速度快、靈活性強等優點逐漸受到業界的青睞。本文基于分布式系統部署提出更為有效的解決方案，圍繞現有框架進行設計，提出了基于MVC分層架構具備可視化流程編排、萬能工具倉庫以及自動化作業管理等核心功能的分布式系統運維交付解決方案。

分布式系統；工具倉庫；可視化流程編排；自動化作業管理；MVC分層架構

1 引言

隨著網絡技術的飛速發展，軟件運行平臺逐漸從單機環境遷移到網絡環境，計算機系統也由集中式系統逐漸發展為分布式系統。與此同時，由于分布式計算技術在電信、金融等許多關鍵領域的廣泛應用，分布式系統逐漸呈現出規模龐大，服務對象眾多，對象之間的關系復雜等特點，由此給分布式系統管理的配置、部署、運行監控以及維護帶來了許多問題。為提高系統的性能和可用性，在大型分布式系統中對應用服務進行監控和管理就變得尤為重要。因此，如何對大型分布式系統進行高效管理，特別是如何滿足服務對象部署一致性以及系統服務對象云端狀態監控實時性要求，是一個具有理論意義和實用價值的研究。

2 分布式系統運維交付框架需求

傳統的運維人員通常只面對幾十或者上百臺的服務器，規模不會太大，而且相對應用來說，每臺機器都是一個獨立節點。但在大規模分布式集群中，工作任務明顯不同：首先，運維人員面臨的服務器動輒就是三五千臺甚至上萬臺，量級大幅提升；其次，分布式操作系統提供存儲、CPU調度能力、內存使用、網絡等功能，是基本資源的包裝整合，從邏輯上看，相當于一臺計算機；第三，基于分布式系統開發的應用相當于一個分布式數據倉庫，用戶可以在上面進行ETL處理、SQL查詢、數據導入導出等基本操作，以及實現一些MATLAB、統計軟件等功能。因此，與傳統運維相比，分布式系統運維人員必須要有更強大的整體把控能力，包括對機房網絡、帶寬、硬件、服務器的性能進行優化，熟悉上層應用，實現數據分析等，做到對各個方面的情況了如指掌。因此對于分布式系統運維交付人員來說，亟需一個更加專業的分布式系統運維交付方案來解決上述繁瑣的技術操作。

根據業界常見的分布式系統運維交付解決方案的實現原理，對其共同點進行抽象建模，提出了一種更普遍更有效的分布式系統運維交付解決方案，通過規劃和統一運維交付流程、搭建盡可能全的工具倉庫并融入數據作業的自動化管理可以極大提高運維、交付人員的工作效率，使系統得以快速上線，從而提高分布式系統交付效率。

3 現有分布式系統運維交付框架

目前最常用的分布式系統部署主要依賴系統工程師把主要精力放在監控、部署上線以及數據備份三個方面。最初，軟件開發人員通過對分布式系統中各節點程序部署進行分別編寫以及各服務器性能監控腳本的編寫來完成相關操作，這對于節點規模較小的企業來說是可以滿足的。當節點數量達到千臺左右的情形，開發人員又開發出了各種開源的分布式系統集中式操作平臺，其中最為常用的是puppet集中配置管理系統，使用自有的puppet描述語言，可管理配置文件、用戶、cron任務、軟件包、系統服務等。puppet把這些系統實體稱之為資源，puppet的設計目標是簡化對這些資源的管理以及妥善處理資源間的依賴關系?？蛻舳丝梢耘c服務器定期進行配置信息同步，從而實現資源的依賴關系管理。但此類方法需要安裝puppet工具，同時需要對puppet控制代碼進行編寫和調試，其批量部署優勢較明顯，這類垂直管理系統的使用極大減輕了工程師在重復性、批量化操作方面的負擔，并有效完成既定的運維子目標，但這類軟件只針對某一垂直領域的特定問題進行處理，對于它們之間的關聯性很難應付。

圖1 puppet的C/S架構圖

4 分布式系統運維交付框架設計

本文提出了一種分布式系統運維交付解決方案，核心思想是通過一個平臺來規劃和統一運維交付流程、搭建盡可能全的工具倉庫以及數據作業的自動化管理來實現分布式系統的運維與交付，我們暫且稱該平臺為分布式系統運維交付管理平臺。

為了便于平臺的使用、管理和擴展，該平臺必須有如下四層架構，并采用MVC模式完成實用性優化。

視圖層：建議采用標準規范的JSP+JSTL結合面向對象的界面組件包來進行視圖展現。

控制層：建議使用Spring組件包中的Spring-MVC功能，Spring MVC引入了注解驅動功能。使用注解即可實現一個普通JAVA類具有Controller的全部功能，同時Spring-MVC的框架具有靈活性、易用性和擴展性。

業務層：在實際的項目開發中，各個領域均有自己獨特的業務邏輯并且往往沒有實現兩個分離，一個是前臺與應用的分離，一個是應用與數據的分離，故而導致了在傳統項目中代碼高度耦合，比如兩個業務邏輯中相同的子功能或者子模塊原本有可能被重用，但由于它與各自業務邏輯綁定在一起導致很難被重用。通過將這些具體邏輯的代碼獨立出來成為單獨一層即我們所說的業務層，使業務層降低與系統其他部分的耦合度，讓該層以最小的改動適應最大的變化，并建議在編碼時盡量考慮同一業務多種實現的兼容能力和可擴展能力。

數據持久層：開發過程中，與數據庫進行數據交互必不可少，主要的數據操作包括添加、讀取、修改、刪除，它們占據了系統開發中的大部分時間，由于數據庫操作頻率往往較高，該層與數據庫交互的性能問題是需要我們重點考慮的，如采用連接池、數據緩存等等。因此，在本層實現中，建議使用MyBatis功能對JDBC進行封裝，實現面向對象的業務操作，同時兼顧業務Sql的復雜性和靈活性。

圖2 基于MVC模式的四層架構

5 分布式系統運維交付框架功能與實現

為了實現對不同用戶的統一管理，本框架通過建立公有工具庫與私有工具庫，面向不同的用戶開放不同的工具執行權限，并記錄工具執行記錄，根據用戶需求執行相關操作，并結合可視化流程編排與作業管理從而完成系統的快速上線。圖3提供了一種可供執行的框架功能圖。平臺主要功能由用戶管理、系統管理、資產管理、權限管理、工具倉庫、審計管理、應用中心、流程管理等組件模塊構成，上述是一個分布式系統運維交付所必須具備的基礎功能與核心功能，在此基礎上可根據具體情況相應擴展。接下來將詳細闡述此分布式系統運維交付解決方案的核心思想——可視化流程編排、萬能工具倉庫以及自動化作業管理。

圖3 分布式系統運維交付基礎框架

5.1 可視化流程編排

分布式運維交付管理框架可實現可視化的流程編排，并生成通用的流程模板供用戶直接調用，對于個性化配置可通過一次性配置保存模板供后續通過模板管理進行調用而無需重復配置，從而節約配置時間并降低配置復雜度。以數據庫安裝為例，將各類型數據庫安裝操作封裝成一個可視化圖標保存在流程庫當中，點擊數據庫安裝可視化圖標展開系列數據庫選項，可選擇性地安裝特定類型的數據庫，并拖拽到流程相應節點中，流程節點全部拖拽完即生成流程模板保存在模板庫中供本次以及下次調用。

圖4 可視化流程編排

5.2 自動化數據作業管理

自動化數據作業管理是整個分布式系統運維交付平臺的核心之一，旨在完成分布式數據庫海量數據規劃。傳統方式一般采用腳本管理進行數據的分布式存儲發布，通過編寫Linux自動處理腳本的方式，執行腳本批量導入業務數據并提交到數據庫集群上，并利用腳本監控數據庫運行過程從而實現半自動化的數據部署。某種程度上腳本管理節省了人工干預成本，但在整個處理過程中仍然是半自動化的不夠智能，每次操作均需開發人員重新編寫，運行時候出錯不易于查找，總的來說需要較多的人工介入。

那么本文所介紹的全自動化的數據作業管理是指數據分布可配置化管理。具體實現是在系統內部實現腳本庫，為腳本庫設置參數，前臺設計不同的功能菜單通過輸入不同的參數自動錄入所匹配的腳本從而實現前臺零腳本化的數據分布式部署。腳本庫越豐富分布式數據庫運維交付的自動化實現將越明顯。目前業界已經實現了數據的自動部署功能，只需稍加應用即可整合到我們的分布式系統運維交付框架當中，可采用web服務接口的方式，向目標服務器集群同步數據并按規則劃分各服務器數據節點及數據量，所需部署的數據采用XML作為數據內容的載體，可以方便地轉化數據庫中的數據存儲到XML中。XML是Internet環境中跨平臺的、依賴于內容的技術，是當前處理結構化文檔信息的有力工具。

圖5 自動化數據作業管理

5.3 萬能工具倉庫

工具倉庫包括公共倉庫和私有倉庫兩部分。公共倉庫開放給所有平臺用戶，平臺用戶可選擇性執行所需要的工具。而私有倉庫是各用戶按需定制。公共倉庫與私有倉庫均可記錄執行過程。用戶在登錄后自行加載可供用戶使用的公共工具和私有工具，公共工具由管理員統一發布，私有工具是用戶根據個性化需求自行編寫。平臺提供統一的工具模板實現可視化的工具定制。當查詢出工具列表后，在后面點擊執行工具，后臺接收頁面上傳過去的參數并根據相應的腳本代碼去服務器執行，返回執行結果。不同的用戶登錄代表著不同的工具使用權限，并遵循“通用工具為所有用戶開放、私有工具只為特定用戶開放”的原則。另外可以通過項目組關聯項目成員，同一個項目組下各成員工具倉庫實現共享，減少重復定制。

圖6 私有倉庫執行工具處理邏輯

可采用gitlab存放腳本文件的形式實現工具倉庫，亦可通過svn實現，兩者的區別在于svn以服務器為中心，用戶直接連在中間服務器上，本地修改再提交到svn服務器上，主要用于小項目開發。而gitlab則可以有效、高速地處理從很小到非常大的項目腳本管理，適用于倉庫管理系統開源項目，使用Git作為代碼管理工具，并在此基礎上搭建服務。

6 結束語

本文提出一種通用的分布式系統運維交付解決方案，圍繞現有框架進行設計，提出了基于MVC分層架構具備可視化流程編排、萬能工具倉庫以及自動化作業管理等核心功能的框架設計。目的在于減少運維、交付人員的工作量，使系統得以快速上線，從而提高分布式系統交付效率。

基于該平臺可以有效地完成分布式系統部署交付，通過維護定制化流程模板，在系統部署時，不需要對每臺分布式子系統進行——手動部署，而是按照預先編排好的流程進行自動部署，并加快系統上線時間，降低系統風險。各企業用戶通過使用該平臺，可以大大節省部署資源和人員投資，在研發過程中快速地組織系統的分布式部署。后續我們將持續完善提供更加通用便捷的分布式系統運維交付解決方案，從部署方式入手，實現各平臺兼容的搭建方案，如物理機部署、虛擬機部署、容器部署等等，這將是我們今后研究的方向。

[1]王曉鵬．大型分布式系統服務對象部署與運行監控技術的研究與實踐[D]．長沙：國防科技大學，2006．

[2]燕振斌．分布式環境下程序部署與監控系統中的任務調度模型研究[D]．北京：北京工業大學，2013．

[3]李新虎，劉正偉，劉俊朋．基于puppet工具的軟件批量部署的實現[J]．信息技術與標準化，2014(6)：70-75．

[4]李小文．基于Puppet的自動化部署工具的設計與實現[J]．軟件，2015，36(12)：224-227．

[5]陳興振．基于Hadoop的數據作業管理平臺設計與實現[D]．北京：中國科學院大學，2015．

[6]郭學英，余國誠，姜穎．一體化環境下部署數據管理系統的設計與實現[J]．中國民航大學學報，2014，32(4)：31-35．

[7]徐瑞雪．基于JAVA/XML的分布式數據同步系統的設計和實現[D]．大連：大連海事大學，2011．

Research on andApplication of Distributed System Operation and Maintenance Delivery Solution

Cao YuweiZhang Yi
(China Mobile(Shenzhen)Limited,Shenzhen 518048,Guangdong)

With the rapid development of cloud computing and big data technology,SOA and micro service distributed software architecture model have become the basic architecture model of business systems.Compared with the traditional non-distributed systems,distributed systems are gradually favored by the industry because of their advantages of easy expansion,high reliability,fast processing speed,and high flexibility.This paper puts forward more effective solutions of distributed deployment system.Based on the existing frame,the solution has core functions of visual process orchestration,universal tool warehouse and automated management with MVC layered architecture.

distributed system;tool warehouse;visual process orchestration;automated management;MVC layered architecture

TN929.5

A

1008-6609(2017)10-0044-04

曹雨薇（1990-），女，湖南人，碩士，系統架構分析工程師，研究方向為移動第三代業務支撐系統架構。