鐵路信息系統(tǒng)自動(dòng)化運(yùn)維平臺(tái)方案研究

劉 宇，王曉莉，高明星，王景艷

（中國(guó)鐵路信息技術(shù)中心，北京 100844）

鐵路信息系統(tǒng)運(yùn)維經(jīng)過(guò)多年發(fā)展取得了顯著成績(jī)，以信息技術(shù)服務(wù)管理（ITSM）為代表的監(jiān)控系統(tǒng)建設(shè)相對(duì)成熟，基本建立了以信息技術(shù)架構(gòu)庫(kù)（ITIL）為指導(dǎo)的規(guī)范化、流程化的運(yùn)維體系，監(jiān)控管理、配置管理、性能管理、流程管理等關(guān)鍵領(lǐng)域均通過(guò)自動(dòng)化工具輔助運(yùn)維，以保障業(yè)務(wù)可用性與運(yùn)維服務(wù)管理[1]。隨著互聯(lián)網(wǎng)+、數(shù)字化轉(zhuǎn)型的深入發(fā)展以及云計(jì)算、大數(shù)據(jù)等新技術(shù)的廣泛應(yīng)用，鐵路信息系統(tǒng)資源規(guī)模急劇增長(zhǎng)，企業(yè)業(yè)務(wù)模式呈現(xiàn)敏態(tài)與穩(wěn)態(tài)融合的趨勢(shì)，信息系統(tǒng)運(yùn)維工作面臨巨大挑戰(zhàn)[2]。信息系統(tǒng)基礎(chǔ)設(shè)施規(guī)模的迅速發(fā)展，催生孤島式的運(yùn)維腳本、運(yùn)維工具，并逐步積累形成體系化的自動(dòng)化執(zhí)行能力，通過(guò)服務(wù)的方式統(tǒng)一發(fā)布，形成規(guī)范化的自動(dòng)化服務(wù)體系，依靠人工智能（AI）技術(shù)在運(yùn)維領(lǐng)域的實(shí)踐，迎來(lái)智能化運(yùn)維的新時(shí)代，實(shí)現(xiàn)自動(dòng)化的監(jiān)控預(yù)警、配置采集、更新維護(hù)、分析預(yù)測(cè)等[3]。目前，鐵路信息系統(tǒng)運(yùn)維自動(dòng)化手段各自分散獨(dú)立，自動(dòng)化、智能化水平不高，端到端的可視化程度不高，自動(dòng)化操作未覆蓋全部運(yùn)維流程，故障定位難度大，運(yùn)維效率低，難以適應(yīng)大規(guī)模數(shù)據(jù)中心集中安全運(yùn)維的需要[4-5]。本文基于平臺(tái)即服務(wù)理念，設(shè)計(jì)適應(yīng)鐵路需求的自動(dòng)化運(yùn)維平臺(tái)，通過(guò)構(gòu)建運(yùn)維自動(dòng)化協(xié)同能力，提高運(yùn)維質(zhì)量，實(shí)現(xiàn)敏捷交付，提升數(shù)據(jù)中心整體運(yùn)維工作的自動(dòng)化水平。

1 總體架構(gòu)

鐵路信息系統(tǒng)自動(dòng)化運(yùn)維平臺(tái)屬于鐵路綜合運(yùn)維管理平臺(tái)的核心組成部分，按照平臺(tái)即服務(wù)（PaaS）的設(shè)計(jì)理念[6]，統(tǒng)一運(yùn)維的基礎(chǔ)采控、數(shù)據(jù)計(jì)算、服務(wù)組件，使得上層的各類運(yùn)維工具、場(chǎng)景、應(yīng)用實(shí)現(xiàn)無(wú)縫打通和擴(kuò)展，為運(yùn)維管理的持續(xù)良性發(fā)展奠定基礎(chǔ)。

鐵路信息系統(tǒng)自動(dòng)化運(yùn)維平臺(tái)需要充分考慮與其他運(yùn)維管理工具的聯(lián)動(dòng)，實(shí)現(xiàn)監(jiān)控管理、配置管理、流程管理與自動(dòng)化的合理融合，遵循分布式、實(shí)時(shí)性、水平擴(kuò)展等原則，采用分布式、實(shí)時(shí)計(jì)算、大數(shù)據(jù)分析等技術(shù)，解決傳統(tǒng)運(yùn)維系統(tǒng)的性能瓶頸，滿足功能易于擴(kuò)展、部署快速、彈性擴(kuò)容等要求。

平臺(tái)總體架構(gòu)如圖 1所示。

圖 1 平臺(tái)總體架構(gòu)

數(shù)據(jù)中心監(jiān)控、流程、配置管理數(shù)據(jù)庫(kù)（CMDB）等平臺(tái)，通過(guò)自動(dòng)化平臺(tái)提供的標(biāo)準(zhǔn)接口進(jìn)行深度對(duì)接，依托自動(dòng)化的基礎(chǔ)平臺(tái)和操作引擎支持，充分發(fā)揮融合運(yùn)維管理的聯(lián)動(dòng)效果。

2 技術(shù)架構(gòu)

為提供較高的實(shí)時(shí)性能、處理性能、存儲(chǔ)效率和并發(fā)訪問(wèn)能力，采用面向服務(wù)的體系結(jié)構(gòu)（SOA）設(shè)計(jì)[7]，平臺(tái)技術(shù)架構(gòu)如圖2所示。

圖2 平臺(tái)技術(shù)架構(gòu)

分布式采集控制采用代理和遠(yuǎn)程的方式，進(jìn)行數(shù)據(jù)的分布式采集和控制，可以通過(guò)多層匯聚方式，適應(yīng)復(fù)雜的網(wǎng)絡(luò)環(huán)境。

（1）數(shù)據(jù)接入層：采用高度優(yōu)化的數(shù)據(jù)接入模式，支持多種負(fù)載均衡策略進(jìn)行擴(kuò)展。

（2）數(shù)據(jù)緩沖層：采用分布式的緩存、高吞吐量數(shù)據(jù)隊(duì)列、事務(wù)性消息隊(duì)列的方式對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)緩存和轉(zhuǎn)發(fā)。

（3）數(shù)據(jù)處理層：采用數(shù)據(jù)實(shí)時(shí)處理和離線處理互聯(lián)網(wǎng)框架，對(duì)實(shí)時(shí)的數(shù)據(jù)流進(jìn)行分析、加工處理，對(duì)定期的數(shù)據(jù)調(diào)度進(jìn)行分布式計(jì)算和數(shù)據(jù)挖掘。

（4）數(shù)據(jù)存儲(chǔ)層：混合多種數(shù)據(jù)庫(kù)存儲(chǔ)，由數(shù)據(jù)存儲(chǔ)引擎進(jìn)行統(tǒng)一管理。

（5）分布式服務(wù)管理：對(duì)數(shù)據(jù)接入、緩沖、處理、存儲(chǔ)的各個(gè)環(huán)節(jié)服務(wù)進(jìn)行一致性管理，對(duì)各環(huán)節(jié)的組件進(jìn)行統(tǒng)一參數(shù)管理。

3 功能架構(gòu)

平臺(tái)整體上包括基礎(chǔ)平臺(tái)、操作引擎、運(yùn)維場(chǎng)景和平臺(tái)接口，功能架構(gòu)設(shè)計(jì)如圖3所示。

圖 3 平臺(tái)功能架構(gòu)

3.1 基礎(chǔ)平臺(tái)

基礎(chǔ)平臺(tái)包括數(shù)據(jù)處理、統(tǒng)一采控和公共服務(wù)。數(shù)據(jù)處理完成數(shù)據(jù)的預(yù)處理、處理、存儲(chǔ)、分析、消費(fèi)等，建立自動(dòng)化統(tǒng)一的資源庫(kù)；統(tǒng)一采控，實(shí)現(xiàn)對(duì)被管資源的配置數(shù)據(jù)采集、配置變更和資源操作控制等；公共服務(wù)負(fù)責(zé)封裝接口，對(duì)外提供各類服務(wù)，包括作業(yè)調(diào)度、規(guī)則觸發(fā)和日志審計(jì)等服務(wù)。

3.1.1 統(tǒng)一采控

統(tǒng)一采控模塊主要負(fù)責(zé)提供各運(yùn)維工具和被管設(shè)備資源之間聯(lián)絡(luò)通信的統(tǒng)一通道，并通過(guò)模塊和插件的技術(shù)讓自動(dòng)化引擎自由擴(kuò)展采控能力，無(wú)需關(guān)注底層的通信和調(diào)度技術(shù)，只需按照采控模塊約定的規(guī)范編寫(xiě)采控腳本，并組織成策略下發(fā)給相應(yīng)代理，對(duì)結(jié)果數(shù)據(jù)進(jìn)行處理，即可完成機(jī)器數(shù)據(jù)采集、配置變更發(fā)布和資源操作控制。

3.1.2 數(shù)據(jù)處理

數(shù)據(jù)處理模塊包含自動(dòng)化運(yùn)維資源模型，記錄所有被管資源信息和所有歷史操作信息，并且能夠與CMDB進(jìn)行雙向數(shù)據(jù)同步更新。此模塊包括數(shù)據(jù)預(yù)處理、處理、存儲(chǔ)、分析、消費(fèi)等多個(gè)環(huán)節(jié)，實(shí)現(xiàn)自動(dòng)化運(yùn)維數(shù)據(jù)的流式處理，同時(shí)，也提供數(shù)據(jù)批量分析和統(tǒng)計(jì)功能。

3.1.3 公共服務(wù)

作業(yè)調(diào)度服務(wù)為自動(dòng)化引擎提供統(tǒng)一的運(yùn)維作業(yè)調(diào)度引擎服務(wù)，運(yùn)維人員按規(guī)范組織好作業(yè)編排，即可交由作業(yè)引擎完成調(diào)度執(zhí)行。規(guī)則觸發(fā)服務(wù)允許運(yùn)維人員或其他應(yīng)用程序設(shè)定規(guī)則，當(dāng)系統(tǒng)達(dá)到設(shè)定的條件時(shí)，便會(huì)觸發(fā)特定的動(dòng)作，自動(dòng)完成預(yù)定的任務(wù)。日志審計(jì)服務(wù)主要為自動(dòng)化運(yùn)維平臺(tái)提供用戶操作過(guò)程日志記錄和集中審計(jì)的基礎(chǔ)能力，使上層應(yīng)用通過(guò)統(tǒng)一的接口調(diào)用便能實(shí)現(xiàn)操作過(guò)程日志的存儲(chǔ)、分析和查詢等。

3.2 操作引擎

3.2.1 文件資源管理

文件資源管理模塊提供統(tǒng)一的文件資源存儲(chǔ)和管理能力，保存安裝包、配置文件等運(yùn)維操作中需要使用到的文件，可以與企業(yè)現(xiàn)有FTP服務(wù)器集成，并提供Web界面的上傳、下載功能，同時(shí)，提供接口，實(shí)現(xiàn)操作腳本下載或上傳。

3.2.2 操作/腳本管理

操作是完成一個(gè)運(yùn)維步驟的自動(dòng)化實(shí)現(xiàn)，一個(gè)操作包括輸入?yún)?shù)、輸出參數(shù)和操作執(zhí)行腳本。操作/腳本管理模塊提供操作定義和腳本的統(tǒng)一管理能力，并允許用戶通過(guò)Groovy、Python、Shell、PowerShell、VBS、Windows批處理等多種腳本語(yǔ)言進(jìn)行操作擴(kuò)展。

3.2.3 編排設(shè)計(jì)管理

運(yùn)維操作編排是指為完成某些運(yùn)維場(chǎng)景預(yù)先定義的流程，也就是標(biāo)準(zhǔn)操作流程，是執(zhí)行時(shí)所需參數(shù)和一系列操作的有機(jī)組合。編排設(shè)計(jì)管理提供運(yùn)維作業(yè)編排設(shè)計(jì)和管理的功能，運(yùn)維技術(shù)專家可以通過(guò)該功能按運(yùn)維場(chǎng)景的需要預(yù)先定義多個(gè)標(biāo)準(zhǔn)操作流程，發(fā)布給一線或二線運(yùn)維人員使用。

3.2.4 定時(shí)調(diào)度管理

定時(shí)調(diào)度管理模塊需要支持設(shè)定操作或編排，設(shè)定定時(shí)作業(yè)時(shí)支持選擇編排或操作作為任務(wù)，并設(shè)定作業(yè)的相關(guān)參數(shù)值；支持啟停定時(shí)規(guī)則；支持查看定時(shí)策略執(zhí)行狀態(tài)和歷史作業(yè)情況；支持設(shè)置周期性或單次執(zhí)行策略模式。

3.2.5 作業(yè)執(zhí)行干預(yù)

作業(yè)執(zhí)行干預(yù)模塊提供作業(yè)執(zhí)行的可視化展現(xiàn)和人工參與能力，以圖形化或表格化（對(duì)應(yīng)表格化編排）的方式將作業(yè)的執(zhí)行過(guò)程展示出來(lái)，并能動(dòng)態(tài)實(shí)時(shí)地反饋執(zhí)行結(jié)果，當(dāng)出現(xiàn)異常或者執(zhí)行到人工參與節(jié)點(diǎn)時(shí)，允許用戶通過(guò)界面方式參與。

3.2.6 作業(yè)歷史管理

作業(yè)歷史管理模塊提供作業(yè)執(zhí)行歷史的統(tǒng)計(jì)和追溯能力，允許用戶查詢所有已經(jīng)執(zhí)行過(guò)的歷史作業(yè)，可以追溯到每個(gè)作業(yè)任務(wù)的具體執(zhí)行過(guò)程、執(zhí)行參數(shù)和執(zhí)行過(guò)程日志，并提供一段時(shí)間內(nèi)作業(yè)的執(zhí)行歷史分析統(tǒng)計(jì)，不同狀態(tài)、時(shí)長(zhǎng)的作業(yè)分布。

3.3 運(yùn)維場(chǎng)景

以部分典型運(yùn)維場(chǎng)景為例說(shuō)明自動(dòng)化運(yùn)維執(zhí)行過(guò)程。

3.3.1 日常巡檢

日常巡檢是指按一定的周期檢查服務(wù)器、操作系統(tǒng)、中間件和數(shù)據(jù)庫(kù)的關(guān)鍵運(yùn)行指標(biāo)，并根據(jù)巡檢結(jié)果生成巡檢報(bào)告，當(dāng)出現(xiàn)異常時(shí)進(jìn)行預(yù)警，以便及時(shí)分析原因，尋找解決辦法，避免故障的發(fā)生。

3.3.2 業(yè)務(wù)升級(jí)

業(yè)務(wù)升級(jí)主要針對(duì)業(yè)務(wù)軟件以及常規(guī)應(yīng)用的變更，包括數(shù)據(jù)庫(kù)、中間件等資源變更。業(yè)務(wù)軟件的升級(jí)需要結(jié)合業(yè)務(wù)架構(gòu)、部署情況、與其他業(yè)務(wù)的關(guān)聯(lián)等特性進(jìn)行定義，制定完善的升級(jí)編排，包括升級(jí)時(shí)間、備份和回退方案、檢查方案等。

3.3.3 備份清理

日常清理自動(dòng)化通過(guò)自動(dòng)化工具實(shí)現(xiàn)對(duì)日志和過(guò)程數(shù)據(jù)的自動(dòng)化清理，運(yùn)維人員根據(jù)業(yè)務(wù)系統(tǒng)的維護(hù)指南，在自動(dòng)化運(yùn)維工具上設(shè)置定時(shí)清理策略，當(dāng)達(dá)到一定條件時(shí)便自動(dòng)進(jìn)行清理，保證業(yè)務(wù)系統(tǒng)的穩(wěn)定高效運(yùn)行。

3.3.4 安全合規(guī)檢查

安全合規(guī)指檢查操作系統(tǒng)或中間件、數(shù)據(jù)庫(kù)的安全策略設(shè)置是否滿足要求，如操作系統(tǒng)的賬號(hào)口令復(fù)雜度、口令更換周期、登錄控制策略、核心文件權(quán)限等是否滿足要求，平臺(tái)應(yīng)內(nèi)置常規(guī)的安全檢查規(guī)則，并允許運(yùn)維人員增加或調(diào)整。檢查完成后需生成合規(guī)檢查報(bào)告，當(dāng)發(fā)現(xiàn)異常時(shí)通知運(yùn)維人員及時(shí)處理。

3.4 平臺(tái)接口

平臺(tái)接口包括服務(wù)接口提供和外部接口調(diào)用。通過(guò)服務(wù)接口提供，自動(dòng)化運(yùn)維平臺(tái)能將自身的編排發(fā)布為服務(wù)供客戶、業(yè)務(wù)人員或者技術(shù)人員使用，也能通過(guò)應(yīng)用程序接口（API）的方式讓外部系統(tǒng)調(diào)用。如流程管理系統(tǒng)、監(jiān)控管理系統(tǒng)可以通過(guò)調(diào)用自動(dòng)化運(yùn)維平臺(tái)的接口實(shí)現(xiàn)變更自動(dòng)化執(zhí)行或故障自愈等能力。外部接口調(diào)用提供外部系統(tǒng)統(tǒng)一適配和管理，原子操作和場(chǎng)景編排通過(guò)統(tǒng)一適配層與外部系統(tǒng)進(jìn)行通信，提供更強(qiáng)大的自動(dòng)化能力。

4 平臺(tái)建設(shè)思路

自動(dòng)化運(yùn)維平臺(tái)建議按照PaaS設(shè)計(jì)理念，統(tǒng)一運(yùn)維的基礎(chǔ)采控、數(shù)據(jù)計(jì)算、組件服務(wù)，實(shí)現(xiàn)運(yùn)維工具、場(chǎng)景、應(yīng)用無(wú)縫擴(kuò)展。平臺(tái)化建設(shè)可應(yīng)對(duì)運(yùn)維過(guò)程中突發(fā)、持續(xù)高并發(fā)和高流量處理要求，并結(jié)合容器化技術(shù)為應(yīng)用運(yùn)行和服務(wù)供給提供一致的環(huán)境，形成對(duì)上層應(yīng)用的支撐，實(shí)現(xiàn)平臺(tái)一體化能力；功能模塊組件化設(shè)計(jì)基于微服務(wù)的方式提供彈性伸縮和管理維護(hù)，基于不斷變化的應(yīng)用演進(jìn)和標(biāo)準(zhǔn)的API接口進(jìn)行數(shù)據(jù)交互[8]；分布式架構(gòu)針對(duì)數(shù)據(jù)采集、監(jiān)控服務(wù)、數(shù)據(jù)存儲(chǔ)、服務(wù)請(qǐng)求等方面提供高可用、易擴(kuò)展環(huán)境。同時(shí)，平臺(tái)建設(shè)應(yīng)先考慮建設(shè)需求高、優(yōu)先級(jí)高的模塊，根據(jù)實(shí)際運(yùn)維需求逐步迭代、完善具體功能組件，達(dá)成系統(tǒng)整體建設(shè)目標(biāo)。

自動(dòng)化運(yùn)維平臺(tái)建設(shè)建議采用成熟商業(yè)產(chǎn)品采購(gòu)與定制開(kāi)發(fā)相結(jié)合的方式，選擇成熟、易擴(kuò)展的商業(yè)產(chǎn)品，依據(jù)統(tǒng)一標(biāo)準(zhǔn)進(jìn)行定制開(kāi)發(fā)，滿足實(shí)際運(yùn)維需求。復(fù)雜度高、對(duì)運(yùn)維平臺(tái)整體質(zhì)量影響大、應(yīng)用范圍廣的組件，宜基于成熟產(chǎn)品的業(yè)界經(jīng)驗(yàn)和商業(yè)化沉淀，能夠快速引入最佳實(shí)踐經(jīng)驗(yàn)，完善現(xiàn)有體系和改善平臺(tái)整體質(zhì)量；部分個(gè)性化需求無(wú)法直接采購(gòu)現(xiàn)成產(chǎn)品的應(yīng)用，可采用定制開(kāi)發(fā)的方式實(shí)現(xiàn)。自動(dòng)化運(yùn)維平臺(tái)應(yīng)具有良好的集成能力，對(duì)于使用狀態(tài)良好、用戶廣泛、系統(tǒng)穩(wěn)定的現(xiàn)有運(yùn)維工具/系統(tǒng)應(yīng)實(shí)現(xiàn)與自動(dòng)化運(yùn)維平臺(tái)集成和整合，通過(guò)最小化資源投入，獲取最優(yōu)的建設(shè)效益和成果[9]。

5 結(jié)束語(yǔ)

鐵路信息系統(tǒng)自動(dòng)化運(yùn)維平臺(tái)是大規(guī)模數(shù)據(jù)中心建設(shè)背景下，實(shí)現(xiàn)高效能、精細(xì)化、主動(dòng)式運(yùn)維的重要技術(shù)支撐，本方案從鐵路信息系統(tǒng)運(yùn)維實(shí)際出發(fā)，綜合考慮各類運(yùn)維角色、運(yùn)維對(duì)象和運(yùn)維場(chǎng)景的需求以及對(duì)現(xiàn)有運(yùn)維工具的整合，按照“軟件定義運(yùn)維”理念進(jìn)行設(shè)計(jì)，形成滿足鐵路需要、可實(shí)現(xiàn)的信息系統(tǒng)自動(dòng)化運(yùn)維解決方案，為鐵路信息系統(tǒng)自動(dòng)化運(yùn)維平臺(tái)建設(shè)提供思路。