基于數據中心設備管理的流程研究與工具實踐

徐衛

關鍵詞：運維工具；運維管理流程；硬件設備管理

1引言

隨著國內銀行業金融機構不斷增多，銀行數據中心機房設備的種類和數量也在增多，傳統分散式、作坊式的管理模式必須改革，開展提高設備管理效率、加強設備安全防范和管理制度化等任務迫在眉睫，將銀行業機構的設備資產整合到統一公共平臺，通過科學精細的管理方式，讓銀行業機構在平臺上對設備資產進行管理，從而確保信息化資產安全、穩定[1]。

一般來說，數據中心機房設備具有類型多、處理流程復雜、管理信息化程度較低等特點，一般出現問題時才進行整改[2]。其中，一是機房設備管理人員不足，人工作業量較大，系統利用率不高，操作程序復雜煩瑣；二是機房設備的入庫、領用、管理、利舊、報廢、維修等環節管理措施混亂，審批、領用、移交手續不全，報廢不及日寸，設備信息資料不完善：三是商業銀行科技投入力度逐年加大，數據中心硬件設備隨之增加，傳統的粗放式設備管理模式已無法滿足現實需要，管理過程中出現冗余和錯誤現象屢見不鮮；四是設備品牌多樣，管理難度增加，很難實施標準化操作，雖然維保服務由各個供應商提供，保證了維護商的專業性，但是由于專業品牌數量的限制，有可能出現維保人員配備不到位，專業分層次，后期維保服務滯后等現象。

2管理方式“流程化”

早期設備管理采用Office/Excel文檔專人維護，后來發展到組織開發團隊建設設備管理系統Web。機房設備管理員往往通過手工／批導方式登記轄內設備調整情況，并通過系統或人工的權限角色分配來實現設備數據信息的分享（這里標注為原流程）。在諸如網線、內存、網卡、硬盤、光模塊、交換機等服務器備件資源的存放、查詢、領用、調撥等場景下，若繼續沿用上述手工方式歸納、整理各個備件的數量、存放位置，則會顯得尤為不合理，表現為日常工作煩瑣、運維工作量較大、管理效率低，加上總行屬地多機房涉及硬件資源共同管理等制度要求推出后，上述問題亟需解決。另外，在金融應用產品的數據算力需求等外驅因素影響下，人均設備維護量到達一定數量級后，若繼續采用手工維護方式，往往發生數據維護滯后、數據沖突、數據冗余等情況，一線運維工作的幸福感和獲得感將很低。

研究小組經多方調研，組織專家力量梳理現有的設備維護場景，對可流程化的場景將努力實現固化，并充分借助開源軟件工作流工具（如activity）落地，進一步降低設備管理人員的運維成本。研究小組首次提出場景流程盡可能組件化、原子化的目標，場景流程還需具備可編輯、多流程可自助組合的能力，并在流程管理中積極引入事件問題觸發機制，初步構建了設備管理工作的閉環機制，提升了數據中心的設備管理水平，極大優化了設備運維管理流程（這里標注為新流程）。

新流程緊緊抓住數據中心設備管理的日常場景需求，包括但不限于項目上線設備投產、項目運行期中的設備全生命周期管理、機房庫房備件高效管理等。新流程上線后，機房設備運維工作發生較大正向改變。

（1）實現設備全生命周期中的數字化流程管理目標，設備管理員能很清晰地掌握轄區內設備的實時狀態，固化的場景流程包括應用型項目投產設備上架、設備告警閉環處理、生產變更設備維護申請、機房鏈路排查、機房設備狀態巡檢、機房設備保障及隨工申請、設備消磁等。

（2）構建機房庫房備件可視化管理流程，固化的場景流程包括整機／備件的入庫、領用、出庫、調撥，發起、審批、復核全部實現數字化，讓數據“多跑路”成為可能，做到備件如數家珍，奠定行內重大運維保障的備件基礎。

為了客觀評價新老流程，按照業內流程管理的評價體系，從IT風險評估、運維成本、運維工作效率、客戶響應反應速度等維度進行量化對比，詳見表1。

3管理抓手“工具化”

研究小組基于機房設備運維場景等流程需要，積極挖掘行內現有平臺基礎能力，打破單體煙囪式的應用系統間壁壘，實現設備管理應用數據貫通，為設備管理員提供統一平臺、統一人口、統一展現等立體式總分一體的機房設備管理平臺。該平臺具備快速擴容、業務字段靈活可配、業務配置動態生效、以事件單為中心、覆蓋設備信息維護、機房數字化工作、機房和網點設備故障跟蹤等多重特性。

機房設備管理平臺基于微服務架構，以分層的方式進行系統的設計。系統架構共分為資源層、服務層、接口層、Web層、訪問層[3]。具體如圖1所示。

（1）資源層提供以數據存儲為主的能力，存儲文件數據、結構化數據和歷史統計數據等，并根據數據存儲場景需求，引入關系型數據庫MySQL、內存數據庫Redis緩存服務、ES組件實時查詢等。

（2）服務層分為服務治理層、業務服務層、基礎服務、通信組件，服務治理層統一入口，完成服務的路由、注冊發現、配置管理、日志管理、監控報警等，接受內部應用層或第三方應用的所有請求，并根據服務類別轉發到對應的業務管理模塊，以保證服務的低耦合和微服務特性，基礎服務組件提供原子性核心業務數據處理能力，為業務服務層提供基礎能力支持。

（3）接口層服務網關api-gateway是一種基于MVC模式的響應式Web框架，提供外部訪問的統一人口，外部請求全部通過gateway接人微服務，以簡化前端調用邏輯。

（4）系統使用微服務的實現技術springCloud-alibaba中組件Nacos，用于服務注冊與發現，設備業務管理等微服務作為服務者注冊到Nacos中，服務調用者使用REST接口調用服務提供者。Hystrix提供資源隔離、降級機制等功能，避免服務不可用時產生“雪崩效應”，業務服務模塊利用Spring Boot快速構建微服務，通過Feign方式進行交互，并向上層提供接口服務。

（5）Web層與服務層基于HTTP協議通信、JSON格式數據進行交互。

機房設備管理平臺投入使用后，為設備管理員提供豐富的功能，如下。

（1）對大量機房硬件設備的基礎數據信息進行準實時管理，做到對設備流轉過程各環節的控制和規范，從而實現對設備的精細化和科學化管理，以滿足行內設備管理需求。

（2）構建機房設備臺賬數字化和可視化機制，與CMDB和DCM等現有平臺進行信息交互，實現設備臺賬線上化，計算數據中心機房空間資源相關指標，自動生成相應的數據分析視圖，從而掌握機房設備變化動態趨勢。

（3）機房設備相關維護工作可視化，具備工單看板，從生產變更事項進度展示，待處理事項展示、設備月度變化趨勢、設備年度變化趨勢、設備類型比例分布、設備屬地機房分布、配件屬地機房分布、設備品牌使用情況分布等多維度進行統計分析。

（4）提供設備管理員績效管理的數字依據，管理員的日常機房工作時長登記，包括布線日寸長、設備投產時長、設備報修處理時長等。

其中，功能（3）（4）視圖效果詳見圖2。

4實驗數據

研究小組人員以所在機構的生產脫敏數據為實驗樣本，對管理方式“流程化”和管理抓手“工具化”實施以來的相關工作效率的變化進行客觀分析。為了盡可能接近真實情況，研究小組隨機選取50名設備管理員、50名系統管理員參與不記名問卷調查，對50名設備管理員的日常工作績效進行持續1.5年的跟蹤。具體如圖3、圖4所示。

為了持續跟蹤改進效果，研究小組選取實驗周期2021.6～2022.12，并對管理員使用頻度較高的設備投產和故障處理場景展開數據分析。具體如表2所列。

在設備投產的場景中，從實驗樣本數據看，運維工作中溝通成本節約近69%，實施成本節約近20%，分析原因，一是項目集成需求表、設備上架信息表、成端表、物理端口綁定方法等信息在流程中實日寸更新，信息準確，減少了咨詢和反復確認的溝通步驟。二是投產準備、硬件配置、系統配置、設備上架、投產驗證各個環節由工單流程驅動，環環相扣，部分流程還可并行推進，以提高各個環節之間的流轉效率，各參與方可提前安排相關工作，從而大幅節約設備投產過程中的溝通成本，進而提高設備投產的準確率和時效。

在設備故障處理場景中，從實驗樣本數據看，運維工作中溝通成本節約近70%，實施成本節約近24%，分析原因，當設備產生告警時，工單流程就開始在各參與方快速推進，及時展示告警信息和推進情況。確定廠商、備件到達時間后，還可以將相關信息帶人到變更發起流程中，快速發起變更，以推動設備故障得到妥善處理，減少設備管理員和相關管理員的溝通頻次，也提高故障處理的及時性和準確性。

實驗周期內用戶滿意度全實現“良好”及以上評價，由此看出設備管理員、系統管理員的用戶獲得感、幸福感提升很快。

5結束語

隨著銀行業機房設備的品種與數量大幅增加，設備管理相關部門工作壓力不斷加大，硬件設備管理工作是銀行數據中心高效運轉繞不開的話題，若缺乏科學有效的流程管理方式，則不能有效借助運維工具，極容易使設備管理混亂，進而使設備管理難以實現制度化、程序化和規范化[4]。本文著重從設備管理工具研發、管理流程優化人手，努力實現降低設備管理員的運維成本，提升各類用戶滿意度的目標。在工具等平臺建設中，研究小組充分尊重管理員需求的多樣性、業務需求的快速響應等事實，采用業內成熟的微服務架構，從而夯實底層技術架構，以避免架構成為未來業務發展的技術瓶頸。平臺的項目建設采用敏捷管理模式，業務迭代周期較短，實踐發現其能很好地滿足管理員的業務需求，有力促進硬件設備的線上化、數字化。

實現硬件設備管理工作的自動化、服務化轉型，不是一朝一夕就能完成，后續研究小組將探索并引入開源趨勢預測算法，進一步壯大設備狀態預測功能，發現問題于萌芽，將“被動”接收問題變成“主動”發現問題，深入評估和分析各個模塊的整合方案和價值，積極與同業管理實踐交流，進一步提升設備管理的數字化和智能化水平，朝著集成化、大型化、自動化、智能化發展。