基于大數據平臺的自動化運維及監控技術研究

黃靚

摘 要：隨著當今社會的不斷發展，科學技術也不斷的進步，我們處于一個大數據的時代，充分發揮了大數據的優勢和作用，并且被廣泛地應用到人們的工作生活中，網絡的普及以及計算機軟件技術的應用更為大數據平臺的運行提供了動力支撐，大數據時代的快速發展使人們的生活以及工作變得更加便利快捷，不僅表現在人與人之間的信息往來方面，微信掃碼支付以及淘寶購物平臺等技術軟件無一不體現著數據時代的軟件技術的便捷性。數據軟件技術的應用不僅提高了人們生活的便捷度以及質量還為軟件開發商帶來了強大的經濟效益。而如今，在當今網絡技術迅速普及以及計算機技術快速升級的背景下，大量的數據都可以使用計算機作為依托從而得到處理以及分析，但是數據也分有用和無用，數據為人們提供便利的同時部分無用的數據也會人們帶來不便。文章根據現階段大數據平臺的發展現狀，提出大數據平臺的自動運維及監控技術中存在的問題，并針對性地提出合理化的解決措施。

關鍵詞：大數據平臺；自動化運維；監控；問題；解決措施

0 引言

近些年來，在互聯網的快速發展計算機技術的迅速普及的大背景下，大數據技術的發展勢頭十分迅猛。大數據技術在發展的同時也相應的伴隨著發展問題的出現，其同樣面臨著十分重大的挑戰。其中最大的挑戰當屬臨床醫學上的數據問題，其中的主要問題可以表現為數據信息的采集以及信息的存儲兩個方面，其中信息數據的采集問題主要表現為不知如何處理數據以及怎樣提取有效的信息，而信息存儲方面的問題則是不知道將采集到的信息如何進行數據儲存，其次，存儲上的問題還包含了儲存的形式以及方式等方面。因此，建設數據平臺的自動化運維及監控技術就變得尤為重要。

1 自動化運維所具備的優勢

自動化簡化IT運維具有降低成本、提高生產力、高可用、可靠性高以及性能優化五大優勢。自動化運維可以降低IT運維的風險及壓力負擔，在一定程度上還可以提高IT運維的工作質量以及工作水平。

1.1 降低投入成本

降低成本的優勢主要表現為其自動化運維可以提高企業運行的效率，減少工作人員認為錯誤等問題的發生，與此同時可以降低人力的需求量進而降低企業在人力需求等方面的投入成本進而降低企業的IT投入成本。

1.2 提高企業的生產力及生產水平

生產力提高是指自動化的運維技術不需要人工手動地進行工作產出，原本復雜的傳統因為工作需要專門的運維負責人員來進行操作，而自動化運維技術可以改變原有的運維方式將運維工作人員從復雜繁瑣的工作程序中釋放出來，那么原本負責運維的工作人員就可以將其所具備的知識以及運維技能施展于更具價值需求工作崗位中去。這樣一來，不僅降低了運維工作所需要的工作時間，還可以為其他的工作崗位提供充足的動力。系統運行過程中出現故障會為企業的名譽以及財產等方面造成巨大的損失。而通過利用自動化運維技術可以實現自動化保存數據，在數據損失時，還具備自動化的恢復機制幫助企業進行數據修復[1]。

1.3 高可用

自動化運維技術具有高可用的優勢，自動化運維技術所具備的全天候系統監控和遠程通信技術可以在極大程度上降低網絡系統停機的概率以及縮短其停機的時間。即使系統出現故障，企業可以通過恢復機制將系統進行快速的恢復，降低故障可能帶來的損失。

1.4 可靠性高

因為工作中常常會出現重復性的工作，重復性的工作在運維人員工作過程中出現，運維人員由于完成過該工作可能在重復操作的過程中就會出現警惕性放低的問題，如此一來就會在極大程度上提高運維工作出錯的概率。而自動化運維技術的應用不存在這些人為錯誤的發生，剔除掉錯誤發生的人為因素便會極大程度地降低重復性工作錯誤發生的概率，進而提高運維工作的可靠性，與此同時還可以減輕運維工作人員的工作負擔。

1.5 性能優化

傳統運維工作中的運維方式主要依靠人工等方式進行運維操作，工作流程復雜繁瑣，執行任務的效率低下。而自動化的運維技術在發揮自身優勢的同時還可以彌補傳統運維效率低下等問題，在降低運維人員需求量的同時提高運維工作的工作效率以及質量等工作性能。

2 自動化運維監控技術所具備的優勢

傳統系統構建中的運行監控系統可劃分為系統監控、應用監控以及數據監控等等監控系統，其中的中間件監控、應用監控、數據庫監控以及網絡監控等監控方面的工作中要負責監控的對象以及程序復雜繁瑣，只有做好多方面的監控工作才能保證系統運行的穩定性以及可靠性。而自動化運維監控系統則將以上索要監控的對象全都改變，其核心仍然是以保證網絡的高可用、高性能等方面為主，但自動化運維監控技術則將原本復雜多樣的監控程序進行了精簡，提高監控效率的同時提高監控質量[2]。

3 大數據平臺在傳統IT運維所面對的問題

3.1 IT運維機制不完善，流程操作層面缺乏統一

傳統的IT運維工作中缺乏完備的規范的IT運維機制，并且其IT操作的運維流程缺乏統一的規范，例如，在事件單提交的工作環節中，IT運維工作會忽略事件預判以及優先級設定方面的統一規范，利用運維人員的工作經驗以及主觀判斷來進行事件的處理，此等運維方式缺少整體統一的規范，雖然可以處理事件，但所處理的事件缺乏統一的參考依據，這樣會很容易因個體經驗水平差異等人為因素造成整體IT運維工作的低質量，進而影響IT運維的整體效果。

3.2 IT運維缺乏有效的完善的CMBD（配置項數據管理庫）

現階段的IT運維并不具備完善及有效的配置項數據管理庫，其雖然配置收集了部分配置的數據信息，但僅僅是針對比較核心比較關鍵的IT設備設施而言。不夠完善的配置項數據管理庫很難為信息的全面化發展提供強大的數據信息支撐。

3.3 過度依賴核心工作人員，工作負擔重、效率低

傳統的IT運維工作中，部分IT運維的工作者所具備的IT運維知識以及技能僅僅留存于頭腦之中，沒有做過系統化、規范化的整理以及記錄。知識也好，經驗也罷僅僅留存在一個十分狹窄的范圍之內，在較大的范圍中就無法得到大的發揮。那么這些IT運維工作者的工作就會僅僅限定在一些技術性、知識性較為簡單的工作層面，疑難問題，例如，時間性質的判定以及優先級等難度較為大的問題就會全部推給技術水平高的核心人員來負責，這樣一來加重了核心人員的工作負擔，工作量的增加會加大程度上提高錯誤發生的概率，與此同時還會影響到IT運維團隊整體的工作效率以及質量。

3.4 錯綜復雜的IT元素難以有效的監控

IT運維設施組成復雜多樣并且種類繁多，從基礎的機房動力環境到最終的實際應用、從其配置的硬件到軟件、從后臺到前臺的支撐服務等IT運維元素錯綜復雜，運維工作的流程也十分的復雜，這就導致其錯綜復雜的IT元素很難實現高效率以及高質量的監控。就微觀層面而言，IT運維設施的品牌及種類繁多，以信息的存儲為例，其品牌就包含了IBM、EMC以及華為等多個設施品牌。而運維系統的監控工作包含了硬盤的狀態、性能等多個方面的監控對象，再加之 IT運維設施品牌的繁多，每個品牌的硬盤結構又大又不同，這就加劇了監控工作的困難度。綜上可見，傳統的IT運維中存在著多重弊端。推進自動化運維及監控技術是十分必要的存在[3]。

4 大數據平臺所涉及的關鍵技術

4.1 大數據平臺的體系構建

對大數據平臺的研究繼承性問題進行集中性的探討分析過后，在其應用領域中，大數據平臺具有數據關聯緊密、集成規模大等特點，并且大數據的應用匯方向更加傾向于企業的商業決策以及股市的行情分析等數據集成量較大的行業。

4.2 自動化運維功能設計

自動化運維平臺在進行功能設計的時候可以將自動化運維平臺的功能劃分為巡查管理、設備管理、運維監控、數據庫管理、信息管理等方面。

4.2.1 巡查管理

設置專門負責巡查的管理部門，將運維工作中所產出的數據進行整合然后統一分送到相應的巡查管理部門，由管理部門的人員進行統一的檢查后上交給核心負責人員進行審批，以此來提高數據的可靠性。

4.2.2 設備管理

通過集中化的平臺以及集中化的設備信息處理系統來獲取查詢服務器的運行信息。

4.2.3 運維監控

采取互聯網構建的監控系統實時地對數據庫的數據進行全天候的監控，以此來保證數據信息的可靠性。

4.2.4 知識庫及信息管理

要對IT運維工作的知識以及工作經驗進行統一的規范化整理，然后建立起統一的知識庫，以便為IT運維人員提供查閱各類知識信息的有效途徑。首先，對于數據集成量較大的企業，其企業內部的決策數據、運維條例以及經營體系等方面都需要進行集中性的信息化處理，在確定沒有問題之后在進行發布，以此來保證數據信息的精準度。其次，大數據平臺的自動化運維數據處理還包含了數據匹配安全性、數據監控處理以及監控系統的冗余等多方面的數據處理優勢。

5 結語

綜上所述，大數據平臺數據信息的精準度等問題應受到高度的重視，自動化運維及監控技術可以提高數據信息的精準度，提高數據信息的可靠性，使其實現高可用、高效率。其所構建的監控技術也轉變了原有監控技術中復雜繁多的監控特點，呈現出精簡高效的監控系統，為各行各業數據平臺的穩定運行提供了保障。大數據平臺自動化運維技術及監控技術的發展還需要進行不斷的優化和升級，這就要求相關的技術人員要時刻關注數據平臺的運行狀態，及時發現并處理運行過程中出現的問題，以此來保證自動化運維及監控技術能夠高效貫徹的實施。

[參考文獻]

[1]曹鐵男，李昊，喇元.大數據平臺的自動化運維及監控技術分析[J].電子世界，2021（5）：19-20.

[2]廖鵬.基于大數據平臺的自動化運維及監控技術[J].造紙裝備及材料，2020（6）：33-35.

[3]王二輝，周高強，李英杰，等.基于大數據平臺的自動化運維及監控技術研究[J].通訊世界，2020（1）：158-159.

（編輯 傅金睿）

Research on automatic operation and monitoring technology based on Big Data platform

Huang Liang

（Hubei Second Normal University， Huangliang 430205， China）

Abstract：With the continuous development of today’s society and the continuous progress of science and technology， we are in an era of Big Data， giving full play to the advantages and functions of Big Data， which is widely used in people’s work and life. The popularity of the network and the application of computer software technology provide a driving force for the operation of Big Data platform. The rapid development of Big Data era makes people’s life and work more convenient and fast， not only in the information exchange between people， WeChat scan code payment and Taobao shopping platform， etc. The application of data software technology not only improves the convenience and quality of people’s lives， but also brings powerful economic benefits to software developers. Nowadays， with the rapid popularization of network technology and the rapid upgrading of computer technology， a large amount of data can be processed and analyzed by using computers， but the data is also useful and useless， and some useless data will bring inconvenience to people while providing convenience for people. According to the development status of Big Data platform at present， this paper puts forward the problems existing in automatic operation and maintenance and monitoring technology of Big Data platform， and puts forward reasonable solutions.

Key words：Big Data platform； automated operation and maintenance； monitoring； problem； solutions