基于大數據平臺的自動化運維及監控技術研究

宋躍明+謝科軍

摘要：科學技術日新月異，伴隨著信息技術的更新迭代，大數據已成為社會各行業信息技術發展的契機，不斷引發熱潮。進入2017年，作為對信息爆炸性增長和描述的描述和定義詞匯，大數據一詞在多個領域被越來越多的提及。相應的，作為一個一體化、綜合性應用的平臺，其功能涉及到方方面面，包括數據管理、企業資產管理、數據庫服務可用性監控等，為企業提高運行效率和服務質量，降低運營成本做出貢獻。本文通過對大數據和運維的概念、特征，分析了智能監控技術與大數據運維結合的幾個關鍵因素，提出了一套基于大數據平臺的智能監控技術的理論。

關鍵詞：大數據；自動化；運維關鍵技術

中圖分類號：TM76 文獻標識碼：A 文章編號：1007-9416（2017）06-0102-02

1 大數據平臺面臨的挑戰

面對領域大數據，在全生命周期面臨著前所未有的挑戰，具體到領域來看，大數據的生命周期面臨如下難題：（1）采集類問題。如何將大數據精細化，即如何有效地處理大數據；如何從單一角度的大數據中提煉出對應知識和應用數據。（2）大數據面臨的儲存問題。對于結構明細的數據列，海量數據的更新時間周期更長、效率低下；對于非結構化數據，進行存儲、分析需要轉化為結構化數據難度較大。

2 大數據平臺涉及的關鍵技術

大數據建模、大數據分析處理等幾項關鍵技術在大數據平臺的有效支撐性方面有重要建樹。

2.1 大數據平臺體系架構

大數據平臺進行系統的研究集成性問題，在有針對性的分析后，對其應用領域中，具有規模龐大、數據關聯性密切的特點，大數據的作用越來越多的傾向于將其作為商業決策的重要依據。

2.2 大數據的建模和存儲技術

（1）大數據建模技術。要解決大數據的統一存儲、管理及高效分析處理，需要解決多源、分布和異構數據整合問題。層次、關系網狀聯通和對象的面向性，是現行階段下數據建模的主要討論點。在這些應用了本體大數據建模方法形式中，大數據管理中的困境更容易體現。大數據特征為出發點，統一歸納，總結關系，將數據抽象畫處理，最終實現大數據的建模完整，是大數據統一建模的幾個步驟。具體有三類信息是大數據分析過后，需要被定義的三類關鍵信息：大數據的根本信息、功能性問題信息、協調聯動機制信息。大數據的特征不同會引起分類聚合的效果，在頂層數據信息的結構化中，結構化和非結構化均有較大差異，對數據的研究一般會按照一定條件如時間、而后進行分析應用。（2）自動化運維模型的接口。在各類分類索引、儲存索引和樹形索引中，統一接口的綜合構成中起到決定性作用。用戶通過該接口能針對多源大數據建立管理和關聯。自動化運維管理平臺功能涉及數據中心日常巡檢、企業設備資產管理等，在企業運維的日常管理中，提供了強有力支撐，便于提高運行效率的同時，降低了成本。并且在面向意向對象設計過程中，提出一種多行業信息部門均適應的系統設計目標，并進行闡述。

2.3 自動化運維功能設計

企業級深層次信息化運維流程中，自動化運維平臺會將以下三類的數據統一監管并給予綜合展現。在運用設計思想對運維資源進行對象化、功能化劃分后，在設計目標的同時，可以在細分領域中，將平臺分為六個功能區。（1）巡檢管理。以表單匯總的模式下，所有數據及系統常規檢查工作均由中心值班人員完成。（2）運維監控。以圖形化的方式實時監控數據庫的可用性。（3）設備管理。通過集中化的平臺和流程細化物理設備信息，在業務系統管理人員和服務器查詢設備的支持下，查詢服務器的信息。（5）知識庫管理。為了供維修人員方便查閱各類技術運維穩當，此類知識庫需要統一的管理和歸檔。（6）第三方平臺接入。依照現有的運維管理工具現狀（比如系統監控、ITSM流程監控管理系統、堡壘極端服務器等），在賬戶信息簡易流程配置的前提下，自動化運維系統到第三方平臺的單點登入嫁接通路可以便捷實現。（7）信管中心?；谄髽I內部的運維條例、體系、信息化處理及監控問題經充分結合后，精準發布。

3 數據處理因素

3.1 數據的匹配安全性

對于媒體流的精準控制，是數據安全度的重要實施方法，在國家密碼局對于密碼管理系統的前端進行信息硬件加密，完成對網絡高清流媒體的加密；在后端解密時，除了軟件解密，還必須通過硬件才能防止單一軟件加密方式可能被破解的風險。

3.2 數據的監控處理

對于可視化視頻的分析處理及定向信息挖掘，是大型監控系統的重要指標之一。

3.3 監控系統的冗余問題

傳統系統的一大弊端便是對視頻數據的儲存和處理流程繁雜，過程中能量損耗較高。虛擬化計算機的精細化運營管理，提高可靠性和貼合度的同時，減少了差錯率，降低了繁雜度。

3.4 大數據平臺的技術優勢

高清智能視頻監控系統在大數據平臺的數據支撐下，技術優勢凸顯。

3.5 大數據平臺的整體擴展性

存儲架構的分散是大數據流程的特點。根據這一特點，可在系統后臺靈活處理各項任務。

3.6 降低投資成本

硬件匹配性是大數據技術架構的基礎，可以根據價格低廉的投資成本，由系統軟件技術提供全方位保障。

3.7 視頻的高處理度分析

視頻儲存渠道分布廣泛，大數據架構是視頻分析處理的基本依據和保障，實現了大范圍數據的關聯挖掘，并且提高了效率。

4 結語

本文提出的，大數據平臺能夠面向多領域應用，具體而言有如下應用：1）提出面向海量信息資源、空間信息、圖像資源以及廣泛采集的數據進行深度整合和應用的手段。2）隨著web數據、PGIS等數據逐步納入大數據平臺的應用范圍，自動化運維平臺為企業日常信息化運維工作保證了高效、穩妥等基礎設施監控、預警聯動、實時監控等方面均發揮著積極影響。在大城小巷均遍布著監控的平安城市范圍內，作為越來越龐大的視頻海量處理體量，處理智能化、落實高效化是視頻處理發展的必經方向。endprint

參考文獻

[1]維克托·邁爾-舍恩伯格，肯尼思·庫克耶.大數據時代：生活、工作與思維的大變革[M].盛楊燕，周濤.譯.杭州：浙江人民出版社，2012，12.

[2]萬至臻.基于MapReduce模型的并行計算平臺的設計與實現[D].杭州：浙江大學，2008.

[3]戴炳榮，宋俊典.云計算環境下海量分布式數據處理協調機制的研究[M].上海：上海計算機軟件技術開發中心，2013，（01）.

[4]李存華，孫志輝.GridOF：面向大規模數據集的高效離群點檢測算法[J].計算機研究與發展，2003，40（11）：1586-1592.

Abstract：Science and technology change with each passing day，With the update and iteration of information technology， big data has become an opportunity for the development of information technology in all walks of life， and has caused an upsurge，In the 2017， the term "big data" was mentioned more and more in many fields as a description and definition of words for explosive growth and description of information.Accordingly， as an integrated and comprehensive application platform， its function involves all aspects， including data management， enterprise asset management， database services， availability monitoring and so on. For enterprises to improve operational efficiency and service quality， reduce operating costs to contribute， Based on the concept and characteristics of large data and operation and maintenance， this paper analyzes several key factors of combining intelligent monitoring technology with large data operation and maintenance. A theory of intelligent monitoring technology based on large data platform is proposed

Key Words：Big data；Automation；Operation and maintenance key technologyendprint