湖南煙草商業(yè)系統(tǒng)基于大數(shù)據(jù)在云計(jì)算平臺(tái)運(yùn)維中應(yīng)用的思考與設(shè)計(jì)

摘 要：針對(duì)湖南省草公司及所屬邵陽(yáng)市公司已建成信息資源集成云管理系統(tǒng)，實(shí)現(xiàn)了省市兩級(jí)聯(lián)動(dòng)的全局性計(jì)算資源池，但傳統(tǒng)的運(yùn)維技術(shù)難以滿(mǎn)足云計(jì)算、大數(shù)據(jù)平臺(tái)運(yùn)維要求?；诖罅糠墙Y(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)技術(shù)，設(shè)計(jì)基于云平臺(tái)的大數(shù)據(jù)智能運(yùn)維系統(tǒng)，智能、實(shí)時(shí)采集主機(jī)、服務(wù)器、網(wǎng)絡(luò)、應(yīng)用、日志等相關(guān)數(shù)據(jù)，運(yùn)用大數(shù)據(jù)處理技術(shù)，對(duì)全省云管理系統(tǒng)的基礎(chǔ)資源分析，提升基礎(chǔ)設(shè)備與系統(tǒng)日常運(yùn)維能力。我建立適應(yīng)云計(jì)算、大數(shù)據(jù)信息化平臺(tái)的統(tǒng)一運(yùn)維、統(tǒng)一資源管理提供了一個(gè)設(shè)想，為行業(yè)的信息化投資提供了可靠數(shù)據(jù)支撐，最終為保障湖南煙草的各業(yè)務(wù)系統(tǒng)的運(yùn)行提出了新的運(yùn)維管理思想和系統(tǒng)。

關(guān)鍵詞：信息資源 大數(shù)據(jù) 數(shù)據(jù)分析 運(yùn)維模型 智能運(yùn)維

一、引言

湖南省煙草公司及所屬邵陽(yáng)市公司于2013年建立大型企業(yè)信息資源集成云管理平臺(tái)，通過(guò)對(duì)小型機(jī)、PC服務(wù)器、存儲(chǔ)等設(shè)備進(jìn)行全面虛擬化，在省局建立了統(tǒng)一的企業(yè)共享計(jì)算資源池，并初步實(shí)現(xiàn)了省市聯(lián)動(dòng)的全局性計(jì)算資源池。但隨著硬件資源的增多，IT運(yùn)維方面也出現(xiàn)了一些相關(guān)的問(wèn)題，當(dāng)系統(tǒng)出現(xiàn)故障時(shí)，維護(hù)人員缺少可視化的故障分析數(shù)據(jù)和報(bào)告，導(dǎo)致系統(tǒng)恢復(fù)時(shí)間較長(zhǎng)，對(duì)生產(chǎn)造成較大影響；特別是出現(xiàn)多處故障時(shí)，由于缺乏有效的定位和分析手段，僅憑經(jīng)驗(yàn)進(jìn)行排查，導(dǎo)致恢復(fù)正常運(yùn)行的時(shí)間長(zhǎng)。總的來(lái)說(shuō)，目前的IT運(yùn)維人員多是被動(dòng)、救火式的運(yùn)維，缺乏主動(dòng)預(yù)警防護(hù)的手段。根據(jù)省局的按照全省系統(tǒng)信息資源管理需求以及企業(yè)大數(shù)據(jù)中心建設(shè)要求，在現(xiàn)有云管理平臺(tái)的基礎(chǔ)上，探索利用大數(shù)據(jù)技術(shù)，建立企業(yè)大數(shù)據(jù)中心平臺(tái)，并從技術(shù)和業(yè)務(wù)等多個(gè)維度，發(fā)現(xiàn)企業(yè)大數(shù)據(jù)所在的位置、形態(tài)和特征，研究企業(yè)大數(shù)據(jù)的采集、存儲(chǔ)、處理與利用機(jī)制，為企業(yè)提供發(fā)現(xiàn)有價(jià)值信息的手段和工具，提供更精確的決策依據(jù)；在技術(shù)大數(shù)據(jù)方面，提出了通過(guò)平臺(tái)運(yùn)行大數(shù)據(jù)采集與分析來(lái)實(shí)時(shí)監(jiān)控整個(gè)平臺(tái)的運(yùn)行狀況，能夠有效、準(zhǔn)確、及時(shí)地對(duì)主機(jī)、虛擬機(jī)、存儲(chǔ)、應(yīng)用系統(tǒng)的健康狀況進(jìn)行評(píng)估，為系統(tǒng)優(yōu)化、故障發(fā)現(xiàn)提供有效的信息，為資源擴(kuò)展提供決策輔助，促進(jìn)業(yè)務(wù)創(chuàng)新，有效提升企業(yè)核心競(jìng)爭(zhēng)力。

二、技術(shù)原理

和傳統(tǒng)運(yùn)維相比，大數(shù)據(jù)智能運(yùn)維在數(shù)據(jù)量、處理速度、涉及業(yè)務(wù)廣度、模式發(fā)現(xiàn)等方面都有重大的差異。在大數(shù)據(jù)時(shí)代下的智能運(yùn)維，推動(dòng)運(yùn)維從自動(dòng)化向智能化進(jìn)化，其目標(biāo)是提高系統(tǒng)的可靠性，盡可能低的成本、提供足夠好的服務(wù)質(zhì)量和用戶(hù)體驗(yàn)。網(wǎng)絡(luò)帶寬、服務(wù)器、維護(hù)人力等是云計(jì)算平臺(tái)的主要成本來(lái)源。通過(guò)對(duì)運(yùn)維大數(shù)據(jù)分析，實(shí)現(xiàn)對(duì)硬件故障的預(yù)測(cè)和自動(dòng)化管理，對(duì)機(jī)器的管理實(shí)現(xiàn)了零投入；通過(guò)智能混部技術(shù)，動(dòng)態(tài)感知、實(shí)時(shí)分析、全局調(diào)度，合理分配計(jì)算、存儲(chǔ)、內(nèi)存等不同類(lèi)型的任務(wù)，精細(xì)化分析、“消峰填谷”的方式來(lái)最大化地利用資源，減低預(yù)算開(kāi)銷(xiāo)。湖南煙草云計(jì)算應(yīng)用平臺(tái)上硬件資源的調(diào)配需要大量服務(wù)器運(yùn)行資料的支撐，大數(shù)據(jù)智能運(yùn)維就是利用大數(shù)據(jù)技術(shù)，定義好各種運(yùn)維指標(biāo)，高頻率的監(jiān)控每臺(tái)服務(wù)器的運(yùn)行數(shù)據(jù)，并統(tǒng)一收集日志，借助mongoDB等非關(guān)系型數(shù)據(jù)庫(kù)保存多樣性數(shù)據(jù)，與此同時(shí)，所有數(shù)據(jù)寫(xiě)入Hadoop集群，利用大數(shù)據(jù)技術(shù)對(duì)收集的數(shù)據(jù)做更多維度的離線分析，形成各種曲線圖，和之前定義的指標(biāo)對(duì)比，并與監(jiān)控報(bào)警系統(tǒng)關(guān)聯(lián)起來(lái)，實(shí)現(xiàn)對(duì)整個(gè)數(shù)據(jù)中心的性能和可用性的監(jiān)控和趨勢(shì)分析。然后根據(jù)歷史數(shù)據(jù)和算法形成的預(yù)測(cè)模型，預(yù)測(cè)未來(lái)服務(wù)器的運(yùn)行狀況和瓶頸，幫助運(yùn)維人員提前遷移系統(tǒng)和調(diào)整硬件資源。

三、部署架構(gòu)

大數(shù)據(jù)智能運(yùn)維系統(tǒng)最基本的部署需部件分別是Hadoop集群，MongoDB集群，采集器集群，MySQL數(shù)據(jù)庫(kù)和大數(shù)據(jù)應(yīng)用五個(gè)部分。

Hadoop集群、MongoDB集群和采集器集群，一旦集群中的某個(gè)節(jié)點(diǎn)故障，系統(tǒng)能夠自動(dòng)的將該節(jié)點(diǎn)的任務(wù)分發(fā)到其他正常的節(jié)點(diǎn)繼續(xù)運(yùn)行，保證系統(tǒng)數(shù)據(jù)的完整性。Hadoop的Master節(jié)點(diǎn)主要提供NameNode、SecondaryNameNode及JobTracker三種服務(wù)，主要用于任務(wù)調(diào)度和管理文件系統(tǒng)的命名空間以及客戶(hù)端對(duì)文件的訪問(wèn)。Slave節(jié)點(diǎn)部署一個(gè)DataNode和TaskTracker，以便 這個(gè)Slave服務(wù)器運(yùn)行的數(shù)據(jù)處理程序能盡可能直接處理本機(jī)的數(shù)據(jù)。MongoDB集群采用的是副本模式，一旦主節(jié)點(diǎn)故障，副本節(jié)點(diǎn)通過(guò)競(jìng)選機(jī)制，選舉出一個(gè)副本節(jié)點(diǎn)作為主節(jié)點(diǎn)，從而保證整個(gè)數(shù)據(jù)存儲(chǔ)的穩(wěn)定性。采集器集群所有的節(jié)點(diǎn)都是同一地位，分別執(zhí)行不同的采集任務(wù)，如果某個(gè)采集節(jié)點(diǎn)停止運(yùn)行，控制中心會(huì)立即監(jiān)測(cè)并確認(rèn)后，把其采集任務(wù)分配到其他采集器上，確保數(shù)據(jù)的連續(xù)和一致性。

四、效益分析

基于云計(jì)算和大數(shù)據(jù)的智能運(yùn)維實(shí)現(xiàn)以后，預(yù)計(jì)將產(chǎn)生巨大的管理效益、經(jīng)濟(jì)效益與社會(huì)效益。

第一，建立統(tǒng)一管理體制，實(shí)現(xiàn)一個(gè)平臺(tái)對(duì)多系統(tǒng)監(jiān)控和管理，讓領(lǐng)導(dǎo)放心、業(yè)務(wù)人員省心、客戶(hù)放心。通過(guò)統(tǒng)一的數(shù)據(jù)呈現(xiàn)和監(jiān)控管理平臺(tái)，實(shí)現(xiàn)各資源子系統(tǒng)的統(tǒng)一管控，對(duì)整個(gè)基礎(chǔ)資源平臺(tái)里的各類(lèi)主機(jī)硬件，存儲(chǔ)硬件，網(wǎng)絡(luò)硬件、以及不同的虛擬化軟件，實(shí)現(xiàn)統(tǒng)一監(jiān)控和管理，實(shí)現(xiàn)IT運(yùn)維的統(tǒng)一化，標(biāo)準(zhǔn)化，流程化和智能化，簡(jiǎn)化了IT運(yùn)維人員的操作，降低了各類(lèi)業(yè)務(wù)系統(tǒng)的維護(hù)難度，提高了用戶(hù)體驗(yàn)，減輕了系統(tǒng)管理員的維護(hù)工作量，能放大省局云平臺(tái)各類(lèi)業(yè)務(wù)應(yīng)用集中部署的優(yōu)勢(shì)，使領(lǐng)導(dǎo)滿(mǎn)意度、業(yè)務(wù)人員滿(mǎn)意度、客戶(hù)滿(mǎn)意度得到提高，為湖南煙草未來(lái)資源和應(yīng)用擴(kuò)展奠定管理基礎(chǔ)，建立降本增效、綠色節(jié)能的新型IT運(yùn)維管理模式。第二，建立IT管理體系，提升了信息化工程項(xiàng)目交付能力，形成開(kāi)發(fā)、整合、管理三位一體的配套支撐環(huán)境。大數(shù)據(jù)智能運(yùn)維不僅僅是信息系統(tǒng)的構(gòu)建和集成，同時(shí)更是打通了IT應(yīng)用資源管理的壁壘，包括對(duì)現(xiàn)有系統(tǒng)、設(shè)計(jì)資源、開(kāi)發(fā)資源、團(tuán)隊(duì)等與IT系統(tǒng)建設(shè)有重要關(guān)系的對(duì)象的監(jiān)管、治理。提供了更為健康的IT整合工程化支撐環(huán)境、快速開(kāi)發(fā)業(yè)務(wù)應(yīng)用的工具與支撐平臺(tái)，以及項(xiàng)目過(guò)程管理及質(zhì)量控制環(huán)境，從工程建設(shè)角度提供了項(xiàng)目開(kāi)發(fā)、整合、管理三位一體的配套支撐環(huán)境，保障和提升了大型軟件工程項(xiàng)目成功交付能力。第三，提供科學(xué)決策依據(jù)，支撐煙草商業(yè)企業(yè)的業(yè)務(wù)、運(yùn)營(yíng)和管理，提升企業(yè)整體運(yùn)營(yíng)水平。通過(guò)高效的分析展現(xiàn)工具對(duì)實(shí)時(shí)的資源運(yùn)行狀況和和資源利用率進(jìn)行輔助決策分析，為領(lǐng)導(dǎo)決策提供有力的數(shù)據(jù)支持，支撐煙草商業(yè)企業(yè)的業(yè)務(wù)、運(yùn)營(yíng)和管理，并提高企業(yè)效率，對(duì)企業(yè)經(jīng)營(yíng)目標(biāo)的實(shí)現(xiàn)、經(jīng)濟(jì)指標(biāo)的提升產(chǎn)生了重大效益?？偟膩?lái)說(shuō)，基于云計(jì)算和大數(shù)據(jù)的智能運(yùn)維能夠?yàn)樵谒胁渴鹪诤蠠煵菰破脚_(tái)上的業(yè)務(wù)應(yīng)用提供一個(gè)穩(wěn)定的運(yùn)行環(huán)境，符合煙草行業(yè)十三五規(guī)劃提出的“整合兼容、互聯(lián)互通、先進(jìn)實(shí)用、改造升級(jí)”的要求，保障了業(yè)務(wù)的正常運(yùn)行，提高了企業(yè)生產(chǎn)效率，有效的支撐了省局領(lǐng)導(dǎo)針對(duì)信息化工作提出的“用信息化帶動(dòng)管理規(guī)范化、業(yè)務(wù)流程程序化、決策科學(xué)化”的要求。

五、結(jié)語(yǔ)

基于云計(jì)算和大數(shù)據(jù)的智能運(yùn)維將為湖南煙草商業(yè)所有業(yè)務(wù)應(yīng)用提供一個(gè)穩(wěn)定的運(yùn)行平臺(tái)，保障業(yè)務(wù)的正常運(yùn)行，提高企業(yè)生產(chǎn)效率，有效的支撐局領(lǐng)導(dǎo)針對(duì)信息化工作提出的“用信息化帶動(dòng)管理規(guī)范化、業(yè)務(wù)流程程序化、決策科學(xué)化”的要求。同時(shí)我們相信，隨著時(shí)間的推移，基于云計(jì)算和大數(shù)據(jù)的智能運(yùn)維在湖南煙草商業(yè)系統(tǒng)改革發(fā)展的進(jìn)程中會(huì)起到越來(lái)越重要的支撐作用，并取得更大的經(jīng)濟(jì)效益和社會(huì)效益。

參考文獻(xiàn)：

[1]章思宇 孫強(qiáng) 姜開(kāi)達(dá) 自動(dòng)化運(yùn)維中的大數(shù)據(jù)分析 《中國(guó)網(wǎng)絡(luò)教育》 2015年7期.

[2]陳藝高 動(dòng)環(huán)大數(shù)據(jù)，提升運(yùn)維效能 《通信電源技術(shù)》 2014年31期.

[3]鐘湘瓊 基于云計(jì)算的大數(shù)據(jù)智能運(yùn)維系統(tǒng)設(shè)計(jì) 《信息通信》 2016年2期.