大規(guī)模數(shù)據(jù)處理及集群性能監(jiān)控與優(yōu)化

王大恒 戰(zhàn)勇杰

【摘要】 近年來，我國信息化發(fā)展步伐逐漸加快，網(wǎng)絡(luò)用戶急速上升。網(wǎng)絡(luò)用戶的增加，為更多的電子商業(yè)帶來新的機遇。通過對數(shù)據(jù)的有效分析和利用，進一步促進我過經(jīng)濟發(fā)展。由于數(shù)據(jù)的膨脹，小型服務(wù)器顯然不能完成這項工作，因此，以集群為單位的處理方式被得到廣泛的應(yīng)有。但是，通過終端采集，數(shù)據(jù)被不間斷的傳入集群，速度過快時更容易造成集群超負荷工作，而不能就是對數(shù)據(jù)進行處理；而速度過慢時就會導(dǎo)致集群的作用不能充分的被發(fā)揮出來。因此本文對集群性能的監(jiān)控和優(yōu)化進行了詳細的闡述，通過優(yōu)化對集群進行改善。

【關(guān)鍵字】 大規(guī)模數(shù)據(jù)出來 集群 監(jiān)控 優(yōu)化

一、需求分析

1.1大規(guī)模數(shù)據(jù)處理需求

大規(guī)模數(shù)據(jù)處理具有一定的優(yōu)勢，并可以實現(xiàn)以下功能：集群部署、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)過濾處理。集群部署：即將Hadoop、Spark、和HBase集群分別部署在不同的服務(wù)器上。利用其中一臺服務(wù)器作為主節(jié)點，可以對管理文件進行命名并對客戶端文件進行相關(guān)的訪問，同時起到總調(diào)度的任務(wù)。集群一般是由一臺服務(wù)器的主節(jié)點和多臺子節(jié)點服務(wù)器組成，但是收到實驗室的限制，因此只能選擇兩樣服務(wù)器進行操作，但是操作原理依然符合上述操作流程，兩臺服務(wù)器起到的作用也不同。在集群配置中，首先需要準(zhǔn)備的工作就是對網(wǎng)絡(luò)環(huán)境進行設(shè)置和對運行環(huán)境進行設(shè)置。

1.2集群監(jiān)控需求

集群監(jiān)控技術(shù)可以更好的滿足對各個節(jié)點數(shù)據(jù)的收集，利用集群監(jiān)控技術(shù)可以將CPU的利用率及系統(tǒng)負載情況進行及時的顯示。最主要的是可以實現(xiàn)數(shù)據(jù)的實時更新，在更新的過程中主要涉及以下內(nèi)容：數(shù)據(jù)獲取的方法、數(shù)據(jù)傳送給客戶端、將數(shù)據(jù)轉(zhuǎn)化為更直觀的曲線數(shù)據(jù)。

二、設(shè)計優(yōu)化

1、數(shù)據(jù)處理設(shè)計。在原始數(shù)據(jù)中每一行都包含呼叫用戶和被呼叫用戶，并現(xiàn)實相關(guān)的通話時間和呼叫時間。本文數(shù)據(jù)設(shè)計中所需要的數(shù)據(jù)是指前三項。主要計算根據(jù)是用戶的通話時間和次數(shù)。1）先對所需要的數(shù)據(jù)進行初始化設(shè)置，并對用戶的通話時間進行統(tǒng)計，將統(tǒng)計后的時間放人PageRank模型中。然后對原始數(shù)據(jù)進行分析，并對各個號碼建立相關(guān)的聯(lián)系。通過Map對原始數(shù)據(jù)進行分析，輸入>，其中call_number可以被看做為KEY。時間計量則是value。通過Reduce進行操作，并將上階段操作中輸出的鍵值和一樣的KEY進行合并，將相同的號碼的數(shù)據(jù)進行統(tǒng)計，多時長進行合并。

2、性能監(jiān)控。監(jiān)控的主要原理是通過Hadoop對相關(guān)守護進程進行開啟，并注冊相關(guān)的Metrics到本地MBeanServer上。在該監(jiān)控系統(tǒng)中所用到的監(jiān)控端口包含NameNode的50070端口和DataNode50075端口。而Hadoop本身就自帶監(jiān)控體系，所以訪問監(jiān)控端口時不能直接跳回監(jiān)控數(shù)據(jù)中，而是跳到相關(guān)的jsp頁面。所以，在訪問時可以利用JMX體系，并獲得集群監(jiān)控中的所有數(shù)據(jù)，利用這一體系就建立數(shù)據(jù)進行獲取，不僅可以及時掌握各種信息，同時數(shù)據(jù)格式也更利于用戶進行處理。監(jiān)控方法有很多種，本文介紹的方法是通過REST形式對數(shù)據(jù)進行獲取。利用這種方式，可以對所需數(shù)據(jù)進行篩選，只選擇自身需要的數(shù)據(jù)進行了解。

三、實現(xiàn)

1、數(shù)據(jù)處理。數(shù)據(jù)處理的過程中，首先要對數(shù)據(jù)進行過濾，數(shù)據(jù)過濾中，輸入和輸出文件分別為/cdr/raw和/cdr/ clear。并利用Spark和Mapreduce對數(shù)據(jù)進行過濾。最后將過濾后數(shù)據(jù)結(jié)果分別存到HDFS和HBase中。在HDFS中，數(shù)據(jù)經(jīng)過過濾并進行儲蓄時，其目錄名和字段分割格式和導(dǎo)入時的一樣。通過相關(guān)實驗對過濾后的數(shù)據(jù)進行迭代計算，可以對用戶進行分析，并提取有價值的用戶。

2、監(jiān)控實現(xiàn)。集群監(jiān)控中的頁面主要顯示的是集群中的整體情況，并對整體進行分析。其主要內(nèi)容是對DFS的容量和使用情侶進行分析，并通過反應(yīng)集群對數(shù)據(jù)的改變進行實時監(jiān)控。而節(jié)點信息所反映的則是集群中所有的節(jié)點基本情況，并通過節(jié)點名稱進行相應(yīng)的點擊，可以對其信息進行查看。而節(jié)點中的主要內(nèi)容則是上述提起的CPU使用情況，在對數(shù)據(jù)進行繪制時，以折線圖為主，并以每一秒為數(shù)據(jù)間隔。除此之外，對CUP的使用情況進行評估，在評估的過程其使用變化發(fā)生改變時背景色也會發(fā)生相應(yīng)的變化。而在監(jiān)控中，也可以對集群的整體情況進行相關(guān)監(jiān)控，并對所有CPU數(shù)據(jù)進行分析和評測，對整體的CPU負載情況進行準(zhǔn)確的評估。

四、總結(jié)

隨著計算機技術(shù)的發(fā)展，集群性能體系需要不斷的優(yōu)化和建立。本文通過對集群性能的監(jiān)控情況進行分析，并提出了相應(yīng)的優(yōu)化辦法，同時也對其監(jiān)控方向進行闡述。但是收到本文專業(yè)和知識的限制，在對其優(yōu)化的過程中還存在一定的局限性，因此在今后的學(xué)習(xí)中，會對其優(yōu)化辦法進行不斷的改善。

參 考 文 獻

[1]王馨曼. 大規(guī)模數(shù)據(jù)處理及集群性能監(jiān)控與優(yōu)化[D].大連理工大學(xué)，2015.

[2]林文輝. 基于Hadoop的海量網(wǎng)絡(luò)數(shù)據(jù)處理平臺的關(guān)鍵技術(shù)研究[D].北京郵電大學(xué)，2014.

[3]盧興見. 大規(guī)模云數(shù)據(jù)中心負載優(yōu)化調(diào)度方法研究[D].浙江大學(xué)，2014.