Hadoop資源信息智能監(jiān)測仿真

賀 涌，王 磊，李立秋，陳善貴

(1.太原理工大學(xué)，山西 太原 030000；2.中國礦業(yè)大學(xué)，江蘇 徐州 221000)

1 引言

信息量的日益劇增，信息處理方式也在發(fā)生重大變化。云計(jì)算是一種新型的商業(yè)計(jì)算模型，通過該方法，用戶可以在不了解云機(jī)構(gòu)的狀態(tài)下，對終端用戶展開大量計(jì)算。在大多云平臺(tái)軟件中Hadoop應(yīng)用性更強(qiáng)。Hadoop為一種開源計(jì)算框架，能夠?qū)崿F(xiàn)分布式存儲(chǔ)，目的是保證所有數(shù)據(jù)集群不間斷地給用戶供應(yīng)計(jì)算服務(wù)與分布式儲(chǔ)存。但目前Hadoop平臺(tái)局限于處理少量大文件，無法高質(zhì)量處理大量小文件的情況，導(dǎo)致高負(fù)載量環(huán)境下Hadoop經(jīng)常出現(xiàn)資源處理異常現(xiàn)象，使運(yùn)作效率變慢，計(jì)算質(zhì)量變低。對此國內(nèi)外學(xué)者提出了以下幾種解決方法。

文獻(xiàn)[1]構(gòu)建Hadoop云體系下的資源信息狀態(tài)監(jiān)測模型。利用資源匹配算法和信息挖掘算法將Hadoop內(nèi)的資源信息進(jìn)行關(guān)聯(lián)性整合，在Hadoop平臺(tái)內(nèi)構(gòu)建用戶多元信息資源接口機(jī)制，利用虛擬化技術(shù)分類資源云信息，利用接口機(jī)制監(jiān)測高負(fù)載量Hadoop資源情況。但是該方法需要單獨(dú)構(gòu)建接口機(jī)制，并且該機(jī)制的構(gòu)建過程耗時(shí)較長，導(dǎo)致對Hadoop進(jìn)行監(jiān)測時(shí)出現(xiàn)整體效率過低的問題。文獻(xiàn)[2]提出了一種高負(fù)載量Hadoop資源多層監(jiān)測方法。首先分層處理Hadoop，分析應(yīng)用層對象、網(wǎng)絡(luò)傳輸層對象、用戶層對象、表示層對象和服務(wù)層對象，獲取各個(gè)層次之間的閾值，并實(shí)現(xiàn)融合處理，完成對Hadoop的資源監(jiān)測。但是該方法沒有構(gòu)建出符合與閾值匹配的檢測系統(tǒng)，導(dǎo)致監(jiān)測結(jié)果誤差較大。文獻(xiàn)[3]提出了一種基于自適應(yīng)反饋調(diào)度的高負(fù)載量Hadoop資源監(jiān)測方法。融合Hadoop資源節(jié)點(diǎn)與作業(yè)的性能信息，在反饋調(diào)度器上啟動(dòng)動(dòng)態(tài)資源類似度監(jiān)測方案，有效識(shí)別集群執(zhí)行能力差異，根據(jù)服務(wù)器作業(yè)任務(wù)需求對Hadoop的資源信息高負(fù)載量進(jìn)行動(dòng)態(tài)監(jiān)測。但該方法需通過實(shí)時(shí)檢測數(shù)據(jù)，而個(gè)別平臺(tái)沒有此功能，導(dǎo)致該方法具有局限性。

針對上述問題，提出新的高負(fù)載量移動(dòng)服務(wù)器Hadoop資源信息智能監(jiān)測方法。利用時(shí)間序列將Hadoop資源分化至多種資源訪問序列中，計(jì)算高負(fù)載系數(shù)，獲取特征向量集向量，完成高負(fù)載量移動(dòng)服務(wù)器Hadoop資源信息智能監(jiān)測。仿真結(jié)果驗(yàn)證了，論文新方法能夠?qū)崿F(xiàn)Hadoop高負(fù)載量的低能耗監(jiān)測，并且效率較高，時(shí)延問題得以明顯改善。

2 移動(dòng)服務(wù)器Hadoop資源信息智能監(jiān)測

2.1 Hadoop運(yùn)行原理

當(dāng)前，Hadoop的構(gòu)造過程模型如圖1所示。

圖1 移動(dòng)服務(wù)器Hadoop結(jié)構(gòu)模型

Hadoop中含有一種jobTracker節(jié)點(diǎn)，主要對Hadoop實(shí)行任務(wù)監(jiān)測、資源管理和調(diào)度。其中含有多種slave節(jié)點(diǎn)，處理全部的MapReduce任務(wù)[4]。當(dāng)用戶遞交新任務(wù)時(shí)，通知NameNode節(jié)點(diǎn)，再將用戶的任務(wù)數(shù)據(jù)使用Na-meNode儲(chǔ)存到云平臺(tái)中，隨后將要進(jìn)行處理的數(shù)據(jù)導(dǎo)入Hadoop里，同時(shí)儲(chǔ)存到Slave節(jié)點(diǎn)中。在運(yùn)行Slave節(jié)點(diǎn)時(shí)，將心跳信息輸送至job-Tracker中，jobTracker收到心跳信息后會(huì)依據(jù)預(yù)處理數(shù)據(jù)的規(guī)劃情況，向具體的Slave節(jié)點(diǎn)分配Map/ReduceTask。Slave運(yùn)行時(shí)，會(huì)每隔一段時(shí)間向job-Tracker傳輸心跳信息，jobTracker憑借集群中資源和Slave傳輸?shù)男奶畔⑶闆r，向Slave節(jié)點(diǎn)發(fā)放任務(wù)。

通過jobTracker中資源管理過程和任務(wù)監(jiān)測的分析，可以證明Hadoop的資源管理是隨著指定調(diào)度將新任務(wù)規(guī)劃至負(fù)荷的TaskTracker內(nèi)進(jìn)行處理。但在Hadoop集群里，jobTracker節(jié)點(diǎn)只有一個(gè)，因此會(huì)出現(xiàn)JobTracker負(fù)載超重的狀況，致使jobTracker的處理速度降低，導(dǎo)致Hadoop集群[5]的整體運(yùn)作速度緩慢。例如Hadoop平臺(tái)默認(rèn)監(jiān)測器，在JobTracker對資源進(jìn)行監(jiān)測時(shí)，經(jīng)調(diào)整完成的TaskScheduler接口與JobQueueTaskScheduler類型的實(shí)例assignTasks方法，可以對資源監(jiān)測和任務(wù)進(jìn)行展開。從上圖1可以得知，假使存在可單獨(dú)對Hadoop任務(wù)文件監(jiān)控的方法，便可降低JobTracker的負(fù)擔(dān)，提高工作效率。

2.2 資源訪問序列劃分

利用時(shí)間序列將收集到的Hadoop資源進(jìn)行消耗分化至多種資源的訪問序列中，再分化有序資源到資源集合中，從而建造一種尺寸固定的有序結(jié)合。并分析序列類似度，進(jìn)而估算不同序列內(nèi)的類似值。而計(jì)算最鄰近節(jié)點(diǎn)方法，可以估算出高負(fù)載系數(shù)的序列，最后劃分出集合中的高負(fù)載序列。

圖2 資源訪問序列劃分流程

對高負(fù)載Hadoop的分布式平臺(tái)信息資源進(jìn)行訪問時(shí)，集群內(nèi)信息資源消耗出現(xiàn)緩慢增長趨勢，需要將Hadoop集群中資源使用狀況通過時(shí)間序列[6]進(jìn)行模式代替。本文使用四元組(t，b，k，l)代表Hadoop集群資源消耗模式，其中t代表橫坐標(biāo)，即采集時(shí)間；b代表縱坐標(biāo)，即Hadoop集群資源消耗總數(shù)；k為斜率，即兩個(gè)采集時(shí)間點(diǎn)的Hadoop資源利用變化曲線斜率；l即兩個(gè)采集時(shí)間的間隔Hadoop資源消耗線段大小，以此構(gòu)建Hadoop集群資源信息消耗時(shí)間變化曲線。在該四元組內(nèi)，擬定含有時(shí)間點(diǎn)(t1，b1)和(t2，b2)，假如采集時(shí)間間隔類似，資源消耗線段尺寸隨著斜率k而變化

(1)

通過式(1)可以看出，Hadoop資源消耗線段大小是l經(jīng)過斜率k和時(shí)間的間隔來判斷的，而l變量里不含有特殊意義，因此該四元組可以使用二元組(b，k)進(jìn)行消除。因有序時(shí)間序列組合是利用多種時(shí)間序列向量組合建造的，而線段模式[7]是由相鄰的序列點(diǎn)構(gòu)成的，所以多種線段模式可以代替時(shí)間序列，進(jìn)而能夠劃分所有Hadoop集群資源消耗的時(shí)間序列。

2.3 Hadoop高負(fù)載系數(shù)計(jì)算

(2)

為了找出兩個(gè)序列的高負(fù)載狀況，需使用區(qū)域的序列密度分布[9]表示高負(fù)載狀況。設(shè)定兩種區(qū)域和序列最相似的鄰居密度高于某種臨界值，證明近鄰與該序列類似，相似度越高表示鄰近值越大，反之鄰近值越低。計(jì)算高負(fù)載系數(shù)公式為

(3)

其中，P(s)代表時(shí)間序列s的均衡可達(dá)長度，其值越小，表明密度越高，高負(fù)載的幾率就越小，d(s，c)代表c序列至s序列中的長度，N(s)就是指序列s所在的時(shí)間序列集合。

2.4 高負(fù)載量移動(dòng)服務(wù)器Hadoop資源異常監(jiān)測

Hadoop集群內(nèi)資源信息所消耗的數(shù)據(jù)關(guān)鍵點(diǎn)是通過集群內(nèi)硬盤、CPU進(jìn)行處理的。其中CPU信息資源消耗被分布式估算影響，能量消耗被分布式儲(chǔ)存[10]影響，則需利用硬盤與CPU的差異轉(zhuǎn)變，對Hadoop的資源信息的高負(fù)載異常消耗進(jìn)行監(jiān)測。內(nèi)存資源的消耗主要是被MAP/Reduce的分布式計(jì)算干擾，因此可以通過大范圍分布式的計(jì)算差異，評(píng)測內(nèi)存中的資源消耗高負(fù)載情況。硬盤資源的消耗主要受分布式儲(chǔ)存的影響，通過獲取文件輸送的硬盤資源消耗與差異數(shù)據(jù)來測評(píng)。

使用時(shí)間順序?qū)個(gè)資源[11]的特征向量進(jìn)行監(jiān)測，監(jiān)測完成后，將第一種特征向量內(nèi)的n種有序向量集合內(nèi)取出，通過第n+1中的特征向量憑借順序引入此集合內(nèi)，具體過程如圖3所示。

圖3 基于時(shí)間的資源消耗監(jiān)測模型

在時(shí)間序列資源消耗模型中，具有n種資源消耗的特征向量。本文將特征向量設(shè)定為一種最近鄰類似值分析法中的目標(biāo)，通過上述目標(biāo)對n個(gè)特征向量內(nèi)的局部高覆蓋系數(shù)進(jìn)行計(jì)算，最終對某個(gè)時(shí)間點(diǎn)的信息資源消耗異常狀況進(jìn)行分析。

對局部資源消耗異常分析，先把n個(gè)局部資源信息消耗特征向量進(jìn)行整理，構(gòu)造資源信息消耗特征向量集合{t1，t2，…，tn}。本文使用n×n的特征矩陣代替所有特征向量間的尺寸

(4)

式中傳入是憑借時(shí)間順序收集到的Hadoop集群資源信息消耗特征向量集{t1，t2，…，tn}，將n擬定為集群里的特征向量，傳輸為有差異的特征向量。具體步驟如下：

1)采用特征向量集所獲取的n種特征向量，轉(zhuǎn)換成n×n的特征矩陣；

2)收集一種特征向量，

再計(jì)算特征向量的最近鄰。

3)對特征向量中的局部密度進(jìn)行計(jì)算，再估算差異系數(shù)。當(dāng)差異系數(shù)大于閾值時(shí)，將該特征向量標(biāo)記為高負(fù)載點(diǎn)，把該向量加入差異特征向量結(jié)果中并轉(zhuǎn)至2)。閾值大于融入該差異系統(tǒng)的數(shù)值時(shí)，則表示該特征向量是否為向量集內(nèi)第n個(gè)特征向量，如果是則轉(zhuǎn)至4)，反之跳轉(zhuǎn)至2)。

4)傳輸高負(fù)載特征信息監(jiān)測結(jié)果，算法完成。

在特征向量矩陣?yán)铮瑃12為特征向量t1與t12的大小，tnn表示特征向量tn到自身的長度，距離為零，該矩陣是對稱矩陣，主對角線的值為零。利用矩陣可以得知，ti到n種近鄰間的距離是[ti1，ti2，…，tin]，對該長度集合進(jìn)行排序，獲取k種值，通過k值能獲取ti的k個(gè)最近鄰居。使用局部的密度公式對ti的值進(jìn)行估算，估算的值越大，表明類似的目標(biāo)越多。而時(shí)間點(diǎn)越小的資源，則表明局部可達(dá)密度越小，其類似的目標(biāo)越少，該時(shí)間點(diǎn)信息資源異常[12]的幾率越大。

3 仿真證明

仿真環(huán)境為Intel Celeron Tulatin1GHz CPU，硬件環(huán)境為384MB SD內(nèi)存，軟件環(huán)境為MATLAB6.1。

圖4 Hadoop資源信息智能監(jiān)測環(huán)境

為了證明本文方法對Hadoop高負(fù)載的監(jiān)測性能，實(shí)驗(yàn)與文獻(xiàn)[1]、文獻(xiàn)[2]及文獻(xiàn)[3]方法進(jìn)行對比測試。本次實(shí)驗(yàn)擬定實(shí)驗(yàn)內(nèi)Slave節(jié)點(diǎn)并非考慮的關(guān)鍵點(diǎn)，所有Slace節(jié)點(diǎn)的處理效率是1000MIPS。該Hadoop集群內(nèi)含有20種節(jié)點(diǎn)。將任務(wù)Task所需要的指令尺寸設(shè)置在70000MIPS，原始實(shí)驗(yàn)數(shù)據(jù)如圖5所示。

為測試不同方法對Hadoop高負(fù)載的監(jiān)測能耗，設(shè)置從1000～10000個(gè)移動(dòng)設(shè)備運(yùn)行時(shí)，對比消耗功率的大小。實(shí)驗(yàn)結(jié)果如圖6所示。

圖6 不同方法下監(jiān)測能耗對比

根據(jù)圖6數(shù)據(jù)可知，隨著移動(dòng)設(shè)備數(shù)量的增加，所有方法的能耗均隨之增加。其中文獻(xiàn)[1]方法與文獻(xiàn)[2]方法能耗變化趨勢相近，在移動(dòng)設(shè)備數(shù)量為10000時(shí)，能耗達(dá)到350kW。文獻(xiàn)[3]方法能耗較前兩種方法略低，在移動(dòng)設(shè)備數(shù)量為10000時(shí)，能耗約為347kW。本文方法能耗最低，在移動(dòng)設(shè)備數(shù)量為10000時(shí)，能耗為253kW。說明本文方法對Hadoop高負(fù)載監(jiān)測的能耗低，更具有使用性。

為驗(yàn)證不同方法的處理效率，在相同數(shù)據(jù)環(huán)境中測試平均請求響應(yīng)時(shí)延，實(shí)驗(yàn)如圖7所示。

圖7 不同方法下平均請求響應(yīng)時(shí)延

根據(jù)圖7數(shù)據(jù)可知，文獻(xiàn)[1]方法與文獻(xiàn)[2]方法的響應(yīng)時(shí)延變化趨勢相近，隨移動(dòng)設(shè)備數(shù)量的增加而增長，當(dāng)測試數(shù)量最大時(shí)響應(yīng)時(shí)延達(dá)到340ms。文獻(xiàn)[3]方法的響應(yīng)時(shí)延也隨設(shè)備數(shù)量增加而增長，設(shè)備數(shù)量最大時(shí)響應(yīng)時(shí)延為280ms。本文方法的響應(yīng)時(shí)延在測試期間均保持在4ms左右，說明該方法檢測效率高。

4 結(jié)論

為解決Hadoop常出現(xiàn)高負(fù)載問題，本文提出高負(fù)載量移動(dòng)服務(wù)器Hadoop資源信息智能監(jiān)測方法。分析Hadoop資源序列類似度，計(jì)算高負(fù)載系數(shù)，獲取特征向量集向量，完成高負(fù)載量移動(dòng)服務(wù)器Hadoop資源信息智能監(jiān)測。通過仿真對比實(shí)驗(yàn)證明，新方法能夠有效的對Hadoop高負(fù)載量進(jìn)行監(jiān)測，且能量消耗低，效率高。在今后的研究中需進(jìn)一步考慮降低監(jiān)測成本問題，解決該領(lǐng)域更多難點(diǎn)問題。