Hadoop 云平臺下基于資源感知的作業(yè)調度算法研究

◎肖堅

大數(shù)據(jù)時代已經(jīng)來臨，眾多企業(yè)及科研機構都在研究大數(shù)據(jù)的應用價值。作為開源的分布式云計算平臺，Hadoop 是當前眾多企業(yè)開發(fā)云計算平臺中所選擇的主要框架。通過對Hadoop 框架的改進，基本能夠處理海量的數(shù)據(jù)信息，在實際運用中有著很好的應用效果。隨著Hadoop應用越來越廣泛，其中也存在一定的問題需要解決。當前，Hadoop 中的三種調度算法更適合在同構計算機集群上的使用，而在異構集群中，相應的調度能力就有所降低。針對這一問題，可以采用基于資源感知的作業(yè)調度算法，可以有效解決異構集群調度性能問題，進一步提升系統(tǒng)的資源利用率。

一、Hadoop 概述

2004 年谷歌發(fā)表了兩篇論述MapReduce 框架以及Google 文件系統(tǒng)（GFS），Doug Cutting 認識到這兩篇論文內容可以應用于Nutch 中，經(jīng)過他與團隊的研究，最終設計完成一個可以充實兩種網(wǎng)絡狂戰(zhàn)所需的技術，Hadoop。作為一個開源、可擴展、可靠的分布式計算平臺，Hadoop 能夠處理海量的數(shù)據(jù)集。與其他分布式計算相比，Hadoop 的使用更加的方便、簡單且高效。而且Hadoop 還能在一臺很普通的PC 上運行，對PC 硬件的要求不高，因此與其他分布式計算相比，Hadoop 還有著低成本優(yōu)勢。

二、Hadoop 中的調度算法

1.FIFO 調度算法。

通常在Hadoop 系統(tǒng)中作業(yè)進行調度的算法一般會默認為FIFO 算法。在用戶提交相應的作業(yè)之后，系統(tǒng)會根據(jù)左右的優(yōu)先級情況來進行調度，如果作業(yè)優(yōu)先級處于同一等級，就會根據(jù)提交時間按照先后順序來進行調度。如果提交的時間也相同，則根據(jù)作業(yè)名稱的大小來進行調度。與其他算法相比，F(xiàn)IFO 調度算法比較簡單，但對用戶作業(yè)需求差異缺乏考慮，處理作業(yè)時間較長，計算資源被占用的情況下，很容易造成其他用戶作業(yè)不能被及時的處理。相對來講，采用FIFO 調度算法，對系統(tǒng)資源的利用率比較低。

2.Fair 調度算法。

Fair 調度算法的主要目標就是為用戶提供一個能夠共享云平臺集群的方式，從而實現(xiàn)對整個系統(tǒng)資源利用效率的提升。采用Fair 調度算法將相應的資源分配到各個不同的資源池中，不同的用戶擁有不同的資源池，通過這一算法能夠有效保證每個用戶資源池獲得最小的共享資源。如果某一用戶資源池在較長的時間內未能獲得相應的資源，則該資源池會以搶占的方式獲得資源。通過搶占的方式，能夠有效解決FIFO 調度算法中，某一用戶資源池作業(yè)過程中長時間無法獲取資源的問題。

3.Capacity 調度算法。

采用Capacity 調度算法與Fair 調度算法一樣，主要目標都是提升系統(tǒng)資源的利用效率。Capacity 調度算法運行中會將資源根據(jù)一定的比例來分配給不同的作業(yè)隊列，而且會嚴格限制作業(yè)的調度情況，以免出現(xiàn)用戶或作業(yè)隊列獨占資源問題。在核心調度策略以及對內存的限制方面，Capacity 調度算法與Fair 調度算法有著本質的不同。Capacity 調度算法的調度策略中，會首先選擇對資源占用較少的隊列，然后再根據(jù)作業(yè)優(yōu)先級來進行資源分配，同時在對作業(yè)進行選擇時，會充分考慮到不同作業(yè)對內存的需求情況。

三、基于資源感知的作業(yè)調度算法

在Hadoop 調度算法研究中，其核心研究內容是對計算資源分配方式的研究。調度算法設計通常要根據(jù)所采用的計算資源分配方式來設計。有些調度算法設計，主要考慮的是不同作業(yè)的優(yōu)先級。有的則根據(jù)計算節(jié)點的計算能力來設計調度算法。為解決Hadoop 調度算法在異構集群中的計算性能問題，可以設計基于資源感知的作業(yè)調度算法。對異構集群中每個異構節(jié)點的計算性能以及所處理的整個作業(yè)的數(shù)據(jù)量，還有不同作業(yè)計算任務之間的差異性充分考量之后，來設計基于資源感知的作業(yè)調度算法。在這一算法設計中，充分運用了工程化以及系統(tǒng)論思想，符合實際需求以及應用。

首先按照對計算節(jié)點性能、作業(yè)處理數(shù)據(jù)量以及計算任務的差異化感知來計算合理度值。為實現(xiàn)最佳分配可以在基于資源感知的作業(yè)調度算法中，通過輸入相關數(shù)值，經(jīng)過計算后輸出最大合理度值，得到最佳分配方案。基于資源感知的調度算法，可以確定每個輪轉周期中不同作業(yè)所要調度的任務數(shù)，且基于資源感知的調度，可以確保在每一個輪轉周期中實現(xiàn)最優(yōu)的調度方案。通過對基于資源感知調度算法的應用，能夠充分發(fā)揮異構計算集群的整體性能，還能更加高效、快捷的執(zhí)行完所有的作業(yè)，在減少對計算資源開銷的同時，也能獲得用戶認可，提高作用用戶的滿意度。

四、結束語

隨著大數(shù)據(jù)時代的到來，Hadoop 云平臺的應用越來越廣泛。通過對Hadoop中三種調度算法的分析，可以了解到，采用不同的調度算法，對云平臺計算資源的利用方式及效率就會有所不同。當前Hadoop 中三種調度算法在異構集群計算中調度能力不足，因此為進一步提升Hadoop 調度計算能力，可以采用Hadoop 云平臺下基于資源感知的作業(yè)調度算法，可以有效解決異構集群計算調度能力不足問題，并實現(xiàn)對計算資源的利用率的有效提升。