storm平臺下工作節點的內存電壓調控節能策略

蒲勇霖，于炯,，魯亮，卞琛，廖彬，李梓楊,4

?

storm平臺下工作節點的內存電壓調控節能策略

蒲勇霖1，于炯1,2，魯亮2，卞琛2，廖彬3，李梓楊1,4

(1. 新疆大學軟件學院，新疆 烏魯木齊 830008；2. 新疆大學信息科學與工程學院，新疆 烏魯木齊 830046；3. 新疆財經大學統計與信息學院，新疆 烏魯木齊 830012；4. 新疆潤物網絡有限公司，新疆 烏魯木齊 830002)

針對傳統大數據流式計算平臺節能策略并未考慮數據處理及傳輸的實時性問題，首先根據數據流處理的特點與storm集群的結構，建立有向無環圖、實例并行度、任務資源分配與關鍵路徑模型。其次結合拓撲執行關鍵路徑與系統性能的分析，提出一種storm平臺下工作節點的內存電壓調控節能策略(WNDVR-storm, energy-efficient strategy for work node by dram voltage regulation in storm)，該策略針對是否有工作節點位于拓撲執行的非關鍵路徑上設計了2種節能算法。最后根據系統數據處理及傳輸的制約條件確定工作節點CPU使用率與數據傳輸量的閾值，并對選定的工作節點內存電壓做出動態調整。實驗結果表明，該策略能有效降低能耗，且制約條件越小節能效率越高。

大數據；流式計算；storm；關鍵路徑；內存電壓；能耗

1 引言

近年來，大數據相關研究及應用已成為學術界和企業界關注的熱點，其計算模式主要包括流式計算、批量計算、圖計算與交互計算等[1-5]，且在全球范圍內部署了許多大規模的數據中心，其高能耗、高污染與高費用等問題也在日益突出[6]。因此，如何有效地解決新興信息技術帶來的高能耗問題，一直是廣大學者共同探討的焦點。據統計，目前IT領域二氧化碳的排放量占全球比例的2%，預計到2020年這一比例將翻倍[7]。根據美國《紐約時報》報道：全球數據中心每年總用電量超過3 000億kW·h，相當于30座核電廠的總發電量，而巨大的能量卻僅有6%~12%的能源被用于響應用戶的請求[8]。特別是隨著大數據時代的到來，更多的能源被用于海量數據的處理，但其能效不斷降低。因此提高大數據計算過程中的能效，是減少大數據處理能耗成本的有效途徑。

目前，數據處理的實時性是衡量大數據應用性能的一個重要指標，流式計算作為新的高性能、可容錯的分布式計算平臺，存在著能耗過高的問題[9]，已經給產業界帶來了巨大的開銷，因此對流式計算平臺的節能優化是一個亟待解決的問題。無論是出于降低能耗保護環境，還是降低大數據運營成本的目的，研究流式計算的節能策略都有著廣闊的應用前景。

流式計算平臺利用內存讀寫延遲極低的特性，有效地提高了數據的處理效率，但同時伴隨著較高的能耗?，F有的流式大數據處理框架以twitter的storm[10]平臺為代表。storm是一個開源主從式架構的分布式實時計算平臺，其編程模型簡單，數據處理高效，支持多種編譯語言，且支持拓撲級容錯機制，相比于不開源的Puma[11]與社區冷淡的S4[12]，storm的應用場景更為廣泛；相比于目前流行框架spark streaming[13]，storm在數據處理實時性方面效果更佳。此外由于新版本特性的加入、與其他開源項目的無縫融合以及更多庫的支持，storm逐步成為學術界和產業界新的研究熱點，被稱為“實時處理領域的hadoop”[14]。

一個流式計算拓撲及其所包含的一系列任務可通過有向無環圖（DAG, directed acyclic graph）表示，有向無環圖中的一個頂點代表系統某一個特定任務，一條邊表示任務之間存在的依賴關系。當數據流到來后，任務直接在其被調度到的工作節點內存中完成，僅極少部分數據被保存至硬盤。storm平臺在進行數據處理及傳輸時，將有向無環圖中的每一個特定任務均勻地分配到每一個工作節點的工作進程中，然而storm平臺并未考慮不同工作節點的性能和能耗差異及其帶來的工作節點之間的網絡傳輸開銷和節點內部進程與線程間的通信開銷，忽略了能耗效率問題，導致能效低下。針對storm平臺存在的能效過低的問題，本文主要貢獻如下。

1) 通過分析storm集群拓撲及節點結構，提出有向無環圖、實例并行度、任務資源分配及拓撲關鍵路徑的定義，用于表示數據流在系統內部的工作狀態確定集群系統的拓撲情況，為節能算法研究提供理論基礎。

2) 通過對拓撲關鍵路徑進行分析，確定是否存在拓撲非關鍵路徑工作節點，從而提出關鍵路徑節能算法（DVRCP, DRAM voltage regulation on critical path）與非關鍵路徑節能算法（DVRNP, DRAM voltage regulation on non-critical path），并證明2種算法內存電壓的調控范圍。此外根據數據處理限制條件對系統工作節點CPU使用率與數據傳輸量的閾值進行判別，并通過數據流的處理及傳輸確定閾值的4種情況，使得系統在滿足網絡帶寬、內存和CPU約束的前提下得到系統能耗最低值，并為工作節點的內存電壓調控節能策略的設計提供算法支撐；

3) 通過對系統性能進行評估，確定算法的可行性，提出storm平臺下工作節點的內存電壓調控節能策略（WNDVR-storm, energy-efficient strategy for work node by DRAM voltage regulation in storm），使系統在拓撲執行過程中根據工作節點真實情況確定系統工作節點數據處理閾值，動態調節內存電壓以減少系統中的能耗損失。實驗通過4個基準測試從不同的角度證明了算法有效性。

2 相關工作

現有針對大規模的數據處理可歸為3類：流式數據處理模式、高性能批量數據處理模式以及二者混合的處理模式。其中，高性能批量數據處理模式主要以hadoop為核心進行算法的改進，通常主要對框架內在區域進行切割劃分，以休眠部分磁盤區域或通過動態組件失活（dynamic component deactivation）在一段時間內關閉硬件的部分組件達到節能的目的[15~17]?；旌咸幚砟Ｊ街饕訫apReduce為核心進行算法的改進，主要以任務完成后關閉相關節點[18]、作業調度[19]以及配置參數優化[20]等提高能源利用率來達到節能的效果[21~24]。這2種方案在一定程度上解決了大數據處理的能耗問題，但無法直接作用于現有流式計算平臺。針對這一問題現有國內外專家學者提出了針對流式計算性能優化與能耗節約方面的策略。文獻[25]與文獻[26]總結了在大數據流式計算平臺中針對大數據呈現出的實時性、突發性、易失性、無限性、無序性等特征，給出理想的大數據流式計算平臺在數據傳輸、系統框架優化以及應用接口等方面的關鍵核心技術。此外，類比現有流式計算框架性能與能耗的優缺點，從系統容錯、能耗與性能等方面闡明了已有算法面臨的挑戰。為更好地解決系統能耗與性能的問題，現有學者提出了基于硬件[27]與軟件[28]兩方面的節能策略并進行研究。

硬件節能策略主要對系統動態電壓和電源進行縮放管理，替換高能耗的電子元件，以達到節能的目的。其方法操作簡單、效果明顯，但在大規模的集群部署中存在成本過高的問題。軟件節能策略是現在研究的熱點，現階段軟件節能策略主要從與虛擬機結合的角度出發，通過對虛擬機進行部署調整[29-30]考慮數據不可控性以及減少網絡數據傳輸開銷來達到節能的目的。文獻[31]針對虛擬化數據中心（VNetDC, virtualized networked data center），提出了云計算SaaS計算模型下針對實時流式應用的最小化能耗調度策略。該研究充分考慮到大數據傳輸不穩定、不可控以及實時流數據量大等特性，在響應時間約束條件不變的前提下，最小化計算與網絡傳輸的總能耗。文獻[9]提出大數據流式計算環境下的實時節能資源調度模型（re-stream），通過建立系統CPU利用率、能耗以及響應時間之間的數學關系，并運用分布式流式數據計算理論，定義了整個拓撲執行的關鍵路徑，綜合運用拓撲非關鍵路徑上能耗感知的任務整合策略和拓撲關鍵路徑上性能感知的任務調度策略，使響應時間和能耗均達到最低值。文獻[32]從有向無環圖優化的角度出發，提出彈性自適應性數據流圖模型，并使用該策略進行合理的資源分配，以尋求最小化響應時間和最大化吞吐量，從側面降低了系統能耗。綜上所述，以上研究都是從滿足流式計算的特性出發提出合理的流式計算節能模型。但針對storm平臺框架的節能優化，在減少通信開銷和降低能耗等方面仍存在很高的探索價值。

針對流式計算框架的節能優化策略，已有部分學者進行了相應的研究。文獻[33]提出一種帶有能耗感知的任務整合（ETC, optimizing energy consumption with task consolidation in cloud）技術，該技術的實行通過限制流式計算系統中CPU的使用率，使其低于額定閾值，整合與鞏固了虛擬集群間的任務，從而實現了能源方面的任務整合，降低了系統能耗。然而，任務在集群間處理及傳輸時具有較高的網絡延遲，且網絡傳輸的開銷較大。文獻[34]提出一種虛擬機調度的算法，建立每個虛擬機的能耗評估模型，該策略根據流式計算系統提供的不同數據計算資源，評估不同虛擬機間的能耗，且該實驗方案通過xen虛擬化系統實現。但該策略在理想狀態下完成，缺乏實際應用場景的實驗基礎。

文獻[35]提出基于流式計算的2種副本調度節能算法——性能與能量均衡副本（PEBD, performance-energy balanced duplication）算法和能量感知副本（EAD, energy-aware duplication）算法，其節能策略的核心思想是當系統內部不執行相應的數據調度時，立刻降低系統的電壓。該策略既保證了系統內任務快速執行，同時滿足處理相同拓撲關鍵路徑的任務，系統內部能耗不會有顯著提高。其中副本可以避免因延遲而帶來的系統性能的降低。該策略有2個明顯的優點：1）能耗所帶來的任務副本可以減少能源的互聯，縮短了任務處理的周期；2）提高了整個系統的性能。然而該策略存在部署難度較高、適用平臺相對單一的問題。

文獻[36]提出了面向storm平臺的實時數據節能策略（re-storm），該策略建立CPU占用率、系統響應時間模型與能耗之間的數學模型，并根據storm平臺實時性的特點定義整個拓撲的關鍵路徑。通過運用拓撲非關鍵路徑上的能耗感知任務整合策略，使得部分位于拓撲非關鍵路徑上的任務分配到拓撲關鍵路徑上，從而降低了系統整體能耗。該策略很好地解決storm平臺中的拓撲非關鍵路徑上任務處理能耗問題，但仍有以下幾點有待優化：1）算法有效降低系統整體的能耗，但是算法的時間復雜度顯著上升，對系統性能造成一定的影響；2）該策略僅考慮CPU能耗情況，但對別的集群部件能耗情況并未提及；3）該策略使用的為自己定義的拓撲訓練集，并非公認已有的拓撲，因此缺乏一定的通用性。

本文與上述研究的不同之處在于以下3點。

1) 文獻[32-35]均是通過對系統拓撲進行分析，但并未對如CPU使用率、數據的傳輸量等已有變量進行能耗建模的研究。本文從CPU使用率、數據的傳輸量與內存電壓3個方面考慮系統的真實情況并建立了相關模型，從而確定工作節點在不同狀態下合適的閾值選擇，確保系統在不同外在因素下都可以滿足節能策略的執行要求。

2) 文獻[36]雖然提及了計算拓撲成本的要求，但并未對計算拓撲成本進行進一步的分析建模，本文通過對計算成本進行定義，驗證storm集群對數據進行處理及傳輸產生的必要開銷，降低已有算法忽略的部分時間開銷。

3) 實驗基于Intel公司發布在GitHub上的storm-benchmark-master基準測試[37]，而非作者自己定義的拓撲，因此更具有代表性，此外，與CPU的動態電壓調控節能策略（DVFS, dynamic voltage frequency scaling）[38]進行對比，驗證算法的可行性。

3 相關模型及定義

本節首先對storm集群的拓撲結構和任務并行度進行定義，并在此基礎上對拓撲時間計算成本、拓撲關鍵路徑工作節點的選擇判斷、工作節點內存電壓取值范圍與節點工作狀況4個方面進行了定義，根據以上分析確定工作節點內存帶來的能耗問題。

3.1 storm的相關模型

WNDVR-storm在處理數據的過程中，根據單位時間內數據處理及傳輸的元組數量確定系統工作節點是否位于拓撲執行的關鍵路徑上，由系統的資源占用情況確定工作節點內存電壓的取值范圍。在滿足系統數據處理及傳輸的約束條件下，通過系統工作節點數據傳輸量與CPU使用率確定其工作節點閾值，動態調節系統工作節點的內存電壓[39-40]，減少原系統在處理數據時因高電壓而產生的無用功耗，進而降低系統能耗。由此，可建立有向無環圖模型表示storm集群數據處理與工作節點的關系。

圖1 數據處理有向無環圖

圖2 實例并行度模型

圖3 任務資源分配模型

3.2 拓撲關鍵路徑與拓撲關鍵路徑總成本

本節主要在研究storm平臺的基礎上，根據定義2對拓撲關鍵路徑總成本進行分析，通過研究發現storm集群處理數據對拓撲計算成本帶來較大的影響。

將式(1)代入式(2)可得：

設元組a傳輸的最遲開始時間為()，元組在拓撲上最遲完成時間為()，最遲開始時間()可以通過遍歷有向無環圖計算但方向相反，且存在最早開始時間等于最遲開始時間，為

在不引起拓撲關鍵路徑時間延誤的前提下，元組a傳輸的最遲開始時間，為

其中，1為源自數據流A經過的有向邊1的集合。

其中，2為指向數據流A經過的有向邊1的集合。

圖4 拓撲執行關鍵路徑的數據傳輸及處理情況

由線程計算成本與線程間通信成本可知，拓撲總的成本為拓撲關鍵路徑總成本W。令拓撲關鍵路徑上所有線程的集合為E={e1,e2,…,e},e∈E，線程之間總通信成本為B={b1,c2,b2,c3,…,b(p?1),cp},b,cj∈B，則拓撲關鍵路徑總成本W為

將所有線程計算成本與線程間通信成本代入式(13)，得到拓撲關鍵路徑總成本W為

對于單個元組，將式(9)與(11)代入式(13)，拓撲關鍵路徑總成本W為

3.3 拓撲非關鍵路徑工作節點內存電壓調控模型

根據3.2節提出的拓撲非關鍵路徑節能算法，3.3節通過建立拓撲非關鍵路徑工作節點內存電壓調控模型，確定了拓撲執行非關鍵路徑工作節點內存電壓的取值范圍。此外，通過定義數據處理及傳輸約束條件確定了工作節點CPU使用率與數據傳輸量的閾值，動態調控系統內存電壓。

storm平臺能耗主要體現在CPU使用率、網絡帶寬與內存3個方面，其中CPU使用率的能耗最高，內存其次而網絡帶寬的能耗最低。但是動態調節CPU電壓降低能耗的策略[41]已經實現，如通過動態調節CPU頻率高低來達到節能的效果[42]等，已廣泛應用到IT行業的不同領域中。然而通過調節內存電壓來達到節能效果的策略還不成熟，系統內存常電壓存在額定值。

此外，針對工作節點是否存在拓撲執行的非關鍵路徑上設計了2種節能算法，當工作節點存在拓撲執行的非關鍵路徑上時，系統實施拓撲非關鍵路徑節能算法，且拓撲執行的非關鍵路徑節能算法不改變系統性能；當工作節點不存在拓撲執行的非關鍵路徑上時，系統實施關鍵路徑節能算法，且關鍵路徑節能算法對系統性能造成一定的影響需要進行相應的評估。

此外，通過DVRNP算法，根據5 min內系統處理及傳輸數據的采樣結果，確定工作節點是否在拓撲執行的非關鍵路徑工作節點，并計算所有拓撲執行的非關鍵路徑工作節點內存電壓的取值范圍。

3.4 拓撲關鍵路徑工作節點內存電壓調控模型

根據3.2節提出的關鍵路徑節能算法，3.4節通過定義性耗比確定了系統性能與能耗之間的關系。此外，根據性耗比建立了拓撲關鍵路徑工作節點內存電壓調控模型，確定了系統電壓最低值。

節能算法以不改變storm集群性能為前提，而storm集群的性能主要體現在元組在拓撲執行關鍵路徑上的處理及傳輸時間，因此在storm集群下執行節能算法需要以不影響元組在拓撲執行關鍵路徑上的處理及傳輸時間為前提。

定理1 在storm集群中，元組在拓撲執行關鍵路徑上的處理及傳輸時間與系統總能耗的性耗比為

其中，C是由多次實驗并驗證得到的性耗比誤差參數，存在取值范圍。

因此，有

此外，通過DVRCP算法，根據5 min內系統處理及傳輸數據的采樣結果，確定工作節點是否在拓撲執行的關鍵路徑上，并計算所有拓撲執行的關鍵路徑工作節點內存電壓的取值范圍。

4 工作節點內存電壓調控節能策略

本章主要介紹storm平臺下工作節點的內存電壓調控節能策略，該策略在不影響系統性能的前提下，根據系統工作節點數據流的處理及傳輸情況對系統工作節點內存電壓進行調控以達到節能的目的。節能算法流程如圖5所示。算法主要分為以下幾個步驟。

步驟1 通過采樣計算原系統線程與信道的時間成本。

步驟2 計算拓撲執行的關鍵路徑。

步驟3 確定拓撲關鍵路徑工作節點與拓撲非關鍵路徑工作節點。

步驟4 確定工作節點N的閾值。

步驟5 根據不同的節能算法計算系統總能耗。

圖5 節能算法流程

4.1 閾值調控模型

根據第3節確定storm集群基本的數據傳輸及處理情況，由于storm平臺下工作節點的內存電壓調控節能策略針對是否有工作節點位于拓撲執行的非關鍵路徑上設計了2種節能算法，并根據不同的節能算法計算工作節點內存電壓的取值范圍。此外，由storm集群數據處理及傳輸情況確定工作節點CPU使用率與數據傳輸量的閾值，動態調節內存電壓來達到節能的目的。該算法只需根據3.3節與3.4節確定工作節點內存電壓的取值范圍，并由定義5對工作節點CPU使用率與數據傳輸量的閾值進行選擇，動態調控系統內存電壓，其過程不會對storm集群的實時性造成較大的影響，算法的基本流程如下所示。

算法1對拓撲執行非關鍵路徑上工作節點的內存電壓的界限進行定義，并根據工作節點的CPU使用率與數據傳輸量定義相應的閾值，以對工作節點內存電壓進行動態調控，確定storm集群不同狀態下的功率值。

算法1 非關鍵路徑節能算法

輸入

/*拓撲執行關鍵路徑上的工作節點*/

輸出

系統的功率，根據工作節點CPU使用率與數據傳輸量的閾值判斷系統的功率。

3) end while

/*拓撲非關鍵路徑上工作節點的內存電壓上升*/

6) end if

20) end switch

根據3.3節確定拓撲執行非關鍵路徑上工作節點的內存電壓的最小值，而內存常電壓額定值為最大值，算法的1)~6)行根據元組在拓撲執行關鍵路徑上的處理及傳輸時間不變的前提下，計算拓撲執行非關鍵路徑上工作節點的內存電壓的最小值；由定義5判斷相關參數是否滿足設定的閾值，動態調節拓撲非關鍵路徑上工作節點內存電壓，確定此時系統的功率。7)~20)行通過系統數據處理及傳輸的約束條件確定合適的閾值：當滿足1時，拓撲非關鍵路徑上工作節點內存電壓為最低值，系統功率為1；當滿足2時，動態調控拓撲非關鍵路徑上工作節點內存電壓，系統功率為2；當滿足3時，動態調控拓撲非關鍵路徑上工作節點內存電壓，系統功率為3；當滿足4時，拓撲非關鍵路徑上工作節點內存常電壓為額定值，系統功率為4。

算法2對拓撲執行關鍵路徑上工作節點的內存電壓的界限進行定義，并根據工作節點的CPU使用率與數據傳輸量定義相應的閾值，以對工作節點內存電壓進行動態的調控，確定storm集群不同狀態下的功率值。

算法2 關鍵路徑節能算法

輸入

輸出

系統的功率，根據工作節點CPU使用率與數據傳輸量的閾值判斷系統的功率。

3) end while

6) end if

20) end switch

4.2 工作節點內存電壓調控節能策略

能耗和功耗都是系統能量消耗的量度，但其意義不同。工作節點內存電壓調控節能策略是為了降低單位時間內系統處理及傳輸數據的能耗。能耗是系統功率與運行時間的乘積（單位為J）。計算式為[43]

由此可見，能耗反映的是一段時間內系統能量消耗的總和。已知原系統能耗包括內存能耗、CPU能耗、網絡帶寬能耗與磁盤能耗等，因此，原系統的能耗oec為

其中，E為系統內存的能耗，CPU為系統CPU進行數據處理的能耗，NET為數據傳輸網絡帶寬的能耗，HDD為系統磁盤的能耗，other為其他外在因素帶來的能耗。

數據流通過I/O讀/寫入內存堆棧區后，通過內存尋址將內存中的數據提交到主控節點nimbus，根據主控節點的分配任務策略，在系統數據處理及傳輸的約束條件下進行閾值判斷，而后通過工作節點對數據進行處理計算，并經過內存中spout/Bolt實現數據的處理及傳輸，此外，數據處理及傳輸的閾值由系統性能與能耗共同決定。根據數據流的處理及傳輸情況對系統工作節點內存電壓進行動態調控，高于工作節點CPU使用率與數據傳輸量的閾值內存電壓上升，低于工作節點CPU使用率與數據傳輸量的閾值內存電壓下降，從而確定系統的功率，此過程在內存堆棧區完成。此外，系統工作節點內存電壓最低值由3.3節與3.4節決定，系統工作節點內存常電壓最高值為額定值，經計算后的數據通過bolt在內存中進行傳輸直到將數據推進內存全局變量區，該過程會對數據進行存取且會產生時延。此時系統的能耗Ec為

其中，W為storm集群進行數據處理及傳輸時間的必要成本，將式(15)代入式(28)，根據不同的節能算法可分兩種情況計算系統節約的能耗，如式(29)所示。

其中，式(29)的參數與式(15)、式(28)相同，式(29)為數據流經內存后系統節約的總能耗。經過閾值判別后的數據流通過系統工作節點進行處理，數據處理的相關算法如下所示。

算法3 數據的傳輸及處理算法

輸入

輸出

全局變量區，處理后的數據進入內存全局變量區。

/*如果系統實施非關鍵路徑節能算法*/

/*此時能耗為1*/

7) else

/*此時能耗為2*/

9) end if

/*構造數據流模型*/

/*獲得數據文件中的一條數據流*/

/*內存堆棧區推進為內存全局變量區*/

13) end for

算法3為系統進行工作節點內存電壓調控節能策略的真實情況，1)~4)行為數據信息選擇獲取及處理數據的總時間，5)~9)行為判斷不同節能算法產生的能耗，10)~13)行為對系統數據流模型的構建及數據處理環境的改變。

4.3 算法評估

算法3主要表示系統內數據的傳輸及處理產生的能耗，根據工作節點CPU使用率與數據傳輸量的閾值確定數據的傳輸路徑，與原系統時間復雜度相同，為

工作節點內存電壓調控節能策略的時間開銷主要取決于算法1和算法2的時間復雜度，這兩個算法不應過于復雜而影響整個系統的性能，因此下文將分析算法1和算法2的執行開銷。

設執行工作節點內存電壓調控節能策略的時間復雜度為

其中，()為系統執行算法1或算法2的時間復雜度，()為系統執行算法3的時間復雜度。算法1主要對拓撲非關鍵路徑工作節點內存電壓取值范圍進行選擇判別，系統性能并未發生改變，其中DVRNP算法在拓撲關鍵路徑上執行的時間復雜度與原系統相同為()，在拓撲非關鍵路徑上執行的時間復雜度為

其中，為根據系統數據處理總時間內存電壓改變的次數，內存額定常電壓為1.5 V，則內存電壓改變的次數不超過150次，對系統性能影響很小。

算法2主要計算拓撲關鍵路徑工作節點內存電壓取值范圍，系統性能會發生改變。則拓撲執行關鍵路徑工作節點電壓調控的時間復雜度為

其中，為根據系統性耗比電壓改變的次數，為根據系統能耗電壓改變的次數，則內存電壓改變次數不超過22 500次，這對系統性能造成一定的影響。

此時，系統實施DVRNP算法的時間復雜度為

系統實施DVRCP算法的時間復雜度為

工作節點內存電壓調控節能策略分為DVRNP算法與DVRCP算法，其中實施DVRNP算法系統性能不存在影響，在這里不做考慮。系統實施DVRCP算法能耗與性能之間存在一定的關系，即性耗比。假設系統中運行50 000元組的數據，原系統基準測試完全處理50 000 元組數據用時1 s，能耗為6.32 kJ，常數C為0.9；工作節點內存電壓調控節能策略后系統運行基準測試完全處理50 000 元組數據用時1.05 s，能耗為4.37 kJ，常數C為0.7。原系統性耗比為0.007 12，實施策略后系統性耗比為0.00 826，由此可見，實施DVRCP算法后的整體性能優于原系統，因此工作節點內存電壓調控策略在時間復雜度上是完全可行的。

4.4 算法實現與部署

要在storm集群中部署工作節點內存電壓調控節能策略，需要在storm集群中獲取storm UI REST API相關信息，其中可通過/api/v1/topology獲得拓撲的所有信息，包括線程到工作節點的映射關系及各類參數的配置信息。此外，可通過/api/v1/cluster獲得當前系統的各類狀態信息，包括線程、進程與節點間的所有通信開銷及映射關系。對于拓撲中各線程的CPU資源使用信息，可通過Java API函數中ThreadMXBean類的getThreadCpuTime(long id)方法獲得，其中系統ID為線程的ID；對于實驗中數據傳輸頻率及所傳數據元組的多少則通過./ storm UI > /dev/null 2>&1 &命令檢測，其中顯示core表示該命令執行成功，傳輸結果通過累加獲取，整個過程在/bin目錄下完成。此外，CPU使用率與數據傳輸頻率的數據通過nmon[44]軟件獲取，且操作系統中數據處理信息與硬件相關參數可通過/proc目錄下相關文件獲取。代碼編譯完成后，通過打jar分組至主控節點nimbus的storm_HOME/lib目錄下，并在/conf/storm.yaml中配置好相關參數后運行。改進后的storm架構如圖6所示。

對圖6改進后的storm架構中的相關名詞進行解釋。

1) 監控器（control monitor）：在一段時間內，收集各線程占用的內存，網絡帶寬和CPU數據處理、傳輸時間及各線程之間的數據流大小。

2) 數據庫（database）：存儲任務分配信息和監控器傳來的數據處理及傳輸時間信息，并實時更新。

3) 自定義調節器（custom regulator）：在自定義調節器中確定系統工作節點內存電壓的調控范圍，并根據系統數據處理及傳輸約束條件對工作節點CPU使用率與數據傳輸量的閾值進行判別，以調節合適的內存電壓。

圖6 改進后的storm架構

5 實驗及結果分析

搭建的storm集群有一個主控節點nimbus、16個工作節點supervisor與3個關聯節點zookeeper，且整個集群在無其他任務運行的條件下進行實驗。

本文實驗目的為驗證工作節點內存電壓調控節能策略的有效性，其主要的測試標準有集群的吞吐量、能耗、數據的處理響應時間等。實驗算法采用WordCount、Sol、RollingSort與RollingCount[37]作為基準測試用例，最后對實驗結果進行分析。

5.1 實驗環境

為證明WNDVR-storm的有效性，實驗需要的storm集群部署在19臺普通PC機上，且每臺PC機的內存統一為4 GB。根據不同節點的運行情況，storm集群節點及數據處理環境的配置參數如表1所示。

表1 storm環境配置參數

其中，控制臺節點進程UI、主控節點進程nimbus、關聯節點進程zookeeper1（leader）運行在同一臺PC機上，工作節點進程supervisor 1~16與關聯節點進程zookeeper2、3（follower）分別部署在18臺不同PC機上，此外，根據不同的節點類型選定3臺PC機進行nmon測試監控，記錄CPU使用率、數據傳輸頻率及內存占用率等。整個storm集群內各節點硬件參數配置相同，現記錄storm集群內處理1 GB數據，PC機配置參數如表2所示。

表2 storm集群內PC機配置參數

為全面測試工作節點內存電壓調控節能策略的有效性，實驗選取4組不同基準測試用例對該策略進行測試，分別是網絡帶寬敏感型（network- sensitive）的Sol、CPU敏感型（CPU-sensitive）的WordCount、內存敏感型（memory-sensitive）的RollingSort以及storm真實場景下的應用RollingCount，各基準測試運行時工作進程（worker）的數量與當前所需的工作節點一一對應，其余參數保留其默認配置，具體基準測試參數配置如表3所示。

其中，設置topology.workers為16，表示各基準測試運行時僅在一個工作節點內分配一個工作進程；設置topology.acker.executors為16，表示保證數據流的可靠傳輸，各工作進程除了運行分配給它的線程之外，還額外運行一個Acker Bolt實例；此外，設置的每個message.size等于一個元組的大小。

此外，內存電壓取值范圍根據3.3節與3.4節不同工作節點內存電壓調控模型確定，實驗通過二分法測得位于拓撲執行關鍵路徑上的工作節點的內存電壓調控選擇在1.20~1.50 V不斷改變，位于拓撲執行非關鍵路徑上的工作節點的內存電壓調控選擇在1.32~1.50 V不斷改變。在2 min內不停地傳輸元組，記錄單機內存不同狀態的能耗如表4所示。

表3 基準測試參數配置

表4 DDR3 1066內存能耗的數據測量值

5.2 工作節點CPU使用率與數據傳輸量的閾值選擇

根據4.1節實驗環境參數設置完成以下實驗，由于工作節點內存電壓調控節能策略使用storm平臺，因此在節能的同時需要保持計算的效率，即不能影響系統的性能。為便于實驗檢測，根據4種基準測試用例設置metrics.poll的值為5 000 ms，metrics.time的值為300 000 ms，即每組實驗每5 s刷新一次數據，共統計5 min。

根據上述條件，現有storm集群存在19臺普通PC機，通過nmon軟件檢測5 min內storm集群處理一份數據文件，統計系統CPU使用率與數據傳輸量的變化，為后續實驗奠定基礎。

圖7 原系統執行RollingCount后，數據處理及傳輸約束條件

通過storm UI可以檢測出整個storm集群存在2個拓撲執行非關鍵路徑的工作節點與14個拓撲執行關鍵路徑的工作節點，后續的實驗以此為前提，圖7系統執行RollingCount后數據處理及傳輸約束條件。由圖7可以看出，計算后CPU使用率的平均值約為62.8%，數據傳輸量的平均值約為49 632 tuple/s。同理可得，系統執行RollingSort后，CPU使用率的平均值約為59.6%，數據傳輸量的平均值約為46 528 tuple/s；系統執行WordCount后，CPU的使用率的平均值約為86.4%，數據傳輸量的平均值約為97 329 tuple/s，系統執行Sol后，CPU的使用率的平均值約為23.2%，數據傳輸量的平均值約為98 361 tuple/s?，F通過表1~表3中的環境配置相關參數進行24次實驗。根據圖7系統數據處理及傳輸約束條件，分別對CPU敏感型的WordCount、網絡帶寬敏感型的Sol與內存敏感型的RollingSort進行測試，且每個基準測試進行4次實驗。根據系統數據處理及傳輸約束條件平均值，由不同工作節點內存電壓調控節能算法確定工作節點的不同閾值，并對實驗結果進行對比分析。該實驗通過storm UI觀測工作節點數據處理情況，根據數據傳輸量、CPU使用率與內存功率來確定合適工作節點CPU使用率與數據傳輸量的閾值，實驗結果如圖8所示。

從實驗結果中可以看出，storm集群的功率隨工作節點CPU使用率與數據傳輸量選定閾值的不同而改變。由圖8的6組實驗測試可知，實驗組test11、test21、test31、test41、test51與test61為原系統不進行節能算法且不改變工作節點CPU使用率與數據傳輸量的閾值，在50 s之前系統數據處理的功率逐步上升，且穩定在50 s左右，其原因為數據傳輸速率逐步穩定，而數據傳輸及處理在不同的工作節點上的功率不相同。但對于不同的基準測試，系統根據不同的閾值情況，通過實施不同的節能算法，使功率明顯低于原系統，具體計算結果在表5中進行統計。

由表5可知，系統執行DVRCP算法后的功率低于執行DVRNP算法后的功率。且根據實驗test13、test23、test33、test43、test53與test63的結果可知，系統工作節點CPU使用率與數據傳輸量的最佳閾值由實驗前期采樣結果以及實驗選擇不同的拓撲決定。因此，后續實驗工作節點CPU使用率與數據傳輸量的閾值根據實驗前期采樣結果與選擇的不同拓撲訓練集決定。

5.3 工作節點內存電壓調控節能策略實驗結果分析

根據工作節點是否在拓撲執行的關鍵路徑上，工作節點內存電壓調控節能策略可分為2種節能算法，并根據數據處理限制條件對工作節點CPU使用率與數據傳輸量的閾值進行判別，從而動態調節系統不同電壓，當系統數據處理高于工作節點CPU使用率與數據傳輸量的閾值時內存電壓上升，當系統數據處理低于工作節點CPU使用率與數據傳輸量的閾值時內存電壓下降?，F通過不同的基準測試對策略進行測試，并通過對比CPU的動態電壓調控節能策略[38]，驗證算法的可行性。根據5.2節實驗test13、test23、test33、test43、test53與test63選擇的閾值，通過測試5 min內系統不停地傳輸元組的能耗，對系統進行CPU敏感型的WordCount、內存敏感型的RollingSort以及網絡帶寬敏感型的Sol共3組不同的基準測試，其中基準測試WordCount與Sol為理想狀態下系統的能耗情況，RollingSort為整個系統工作節點內存環境的能耗情況。圖9展示了0~5 min內系統在3種基準測試下的能耗情況。

圖8 3種不同基準測試的工作節點CPU使用率與數據傳輸量的閾值情況

表5 兩種節能算法下系統的功率情況

由圖9可以看出，隨著時間的增加，系統的能耗不斷上升，且系統實施3種節能算法后的能耗明顯小于原系統，而DVFS算法明顯優于其他2種節能算法。但DVFS算法已廣泛應用到IT行業的不同領域，而內存的電壓調控節能策略還不成熟，且CPU的工作電壓遠高于內存的工作電壓，因此DVFS算法節能效果更明顯。對于DVRNP算法與DVRCP算法，由圖9(a) 的WordCount測試與圖9(b)的Sol測試表明，在220 s前DVRNP算法的節能效果優于DVRCP算法的節能效果，根據3.4節可知，DVRCP算法受系統元組在拓撲執行關鍵路徑上的處理及傳輸時間的影響，因此220 s前DVRNP算法的節能效果比較好；在220 s后系統執行DVRCP算法的節能效果優于DVRNP算法的節能效果，根據5.2節采樣確定storm集群存在2個拓撲執行的非關鍵路徑工作節點與14個拓撲執行的關鍵路徑工作節點，因此220 s后DVRCP算法的節能效果比較好。而圖9(b) RollingSort測試的能耗相對較高的原因為包含了如系統必要時間計算成本W等物理因素，在180 s后系統的數據處理及傳輸基本穩定，系統能耗逐步達到平衡。

圖9 系統在3種基準測試下的能耗情況

RollingCount是storm平臺下的一個大數據典型基準測試，其特點為持續在內存中遵循某個統計指令（如同一件商品的出現次數）計算，然后每隔一段時間輸出實時計算后的結果，可以廣泛應用到各類需要大數據實時計算的場景，例如實時熱門廣告、商品、微博等的統計。本實驗采用RollingCount對系統的真實功率進行測試，首先根據5.2節對RollingCount基準測試的閾值進行選擇，圖10為0~5 min內對storm集群19臺PC機采用RollingCount測試的功率情況。

圖10 系統執行RollingCount測試后的功率情況

由圖10可以看出，系統工作節點CPU使用率與數據傳輸量的閾值在CPU使用率為65%、數據處理量為50 000 tuple/s的情況下，2種算法的節能效果最好，且系統執行DVRNP算法與DVRCP算法后的功率明顯小于原系統。因此后續系統執行RollingCount測試的實驗工作節點CPU使用率與數據傳輸量的閾值以CPU使用率65%、數據處理量50 000 tuple/s為準。由圖10計算，系統執行DVRNP算法的功率的平均值為924.2 W，系統執行DVRCP算法的功率的平均值為791.1W，因此系統執行DVRCP算法的功率低于系統執行DVRNP算法的功率。為計算系統的能耗，需對系統不同時期的能耗結果進行累加，現計算19臺PC機5min內的能耗情況，計算結果如圖11所示。

圖11 系統執行RollingCount測試后計算系統的能耗結果

由圖11可以看出，原系統能耗基本不受系統數據處理及傳輸的影響，而系統實施3種不同的節能算法后，能耗增加比率也在隨著時間的變化不斷發生改變，而CPU的工作電壓遠高于內存的工作電壓，故DVFS算法節能效果優于其他2種算法，但調節CPU的電壓容易對系統的性能造成影響，不適合storm系統的運行。對于DVRNP算法與DVRCP算法而言，在180 s之前，數據傳輸量較少，相對觸發CPU使用率閾值的可能較低，系統工作節點內存電壓普遍較低，將系統實施DVRNP算法與DVRCP算法分別與原系統能耗作對比，系統實施DVRNP算法將原系統的能耗降低到54.3%，系統實施DVRCP算法將原系統的能耗降低到53.0%；在180 s之后，數據傳輸量超過系統閾值，且觸發CPU使用率閾值的可能性較高，系統工作節點內存電壓增大，將系統實施DVRNP算法與DVRCP算法分別與原系統能耗作對比，系統實施DVRNP算法將處理能耗降低到原系統的97.1%，系統實施DVRCP算法將處理能耗降低到原系統的93.3%。因此，現統計系統5 min內處理及傳輸數據的總能耗，其中原系統總能耗為7 170.3 kJ，實施DVRNP算法后的系統能耗為5 212.7 kJ，實施DVRCP算法后的系統能耗為4 656.8 kJ。系統實施DVRNP算法與DVRCP算法分別與原系統能耗作對比，系統實施DVRNP算法將原系統的能耗降低了28.5%，系統實施DVRCP算法將原系統的能耗降低了35.1%。綜上所述，工作節點內存電壓調控節能策略取得了比較理想的效果。

由于缺少更多的物理節點，實驗通過虛擬機建立更多的虛擬節點以評估算法的局限性，實驗分別設置36、56、76和96個工作節點與原系統16個工作節點進行比對，以能耗降低的百分比為評估指標，實驗結果如圖12所示。

圖12 實施2種算法系統的節能效果

圖12為理想狀態下實施2種算法系統的節能效果，由圖12可知，系統實施2種節能算法并未隨著工作節點的增加而產生影響。但在理想狀態下并未考慮數據的處理及傳輸速率等因素，現根據真實節點數量的增加情況，計算數據的處理及傳輸速率，具體的計算結果如圖13所示。

圖13 系統實施2種算法對系統數據的處理及傳輸速率的影響

由圖13可知，實施DVRNP算法對系統數據的處理及傳輸速率基本不會產生影響，但實施DVRCP算法會隨著集群節點數的增加，而使系統數據的處理速率降低，工作節點間數據傳輸速率下降，系統性能下降，且數據的處理及傳輸速率降低會影響系統整體的通信開銷，由此，根據圖13可得出DVRCP算法的理論函數為

其中，V為數據的處理及傳輸速率，N為節點數，代入圖13的數據，化簡得到式(37)。

由此可知，實施DVRCP算法隨著工作節點數量的增加會對系統性能等因素造成一定的影響，因此工作節點內存電壓調控節能策略存在一定的局限性。

工作節點內存電壓調控節能策略應該以保證性能為前提，其中DVRNP算法對系統性能沒有影響，在此不做分析。然而DVRCP算法對系統性能造成一定的影響，其主要的影響為元組在拓撲執行關鍵路徑上的處理及傳輸時間增加，因此需要對DVRCP算法進行評估，評估的方法為選用性耗比，圖14為5 min內系統性耗比的變化。

圖14 性耗比

根據3.4節可以看出，實施DVRCP算法后系統的性耗比與原系統性耗比基本相等，現由圖14測試16個工作節點的結果可知，系統實施DVRCP算法對storm集群的性耗比并不構成影響，但是元組在拓撲執行關鍵路徑上的處理及傳輸時間與系統總能耗乘機的倒數存在誤差，實驗中不同服務器之間的性耗比并不相同，經實驗反復測試，獲得實驗存在誤差常數C在[0.75, 1.34]之間。原系統16臺服務器的平均性耗比為0.073 75；實施DVRCP算法后系統16臺服務器的平均性耗比為0.081 5。由此，可見DVRCP算法對系統的性能不構成影響，因此DVRCP算法是完全可行的。

6 結束語

隨著大數據技術的不斷發展，各種流式計算平臺和系統不斷產生，storm作為大數據流式計算的主流平臺，已逐漸在學術界和產業界引起廣泛關注，然而storm系統并未考慮因自身性能帶來的能耗問題。近年來現有研究改進了storm數據調度存在的某些問題，但依舊存在系統能耗過高以及應用場景單一等問題。針對上述問題，本文提出了WNDVR-storm，即針對工作節點是否在拓撲執行的關鍵路徑上分別提出2種節能算法，計算不同工作節點內存電壓取值范圍，并通過數據處理及傳輸制約條件，以此對工作節點CPU使用率與數據傳輸量的閾值進行判別，根據數據流的處理及傳輸情況對系統電壓進行動態調節，從而降低了系統不必要的能耗損失。經4種基準測試論證了算法的可行性，工作節點內存電壓調控節能策略有效地提高了storm平臺的能量利用率。

下一步的研究工作主要包括以下幾點。

1) 從storm平臺的性能出發，以不改變甚至提高系統性能為前提，實現storm平臺的節能?？赏ㄟ^提高storm平臺的計算速率，降低數據處理時間以實現系統的節能，如將系統部分CPU處理的非文本數據替換到圖形處理器（GPU, graphics processing unit）中處理。

2) 可以增大storm平臺的網絡帶寬，網絡帶寬越大，數據量的傳輸速率越快，從而使得系統整體性能提高，可從側面提高系統節能效果。因此，可以考慮網絡帶寬方面的節能策略，以減少數據處理時間來達到降低storm平臺能耗的目的。

3) 可通過降低storm平臺的內存延遲，提高系統的整體性能，如果延遲降低，則數據傳輸時間變短，從而達到以提高性能為前提并從側面降低系統能耗的目的。

[1] 孟小峰, 慈祥. 大數據管理: 概念、技術與挑戰[J]. 計算機研究與發展, 2013, 50(1): 146-169.

MENG X F, CI X. Big data management: concepts, techniques and challenges[J]. Journal of Computer Research and Development, 2013, 50(1): 146-169.

[2] 孫大為. 大數據流式計算: 應用特征和技術挑戰[J]. 大數據, 2015,1(3): 99-105.

SUN D W. Big data stream comuting: features and challenges[J]. Big Data Research, 2015,1(3): 99-105.

[3] CHEN C L P, ZHANG C Y. Data-intensive applications, challenges, techniques and technologies: a survey on big data[J]. Information Sciences, 2014, 275(11): 314-347.

[4] RANJAN R. Streaming big data processing in datacenter clouds[J]. IEEE Cloud Computing, 2014, 1(1): 78-83.

[5] KAMBATLA K, KOLLIAS G, KUMAR V, et al. Trends in big data analytics[J]. Journal of Parallel and Distributed Computing, 2014, 74(7): 2561-2573.

[6] 鄧維, 劉方明, 金海, 等. 云計算數據中心的新能源應用: 研究現狀與趨勢[J]. 計算機學報, 2013, 36(3): 582-598.

DENG W, LIU F M, JIN H, et al. Leveraging renewable energy in cloud computing datacenters: state of the art and future research[J]. Chinese Journal of Computers, 2013, 36(3): 582-598.

[7] 廖彬, 張陶, 于炯, 等. 溫度感知的MapReduce節能任務調度策略[J].通信學報, 2016, 37(1): 61-75.

LIAO B, ZHANG T, YU J, et al. Temperature aware energy-efficient task scheduling strategies for MapReduce[J]. Journal on Communications, 2016, 37(1): 61-75.

[8] 蒲勇霖，于炯，魯亮，等. 基于實時流式計算系統的數據分類節能策略[J].計算機工程與設計，2017, 38(1): 59-64

PU Y L, YU J, LU L, et al. Energy-efficient strategy based on data classification in real-time stream computing system[J]. Computer Engineering and Design, 2017, 38(1): 59-64

[9] SUN D, ZHANG G, YANG S, et al. Re-Stream: Real-time and energy-efficient resource scheduling in big data stream computing environments[J]. Information Sciences, 2015, (319): 92-112.

[10] TOSHNIWAL A, TANEJA S, SHUKLA A, et al. Storm @Twitter [C] //Proc of the 2014 ACM SIGMOD Int Conf on Management of data. ACM, 2014: 147-156.

[11] BORTHAKUR D, GRAY J, SARMA J S, et al. Apache hadoop goes realtime at Facebook[C] //The 2011 ACM SIGMOD Int Conf on Management of data. 2011: 1071-1080.

[12] NEUMEVER L, ROBBINS B, NAIR A, et al. S4: Distributed stream computing platform[C] //The 10th IEEE Int Conf on Data Mining Workshops (ICDMW 2010). 2010: 170-177.

[13] ZAHARIA M, DAS T, LI H, et al. Discretized streams: an efficient and fault-tolerant model for stream processing on large clusters[C]//The 4th USENIX conf on Hot Topics in Cloud Computing. 2012: 10.

[14] FISCHER M J, SU X, YIN Y. Assigning tasks for efficiency in hadoop[C]//The 22th annual ACM Symp on Parallelism in algorithms and architectures. 2010: 30-39.

[15] ALBERS S. Energy-efficient algorithms[J]. Communications of the ACM, 2010, 53(5):86-96.

[16] TCHEMYKH A, PECERO J E, BARRONDO A, et al. Adaptive energy efficient scheduling in Peer-to-Peer desktop grids[J]. Future Generation Computer Systems, 2014, 36(7):209-220.

[17] POLLAKIS E, CAVALCANTE R L G, STANCZAK S. Traffic demand-aware topology control for enhanced energy-efficiency of cellular networks[J]. EURASIP Journal on Wireless Communications and Networking, 2016, 2016(1):61-77.

[18] LIU G X, XU J L, HONG X B. Internet of things sensor node information scheduling model and energy saving strategy[J]. Advanced Materials Research, 2013, 773(1):215-220.

[19] WANG X, WANG Y, CUI Y. A new multi-objective bi-level programming model for energy and locality aware multi-job scheduling in cloud computing[J]. Future Generation Computer Systems, 2014, 36(7):91-101.

[20] HE F Y, WANG F. Research on energy saving for multi-back after blending water from one station system’s parameters optimization[J]. Advanced Materials Research, 2014, 1023:187-191.

[21] MILI M R, MUSAVIAN L, HAMDI K A, et al. How to increase energy efficiency in cognitive radio networks[J]. IEEE Transactions on Communications, 2016, 64(5):1829-1843.

[22] CHEN X, YANG H, ZHANG W. A comprehensive sensitivity study of major passive design parameters for the public rental housing development in Hong Kong[J]. Energy, 2015, (93): 1804-1818.

[23] WANG H, CHEN Q. A semi-empirical model for studying the impact of thermal mass and cost-return analysis on mixed-mode ventilation in office buildings[J]. Energy & Buildings, 2013, 67(4):267-274.

[24] YANG T, MINO G, BAROLLI L, et al. Energy-saving in wireless sensor networks considering mobile sensor nodes[J]. Computer Systems Science & Engineering, 2011, 27(5): 317-326.

[25] 孫大為, 張廣艷, 鄭緯民. 大數據流式計算: 關鍵技術及系統實例[J].軟件學報, 2014, 25(4): 839-862.

SUN D W, ZHANG G Y, ZHENG W M. Big data stream computing: Technologies and instances[J]. Journal of Software, 2014, 25(4): 839-862.

[26] LI K C, JIANG H, YANG L T, et al. Big data: algorithms, analytics, and applications[M]. Florida: CRC Press, 2015: 193-214.

[27] BONAMY R, BILAVARN S, MULLER F. An energy-aware scheduler for dynamically reconfigurable multi-core systems[C]// International Symposium on Reconfigurable Communication-Centric Systems-On-Chip. 2015:1-6.

[28] 蒲勇霖, 于炯, 魯亮, 等. 大數據流式計算環境下的內存節能策略[J].小型微型計算機系統, 2017, 38(9): 1988-1993.

PU Y L, YU J, LU L, et al. Energy-efficient strategy for memory in big data stream computing environment[J]. Journal of Chinese Mini-Micro Computer Systems, 2017, 38(9):1988-1993.

[29] TRIHINAS D, PALLIS G, DIKAIAKOS M D. JCatascopia: monitoring elastically adaptive applications in the cloud[C]//The 14th IEEE/ACM Int Symp on Cluster, Cloud and Grid Computing (CCGrid). 2014: 226-235.

[30] VAN D V J S, VAN D W B, LAZOVIK E, et al. dynamically scaling apache storm for the analysis of streaming data[C]//The 2015 IEEE 1st Int Conf on Big Data Computing Service and Applications. 2015: 154-161.

[31] CORDESCHI N, SHOJAFAR M, AMENDOLA D, et al. Energy-efficient adaptive networked datacenters for the QoS support of real-time applications[J]. The Journal of Supercomputing, 2014, 71(2): 448-478.

[32] BASKIYAR S, ABDEL-KADER R. Energy aware DAG scheduling on heterogeneous systems[J]. Cluster Computing, 2010, 13(4): 373-383.

[33] HSU C H, SLAGTER K D, CHEN S C, et al. Optimizing energy consumption with task consolidation in clouds[J]. Information Sciences, 2014, 258(3):452-462.

[34] KIM N, CHO J, SEO E. Energy-credit scheduler: an energy-aware virtual machine scheduler for cloud systems[J]. Future Generation Computer Systems, 2014, 32(2):128-137.

[35] ZONG Z, MANZANARES A, RUAN X, et al. EAD and PEBD: two energy-aware duplication scheduling algorithms for parallel tasks on homogeneous clusters[J]. IEEE Transactions on Computers, 2010, 60(3):360-374.

[36] PATAN R, RAJASEKHARA B M. Re-storm: real-time energy efficient data analysis adapting storm platform[J]. Jurnal Teknologi, 2016, 78(10):139-146.

[37] 魯亮，于炯，卞琛，等. 大數據流式計算框架Storm的任務遷移策略[J]. 計算機研究與發展, 2018, 55(1): 71-92.

LU L, YU J, BIAN C, et al. A Task Migration Strategy in Big Data Stream Computing with Storm[J]. Journal of Computer Research and Development, 2018, 55(1): 71-92.

[38] MATTEIS T D, MENCAGLI G. Keep calm and react with foresight: strategies for low-latency and energy-efficient elastic data stream processing[J]. Journal of Systems and Software, 2016, 51(8):1-12.

[39] PAMLEY M R, ORRO J M, KEOWN W F, et al. Dynamic memory voltage scaling for power management: US, US20100250981[P]. 2010.

[40] 蒲勇霖, 于炯, 王躍飛, 等. 大數據流式計算環境下的閾值調控節能策略[J]. 計算機應用, 2017, 37(6):1580-1586.

PU Y L, YU J, WANG Y F, et al. Energy-efficient strategy for threshold control in big data stream computing environment[J]. Journal of Computer Applications, 2017, 37(6):1580-1586.

[41] HONG S P, YOO S J. Dynamic voltage scaling method of CPU using workload estimator and computer readable medium storing the method: US, US7685446[P]. 2010.

[42] HWANG I, PEDRAM M. A comparative study of the effectiveness of CPU consolidation versus dynamic voltage and frequency scaling in a virtualized multicore server[J]. IEEE Transactions on Very Large Scale Integration Systems, 2016, 24(6):2103-2116.

[43] 林闖, 田源, 姚敏. 綠色網絡和綠色評價: 節能機制、模型和評價[J].計算機學報, 2011, 34(4): 593-612.

LIN C, TIAN Y, YAO M. Green network and green evaluation: mechanism, modeling and evaluation[J]. Chinese Journal of Computers, 2011, 34(4): 593-612.

[44] GRIFFITHS N. Nmon performance: A free tool to analyze AIX and Linux performance[EB/OL]. (2017-06-25)[2017-07-03]. http://www. ibm. com/ developerworks/aix/library/au-analyze aix.

Energy-efficient strategy for work node by DRAM voltage regulation in storm

PU Yonglin1, YU Jiong1,2, LU Liang2, BIAN Chen2, LIAO Bin3, LI Ziyang1,4

1. School of Software, Xinjiang University, Urumqi 830008, China 2. School of Information Science and Engineering, Xinjiang University, Urumqi 830046, China 3. School of Statistics and Information, Xinjiang University of Finance and Economics, Urumqi 830012, China 4. Xinjiang Runwu Network Limited Company, Urumqi 830002, China

Focused on the problem that traditional energy-efficient strategies never consider about the real time of data processing and transmission, models of directed acyclic graph, parallelism of instance, resource allocation for task and critical path were set up based on the features of data stream processing and the structure of storm cluster. Meanwhile, the WNDVR-storm (energy-efficient strategy for work node by dram voltage regulation in storm) was proposed according to the analysis of critical path and system performance, which included two energy-efficient algorithms aiming at whether there were any work nodes executing on the non-critical path of a topology. Finally, the appropriate threshold values fit for the CPU utilization of work node and the volume of transmitted data were determined based on the data processing and transmission constraints to dynamically regulate the DRAM voltage of the system. The experimental result shows that the strategy can reduce energy consumptioneffectively. Moreover, the fewer constraints are, the higher energy efficiency is.

big data, stream computing, storm, critical path, DRAM voltage, energy consumption

TP311

A

10.11959/j.issn.1000-436x.2018213

蒲勇霖（1991?），男，山東淄博人，新疆大學博士生，主要研究方向為內存計算、流式計算、綠色計算等。

于炯（1964?），男，新疆烏魯木齊人，博士，新疆大學教授、博士生導師，主要研究方向為并行計算、分布式系統、綠色計算等。

魯亮（1990?），男，新疆烏魯木齊人，新疆大學博士生，主要研究方向為分布式系統、內存計算、綠色計算。

卞琛（1981?），男，江蘇南京人，博士，新疆大學副教授，主要研究方向為分布式系統、內存計算、綠色計算等。

廖彬（1986?），男，新疆烏魯木齊人，博士，新疆財經大學副教授、碩士生導師，主要研究方向為分布式系統、數據庫理論與技術、綠色計算等。

李梓楊（1993?），男，新疆烏魯木齊人，新疆大學碩士生，主要研究方向為流式計算、內存計算等。

2017?07?18；

2017?12?25

蒲勇霖，puyonglin1991@foxmail.com

國家自然科學基金資助項目（No.61262088, No.61462079, No.61562086, No.61363083, No.61562078）；國家科技部科技支撐項目（No.2015BAH02F01）；新疆維吾爾自治區研究生科研創新項目（No.XJGRI2016028）

The National Natural Science Foundation of China (No.61262088, No.61462079, No.61562086, No.61363083, No. 61562078), The Science and Technology Support Projects of Ministry of National Science and Technology(No. 2015BAH02F01), The Research Innovation Project of Graduate Student in Xinjiang Uygur Autonomous Region (No. XJGRI2016028)