MapReduce在科學計算中的研究與改進
2013-01-01 00:00:00劉鋒周飛鳳
無線互聯科技 2013年3期
摘要：針對Haloop模型不能實現各個計算節點的通信和TWister模型出現大量的數據重疊，提出了以下的改進：在Hadoop模型中增加各個節點的通信機制和緩沖機制。具體的實施如下：首先，在Map函數中引入了一個參數M來區分科學計算中的四類算法；其次，并將經常用的函數封裝成適配器；再者，靜態數據聲明成保護類型并存放在緩沖池中。在文章的最后利用Hadoop做的相關實驗，實驗表明：隨著計算節點數的增多，其加速比是越來越大的。
關鍵詞：MapReduce技術；科學計算；Map函數；Reduce函數
