Hadoop集群部署實驗的設計與實現

孟永偉,黃建強,曹騰飛,王曉英

(青海大學 計算機技術與應用系,青海 西寧 810016)

Hadoop集群部署實驗的設計與實現

孟永偉,黃建強,曹騰飛,王曉英

(青海大學 計算機技術與應用系,青海 西寧 810016)

闡述了Hadoop軟件框架中的兩大核心技術——HDFS分布式文件系統架構和MapReduce分布式處理機制,設計了Hadoop集群部署實驗的具體方案,主要包括實驗目的、實驗區域的劃分、節點的規劃等,并且以一組實驗設備為例,詳細說明了配置方法,給出了實現過程。通過該實驗能夠讓學生從理論和實踐上掌握Hadoop有關的技術知識。

Hadoop;集群部署;HDFS;MapReduce;NameNode;DataNode;JobTrack;TaskTrack

在大數據時代,如何存儲和管理這些海量數據成為擺在人們面前亟待解決的問題。Hadoop采用分布式處理框架,充分利用計算機集群的強大處理能力,對海量數據進行存儲和管理[1-4]。掌握Hadoop集群環境的部署過程,不僅讓學生對Hadoop的關鍵技術有一個清晰的認識,而且為后續學習和研究大數據奠定了良好的實驗基礎。

1 Hadoop

Hadoop是一個能夠對大數據進行分布式處理的軟件框架,它以可靠、高效、可伸縮的方式對大數據進行處理[5]。Hadoop分布式的數據處理體系架構由許多元素構成,包括HDFS、MapReduce、Pig、Hive、HBase等。HDFS可以支持千萬級的大型分布式文件系統;MapReduce用于超大型數據集的并行運算;Pig可執行加載數據、轉換數據格式以及存儲最終結果等一系列過程;Hive在Hadoop中扮演數據倉庫的角色;HBase用于在Hadoop中支持大型稀疏表的列存儲數據環境。Hadoop框架的核心部分是HDFS的分布式數據存儲和MapReduce的數據并行處理機制[6-7]。

1.1 HDFS

HDFS處于Hadoop軟件框架的最底層,主要存儲集群中所有存儲節點上的文件,具有高傳輸、高容錯等特點,并且支持以流的形式訪問文件系統中的數據,能夠實現海量數據的管理。Hadoop集群主要由管理者(NameNode)和工作者(DataNode)兩類節點組成,并且分別以NameNode和DataNode模式運行。NameNode主要負責管理文件系統名稱空間和控制外部客戶機的訪問,DataNode響應來自HDFS客戶機的讀寫請求和NameNode的創建、刪除和復制塊的命令。

在Hadoop集群中,NameNode是唯一的,然而卻有大量的DataNode節點,當客戶機向NameNode節點發送請求時,它都會將DataNode節點信息返回給客戶機。實際的I/O事務并不經過NameNode,NameNode只是將文件的操作映射給DataNode。

HDFS中的文件被分成很多的塊,每個文件塊都會被復制多份,分別放到不同的DataNode節點中。最常用的策略是采用3個復制塊:2個數據塊復制存儲在同一機架的不同節點,1個復制塊存儲在另一機架的某個節點[8-9]。DataNode節點定時給NameNode節點發送心跳信息,NameNode根據這些信息確定DataNode節點中的文件塊是否正常。如果出現異常,NameNode就會重新復制進行修復,保證了數據的安全性。

1.2 MapReduce

MapReduce的分布式處理機制是Hadoop的另一種核心技術[10]。它位于HDFS之上,由JobTracker和TaskTracker組成。

JobTracker是在單個主系統上啟動的MapReduce應用程序,它在Hadoop集群中是唯一的,主要負責控制MapReduce應用程序的對象,在應用程序提交之后,它將提供包含在HDFS中的輸入和輸出目錄。TaskTracker可以有若干個,它主要是執行JobTracker的各種命令,并且將本地節點的狀態傳送給JobTracker[11-12]。

MapReduce客戶機程序啟動一個作業并將其進行分片,同時向JobTracker發送作業請求。客戶機程序會將運行作業所需要的資源復制到HDFS上,JobTracker接收到作業后,將其放到一個作業隊列中,等待作業調度器對其進行調度。TaskTracker會定時地向JobTracker發心跳信息,如果TaskTracker已經準備好運行一個新任務,JobTracker根據輸入分片信息為每一個分片創建一個Map任務,并將該任務分配給TaskTracker去執行。對于一個Map任務,JobTracker會選擇一個距離輸入分片文件最近的TaskTracker去執行,這樣節省了網絡數據的傳輸時間;而對于一個Reduce任務,JobTracker簡單地從Reduce任務列表中選擇一個去執行。Hadoop通過這樣的移動計算程序而不是移動數據的方式,避免了集群內和系統間大量數據的頻繁移動,提高了機器的處理速度。

2 實驗拓撲結構設計

Hadoop集群部署實驗的實驗目的是:(1)了解Hadoop的關鍵技術知識;(2)掌握Hadoop集群環境部署過程。實驗所需的硬件設備包括PC機、服務器、交換機和網線;軟件包括Redhat Enterprise Linux 5、hadoop1.0.3、jdk-6u21-linux-i586-rpm.bin、SecureCRT 5.5和Windows 7。

本實驗室分為學生區和實驗區。實驗區放置供學生做實驗使用的服務器以及連接服務器的以太網交換機各若干臺,通過Vlan將每3臺服務器劃分為一組,提供學生部署Hadoop集群環境的基本硬件,每臺服務器安裝了Redhat Enterprise Linux 5操作系統。學生區有PC機和交換機各若干臺,PC機上面安裝Windows 7操作系統和SecureCRT 5.5軟件。每2個學生一組,通過以太網進行遠程管理與配置。為了方便說明問題,選取一組實驗設備進行詳細配置,其拓撲結構如圖1所示。

圖1 Hadoop集群拓撲結構

3臺服務器中的一臺服務器作為Hadoop分布式文件系統(HDFS)的NameNode及MapReduce運行過程中的JobTracker,這臺機器稱為主節點(Host1),其他2臺服務器作為HDFS的DataNode以及MapReduce運行過程中的TaskTracker,稱為從節點(Host2和Host3)。節點部署情況見表1。

表1 節點部署情況

3 實驗過程及實現

3.1 安裝基礎工具

(1) 在Host1節點上配置/etc/hosts文件并且安裝JDK(假設jdk-6u21-linux-i586-rpm.bin安裝包在/usr/local目錄下)。

[root@Host1～]vi /etc/hosts 192.168.0.11 Host1 192.168.0.12 Host2 192.168.0.13 Host3 [root@Host1～]cd /usr/local [root@Host1local]sh -ivh jdk-6u21-linux-i586-rpm.bin

(2) 配置環境變量并使之生效。

[root@Host1local]vi /etc/profile JAVA_HOME=/usr/java/jdk1.6.0_21 CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH [root@Host1 conf]# source /etc/profile

(3) 驗證是否安裝成功。

[root@Host1～]# java -version java version ″1.6.0_21″ Java(TM)SE Runtime Environment(build 1.6.0_21-b06) Java HotSpot(TM)Client VM(build 17.0-b16,mixed mode,sharing) [root@Host1 ～]

(4) 按上述方法配置其余2個節點。

3.2 配置3臺節點的SSH無密碼登錄

(1) 在Host1節點上生成密碼對。

[root@ Host1 local]# ssh-keygen -t rsa [root@ Host1 local]#cat root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys

(2) 將公鑰拷貝到Host2和Host3的/root/.ssh目錄下并安裝。

[root@ Host2.ssh]# mkdir /root/.ssh/ [root@ Host3.ssh]# mkdir /root/.ssh [root@ Host1 local]# scp /root/.ssh/id_rsa.pub root@ Host2:/root/.ssh [root@ Host1 local]# scp /root/.ssh/id_rsa.pub root@ Host3:/root/.ssh [root@ Host2 .ssh]#cat id_rsa.pub >> authorized_keys [root@ Host3 .ssh]#cat id_rsa.pub >> authorized_keys

(3) 驗證SSH無密碼登錄(出現如下提示而無需輸入密碼,表明上一步設置成功)。

[root@Host1 ～]#ssh host1 Last Login:Wed May 14 05:02:37 2014 from host1 [root@Host1 ～] [root@Host1 ～]#ssh host2 Last Login:Wed May 14 05:03:30 2014 from host1 [root@Host2 ～] [root@Host1 ～]#ssh host3 Last Login:Wed May 14 04:48:24 2014 from host1 [root@Host3 ～]

3.3 安裝并配置Hadoop

(1) 將Hadoop-1.0.3.tar.gz解壓到/opt目錄下。

[root@ Host1 /opt]tar -zxvf hadoop-1.0.3.tar.gz

(2) 修改Hadoop-env.sh 配置。

[root@Host1 opt]# cd hadoop-1.0.3/conf [root@Host1 conf]# vi hadoop-env.sh export JAVA_HOME=/usr/java//jdk1.6.0_21

(3) 配置環境變量并使之生效。

[root@Host1 conf]# vi /etc/profile JAVA_HOME=/usr/java/jdk1.6.0_21 HADOOP_HOME=/opt/hadoop-1.0.3 CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$HADOOP_HOME/bin:$PATH export JAVA_HOME HADOOP_HOME CLASSPATH PATH [root@Host1 conf]# source /etc/profile

(4) 配置masters和slaves文件。

[root@Host1 conf]#vi masters 192.168.0.11 [root@Host1 conf]# vi slaves 192.168.0.12 192.168.0.13

(5) 配置文件hdfs-site.xml。

[root@Host1 conf]vi hdfs-site.xml

(6) 配置文件mapred-site.xml。

[root@Host1 conf]vi mapred-site.xml

(7) 配置文件core-site.xml。

[root@Host1 conf]vi core-site.xml

(8) 發布部署。

[root@Host1 conf]scp -r/opt/hadoop-1.0.3 root@ Host2:/opt/hadoop-1.0.3 [root@Host1 conf]scp -r/opt/hadoop-1.0.3 root@ Host3:/opt/hadoop-1.0.3

3.4 啟動Hadoop

(1) 格式化分布式文件系統。

[root@Host1 hadoop-1.0.3]# bin/hadoop namenode -format

(2) 啟動hdfs守護進程。

[root@Host1 hadoop-1.0.3]# bin/start-dfs.sh

(3) 啟動mapreduce守護進程。

[root@Host1 hadoop-1.0.3]# bin/start-mapred.sh

3.5 驗證安裝是否成功

(1) 使用jps命令查看啟動的守護進程。

[root@Host1 hadoop-1.0.3]#jps 28609 SecondaryNameNode 28703 JobTracker 30120 Jps 28438 NameNode [root@Host1 hadoop-1.0.3]# [root@Host1 hadoop-1.0.3]#ssh host2 Last Login:Wed May 14 05:04:54 2014 from host1 [root@Host2 ～]#jps 27758 DataNode 27879 TaskTracker 29360 Jps [root@Host2 ～]# [root@Host1 hadoop-1.0.3]#ssh host3 Last login:Wed May 14 05:05:52 2014 from host1 [root@Host3 ～]#jps 29937 Jps 28391 TaskTracker 28266 DataNode [root@Host3 ～]#

(2) 通過瀏覽器訪問。

輸入地址:http://192.168.0.11:50070 輸入地址:http://192.168.0.11:50030

(3) 在NameNode節點上查看集群狀態。

[root@Host1 hadoop-1.0.3]#bin/hadoop dfsadmin -report Configured Capacity:18149834752(16.9 GB) Present Capacity:10894651392(10.15 GB) DFS Remaining:10894479360(10.15 GB) DFS Used:172032(168 KB) DFS Used%:0% Under replicated blocks:0 Blocks With corrupt replicas:0 Missing blocks:0 Datanodes available:2(2 total,0 dead) Name:192.168.0.12:50010 Decommission Status:Normal Configured Capacity:9074917376(8.45 GB) DFS Used:86016(84 KB) Non DFS Used:3626475520(3.38 GB) DFS Remaining:5448355840(5.07 GB) DFS Used%:0% DFS Remaining%:60.04% Last contact:Wed May 14 05:34:14 PDT 2014 Name:192.168.0.13:50010 Decommission Status:Normal Configured Capacity:9074917376(8.45 GB) DFS Used:86016(84 KB) Non DFS Used:3628707840(3.38 GB) DFS Remaining:5446123520(5.07 GB) DFS Used%:0% DFS Remaining%:60.01% Last contact:Wed May 14 05:34:12 PDT 2014

4 結束語

Hadoop是一種新興的技術,越來越多的學者加入到該項技術的學習和研究之中。本文闡述的Hadoop的兩個關鍵技術HDFS分布式文件系統架構和MapReduce分布式處理機制,以及給出的Hadoop集群部署實驗的方案及實現過程,可以幫助學生從理論和實踐方面更好地了解Hadoop技術。通過Hadoop集群部署實驗,能夠讓學生從理論和實踐上更好地掌握Hadoop有關的技術知識,充分利用計算機集群的強大處理能力,對海量大數據進行管理和研究。

References)

[1] White T.Hadoop權威指南[M].周敏奇,錢衛寧,金澈清,等譯.2版.北京:清華大學出版社,2011.

[2] 陸嘉恒.Hadoop實戰[M].北京:機械工業出版社,2011.

[3] 王鵬.云計算的關鍵技術與應用實例[M].北京:人民郵電出版社,2010.

[4] 王彥明,奉國和,薛云.近年來Hadoop國外研究綜述[J].計算機系統應用,2013,22(6):1-5.

[5] 百度百科.Hadoop[EB/OL].[2014-04-30].http://baike.baidu.com/view/908354.htm?fr=aladdin#refIndex_7_908354.

[6] 郝樹魁.Hadoop HDFS和MapReduce架構淺析[J].郵電設計技術,2012(7):37-42.

[7] 彭仁通.Hadoop的核心技術研究或概述[J].科技廣場,2012(5):39-41.

[8] 朱頌.分布式文件系統HdFS的分析[J].福建電腦,2012(4):63-65.

[9] 許春玲,張廣泉.分布式文件系統Hadoop HDFS與傳統文件系統Linux FS的比較與分析[J].蘇州大學學報,2010,30(4):5-9.

[10] Dean J, Chemawat S. MapReduce:simplified data processing on large clusters[J].Communication of the ACM,2008,51(1):107-113.

[11] 謝桂蘭,羅省賢.基于Hadoop MapReduce模型的應用研究[J].微型機與應用,2010(8):4-7.

[12] 李玉林,董晶.基于Hadoop的MapReduce模型的研究與改進[J].計算機工程與設計,2012,33(8):3110-3116.

Design and implementation of deploying Hadoop cluster experiments

Meng Yongwei,Huang Jianqiang,Cao Tengfei,Wang Xiaoying

(Department of Computer Technology and Applications,Qihai University,Xining 810016,China)

This article elaborate on two core technologies of Hadoop software framework, i.e., the architecture of Hadoop distributed file system and distributed processing mechanism of MapReduce. The concrete plan about the experiment of deploying Hadoop clusters is designed,which mainly includes the purpose of experiment,the division of experimental area,the planning of nodes.And by the case of experimental equipment, the configuration methods and implementation procedure are illustrated in detail. Through the experiment the students can master the technical knowledge related to Hadoop from theory and practice.

Hadoop; cluster; HDFS; MapReduce; NameNode; DataNode; JobTrack; TaskTrack

2014- 05- 27

清華攜手Google助力西部教育-科研培育項目“在線社會網絡模型研究及魯棒性分析”;國家自然科學基金項目(61363019);青海省科技創新能力促進計劃項目(2014-ZJ-718;2014-ZJ-941Q)

孟永偉(1983—),男,河南商丘,碩士,講師,主要研究方向為復雜網絡、無線傳感器網絡、系統結構.

E-mail：ywmeng@aliyun.com

TP311.52

A

1002-4956(2015)1- 0145- 5