搭建Hadoop實驗平臺

引言：網上有很多介紹如何搭建Hadoop的文章，有的步驟不甚詳細，有的按其方法搭建會出現莫名其妙的問題。本文盡量細化步驟、簡化配置，并已將容易導致錯誤的部分提前修改，為初學者學習搭建Hadoop完全分布式集群環境提供方便。

實驗材料

1、VMware Workstation；

2、ubuntu14.04.3桌面版64位操作系統

3、jdk8u 65 64位4、hadoop2.7.1

實驗過程

用VMware Workstation創建4臺ubuntu虛擬機

Windows平臺下安裝好VMware Workstation虛擬機軟件。從ubuntu官方網站www.ubuntu.com下 載ubuntu14.04.3桌面版64位操作系統，通過VMware Workstation創建一臺ubuntu虛擬機。用戶名 hadoop，口令 hadoop，如圖1所示。

安裝 jdk和 hadoop，并配置環境變量

1、安裝jdk和hadoop：

圖1 創建ubuntu虛擬機

圖2 安裝jdk和ubuntu

圖3 測試jdk安裝是否成功

2、配置 jdk的環境變量

3、配置hadoop的環境量

如果顯示如圖4所示，則表示hadoop安裝成功。

以該虛擬機為模板，克隆出3臺虛擬機

Hadoop集群各節點信息如下：

圖4 測試hadoop安裝是否成功

圖5 hosts文件內容

修改4臺ubuntu虛擬機的主機名：sudo vim /etc/hostname，hostname均為hadoop。

修改hosts文件，解析主機名：sudo vim /etc/hosts

hosts文件內容如圖5所示。

重啟虛擬機后主機名和hosts解析生效。

配置SSH無密鑰登錄

在4臺虛擬機上，安裝openssh-server安全連接軟件

4臺上均生成密鑰對：ssh-keygen t rsa，其位于家目錄下的隱藏目錄～/.ssh

修改 core-site.xml、hdfssite.xml、mapred-site.xml、yarn-site.xml及 slaves，為 4臺虛擬機分配不同角色，以組成hadoop完全分布式集群

4個文件位于/usr/soft/hadoop-2.7.1/etc/hadoop/目錄下

由于每4臺主機的xml文件配置必須相同，所以只需在master主機上修改這4個xml文件，然后遠程拷貝到其余3臺主機即可。

特別說明：默認的hadoop集群啟動臨時文件存放在/tmp/目錄下，每次重新開機就會被清空，與此同時namenode的格式化信息就會丟失。為避免hadoop集群啟動時出現namenode進程丟失故障，需在master主機上建立一個永久的臨時文件存放目錄：mkdir /home/hadoop/hadoop_tmp。

同時打開所有的xml文件：gedit *-site.xml。……