構建大數據平臺

系統安裝

1.搭建平臺所用環境

硬件：華為8路服務器，256GB內 存，8×e8850 CPU，30TB存儲。

軟 件 ：VMware 6.0， 配 置11臺虛擬機，每臺安裝64位CentOS6.5，Hadoop 版 本為2.7.3，安裝完一臺機器，通過克隆虛擬機方式可以很快把所有機器安裝完成，達到快速部署的目的。其中hut-hadoop-master為主 節 點（Master），IP信 息為172.16.54.11/24，網關 為 172.16.54.1，huthadoop-node01_08及為hut-hadoop-web為從 節 點（Slave），IP 地址 為172.16.54.12-172.16.54.20。安裝時，每臺機器都沒有安裝圖形界面，通過SecureCRT進行管理。

2.配置SSH免密碼登錄

由于Hadoop需要通過SSH登錄到各個節點進行操作，為方便起見，用root用戶，每臺服務器都生成公鑰，再合并到authorized_keys。

（1）CentOS默認沒有啟動SSH無密登錄，需要去掉每臺服務器中/etc/ssh/sshd_config中如下所示的2行的注 釋 ：#RSAAuthentication yes,#PubkeyAuthenti cation yes。

（2）每臺服務器上都輸入命令：ssh-keygen -t rsa，生成 key，都不輸入密碼，一直回車，/root目錄下會生成.ssh文件夾。

（3） 合 并 公 鑰 到authorized_keys文 件：在hut-hadoop-master（172.16.54.11）服務器上進入/root/.ssh目錄，通過如下命令進行合并，主要是SSH命令：

cat id_rsa.pub>>authorized_keys

ssh root@172.16.54 .12 cat ~/.ssh/id_rsa.pub>>authorized_keys，其他機器照此格式。

（4）把Master服務器的authorized_keys、known_hosts復制到Slave服務器的/root/.ssh目錄。

（5）完成，s s h root@172.16.54.12、...、ssh root@172.16.54.19就不需要輸入密碼了。

3.安裝JDK

Hadoop2.7.3需要JDK7，安裝CentOS可自定義安裝，如果沒有OpenJDK，直接解壓下載的JDK并配置變量即可

（1）下載“jdk-7u79-linux-x64.gz”，放到 /home/java目錄下。

（2）解壓，輸入命令，tar -zxvf jdk-7u79-linux-x64.gz。

（3）編輯/e t c/profile：

export JAVA_HOME=/home/java/jdk1.7.0_79

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

（4）要使配置生效，輸入命令：source /etc/profile即可。

（5）輸入命令，java-version，完成。

4.安裝Hadoop2.7.3

只 在Master（172.16.54.11） 服 務 器解壓，再復制到Slave（172.16.54.12-19）服務器：

（1）下載“hadoop-2.7.3.tar.gz”，放 到 /usr目錄下。

（2）解壓命令:

tar -xzvf hadoop-2.7.3.tar.gz。

（3）在 /usr/hadoop 目錄下創建數據存放的文件夾，tmp、hdfs、hdfs/data、hdfs/name。

系統配置

1.依次配置/usr/hadoop-2.7.3/etc/hadoop目錄下的core-site.xml、hdfs-site.xml、mapredsite.xml、yarn-site.xml（注：因以上配置文件內容太長，具體內容通過10274759@qq.com索取）。

圖1 JPS命令顯示的信息

圖2 任務執行狀態

2.配 置/u s r/hadoop-2.7.3/etc/hadoop目錄 下 hadoop-env.sh、yarnenv.sh 的JAVA_HOME，如果不設置就啟動不了。內容為：

export JAVA_HOME=/home/java/jdk1.7.0_79。

3.配 置/e t c/hadoop-2.7.3/etc/hadoop目錄下的slaves，刪除默認的localhost，增加9個從節點：172.16.54.12-172.16.54.19共9個IP地址。

4.將配置好的Hadoop復制到各個節點對應位置 上，通 過scp傳 送，scp -r /usr/hadoop 172.16.54.12:/usr/,其他機器照此配置。

系統啟動與測試

1．在Master服務器（172.16.54.11） 啟動Hadoop，從 節 點 會自 動 啟 動，在 /usr/hadoop-2.7.3下操作：

（1）初始化，輸入命令：bin/hdfs namenode-format

（2）全 部 啟 動 ：sbin/start-all.sh，也 可 輸 入sbin/start-dfs.sh、sbin/start-yarn.sh。

（3）停止的命令為：sbin/stop-all.sh。

（4）輸入命令 ：jps，可以看到相關信息（如圖1）。

2.Web訪問，要先開放端口或者直接關閉防火墻，狀態信息如圖2所示。

（1）在服務器控制臺輸入 命 令：systemctl stop firewalld.service或 者iptables –F。

（2）用瀏覽器打開http://172.16.54.11:8088/查看任務執行狀態。

（3） 瀏 覽 器 打 開http://172.16.54.11:50070/查看系統概況。

3.安裝完成只是大數據應用的開始，之后的工作就是，結合自己的情況，編寫程序調用Hadoop的接口，發揮 hdfs、mapreduce的作用。另外，也可以用Hadoop下的例程做測試。

注意事項

要成功安裝并運行，下面幾點事項需要注意。

1.務必安裝好JDK，并在環境變量中設置好。

2.網卡最好啟用一個，本例中最初設置了兩個網卡，導致很多問題，不僅是路由方面的，并禁用IPv6，關閉防火墻。

3.Slave文件務必設置好。

4.yarn-site.xml文件中內存至少2048MB以上，務必配置好最小參數、內存參數、虛擬內存參數，否則很多任務執行不了，停在running狀態。

5.格式化Hadoop系統務必刪除掉tmp文件夾根目錄及相關目錄下的tmp文件夾，然后重建，否則，datanode不能啟動。

6.如果不能從本地上傳文件至Hadoop系統，也可能與防火墻有關，關閉防火墻即可。