使用虛擬機搭建Hadoop3.0集群安裝環境

摘 要：Hadoop是最流行的大數據分布式基礎架構之一，是云計算課程中的一個重要部分。由于Hadoop集群安裝環境需要使用多臺計算機，并涉及多種計算機軟、硬件知識，所以在開展Hadoop實驗時，通常只能在實驗室進行。本文研究使用虛擬機搭建Hadoop3.0的集群安裝環境，使用1臺計算機即可以實現Hadoop的集群安裝，為開展Hadoop的學習和實踐提供了一種成本低廉、方便簡潔的解決方案。

關鍵詞：Hadoop；云計算；虛擬機；局域網

中圖分類號：TP311.13 文獻標識碼：A 文章編號：2096-4706（2018）10-0099-03

Abstract：Hadoop is one of the most popular distributed infrastructure of big data，and is an important part of cloud computing course. Due to the need to use multiple computers in the Hadoop cluster installation environment and the software and hardware knowledge of a variety of computers，the Hadoop experiment is usually carried out in the laboratory. In this paper，a virtual machine is used to build the cluster installation environment of Hadoop3.0，and one computer can be used to implement the cluster installation of Hadoop. It provides a low cost，convenient and simple solution for the learning and practice of Hadoop.

Keywords：Hadoop；cloud computing；virtual machine；LAN

0 引 言

隨著大數據時代的到來，云計算作為大數據的處理手段和技術，已成為當今最熱門的IT趨勢之一，越來越多的得到人們的關注與重視[1]。很多高校的計算機科學與技術、通信工程等電氣信息類專業也都開設了云計算技術課程[2]。Hadoop是現在最流行的大數據分布式基礎架構之一，其發展歷史較長、行業應用廣泛，有著分布式處理的經典架構[3]，是云計算技術課程中的一個重要內容。

筆者在從事云計算課程教學的過程中，深感Hadoop平臺的實踐教學不易開展，首先，每個實驗小組都需要多臺計算機，一般只有實驗室才具備這樣的硬件環境，且同時開展實驗的人數受到計算機臺套數量的局限；其次，平臺運行的軟硬件環境較為復雜，涉及計算機網絡、Linux操作系統、程序設計等多種軟硬件技術，平臺的運行環境不易搭建和維護。這都給實驗教學帶來了不小的困難。通過研究、實踐，筆者摸索出一種使用虛擬機搭建Hadoop集群安裝環境的方法，只需要一臺計算機就可以開展集群安裝、測試等實驗，為教學提供了較大的便利。……