基于容器技術的大數據在線實訓環境探索與實踐

李世強，周 游

（黔南民族職業技術學院 貴州 黔南 558022）

1 引言

隨著信息技術和移動互聯網的迅速發展，大數據技術也得到了飛速發展，大數據專業如雨后春筍般出現在高校。大數據實訓環境要求比較復雜，需要的軟硬件資源相比較多，如搭建一個分布式Hadoop集群環境需要3～5臺機器，傳統做法是計算機中安裝VMWare Workstation 或Virtual Box等虛擬化軟件，通過創建多態虛擬機達到實驗要求環境。但是虛擬機對硬件資源要求比較高，通常1臺8G內存的實訓主機上運行3～5臺虛擬機非常困難。此外，大數據實訓環境比較多，如Hadoop集群、Hive集群、Spark集群，大數據可視化集群等，由于實訓的復雜性，很難一次安裝完成，教學過程中會對實訓環境進行改動，由于實訓室大都安裝有還原系統，每次改動代價很大。由于大數據實訓環境復雜、硬件需求高，很多學生無法在自己電腦上進行部署，實訓也就限制在了實訓室內，不利于學生學習。

容器技術是一種伴隨著云計算而興起的技術，云時代一個不同于以前的特點就是很多資源和計算都放在服務器端，用戶通過網絡進行操作，對容器的操作都可以通過瀏覽器完成。容器技術的出現給大數據這種硬件要求高、搭建復雜的實訓提供了一種解決方案。本文利用Docker容器相關技術實現了一種在線實訓平臺。

2 總體架構

大數據在線實訓管理平臺硬件為5～10臺內存為128 G服務器。操作系統為CentOS7，安裝有Docker-CE、Docker Composer，通過Docker Swarm搭建容器管理集群。實訓環境鏡像可以從Docker Hub獲取實驗基礎鏡像，通過Docker Registry搭建本地實訓鏡像庫，見圖1。

圖1 大數據在線實訓管理平臺構架圖

3 相關技術

3.1 Docker容器技術

Docker是一個開源的容器引擎，它有助于更快地交付應用。方便快捷已經是Docker的最大優勢，過去搭建環境需要用數天乃至數周，在Docker容器的處理下，只需要數秒就能完成。Docker具有三大核心概念：鏡像、容器和倉庫。鏡像是基于聯合文件系統的一種層式的結構，由一系列指令一步一步構建出來的。一個鏡像可以是一個完整的CentOS操作系統環境，稱為CentOS鏡像。也可以在CentOS基礎上安裝其他應用程序，制作成應用的鏡像。容器是鏡像創建的實例，可以啟動、停止并刪除。每個容器都是相互隔離的，不同容器中的程序不會產生影響。容器是一個動態的概念，而鏡像是一個相對靜止的概念。倉庫是用來保存鏡像的場所，分為公有和私有兩種[1]。

用戶可以通過docker search命令來查找官方倉庫中的鏡像，然后使用docker pull命令來將它下載到本地[2]。

根據是否是官方提供，可將鏡像資源分為兩類。一種是類似CentOS這樣的鏡像，被稱為基礎鏡像。這些基礎鏡像是由Docker公司創建、驗證、支持、提供的。這樣的鏡像往往使用單個單詞作為名字。還有一種類型，比如tianon/centos鏡像，它是由Docker的用戶創建并維護的，往往帶有用戶名稱前綴。可以通過前綴user_name/來指定使用某個用戶提供的鏡像，比如tianon用戶。

用戶也可以在登錄后利用docker push命令來將鏡像推送到Docker Hub。

3.2 Docker Compose技術

當運行的應用如搭建Hadoop集群需要多個環境時，就需要用到Docker Compose，Docker Compose是用于定義和運行多容器Docker應用程序的工具。通過Compose，我們可以使用YML文件來配置應用程序需要的所有服務。然后，使用一個命令，就可以從YML文件配置中創建并啟動所有服務[3]。

Compose使用的三個步驟：

（1）使用Dockerfile定義應用程序的環境。

（2）使用docker-compose.yml 定義構成應用程序的服務，這樣它們可以在隔離環境中一起運行。

（3）最后，執行docker-compose up命令來啟動并運行整個應用程序。

3.3 注冊服務

Docker Registry是一個容器鏡像注冊中心，是一個無狀態、高度可擴展的服務器端應用程序，用于存儲并分發Docker鏡像。它是開源，由Apache許可。Docker公司提供的官方Registry叫Docker Hub，是世界上最大的容器鏡像存儲庫，它里面的內容來源很廣，包括容器社區開發人員、開源項目和獨立軟件供應商（ISV）提供的容器鏡像。用戶可以非常便捷地使用公共存儲庫中存儲、分享的容器鏡像，其中已經包括了超過15,000+的鏡像。大數據實訓環境大部分鏡像，都可以通過在 Docker Hub中直接下載來實現。我們可以方便地使用大數據中用到的很多官方容器鏡像，如Ubuntu、CentOS、MongoDB、redis、postgres、nginx、MariaDB、hadoop、flink、storm等。通過使用官方鏡像，可以省去很多安裝時間，把精力投入到學習使用中。可以通過$ docker run --name flink_jobmanager -d -t flink jobmanager一條命令啟動一個flink任務管理器(主節點)。使用docker stack deploy -c dockercompose-v3.yml hadoop可以快速搭建一個擁有一個主節點、數據節點、資源管理器、節點管理器、歷史管理器的Hadoop集群[4]。

Registry本身也是一個單獨的開源項目，任何人都可以在下載后自己部署一個Registry。使用它可以嚴格控制Docker鏡像存儲的位置，擁有完全屬于自己的Docker鏡像發送渠道。部署到本地，可節約從互聯網拉取鏡像的時間。

假如我們在學校將一個軟件的運行環境制作成鏡像，并上傳到Registry中，這時就可以很方便地在家里的計算機上從Registry上下載并運行了。對Registry的操作也是與Docker完美融合的，用戶甚至不需要知道Registry的存在，只需要通過簡單的Docker命令就可以實現下載運行操作[5]。

（1）搭建本地Registry

docker run -d -p 5000:5000 --name registry registry:2

（2）從共有倉庫拉取鏡像

docker pull ubuntu

（3）給鏡像添加指向私有倉庫標簽

docker image tag ubuntu localhost:5000/myfirstimage

（4）提交到倉庫

docker push localhost:5000/myfirstimage

（5）從私有倉庫拉去鏡像

docker pull localhost:5000/myfirstimage

3.4 容器集群管理

容器集群管理工具主要有Docker Swarm和Kubernetes等。Docker Swarm是Docker原生自帶的集群管理工具；Kubernetes是谷歌項目下的容器編排工具。

Docker Swarm集群模式原生態集成到Docker引擎中，它的學習成本低，學習了Docker基礎知識可以平滑過渡，里面的service服務可以滿足動態增減容器個數，同時具備自身的負載均衡，Swarm管理著多臺設定保證了機器在出錯后有一個良好的容災機制。Kubernetes配置、搭建稍顯復雜，學習成本高，對應運維的成本相對高點。本文采用了Docker Swarm。

Swarm集群由管理節點（manager）和工作節點（work node）構成。管理節點負責整個集群的管理工作包括集群配置、服務管理等所有跟集群有關的工作。工作節點負責運行業務容器。

3.5 實訓環境管理工具

Portainer管理工具是一款基于Docker環境的強大的開源管理工具，能讓我們輕松的構建、管理維護Docker環境，并且完全免費。這款管理工具還有許多插件能夠通過簡單的訂閱獲得，Portainer的核心功能能夠滿足任何規模組織基于docker環境的理想工具集合。可以說是容器管理的理想選擇。

部署Portainer和Portainer代理來管理Swarm集群非常容易，可以直接在Docker集群中把Portainer部署成服務，這種部署方式會自動部署一個Portainer服務實例，并且在整個集群每個節點中部署一個Portainer代理。

部署方式：

$curl -L https://downloads.portainer.io/portaineragent-stack.yml -o portainer-agent-stack.yml

$docker stack deploy --compose-file=portaineragent-stack.yml portainer

此外，Portainer還提供HTTP API，Portainer UI就是通過Portainer API使用的，通過UI完成的事都可以通過HTTP API實現。可以通過 Docker API和Portainer API 開發更加個性化的管理工具。

大數據在線使用平臺使用Portainer作為可視化管理工具可以方便的下載鏡像、啟動實訓環境。

4 實訓環境創建實例

（1）創建50個Linux實訓環境的命令如下：

import os

count=50

for i in range(50):

cmd='docker run -itd --name centosclass-'+str(i)+' centos:centos7.7.1908 /bin/bash'

re = os.system(cmd)

（2）搭建jupyter-notebook的pyspark數據分析可視化開發環境。

docker run -d -p 8888:8888 -p 4040:4040 -p 4041:4041 jupyter/pyspark-notebook.

編寫實例代碼測試：

from pyspark.sql import SparkSession

spark = SparkSession.builder.master('local').getOrCreate()sc = spark.sparkContext

rdd = sc.parallelize(range(100 + 1))

rdd.sum()

（3）搭建Hadoop大數據集群。

首先下載Hadoop集群的docker-compose-v3.yml文件，然后通過運行docker stack deploy -c dockercompose-v3.yml hadoop 就可以創建一個有一個主節點、一個數據節點、一個歷史服務、一個節點管理器、一個資源管理器的Hadoop集群。

（4）搭建elasticsearch集群。

下載elasticsearch的docker-compose.yml文件，運行如下命令啟動集群：

docker-compose up

大數據實訓環境創建可總結為以下幾步：

（1）在docker hub上搜索用于實訓的公共的基礎鏡像。

（2）根據基礎鏡像創建容器，進行個性化設置，然后保存為本地實訓鏡像。

（3）編寫實訓環境批量創建腳本。

（4）通過Portainer進行在線實訓。

5 結語

本文基于Docker容器技術及其相關開源軟件研究并實現Linux、Python、MySQL集群、Hadoop集群、ElasticSearch集群等大數據相關實訓課程的在線實訓平臺。該方法為大數據相關課程實訓提供了一種經濟高效的在線實訓環境建設方案。這種方案打破了大數據實訓時間、地點的約束，學生不必只能跑到機房實訓。學生即使是在宿舍、在家，假期、甚至疫情期間都可以順利地進行實驗，因為在線實訓只要求學生擁有一臺可以上網的電腦，配置要求也不很高，因為實訓運行是在服務器端進行的。在線實訓環境不僅能減輕教師工作量，還能提高教學效果。通過在線實訓環境搭建可以更好地服務于大數據相關專業的學生，提升教師科研與技術創新能力。