高校大數據實驗室及實驗體系的規劃與建設①

吳湘寧,彭建怡,羅勛鶴,劉遠興,李 敏

1(中國地質大學(武漢) 計算機學院,武漢 430074)

2(中國地質大學(武漢) 實驗室與設備管理處,武漢 430074)

3(荊楚理工學院 計算機工程學院,荊門 448000)

1 引言

自2012年以來,我國開始步入全新的大數據時代.海量數據的生產已經成為經濟與社會生活中的一個普遍現象,利用數據改善決策、合理配置資源已成為企業創造價值的重要方法.黨中央、國務院高度重視大數據在經濟社會發展中的作用,2015年11月3日發布的《中華人民共和國國民經濟和社會發展第十三個五年規劃綱要》第二十七章“實施國家大數據戰略”提出:把大數據作為基礎性戰略資源,全面實施促進大數據發展行動[1].國務院印發《促進大數據發展行動綱要》,全面推進大數據發展,加快建設數據強國[2].工業和信息化部也印發了《大數據產業發展規劃(2016-2020年)》,指出數據是國家基礎性戰略資源,是21世紀的“鉆石礦”,提出到2020年我國要建成技術先進,應用繁榮,保障有力的大數據產業體系[3].

“十三五”期間,隨著我國信息產業的迅速壯大,積累了豐富的數據資源,大數據技術創新取得了明顯突破,已從2012～2013年的啟動期,再經過2014～2017年的高速發展期,逐漸進入了2018年至今的成熟發展期.大數據技術的商業模式已經得到了市場印證,并已進入市場細分的時代.“十三五”期間也正是全球新一代信息產業的加速變革期,大數據技術和應用不斷創新突破期,國內市場需求集中爆發,我國大數據產業面臨著前所未有的發展良機.據統計(圖1),2017年中國大數據產業規模從2016年的2840.8 億元迅速增長至2019年的5386.2 億元,預計2020年還會繼續增長22.6%[4,5].大數據領域的投融資規模也從2014年的303.75 億元升至2018年的1581 億元,隨著大數據在各行業的融合應用不斷深化,包括數據挖掘、機器學習、數據資產管理、信息安全等大數據技術及應用領域還將繼續突破,成為推動經濟高質量發展的新動力[6].

然而,與大數據行業快速增長形成鮮明對比的是大數據人才的短缺.根據獵聘網發布的“2019年中國AI&大數據人才就業趨勢報告”,中國大數據領域的人才需求呈現快速增長態勢,2019年企業對大數據人才的需求約為4年前的12 倍,人才缺口高達150 萬.

為了有效緩解大數據人才供給的缺乏,教育部加快大數據人才培養布局,2016年增設“數據科學與大數據技術”本科專業及“大數據技術與應用”高職專業.全國各地院校也積極做出響應.根據教育部發布的歷年“普通高等學校本科專業備案和審批結果”,截至2019年底,“數據科學與大數據技術”專業新增備案學校數量達631 所,尤其是2017年通過審批的學校數量同比增長近10 倍[7,8].“大數據技術與應用”高職專業的增長勢頭同樣迅猛,有時甚至是成倍增長,截至2020年底,已有1354 所高職院校獲批該專業[9],具體可見圖2、圖3.

圖2 教育部審批的開設“數據科學與大數據技術”專業高校數目

圖3 教育部審批的開設 “大數據技術與應用”專業職業院校數目

雖然我國高校的大數據人才培養經過幾年的發展已經有了一定基礎,但是仍然存在著一些問題,如專業師資緊缺、缺少系統化的權威教材等,而其中最為緊迫的問題是許多院校還沒有專業的大數據實驗室,甚至只是將普通的計算機實驗室改造,臨時充當大數據實驗室,此外,也沒有比較系統的實驗體系和實驗項目,這在很大程度上影響了大數據專業畢業生的質量,并造成高校對大數據人才的培養與企業對人才專業技能需求的脫節.尤其是隨著第一批入學的學生開始進入專業課程和實習環節,這個問題變得愈發嚴重.因此,建設大數據實驗教學和實訓環境,并構建結構合理的大數據實驗課程體系就成為了開設大數據專業的院校急需解決的問題.

2 大數據專業的培養目標、職業定位及知識結構

2.1 大數據專業的培養目標

“數據科學與大數據技術”本科專業是一個軟硬件結合、以計算技術為基礎、以數據科學與大數據技術為特色的寬口徑專業,以計算機科學、數學和統計學為三大基礎支撐(圖4),并向經濟、農業、生物、醫學、地質、環境、社會、管理等應用領域拓展的,典型的多學科交叉的新工科專業[10].

圖4 大數據科學的三大基礎

雖然不同高校“數據科學與大數據技術”本科專業的人才培養目標側重不同,但仍可歸納出一些共同點:培養適應社會與經濟發展需求的大數據相關領域的,具備較扎實的計算機科學、數學和統計學基礎知識,掌握大數據相關技術,能夠從事一定應用領域(如金融、商務、農業、公安)的大數據采集、存儲與管理、分析處理、服務等相關工作,具有扎實專業基礎、很強的實踐能力,并具有廣泛適應性的高素質理學或工學人才[11].

出于對師資力量和教師知識結構的考慮,高校通常將“數據科學與大數據技術”專業放在計算機、信息科學、數學等學院,或新興的大數據科學學院.由于各高校的優勢學科、學科結構不同,在專業的人才培養目標上自然也各有側重.部分偏理學的高校強調畢業生應具有一定的大數據科學研究能力及適應數據科學家崗位的基本能力,但是大多數的高校更傾向于培養能夠滿足不同行業需求的應用型、復合型工學人才.

“大數據技術與應用”高職專業人才的培養更重視技術技能型人才的培養,其培養目標可以歸納為:培養具有精益求精工匠精神,具有較強就業能力和可持續發展能力,掌握大數據技術基本理論和基本技能,面向軟件與信息服務行業,能夠從事大數據平臺運維、數據采集、數據清洗、數據加工、數據可視化、系統開發、系統實施等工作的高素質技術技能型人才[12,13].

可見,“數據科學與大數據技術”本科專業與“大數據技術與應用”高職專業在人才的專業知識和專業技能上具有一定的差異,但是也具有明顯的互補性.

2.2 大數據專業的職業定位及知識結構

大數據相關的職位可以分為:數據產品經理、數據架構師、算法設計及數據挖掘工程師、大數據應用系統研發工程師、數據分析師/工程師、運維工程師(如表1所示).“數據科學與大數據技術”專業的畢業生比較適合前4 種職位.“大數據技術與應用”專業的畢業生則比較適合后3 種職位,但是在累積一定的工作經驗和知識以后,亦可勝任前3 種職位.有時,這些職位之間的界限并不明顯,比如算法設計及數據挖掘工程師也可從事大數據應用系統的研發工作.

表1 大數據相關職位的職責及知識要求

圖5是大數據相關的知識體系,不同的大數據職位,所需具備的關鍵知識會有所不同,但是均屬于此知識體系的子集.院校可以有針對性地開設不同的課程來為學生補充相應的專業知識,并設置不同的實驗項目來提高學生的實踐技能.例如:對“數據科學與大數據技術”本科生除了要具備計算機科學、數學、統計學知識以外,需有意識地加強大數據、數據庫及數據倉庫、機器學習與數據挖掘、可視化等方面知識的學習和技能訓練.而對于“大數據技術與應用”專業的學生除了需要具備必要的計算機科學、統計學知識以外,需要有目的地加強大數據、數據庫及數據倉庫、云計算、可視化等方面知識的學習和技能訓練.

圖5 大數據相關知識體系

3 大數據實驗室的架構

3.1 主流大數據技術生態環境

在大數據領域,Hadoop 已經成為當前的主流框架,它是Apache 旗下開源分布式計算平臺,提供了底層細節透明的分布式大數據存儲基礎架構,基于Java 語言開發,具有很好的跨平臺特性,并且可以部署在廉價的計算機集群中.Hadoop 以其實用、成本低廉、開源等優點受到了業界的歡迎.

Hadoop 經過不斷完善和發展,已經形成一個種類豐富的生態系統(如圖6所示).其核心是Hadoop 分布式文件系統HDFS (Hadoop Distributed File System)和分布式計算架構MapReduce.同時也提供了資源管理調度器YARN、ETL 工具Sqoop、日志采集工具Flume、分布式NoSQL 數據庫Hbase、分布式數據倉庫Hive、類SQL 語言Pig Latin、分布任務協調工具Zookeeper、分布式消息發布訂閱系統Kafka、流計算框架Storm、工作流管理系統Oozie、機器學習庫Mahout、大數據集群部署及管理工具Ambari 等組件.Hadoop 可通過Java、R、Python 等語言的API (Application Programming Interface,應用程序接口)訪問.

圖6 Hadoop 的生態系統

除Hadoop 之外,近年來還比較流行大數據快速并行計算引擎Spark.Spark 可以同HDFS 很好地結合,也可以同Amazon 的S3 等云平臺結合.不同于MapReduce的是,Spark 計算作業的中間輸出結果保存在內存中,不像MapReduce 那樣需要頻繁讀寫HDFS,Spark 采用RDD(Resilient Distributed Dataset,彈性的分布式數據集)作為數據交換結構,RDD 代表一個不可變、只讀的,被分區的數據集,Spark 會根據 RDD 的依賴關系生成DAG (Directed Acyclic Graph,有向無環圖),并從DAG 的起點開始優化并執行.正是由于這些特殊機制,使得Spark 比MapReduce 計算性能更佳,甚至能夠提升百倍,可用于替代MapReduce 來實現一些需要迭代的數據挖掘與機器學習算法.Spark 也擁有自己獨立的生態體系(如圖7所示),包括流計算Spark Streaming、機器學習庫MLlib、數據庫查詢語言Spark SQL、數據倉庫Shark、圖計算GraphX 等一整套分布式計算組件.

圖7 Spark 的生態系統以及與其他平臺的關系

Spark 和Scala 語言緊密集成,Scala 可以像操作本地數據一樣輕松操作分布式數據集.但是Scala 語言的面向對象和函數式編程的混搭風格,使得學習Scala 語言存在一定的門檻.

高校的大數據實驗課程及實驗項目大多可以基于Hadoop 生態系統及Spark 生態系統這兩種主流框架來設計,挑選其中的一些常用的核心組件的使用來設置實驗內容.例如:Hadoop 環境下對HDFS、HBase、Hive 的訪問,基于Flume 的日志數據采集、基于Storm的流式數據處理、基于Sqoop 的數據抽取、基于Spark的大數據并行分析等.

3.2 Hadoop 社區版與發行版

Apache Hadoop 社區版(也稱原生版)雖然完全開源免費,社區活躍.但是也存在版本管理混亂、部署過程繁瑣、升級過程復雜、運維難度大、組件之間兼容性差、安全性低等不足,手工安裝和配置一個Hadoop集群往往耗費大量時間.

Hadoop 發行版衍生自社區版,由第三方簡化并提供Hadoop 部署、安裝、配置工具,大大提高了集群部署的效率,可以在幾個小時內完成集群的部署.而且提供了配置修改、監控、診斷的管理工具,管理配置方便,定位故障快速準確,使運維工作變得簡單有效.發行版經過大量測試和眾多部署實例驗證,在兼容性、安全性、穩定性上有所增強,可部署到生產環境.目前常用的開源發行版主要有Cloudera 的CDH (Cloudera’s Distribution including Apache Hadoop),以及Hortonwork 的HDP (Hortonworks Data Platform).

院校的大數據實驗環境建議使用Hadoop 發行版,讓學生將更多精力放在分布式大數據應用的開發上,而不是放在大數據系統的安裝配置上,此外,讓學生在實驗中使用業界認可的商業版本,也有利于將來畢業后很快適應工作崗位.

3.3 單機環境大數據實驗平臺

開展大數據實驗不一定只能在具有一定規模的計算機集群環境中才能實現,其實大多數大數據實驗在單機環境下就可以完成.Hadoop 已經考慮了大數據開發環境、測試環境和生產環境的不同,分別提供了3種運行(啟動)模式:

(1)單機模式(Local/Standalone Mode,也稱為獨立模式):不需要對配置文件進行修改.程序運行時使用本地文件系統,而不是HDFS.Hadoop 不會啟動NameNode、DataNode 等守護進程,此模式主要用于對MapReduce程序的邏輯進行調試,確保程序的正確.

(2)偽分布式模式(Pseudo-Distrubuted Mode):Hadoop 的NameNode、DataNode 等守護進程運行在本機上,Hadoop 使用的是HDFS,用來模擬大數據集群,是完全分布式模式的一種仿真,此模式常用來測試開發的Hadoop 程序執行是否正確.

(3)全分布式模式(Full-Distributed Mode):Hadoop的守護進程運行在由多臺主機搭建的集群上,是真正的生產環境.

同樣,Spark 也支持3 種分布式部署方式:

(1)獨立模式(Standalone):自帶完整的服務,可單獨部署到一個小型集群中,無需依賴任何其他資源管理系統.

(2)基于Mesos 模式(Spark on Mesos):利用Mesos做資源管理,Spark 在開發之初就已考慮了和Mesos 的兼容,所以兩者存在天然的血緣關系,Spark運行在Mesos 上會比運行在YARN 上更加靈活、自然.

(3)基于YARN 模式(Spark on YARN):利用Hadoop平臺的YARN 做資源管理.好處在于可以將Spark 與Hadoop 兼容.又可進一步細分:生產環境可選擇yarncluster 模式,調試程序則選擇yarn-client 模式.

Spark 計算框架的一般開發模式為:為了快速開發,先不需要考慮服務(如master/slave 環境)的容錯性,直接在Standalone 模式下開發,之后再開發相應的wrapper,將Stanlone 模式下的服務原封不動地部署到資源管理系統YARN 或者Mesos 上,由資源管理系統來負責服務本身的容錯.

在單機環境下要開展大數據實驗,只需要配置Hadoop 的單機模式就可以開展MapReduce 程序的邏輯調試.如果想看一下HDFS 的實際效果,以及分布式環境下多個守護進程協調運行的效果,則可以在單機的Hadoop 偽分布式模式下進行測試.但是如果數據量很大,且需要驗證分布式處理的效果,則需要采用Hadoop全分布式模式,理論上Hadoop 生產環境至少需要1 個NameNode,1 個Secondary NameNode,以及3 個DataNode.

如果想在單機上開展Spark 的實驗,可以在Spark Standalone 模式下在主機上同時啟動Master 進程和Worker 進程,也就是在主機上實現Spark 偽分布式部署,便可以開展Spark 程序的邏輯調試.但是如果要在Hadoop 分布式環境下測試程序,則必須采用Spark on YARN 模式實現Spark 與Hadoop 平臺的對接.

3.4 基于虛擬化技術的單機大數據實驗平臺

在開展Hadoop 全分布式模式實驗時,需要數臺計算機構成集群來實現大數據平臺.然而,為每個學生配備幾臺物理機來做實驗并不現實,主要是因為成本過高、維護不易,而且資源利用率很低.此時,可以在單機上采用虛擬化技術,從一臺物理機中虛擬出好幾臺虛擬機,并將這些虛擬機通過虛擬網絡連接成大數據集群.

圖8是基于虛擬化技術的單機大數據實驗平臺架構.虛擬化技術就是指將宿主物理主機上內存、CPU、存儲、網絡等硬件資源通過虛擬化管理程序(hypervisor)統一調度,并分配給多臺虛擬機使用,虛擬機之間雖然共享宿主機上的硬件資源,但是相互之間卻互不干擾,在邏輯上相互獨立.虛擬化技術實現了物理資源到邏輯資源的轉化,解決了物理資源使用效率低、成本高等問題.

單機上常用的虛擬化軟件有商業軟件VMware workstation,以及開源的Oracle VM VirtualBox 等.虛擬機可以通過拷貝文件或文件夾的形式在物理機之間相互復制,因此只需要制作一套虛擬機即可在所有的物理機之間共享,可以節省大量的系統安裝時間.

由于所有虛擬機實際上都在使用宿主機的資源,因此如果想在宿主機上仿真一個集群,宿主機的配置必須高于所有虛擬機配置的總和,例如:如果同時啟動5 臺虛擬機,每臺平均分配內存4 GB、硬盤50 GB、1 個CPU 核,則宿主機的配置應是內存不少于24～32 GB、硬盤不少于300 GB、CPU 不少于6～8 核.

圖8 基于虛擬化技術的單機大數據實驗平臺架構

3.5 共享大數據集群的實驗平臺

如果實驗的內容不是側重于大數據平臺的安裝、配置和運維,而是側重于大數據平臺的使用及分布式應用程序的開發,就沒有必要為每個學生配置一套大數據集群,只需要所有學生共享一套大數據集群即可(如圖9所示).大數據集群向所有學生終端機提供包括HDFS、NoSQL 數據庫、Spark 計算的各類大數據服務,學生終端機只需要安裝客戶端軟件及IDE (集成開發環境),用指定的用戶賬號登錄,即可通過Hadoop CLI (Command-Line Interface,命令行界面)或API 訪問大數據集群.

3.6 基于云計算的共享大數據實驗平臺

雖然單機上的虛擬化技術可以很好地用物理機虛擬出大數據實驗集群,但是在這種方式中,所有的負載均由宿主機承擔,因此對宿主機的配置要求比較高.然而,許多高校使用的電腦并沒有那么高的配置,無法在單機上實現虛擬機集群,此時,應采用云計算技術來實現共享大數據實驗平臺.

云計算的核心技術也是虛擬化技術,但是與單機虛擬化不同的是,其后臺是由云平臺管理系統統一管理的物理機集群共同充當提供資源的宿主機,生成的虛擬機也是在物理機集群上運行,客戶端通過網絡來訪問云平臺中的虛擬機(如DataNode 虛擬節點),或訪問云平臺提供的服務(如NoSQL 數據庫).

圖9 共享大數據集群的實驗平臺

云計算可以分為公有云、私有云和混合云.公有云通常指第三方提供的、一般需通過 Internet 訪問的云.私有云是企業內部單獨建立和使用的云,通常部署在企業數據中心的主機托管場所,位于防火墻內.私有云極大地保障了云平臺的安全,但是需要穩定的云平臺部署場地,以及一支比較專業的云平臺硬件、軟件維護隊伍.

高校在建設大數據實驗室的時候需根據自己的經費預算和實際需要,來選擇是使用公有云還是自建大數據私有云.如果是一兩個月就可結課的短期課程,有移動性需求(如疫情期間開展網絡實驗),Internet 速度和穩定性能夠得到保證的情況下,可以從公有云租借Linux 服務器或Hadoop 集群開展大數據實驗.公有云服務商有阿里云、百度云、騰訊云、華為云、亞馬遜云等.而有固定實驗場所以及服務器機房的院校可搭建大數據私有云.

云平臺的虛擬化通常采用應用容器引擎Docker來實現,Docker 容器是當前最主流的云服務解決方案.與KVM、Xen 等云平臺生成虛擬機時會包括完整操作系統不同,Docker 容器是建立在操作系統上的輕量級虛擬化技術,直接和宿主機的操作系統內核交互,性能損耗較少,容器的創建和啟動都很迅速.使用Docker 容器打包和快速運行大數據集群,可以節省大量的安裝、配置系統、設置參數及運行的時間.為了便于管理,常采用大規模容器編排管理框架Kubernetes來統一規劃和部署Docker 容器.

圖10是大數據云平臺的體系結構,底層是云平臺物理集群的物理硬件資源,包括CPU 運算資源、陣列存儲資源、網卡網絡資源.再上一層便是虛擬化管理程序,負責將所有的硬件資源虛擬化并放入統一管理和分配的虛擬資源池,然后通過虛擬機來對用戶需要的計算資源、存儲資源、網絡資源進行定制和封裝,并通過網絡提交給終端用戶使用.

圖10 大數據云平臺的體系結構

相關的軟件及特定的配置以容器鏡像的形式存儲,在上實驗課之前,可快速地從容器鏡像中克隆出大量的虛擬機并供學生使用,每個學生可根據需要得到一個實驗虛擬機集群,集群間相互隔離、互不干擾,實驗結束后,所有虛擬機被回收,其資源被重新放回云平臺的資源池供下次分配使用.

云計算從低到高分為IaaS (Infrastructure as a Service,基礎設施即服務)、PaaS (Platform as a Service,平臺即服務)、SaaS (Software as a Service,軟件即服務)3 層.IaaS 是最底層云服務,提供一些基礎資源服務,PaaS 提供軟件研發平臺,SaaS 將軟件的開發、管理、部署都交給第三方,用戶不需要關心技術問題.

大數據實驗云平臺可以提供純的Linux 云服務器(IaaS 級,需學生自己進一步安裝Hadoop、Spark 各類組件),或是已經預裝不同組件的大數據云服務器(PaaS 級,已經預裝了各類組件,直接提供HDFS、Hive 等服務),或具體的大數據應用(SaaS 級,如大數據實訓項目).

大數據私有云由一臺管理服務器、若干計算服務器,以及眾多學生實驗終端機構成.表2是60 人大數據實驗教學云平臺的主要硬件設備配置示例(不含網絡設備、機柜、軟件).計算服務器的數量與實驗人數成正比,若滿足150 人上機,大約需要管理服務器2～3 臺、計算服務器15 臺及150 臺學生終端機(設備數量及配置僅供參考,具體實施時需根據實際負載來確定).

表2 大數據云平臺主要硬件設備配置示例

圖11是一個基于大數據云平臺的典型實驗過程.實驗用戶可以申請不同配置的Hadoop/Spark 集群.申請成功后,云平臺會從資源池中劃出資源,分配給從容器鏡像中克隆出來的Hadoop 容器集群.此時實驗用戶可將實驗數據從網絡存儲(如果實驗數據和容器分開存放的話)中加載到Hadoop 集群的HDFS 中.然后實驗用戶可以在學生終端機上,通過Hadoop CLI、sparkshell 命令、或通過裝有Java、Scala、Python、R 等語言模塊的IDE,輸入大數據操作的各種命令,或開發大數據應用程序.在實驗過程中,可從分析挖掘算法庫中調入事先做好的大數據分析挖掘算法,最后的分析結果以報表、圖表等可視化形式展示.為了方便數據共享,容器鏡像庫、實驗數據庫、分析挖掘算法庫可存儲在網絡云盤或對象存儲服務器中.

4 大數據實驗課程體系及實驗項目設計

在大數據實驗的硬件環境基礎上,還需要科學設計大數據實驗課程體系及實驗項目,必須以滿足未來用人單位對大數據人才專業技能的需求為導向,分析大數據專業理論課的知識點分布,科學、合理地構建實驗體系并設計實驗項目.圖12是大數據實驗課程體系,表3是大數據實驗項目的列表.

圖11 基于大數據云平臺的典型實驗過程

為了全方面培養大數據人才的專業實踐技能.大數據實驗體系應包括以下4 類實驗項目:

(1)基礎實驗:包括計算機科學基礎、編程語言、數據采集及預處理、數學統計分析等實驗.

(2)大數據基礎實驗:包括主流大數據平臺Hadoop中的各類組件實驗,如HDFS、Storm、HBase、Hive、Redis、MongoDB、Flume、Sqoop、Kafka、YARN、Oozie、Zookeeper 等實驗.

(3)大數據進階實驗:包括主流大數據分布式計算框架Spark、Mapreduce 的編程實驗,Mahout、MLlib等機器學習組件實驗,及數據倉庫和聯機分析處理實驗.

(4)大數據實戰項目:結合不同行業數據的實戰項目,如電子商務、物聯網、農業、環境監控、金融等領域的大數據分析實戰項目.

5 結語

建設一個軟硬件搭配合理、性價比高的大數據實驗室,必須考慮眾多因素.本科院校、專科院校大數據專業的培養目標互不相同,不同院校及專業需要考慮畢業生將來的職業定位以及所需要的知識結構,有針對性地開設相關課程及實驗項目,以充實學生的專業知識、提高學生的大數據實踐技能.同時,還要考慮業界主流的大數據技術的生態系統,選取被業界認可的通用框架作為實驗平臺.根據預算及現有的實驗條件,合理制定大數據實驗室的建設方案.院校可以建立基于單機工作站的實驗環境,也可以建立擴展性和可管理性更高的、基于私有云或公有云的實驗環境.除硬件環境外,大數據實驗體系及實驗項目等軟環境的建設也是大數據實驗室建設的重要內容.隨著大數據技術的不斷發展,院校在大數據的實驗環境、實驗內容方面要不斷推陳出新,才能夠源源不斷地向社會輸送合格的大數據專業人才.

圖12 大數據實驗課程體系

表3 大數據實驗項目

續表 3