基于Hadoop的課程云平臺設計與實現

胡安明 陳惠娥

摘 要：隨著信息化教學的推進，高校在信息化教學的發展和進步，已積累大量課程資源和課程數據，如何在這些課程資源數據進行有效存儲管理，并在此基礎上挖掘出有意義的數據，對課程資源進行關聯歸類，形成課程體系智慧學習，成為目前高校課程大數據的主要研究對象。文章以高校計算機類課程為基礎，搭建Hadoop集群環境，研究基于Hadoop平臺的課程云平臺，為高校課程信息化建設提供方案。

關鍵詞：Hadoop；課程云平臺；智慧學習

近年來隨著互聯網技術，云計算技術，大數據技術，物聯網技術等各方面的迅速發展，各個行業已經進入大數據的信息化時代。大數據技術逐漸以應用為中心的信息化系統轉變為以數據為中心，大數據提供大規模數據的存儲、管理、處理、挖掘等技術，更進一步加快了信息化的發展。

高校在信息化教學、信息化課程建設方面已發展多年，累積了大量課程資源和課程數據，如何在這些課程資源數據進行有效存儲管理，并在此基礎上挖掘出有意義的數據，對課程資源進行關聯歸類，形成課程體系智慧學習。Hadoop[1]大數據技術的發展與成熟，正好提供了一個非常好的技術平臺；因此應用Hadoop平臺技術，來構建一個課程云平臺系統是非常有意義的。

1 Hadoop

Hadoop平臺是Apache基金會所開發發布的分布式系統數據存儲平臺，Hadoop平臺提供了高效、可靠、大規模數據分布式處理和存儲能力，在Hadoop平臺下一個控制節點控制整個集群的運行處理，協調各個數據節點間數據管理和計算任務[2]。Hadoop的核心由分布式文件處理HDFS，MapReduce并行計算框架和HBase分布式數據庫系統組成。Hadoop結構如圖1所示。

2 課程云平臺系統

傳統信息化課程的建設，往往只關注某一門課程知識體系的構建和知識點的建設，容易忽略整個知識體系的構建，及該課程與其他課程間的知識點關聯，例如，計算機類課程中某一門專業課程，其背后又關聯到多門專業基礎課程的應用[3]（以計算機專業中“Java EE程序設計”課程為例，如圖2所示），專業課程間又存在交叉和先后順序，以往課程建設都是任課教師基于本門課程的相關資源建設，課程與課程間無銜接、無關聯，這樣就形成課程上的信息孤島，不利于學生學習。所以運用Hadoop大數據技術，存儲特性、覆蓋性和靈活性，構建開發一個課程云平臺，將以往的課程教學資源整合起來。

應用Hadoop大數據技術，以計算機專業中某一門專業核心課程為例構建起該課程的課程云平臺，通過課程云平臺構建起該關聯課程體系，將該課程所涉及的多門課程有序地融合起來，形成完善的課程云平臺。

同時通過Hadoop技術海量數據管理功能，對課程中每個知識點進行數據深度挖掘，提供課程間知識點快速檢索和訪問。也對各個課程中所涉及的視頻圖片各類資源進行有效存儲管理。

云課程平臺也與實踐應用對接，將實訓項目引入到云平臺中，通過云課程平臺，對項目進行分解，將項目中所應用的各知識點與各課程進行關聯，讓云課程平臺引導學生進行項目實訓，對項目中所涉及的知識點能快速地檢索訪問，如圖3所示。

從圖3可以看出，一門課程的背后往往涉及多門課程知識體系的數據支撐，而一個學科的知識體系會涉及更加復雜、龐大的課程體系數據的支撐。而這些課程數據中又包含有各類型的結構化和非結構的數據，因此使用Hadoop平臺實現是非常可行的。

3 課程云平臺的設計

本課題應用Hadoop平臺技術，針對高校課程信息化的特點，構建課程云平臺系統，期系統結構如下：數據源、數據清洗與整合、分布式數據存儲、數據分析與挖掘，Hadoop平臺管理、應用程序接口（Application Program Interface，API）平臺管理等，其結構如圖4所示。

課程資源平臺：指目前高校現有課程建設平臺，包括現有平臺上的各類課程資源信息，如結構化數據和非結構化數據，結構化數據主要是現有課程資源的數據庫信息，例如（MySQL數據庫數據、Oracle數據庫中數據等）；非結構化數據主要包含課程資源中的各類數據文件、圖片、音頻、視頻資源等。

數據采集：包含數據采集，數據清洗，數據整合等，指對現有數據資源使用Sqoop等技術將課程資源平臺中的結構化數據導入到Hadoop的HDFS和Hive進行存儲，結構化數據可以使用表或者Key-Value方式存放，非結構化數據則以目錄文件的方式進行存放。

大數據分析：指使用Hadoop中MapReduce或Spark技術等，對Hadoop平臺中的數據進行流式分析計算或離線分析計算，產生出各個知識點間的關聯及學習情境分析等。

智能分析與可視化：使用Tableau，D3，Flot等技術[4]，利用機器學習、數據挖掘算法等對課程數據進行深層次的分析，并以圖表的方式直觀的展示給師生。

API接口層：提供平臺各類數據的訪問接口，以便WebAPP或移動APP等應用系統可以從平臺方便地獲取課程信息資源，為平臺的二次開發提供便利[5]。

4 實現過程

實現環境：這里選用了5臺服務器作為Hadoop平臺實現基礎，其配置如表1所示。

服務器軟件運行環境如表2所示。

（1）運行環境：首先配置每臺服務器的SSH無密碼登錄，然后配置服務器上Java運行環境，最后配置Hadoop運行環境。配置完成后在NameNode上輸入start-all.sh命令，啟動Hadoop。

（2）數據遷移：數據遷移可分為結構化數據遷移和非結構化數據遷移，其中結構化數據遷移導入過程可分成3步。第一，將My SQL數據先導入到HDFS中；第二，在Hive中創建表結構；第三，將HDFS中數據加載到Hive已創建的表中。非結構化數據可以轉化文本化與HBase整合進行遷移處理[6]。

5 運行測試

課程云平臺的建設主要是將各類分散的課程資源進行整合挖掘，使用Hadoop平臺技術對課程資源數據進行管理、深度挖掘、處理等。在Hadoop平臺下既節省了服務器資源又提高教學資源的利用率，并對課程進行深度挖掘，實現智慧學習。課程云平臺WebAPP端使用SpringMVC框架開發、Tomcat服務、JSP頁面等技術，運行效果如圖5所示。

6 結語

本文以Hadoop技術為基礎，以高校計算機類課程為研究案例，研究基于Hadoop平臺的課程云平臺，通過對Hadoop平臺的技術特點及搭建配置過程，以及開發方法等進行詳細論述，為高校課程信息化建設提供思路。

[參考文獻]

[1]陳一龍.基于云平臺的英語專業核心課程數字化教學資源的共建共享機制研究[J].荊楚學術，2017（9）：5.

[2]王鵬.云計算的關鍵技術與應用實例[M].北京：人民郵電出版社，2010.

[3]楚京予.MOOC平臺課程資源組織模型與體系架構研究[D].合肥：合肥工業大學，2016.

[4]王潤，周先進.云課程的實施困境及其突破[J].教育發展研究，2015（12）：34-39.

[5]徐毅.湖北地方課程教育云資源的設計與應用實踐[D].武漢：華中師范大學，2015.

[6]王玥.云課程平臺聚合社會化媒體的網絡教學研究[D].南京：南京郵電大學，2014.