高職大數據技術與應用Hadoop 課程建設研究

余燕萍 趙圣魯 江西信息應用職業技術學院

引言

大數據技術和垂直產業結合，在人類日常生活中運用愈加廣泛。大數據技術與應用專業在高職院校中充滿了機遇和挑戰。由于該專業增設時間比較短，職業院校相比本科院校而言投入資金較少、師資力量較弱、學生底子薄、學生就業形勢嚴峻等問題，大數據核心技術Hadoop 課程在高職院校如何開展授課尤為重要。

為使學生能更好地學習和掌握該專業技術知識，配合大數據專業課程教學，提升教學質量和辦學水平，應加強相關專業的實訓和科研環境的建設和改造。為了滿足大數據技術與應用專業教學需求，以大數據行業需求為指導方向，需要及時修改Hadoop 課程教學內容，培養了學生分析問題與解決問題的能力。

1 培養目標

Hadoop 課程框架根據產業需求從大數據平臺搭建運維、大數據項目研究與開發、大數據分析三個層面培養學生大數據理論知識、大數據實踐、大數據產業應用高素質、實用性大數據人才。在授課過程中將學生大數據就業以及人生發展規劃與教學內容緊密結合，大數據平臺基本知識理論與產業融合應用結合，引導學生深入研究和探索大數據的前沿知識。

在應用開發技術方面，具有實踐應用能力和專業拓展能力。實踐能力包括將Hadoop 技能與特定產業相結合，解決生活實際問題。達成上述技能目標的學生，已基本具備勝任大數據運維、數據分析師、數據可視化、大數據產品銷售等崗位，且具有良好的就業競爭力。專業拓展能力包括Hadoop 平臺的搭建運維、大數據硬件平臺的規劃、大數據采集、數據預處理、清洗、大數據分析、數據可視化。

2 大數據實訓室建設

2.1 建設目標

大數據實驗室的設立的初衷是為了建設大數據教學和大數據科研平臺，包括大數據分析與數據挖掘平臺，實驗室建設目標是將“產、學、研、用”一體化，從教學、實踐、科研和使用等多方面培養專業人才。

為了能很好的將理論學習、實踐教學以及大數據項目相結合，利用虛擬化教學資源搭建教學系統和集群平臺。由易到難，循序漸進提升學生的學習能力和實踐能力，從而能更高效的學習，運用現流行的分析軟件框架，創造實驗與科研一體的工作環境，將理論課程中的數據挖掘算法運用到真實的數據分析中，提升學生的動手操作能力和項目實踐能力。能緊密配合和教師的工作，也能才能更好的為企業培養項目人才。

2.2 建設方案

(1）基礎環境建設

按照60 臺大數據實驗機容量進行同時在線使用進行建設為基礎，整體系統提供快速擴容升級服務。硬件配置采用十六臺高性能品牌服務器作為大數據節點進行建設，采用企業級全千兆三層交換機進行網絡數據交換。

每臺節點的配置，如表1 所示。

表1 大數據節點配置

(2）教學管理系統

在大數據實訓室安裝大數據教學管理系統具有以下功能：

①班級管理。提供對專業下屬班級的增加、刪除、修改、查詢功能。

②學生管理。提供對班級內學生的管理，學生內容包含姓名、學號、所屬班級、所屬專業、聯系手機、登錄次數等內容。

③成績管理。對于學習中心在線學習的學習考核成績進行管理，包含查詢及刪除等功能。

④學習記錄。提供每個學生在學習中心平臺內學習課程的學習記錄，包含日期、計劃、課程、章節、學習IP 等。

⑤課程測驗習題管理。提供對課程相關的習題管理，題型包含單選、多選、判斷題等類型，對習題進行增、冊、改、查操作。

⑥學生實訓系統。提供學生根據姓名、學號、密碼登錄系統進行實訓操作，學生只需安裝瀏覽即可進行實驗任務操作；提供實訓課程在線學習功能、實驗機在線操作、實驗報告提交、實驗機界面截圖、記錄課程學習時長等。

(3）實驗機建設

提供基于Web 瀏覽器的實驗機可視化操作，操作終端無需安裝其它開發軟件即可進行實驗操作；云實驗機可以根據學生編號、實驗任務和環境要求自動創建，無需管理人員參與實驗機創建操作過程。管理平臺對云實驗機可以進行停止、銷毀操作。云實驗機類型包含Hadoop 實驗機、Hive 實驗機、HBase 實驗機、R 語言實驗機、Scala實驗機、Spark 實驗機、Kafka 實驗機、Sqoop 實驗機、Flume 實驗機、數據可視化實驗機等。

3 課程內容

Hadoop 課程將大數據基礎理論與行業運用相結合，重點講解hadoop 組件理論與運用，實現大數據集群搭建，進行數據清洗和大數據分析，結合行業應用典型案例分析運用。Hadoop 課程授課不局限于Hadoop 自身框架，對整個大數據生態系統講解，如圖1 所示。

圖1 大數據生態系統

根據大數據生態系統設置Hadoop“基礎+應用”教學框架，如表2 所示。

表2 Hadoop“基礎+應用”教學框架

4 結語

如今大數據技術應用滲透各個行業，對大數據技術與應用專業教學對于大部分高職院校處于初步探索階段，本文從大數據實訓室建設和hadoop 教學框架方面分析，提出大數據實訓室建設方案，結合大數據生態圈和產業應用，提出Hadoop“基礎+應用”教學框架，為高職同類院校教學提供參考，提升大數據技術與應用專業學生技能水平和應用能力。