基于Hadoop2.0的大數據課程體系實驗平臺建設

李玥

摘要：大數據時代來臨，而高校大數據人才極為匱乏，培養大數據人才迫在眉睫。本項目以Hadoop2.0為底層框架建設大數據課程體系實驗平臺，項目課程包含Hadoop2.0、HBase、Spark、Mahout、Hive等，以校企結合方式設計課程實驗平臺項目案例，使用案例驅動模式促使學生學習體會大數據課程的特點以及大數據相關技術的優勢，注重培養學生從實際案例轉移到相關知識、技能的能力。本平臺建設也可給其他開設及將要開設大數據課程的高校提供參考，共同促進大數據教育事業的發展，為市場培養更好的大數據技術人才。

關鍵詞：Hadoop;大數據;實驗平臺;人才培養

中圖分類號：TP399? ? ? ? 文獻標識碼：A? ? ? ? 文章編號：1009-3044（2019）02-0143-03

Construction of Big Data Curriculum System Experimental Platform Based on Hadoop2.0

LI Yue

（Jincheng College of Sichuan University， Chengdu 611731， China）

Abstract：Large data era is coming， but the related university students is extremely scarcity. Training big data talent is imminent. The project constructs big data curriculum system experimental platform which based on Hadoop2.0， and includes Hadoop2.0， HBase， Spark， Mahout， Hive curriculums and so on. These courses are designed with the combination of school and enterprise. The cases of these courses are used in the project. This driving model can promote students learn the characteristics of big data courses， big data related technology advantages. This project focus on training students from the actual case transfer to the relevant knowledge and skills. The platform can also be opened to other big data courses and universities to provide reference， promote the development of big data education， and bring up big data technology students? for the market.

Key words：Hadoop; big data; experimental platform; talent development

大數據浪潮席卷而來，滲透到了社會的方方面面。從“互聯網+”到“大數據+”概念的提出，大數據全面融入人們的社會生活。與此同時，高校大數據人才極為匱乏，培養大數據人才迫在眉睫。作為云計算科學與技術系，如何讓學生所學的云計算大數據知識更好的得到實踐與落地是教學關注的重要內容。在2015年3月5日舉行的十二屆全國人大三次會議上，李克強總理也提出“‘互聯網+行動計劃，推動移動互聯網、云計算、大數據、物聯網等與現代制造業結合”，這就需要高校能夠培育出適應社會發展的云計算及大數據人才，能夠將所學知識與社會實踐密切結合的專業技術人才。

Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺，以HDFS和Mapreduce為核心，為用戶提供了系統低層細節透明的分布式基礎架構。本項目以Hadoop2.0為底層框架建立起Hadoop生態圈的大數據課程體系實驗平臺。

1 落實人才培養

1.1? 培養目標

由于大數據相關應用課程為新興課程，傳統的教學模式重視傳授知識，按一個模式培養學生，不利于調動學生的積極性，不利于具有創新思維和創新能力的創造型人才的成長。鑒于此，大數據課程體系的實驗平臺建設工作刻不容緩。

本項目以課程體系實驗平臺為主，沿著項目主線進行教學，充分發揮學生自主學習能力和動手能力。重點培養熟練掌握Hadoop平臺架構原理和使用場景，并且可以設計、開發海量數據存儲、海量數據處理、數據挖掘等大數據應用系統的實用型技術人才。通過系統學習和大量實踐項目訓練，掌握使用大數據處理技術進行系統搭建、開發、調優、運維等技能。同時，本平臺建設也可給其他開設及將要開設大數據課程的高校提供參考，共同促進云計算大數據教育事業的發展，為市場培養更好的云計算大數據技術人才，學成后可在軟件公司、政府機構、系統運營商、金融保險、移動互聯企業從事大數據應用開發、數據挖掘應用開發、數據中心運維、解決方案規劃和設計、大數據產品部署等工作。

1.2 培養內容

經過大數據相關應用課程的教學，我系獲取了大量的教學經驗，也積累了傳統教學方式下的不足之處，本項目課程包含Hadoop2.0、HBase、Spark、Mahout、Hive等多門課程。依托前國騰創智云公司的研究人員的實際工作經驗，設計關于這些課程實驗平臺使用項目案例，使用案例驅動模式促使學生學習體會大數據課程的特點，大數據相關技術的優勢，注重培養學生從實際案例轉移到相關知識、技能的能力。

在實驗平臺上整合了以上課程的實驗課程，老師可根據不同課程動態實時的為學生分配云主機，學生可根據實際需求申請使用云主機，課程結束后老師可根據實際需求銷毀或者保存學生的云主機，解決了傳統實驗室無法保存學生上機成果的問題。學生可在該平臺上動手搭建各種大數據技術平臺，模擬真實企業的生產環境。 教師也可在實驗平臺上設計多種多樣具有特色的實驗案例，根據學生掌握情況，設計不同級別難度的實驗課題，詳細到每一個步驟，讓學生可以根據實驗方案，獨立完成實驗。有針對性的分層次地進行實驗教學，為社會培育出不同領域不同層次的人才。

大數據系列課程采取實驗課與理論課緊密結合的方式進行教學，有助于學生更加清晰直接的理解理論知識，加深對知識的理解與印象，避免了以往教學過程中注重理論知識的講解，課后學生不復習，再次上課時前面所學知識容易忘記的缺陷;以一個項目為中心，圍繞項目進行相關知識的講解，有助于形成大數據實踐教學的整套體系，讓學生了解本門課程的實際作用，更加積極主動認真的去聽講，去學習。此外學生可以隨時隨地遠程登錄實驗平臺進行學習，無需要獨立實驗室，并且，可以授權學生把虛擬實驗環境搭建在學生的電腦上離線使用，從而可以節約學院大量實驗室資源。避免過多的課題教學，提高學生學習積極性。

實驗平臺示例如下：

1.3? 校企合作打造優秀師資團隊

對本科類學生而言，學習大數據相關課程，主要學習其中的應用和實踐操作。這一部分教學采用公司實際項目案例，教學更有針對性，并能讓學生更好地理解企業需求，激發學生興趣，學習過程更有目標性和方向性。校企合作的教學方式為該平臺實驗課程體系的建設提供了生產實驗的基地。在本項目平臺上，教師可利用創智云公司優秀的硬件資源進行平臺的建立部署及測試，豐富的大數據經驗方面的專家可提供更加切合社會實際的指導。本系聘任了一部分企業兼職教師來進行指導教學，與專職教師結合，構成了一支理論上過硬、實踐上夠強的師資隊伍。

1.4? 推進產學研一體

通過該實驗平臺上課程體系的建設，讓學生對課堂上學習的理論有直觀的理解，采取理論課后直接連著上實驗課，理論與實驗緊密結合的方式，以做一個項目為主線，貫穿整個大數據課程的學習過程。通過以實踐項目為引導的教學指導思想建立起適合新型課堂和實驗室的教學理論和方法。以一個項目為中心，圍繞項目進行相關知識的講解，有助于形成大數據實踐教學的整套體系，讓學生了解本門課程的實際作用，更加積極主動認真地去聽講，去學習。此外學生可以隨時隨地遠程登錄實驗平臺進行學習，無需要獨立實驗室，并且，可以授權學生把虛擬實驗環境搭建在學生的電腦上離線使用，從而可以節約學院大量實驗室資源。避免過多的課題教學，提高學生學習積極性。這種新型的教學方式可以對大數據教學帶來新的力量和成果，讓學生對學習產生更加濃厚的興趣。讓學生真正學習到社會需要的東西，為社會培養實際有用的人才。通過研究與實踐，帶動學與教質量和效率的提高，促進學校的信息化建設，提高學校整體辦學水平，使教師撰寫符合實踐的實驗報告、論文、制作優秀課件集錦，提高教師的信息素養， 改善教師的教學行為，轉變教師的教學觀念，使教師的“教”切實地為學生的“學”服務，使課堂教學適應形勢發展的需要，培養信息化社會的新型人才。

課程體系以就業崗位為導向，以能力培養為目標，以平臺產品為載體，以項目化教學為模式，以教育云平臺為輔助手段，按角色、分層次，培養具有行業領先知識和實際動手能力的技術型人才;以新技術為引領，以學科帶頭人為核心、專職教師為主導、企業兼職教師做支撐，細化人才培養方案、自編高端核心教材、填補國內云計算大數據技術高校本科教學空白;以教學改革為契機，以高新企業為同盟，構建產學研一體化教學格局。

2 發展趨勢

大數據作為一種重要的戰略資產，已經不同程度地滲透到每個行業領域和部門，其深度應用不僅有助于企業經營活動，還有利于推動國民經濟發展。它對于推動信息產業創新、大數據存儲管理挑戰、改變經濟社會管理面貌等方面也意義重大。2015年，大數據將為全球帶來440萬個IT崗位，其中190萬個IT崗位在美國。此外，在美國，每個大數據相關的崗位將催生三個非IT的就業機會。在未來的四年里，信息經濟將推動美國產生600萬個就業機會。 由于市場的巨大需求，許多培訓機構已在陸續開設企業人員的大數據培訓課程，如何將高校的大數據教學辦的有特色有創新有市場競爭力，是時不我待的事情。

3 結論

本項目對學生和學校都具有巨大的現實意義。就學生而言，實驗時間可以在任何時候進行，因為本項目部署在學校的云平臺上，學生可在寢室、教室等地方通過網絡連接。就學校而言，本課程實驗內容屬于國內空白領域，可為其他學校的大數據教育事業提供技術支持與指導。該項目可為培養社會有用、急需的高素質人才提供一個全面的大數據實踐平臺，使畢業生能找到更加適應社會需求的工作，通過向其他學校推廣該平臺，可為社會輸送更多實際的高質量的人才，促進人才的培養。使國家的“互聯網+”政策和改革的落地有了人才的支撐。

參考文獻：

[1] 陳娜，徐歆壹，宋紅兵. 基于Hadoop的電信BSS大數據平臺建設研究[J]. 電信科學，2013，29（3）：36-40.

[2] 司雅楠. 基于MapReduce的高校大數據分析挖掘[J]. 河南師范大學，2016.

[3] 裴浩.大數據背景下高職Hadoop課程內容體系建設[J]. 電腦知識與技術， 2016，12（10X）：131-132.