大數據技術與應用課程的內容與教學方法研究

劉廣鐘等

摘要：大數據作為時下熱詞，是目前技術發展和應用的熱點。大數據技術與應用是計算機及相關專業的重要課程。本文結合當前大數據技術發展的趨勢，分析該課程教學中存在的問題，并針對這些問題提出解決方案，進而提高教學質量。

關鍵詞：大數據；Hadoop；云計算；課程建設

中圖分類號：G642 文獻標識碼：A 論文編號：1674-2117（2015）10-0120-02

前言

“大數據”時代是由于互聯網使用者人數和廣泛的數據密集型應用程序暴漲而產生的。在過去的五年時間里，全球IP流量增加了8倍，預計到2016年底，全球每年的IP流量將超過1.3澤字節。[1]因此，社會對具有大數據管理和分析能力的人才需求大幅增長。目前很多高校有關大數據的課程已經開始出現[2]，以筆者所在的上海海事大學為例，學校已將該門課程列入到2013級學生的教學計劃中。

存在的問題

第一，理論教學和實驗教學內容亟待優化。大數據分析需要以云計算平臺作為支撐，但鍛煉學生實踐能力的實驗往往因實驗條件、實驗設備不夠而較少涉及。[3]

第二，在教學中缺乏真實平臺的構建，學生難以對所學的理論知識形成良好的理解，也缺乏真實編程的平臺。

第三，教學中，不注重理論和實驗相結合。單純進行理論教學或實驗教學，教學內容和方式死板教條。

第四，考核方法和評價機制不科學。使用單純的書面閉卷考試，對基礎理論、基礎實驗、設計實驗沒采用不同的考核方式進行考核。

解決措施

1.搭建大數據實驗教學平臺

在教學過程中，通過引入虛擬化技術克服實驗設備硬件要求限制，搭建大數據實驗教學平臺，在Hadoop平臺上完成MapReduce編程模型的開發與應用，建立相關虛擬環境，為學生用戶提供隨時訪問、使用平臺處理數據的機會。筆者使用Oracle VM VirtualBox[4]來搭建虛擬機環境，下載安裝VirtualBox。

2.搭建虛擬化的Hadoop環境

在VirtualBox上安裝centos 6.5操作系統，開始搭建虛擬化的Hadoop環境。Hadoop作為一個開源的軟件平臺使得編寫和運行用于處理海量數據的應用程序更加容易。[5]Hadoop是MapReduce的實現，它使用了Hadoop分布式文件系統。完成后，使用命令hadoop namenode–format來格式化HDFS文件系統。啟動Hadoop后，在master和slave上分別運行JPS查看當前運行的進程。至此，Hadoop平臺搭建完成。把海量數據存儲在HDFS上之后，將數據在集群中分而存儲，然后集群的各個節點在本地任務中處理本地數據，最后把結果匯總，這就是MapReduce的過程。之后提取海量數據的關鍵信息作為索引，把這些非索引的數據索引存入到HBase中，方便后續數據查找和處理。

3.改革教學模式

在教學中，將理論和實驗相結合，采用自主式、團隊式、研究式學習模式。在創新實驗部分由學生自主選擇實驗課題，或自主擬定實驗課題，同時開展團隊協作模式完成創新實驗內容。實驗要求學生2～4人為一組，共同擬定實驗方案，集體完成實驗項目并寫出總結報告，培養學生查閱資料的能力，根據具體要求設計實驗的能力，以及總結、歸納、撰寫、宣讀論文的能力。由于大數據實驗教學緊跟學術前沿，所以研究式學習十分有必要，如將實驗教學與科研進行結合。以上實驗教學模式的改革能激發學生的學習熱情，調動學生的積極性和主動性，提高學生的動手能力、分析問題和解決問題的能力，以及培養學生的綜合素質和創新精神。

4.改革考核方法和評價機制

根據理論和實踐教學的特點，我們從有利于激發學生學習興趣、提高學習能力的目的出發，建立了多元化考核辦法?；A理論主要采用書面閉卷考試的形式進行考核；基礎訓練類實驗主要考查學生對指定技術方法的掌握程度，重點考查學生對實驗原理的理解和實際操作能力；綜合設計類實驗成績評定主要參考項目的任務指標，以答辯等形式進行考核，成績需經過答辯小組審核后認定為相關實踐環節的學分；研究創新型實驗，由學生自擬或教師提出實驗項目，方案設計以及作品制作均由學生自主完成，以科研論文或技術總結的形式提交設計報告，其考核的依據是學生是否發表科技論文、申請專利、獲得各類獎項等。

參考文獻：

[1]Cisco White Paper. Cicso Visual Networking Index：Forecast and Methodology[N].2011-2016，May 2012.

[2]劉海永.IBM攜手西電助力大數據及云計算人才培養[J].中國教育信息化，2014（14）：94-95.

[3]陳玲.高校云計算教學初探[J].價值工程，2013（27）：189-190.

[4]fengchenkan.Virtualbox使用圖文教程[EB/OL].http：//jingyan.baidu.com/article/9c69d48f49186b13c9024e30.html.2013-10-22.

[5]K.Shvachko，H.Kuang，S.Radia，et al.The Hadoop distributed file system[C].IEEE Twenty-Sixth Symposium on Massive Storage Systems and Technologies Proceedings，Washington，2010，1-10.

本文獲上海市2014年上海高校本科重點教學改革項目：基于“校企協同”的計算機專業卓越工程人才培養模式改革與研究支持。