《大數據處理技術》課程規劃

嚴馳

摘 要 大數據時代已經到來，為適應這場大數據變革，各高校都紛紛開設相關的大數據專業。《大數據處理技術》是該專業的一門重要專業課，但相關的課程建設還處于起步階段，因此本文主要從教學內容、教學條件、考核方式方面對本門課程進行課程規劃。

關鍵詞 大數據處理技術 課程規劃 教學內容

中圖分類號：G434 文獻標識碼：A

0引言

大數據被譽為“21世紀的新石油”，已經滲透到社會的方方面面。大數據時代的到來，給數據訪問、數據存儲、數據管理和利用都帶來了極大的挑戰。為適應大數據領域的發展，國外相當一部分大學都開設大數據專業。而國內開設大數據相關專業的高校卻不多，當前大數據專業的相關課程仍然屬于一個新興事物，還未形成一個成熟的體系。

《大數據處理技術》課程是大數據相關專業的一門專業必修課。由于當前國內開設大數據方向專業的高校較少，因此對大數據方向相關課程的建設還未形成一個成熟的體系，仍然處于摸索階段。業內先驅當屬北航軟件學院大數據技術與應用專業，該專業的大數據處理技術與實踐課程主要整合企業資源，聘請企業專家授課，讓學生能在真實的大數據環境中直接參與項目實踐，取得了一定的成效。

本文主要研究對于《大數據處理技術》這門課程的課程建設，主要從教學內容，教學方法，教學條件這幾個方面進行設計。

1課程規劃

1.1培養對象

大數據分析涉及到眾多學科內容。本課程可以作為計算機科學與技術方向高年級學生的專業選修課和研究生的專業課。在這個階段的學生有了一定的知識儲備，對學科方向也有了一定的認識，有更多學習上的主動性和進取心。

1.2教學內容

本課程將系統講授大數據的基本概念、大數據處理架構Hadoop、分布式文件系統HDFS、分布式數據庫HBASE、Nosql數據庫、分布式并行編程模型及大數據在互聯網、生物醫學和物流等各個領域的應用。本課程主要分為四大部分。第一部分大數據基礎，主要介紹大數據的基本概念和應用領域，簡要介紹大數據處理相關技術和大數據處理架構Hadoop的安裝和操作管理。第二部分大數據存儲，主要講解分布式數據存儲的概念、原理和技術，主要介紹HDFS、HBASE。從而熟練使用HDFS、HBASE的使用方法。第三部分大數據處理與分析，主要講解Hadoop MapReduce并行編程框架，介紹并行編程模型、框架、基本構架和工作過程以及MapReduce編程接口。第四部分大數據應用，主要介紹大數據在互聯網、生物醫學和物流等各個領域的典型應用，掌握大數據的典型應用場合。

1.3教學條件

大數據處理的核心技術是分布存儲和并行計算，大數據的教學實踐需要一個良好的專業環境。

硬件上，進行大數據集分析需要使用分布式計算框架來向數十、數百甚至數千的計算機集群分派工作，由此對服務器平臺有很高的要求。但本門課程屬于大數據方向的初級課程，沒有必要建立如此龐大的硬件集群，可以先建立一個統一的專業實訓室，輔助學員的學習。

軟件上，大數據實踐平臺需要搭建開發和處理大規模數據的Hadoop系統平臺，實現海量數據的計算與處理，進而為大數據的挖掘、存儲和分析提供支撐。

本課程屬于本科生階段開設的入門級大數據課程，因此沒有必要建立一個專業的大數據實訓室，但是為了更好的讓學生理解理論內容，現場指導學員實驗，一個統一的機房是必須的。根據本課程的教學內容，上機實踐環境主要需要Linux操作系統，Java環境，Hadoop軟件。

該門課程的實踐教學，完全有條件建立一個統一的機房，指導學員進行相應的上機實踐。

1.4教學方法

如果按照常規的教學過程，教員直接通過課堂講授，按照教材編排逐一講解基本概念、基本理論和相關的處理方法。這種教學方法在一定程度上讓學員可以很好的掌握相關概念和理論。但是，這種方法容易造成學生對數據處理的整體工作流程缺乏了解而造成“不識廬山真面目，只緣身在此山中”現象，學生對相關的概念和理論理解不深，掌握不透，遇到實際問題和科研課題時感覺無從下手。因此通過調研大量相關教學方法，結合本門課程的特點，本門課程最后采用任務驅動的教學方法。

任務驅動教學法的具體運用步驟可以分為以下幾個方面：任務設計，任務執行，任務完成。任務驅動教學法最重要的就是教學任務的設計，這是該教學方法的關鍵。教員在任務的設計過程中應用充分考慮學員的心理發展水平，對相關知識的了解與熟識程度及學習過程中的心理情感需要。任務的設置應當與學員的整體水平相契合，不能太難，這樣容易打擊學員學習的積極性，認為自己再努力也不能完成任務；同樣任務也不能設置的太簡單，使得學生輕易就完成任務，這樣導致學員驕傲自滿、固步自封。因此最關鍵的一步就是教員精心設計相關任務。

本課程結合教學標準，建議制定兩級任務：各種初級任務和一個高級任務。初級任務主要是將各章節課程內容分為各種任務，具體每章節的任務內容可參考教學標準中的實踐教學內容；高級任務是一個綜合性的任務：網站用戶購物行為分析。這種以綜合任務為整個教學用例，將教學內容融合進逐步細化的各小任務中，可以讓學員從整體的角度來考慮問題，從而會當臨絕頂一覽眾山小的教學效果。

1.5考核方法

考核評定方式的改革也是課程改革的一個重要環節。傳統的期末卷面考試由于考核形式單一、考核內容片面、考核重結果輕過程，因此不能建立起對學生的綜合評價，也可能導致學生的實踐動手能力弱。因此，結合本門課程的性質和特點，采取平時成績+實驗成績+期末考試的考核方式，將重點放在過程性考核上。每完成一個知識點，即組織一次針對該知識點的應用和編程演練，以此激發學生學習的主動性和積極性，加強學生的實踐應用能力和團隊合作能力。

2結論

大數據的浪潮正在沖擊著我們的生活、學習和工作，身處這個時代的人都會受到大數據思維的影響。在大數據的背景之下，精通大數據分析處理的專業人才會眾多企業爭搶的對象。《大數據處理技術》課程及相關課程的設立就是讓學生在學校內就可以在大數據環境中參與企業項目實踐，把握未來企業需求，掌握好大數據的管理、分析及應用等方面的核心技能，從而為以后在此方向工作打下堅實的基礎。endprint