新工科背景下大數據技術案例教學設計與實踐探究

王小超

摘要：分析大數據技術課程目前面臨的主要問題，為增強大數據課程的教學效果，以新工科為背景，提出了大數據技術案例教學設計的主要內容及實踐方式。從教學案例設計、原理性知識講解、課程基礎、學習資料與教學平臺搭建等幾個方面開展了一些探索。為突出解決復雜工程問題的目標，設計了一些經典的大數據教學案例。通過教學實踐表明，大數據案例教學可以有效提高教學的質量，有利于培養大數據方面的應用型人才。

關鍵詞：新工科；大數據；案例教學；教學設計；教學實踐

中圖分類號：G642? ? ? 文獻標識碼：A

文章編號：1009-3044（2024）07-0149-03

開放科學（資源服務）標識碼（OSID）

0 引言

近年來，大數據技術迅速發展，對推進社會變革與發展產生了深遠的影響，已經深入人們生產生活的各個領域。目前隨著大數據相關產業的發展，使得大數據工程師成為就業市場上比較熱門的人才之一，與之對應的大數據人才培養卻相對滯后，大數據培養體系建設不完善。隨著大數據技術的興起，國內高校陸續開設了相關課程，積極開展大數據教學與研究工作。在新工科背景下，立足大數據技術課程，圍繞解決復雜工程問題這一目標，如何培養適應大數據時代的大數據科研人才與大數據相關產業應用人才，實現大數據的產學研協調發展，構建大數據人才培養課程體系的工作刻不容緩。

1 大數據教學存在的問題

大數據是計算機領域相關信息技術相互融合產生的新技術、新方法，依托于Linux操作系統、程序設計、數據結構、數據庫技術、計算機網絡等諸多課程，是一門交叉程度高的技術課程。大數據技術課程作為一個新興的課程，課程內容復雜程度高、實踐性較強，對于學生的培養，既要求建立扎實的大數據理論基礎，掌握大數據系統基本的原理與過程，同時還應具備大數據應用開發能力，因此，大數據課程需要培養具備多層次知識技能的復合型專業人才。而復合型人才的培養，并不是將各種相關課程簡單糅合在一起，用廣度來覆蓋技術，而是在課程內容的設置上，融合各門課程的知識，平滑過渡課程內容，做到循序漸進、深入淺出，在實踐中提高學生的工程能力[1]。

目前高校對學生實踐能力的培養主要依賴開設與理論課程相關聯的實驗課程。在實驗中，會設置多種類型的實驗，包含驗證實驗現象的驗證型實驗、圍繞問題設計解決方案的設計型實驗、綜合運用多領域、多方面的知識解決問題的綜合型實驗，以達到鍛煉學生實踐能力的訓練目標。實踐能力對于提高學生掌握大數據技術的效果意義重大。在實踐中設置問題，通過反復訓練，提高面向問題的分析解決能力，最終達到綜合運用的程度，完成對大數據系統的深入理解。傳統方式的出發點很好，但大數據教學依然面臨一些不利的因素，主要包括基礎課程教學環節較為薄弱、大數據作為新課程教學上可以借鑒的案例不夠豐富、大數據課程相關教材建設相對滯后以及大數據實驗環境搭建相對復雜，這就造成了學生學習大數據的門檻較高，課程內容理解困難，實踐很難與理論學習保持協同，加大了理解與認識大數據技術的難度。特別是對大數據存儲與處理原理的理解、大數據應用的開發實踐上都有著較為困難的瓶頸。如果在實踐教學上對實踐內容設置不合理，就會造成學生對大數據的理解與應用無法有效達成。在實踐中，由于設置的實踐問題深度與強度不足，交叉學科融合能力薄弱，使得大數據工程能力的培養變得更加困難[2]。最終，導致大數據入門難，學習效果不佳。

綜上所述，如何將復雜的大數據原理以比較直觀的方式呈現給學生，并設置比較合理的大數據教學案例，迫切需要進行理論研究與實踐的探索，注重大數據相關學科知識的融會貫通，將多種實踐能力綜合運用以提高解決復雜工程問題的能力[3]。

2 案例教學設計

針對目前大數據技術教學存在的問題，需要設計合理的教學案例，開展案例教學。案例教學可以使學生更好地掌握大數據分析與處理的工具與方法，直觀地了解整個數據處理的過程，全面了解大數據的技術棧。按照學習知識的層次，可以將大數據技術教學內容分為系統運行原理、工具使用、問題分析3個部分，更加注重理論知識與技術實踐相結合。

在設計教學案例時，從大數據生態系統出發，讓學生全面了解大數據的基本概念，大數據的主流系統及其相應的處理內容，主要包括Hadoop、Hive、Spark等，再具體學習主要的大數據系統的運行原理與運行過程。在掌握系統原理的基礎上再去學習工具的使用，這樣可以在遇到實際問題時分析系統發生問題的可能原因。最后，也是最為重要的方面在于如何在實際應用場景下運用所學的大數據技術解決復雜的工程問題。

2.1 面向實際應用場景的項目設計

案例的實踐內容要與計算機專業課程Linux操作系統、Java程序設計、數據庫、數據結構以及大數據處理技術課程相融合。以新工科為背景，以實際的工程案例為依托，教學案例設計強調了真實性與應用性，提高了學生解決復雜問題的能力。在項目設計時，應基于大數據目前主流的框架Hadoop與Spark設計教學案例。Hadoop的教學案例應包含分布式文件系統HDFS與分布式并行計算框架MapReduce兩大核心組件的功能。Spark的教學案例應主要圍繞Spark RDD運算及Spark流式計算展開。具體的案例設計圖如圖1所示：

1） 大數據文件存儲——HDFS云盤實現。以云盤系統為案例，展現HDFS在大數據存儲方面的應用。云盤系統是由搭建的計算機集群通過網絡提供文件的存儲、讀寫、上傳下載等數據管理功能。用戶可以跨終端實時實地查看自己的文件、分享文件。HDFS具有可擴展性、可靠性、高可用性和成本低等優勢，為實現云盤系統提供了近乎完美的底層環境。通過本項目的實踐，學生可以充分了解HDFS的分布式結構與工作的流程，并掌握使用Java API編程開發大數據存儲應用的方法。

2） 大數據離線計算——MapReduce成績分析系統。采用分布式并行計算框架MapReduce可以處理分析大數據集的學生成績數據，并且支持多樣化的數據格式，通過快速地處理，最終計算得出有價值的分析結果，是教育大數據的典型應用場景之一。

3） 大數據實時計算——常規統計。在大數據實時計算場景下，設計的教學案例主要圍繞Spark核心的RDD運算，根據給定的大數據集，綜合運用主要的RDD操作，涉及Action和Transformation兩大類別，來實現對數據的各種統計功能，并給出統計結果。

4） 大數據流計算——Spark Streaming處理系統點擊流。系統點擊流的處理是目前大型應用，特別是互聯網應用常見的處理場景，能快速分析出當前系統用戶的使用行為。Spark具有實時處理的能力，并且提供了機器學習、圖計算、數據查詢、流計算等完整的軟件棧。通過使用Spark中的流計算框架Spark Streaming可以實現實時的系統點擊流處理分析，在處理高并發的系統點擊流方面具有很高的性能。

教學內容體現了項目驅動性與實踐性，根據大數據技術課程的教學大綱在課程中設置了包括HDFS、MapReduce、Spark等具有較高應用價值的教學案例。改變圍繞知識點的課程內容設計，突出“能力為本”的教學理念[4]。

2.2 大數據抽象原理性知識具體化

以實際的大數據案例為基礎，建立并開發大數據文件存儲、大數據計算、大數據流計算等多個具體的大數據應用。在教學過程中，需解析分布式文件系統HDFS、分布式并行計算框架MapReduce、實時計算框架Spark中的抽象系統架構與系統工作流程。通過比較具體的模型直觀地反映給學生，真正實現大數據處理技術的所見即所得，體現大數據處理技術課程的應用性。依據企業業務、產品在市場上的需求，依據企業大數據技術發展的現狀，依據計算機專業學生專業能力培養要求，建立真實應用場景下的大數據開發項目。根據項目內容設計的要求，指導學生運用所學的專業知識開展學習實踐活動。這樣可以降低大數據課程中知識的復雜、抽象程度，避免機械的學習，體現了學生實踐操作的實際應用性。

2.3 實踐教學中強化專業基礎

通過建立合理的大數據處理技術課程教學案例，將大數據相關學科中的知識聯系起來，并且以較為合理的層次關系組織在一起，打破各學科知識的“信息孤島”，形成多學科的互動交融。通過教學案例，讓學生掌握大數據的應用開發，理解大數據系統工作的原理，可以分析大數據軟件生命周期中可能遇到的各種問題，切實提高學生對大數據研究、應用開發實際工作的適應性，使大數據相關人才較為滿足當前企業對大數據人才的需求。具體的做法是將大數據應用開發融入教學中，突出應用性，強化專業基礎課程的學習。在大數據實踐中，需要靈活運用Linux操作系統、Java程序設計、數據庫、計算機網絡等多方面的知識，這對強化計算機專業的專業基礎知識，提高專業知識的整體學習效果具有積極的影響。將課堂教學中的方法知識，直接以實踐的方式練習，真正做到“理論與實踐、專業與應用的緊密結合”，具體的大數據課程與專業基礎課程之間的知識點關聯如下所示。

Hadoop、Spark框架的安裝與配置：

①Linux操作系統

②計算網絡

Hadoop Shell、Spark Shell命令：

①Linux操作系統

Hadoop與Spark API編程：

①Java面向對象程序設計

②數據庫

2.4 編寫合適學情的學習手冊

目前，市場上的大數據入門課程教材種類繁多、內容設置上難易程度參差不齊，對大數據原理性知識的描述過于復雜且晦澀難懂。需要根據學生實際情況，編寫出適合所教學生的大數據處理技術課程學習手冊，對原理性的知識與編程實踐內容進一步歸納整理，這樣可以提高學生學習信心，讓學生對大數據原理有所理解，同時提高分析解決實際問題的工程能力。

2.5 建立實踐教學平臺

建立中小型規模的大數據處理技術課程實踐教學平臺。通過搭建供學生使用的大數據實踐教學平臺，屏蔽了大數據平臺搭建時復雜的底層細節，以共享方式讓學生真正可以接觸到大數據技術的學習，還可以自己動手開發大數據相關應用。同時，學生也可以通過平臺進行交流學習，真正實現了實踐平臺的開放性。充分考慮實際的大數據應用場景，在案例教學中深入融合工程案例，以面向市場、面向需求的方式打造平臺，提高平臺的包容性。

3 目標達成

堅持以計算機專業人才培養方案為基礎，在課程個中整合大數據的案例教學，并實現了大數據理論教學與實踐教學的統一。以復雜的大數據工程項目推進大數據教學提升，實踐應用型本科人才培養的目標。

3.1 達成情況

1） 構建出合理的大數據處理技術課程實踐教學項目，根據各專業課程的學習情況與本校學生的特點，設計出難易適中、問題規模適當、有趣味性強、綜合性強的大數據處理技術課程實踐內容。并選擇合適的解決方案搭建大數據處理技術課程實踐教學的實訓系統供學生使用。

2） 通過深入的教學研究探索，整理了一套比較合理的大數據課程考核體系，優化了考核的流程，解決實踐教學過程對學生的監管與評價問題。對學生的整體學習情況進行把握，并能夠通過系統及時得到學生的反饋信息，開展有針對性的指導活動。

3） 基于云平臺，搭建起一套中小型規模的大數據實踐平臺，讓學生學習大數據基礎知識時有平臺可實踐，提供了學習交流的平臺。學生在實踐中既樹立了創新思維，也鍛煉了分析、解決問題的能力。

4） 開創了大數據教學的新模式，構建以學生為中心，產學研協同推進的知識傳遞方式。模擬相對真實的大數據應用場景，讓學生與實際應用相接觸，做到學以致用。同時，建立健全學生學習過程監管、反饋機制與學習效果評估機制。

3.2 實際效果

根據分析近3年巢湖學院物聯網工程專業大數據技術課程的學習情況，通過引入案例教學，在課程考核中，發現學生成績有明顯提升，學習興趣增強的同時，學習效果也有一定的進步。最關鍵的是當遇到大數據方面的實際的復雜工程問題時，對問題的分析能力與解決能力有呈現明顯的增強態勢。通過大數據案例教學，使得課程教學質量有了顯著提高，并充分體現了新工科的實際要求。

4 結束語

“新工科”給計算機類課程的教學提出了新的、更高的要求，特別是大數據作為前沿的新學科，其實踐意義更為突出。大數據案例是大數據課程核心知識的重要載體，凝重著計算機較多學科的專業知識與工程能力的培養。做好適當的教學案例設計，并應用于教學的各個環節，對于提升教學質量，提高學生工程能力具有重要意義[5]。本文強調了新工科背景下大數據課程復雜工程問題的案例設計，給出了一些實際的項目設計，并提出了一系列改進案例教學的手段，包括強化專業基礎、編寫適合學生學情的手冊、搭建實踐教學平臺。尤其實踐教學平臺的搭建，有利于學生在課外時間參與到大數據案例的實踐中，真正動手實踐，交流問題，得到工程能力的提升。通過大數據案例研究的開展，有助于更好服務于教學，推動大數據課程的建設，全面提高大數據專業人的培養。下一步，將進一步擴展大數據教學的案例庫，努力完善教學案例庫，豐富大數據教學平臺內容，進一步提升案例教學的效果。

參考文獻：

[1] 薛曉霞，薛萬欣，王曉紅.延伸電子商務專業實踐平臺，探索應用性人才培養新途徑[J].計算機教育，2009（1）：81-82.

[2] 賀子珊.應用型本科院校人才培養評價指標體系構建[D].廣州：華南農業大學，2019（12）：17-20.

[3] 潘煒，史豪斌.面向電子商務技術型人才培養的創新實訓模式[J].計算機教育，2014（12）：17-20.

[4] 賈建敏.同步云盤在期刊編輯移動和協同辦公中的應用[J].編輯學報，2019（3）：10-14.

[5] 侯亮.計算機基礎中操作系統基礎知識的教學思考[J].魅力中國， 2010（20）：239-239.

【通聯編輯：王 力】