基于Hadoop的面向信管專業的數據分析與數據挖掘課程群的構建研究

楊菲菲

摘要：從社會需求出發，將大數據和信息管理與信息系統專業有機結合，構建了基于Hadoop的面向信管專業的數據分析與數據挖掘課程群。根據課程群建設思路，確定了該課程群的教學目標，找到對應的知識能力體系，確定了課程，構建了該課程群的課程體系，以期為信管專業的改革發展提供參考。

關鍵詞：Hadoop；數據分析與數據挖掘；課程群；信管專業

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2018）28-0095-03

Research on Curriculum Group of Data Analysis and Data Mining Based on Hadoop of Information Management and Information System

YANG Fei-fei

（ShandongYouthUniversityofPoliticalScience， Jinan 250103， China）

Abstract： From the point of social needs，combining the big data and information management and information system specialty， a data analysis and data mining course group based on Hadoop is built. According to the train of thought of the course group construction， the corresponding knowledge ability system is found and the curriculum is determined in this paper. The construction of curriculum system will provide some reference for the reform and development of the information management and information system.

Key words： Hadoop；data Analysis and data Mining；curriculum group；information management and information system

1 引言

在大數據時代，數據就是最珍貴的資源，數據將引領傳統行業，并將與之結合，催化出不可低估的影響力，大數據本身就是一個大的系統，在系統內部進行數據分析從而得出數據的價值。大數據蓬勃發展的背景下，社會對具有數據管理和分析能力的人才需求在迅猛增長，其需求量超過對傳統信息管理人才的需求量，所需人員必須擁有相應的技術水平、管理水平、社會交往能力、信息系統分析和開發能力，更重要的是對數據進行有效分析的能力。事實上，數據管理與分析已滲透到社會經濟的各個領域，社會需要能夠進行數據管理與分析的創新型人才。隨著大數據技術的發展，信息管理與信息系統專業的側重點從信息系統開發將轉移到信息資源的利用上。因此，國內很多高校對于信息管理與信息系統的課程體系及課程群也進行了相關的研究。汪祖柱[1]在大數據背景下的信息管理與信息系統專業課程建設中指出在課程體系中添加數據挖掘，及數據分析相應的語言；高巖[2]以數據治理能力為導向構建的數據處理課程群，其主要課程包括數據結構、數據庫系統原理、信息資源管理、信息安全等，培養學生在數據組織、元/主數據管理、數據質量、數據安全、數據集成等方面的能力。山東理工大學的劉婷婷等[3]在人才培養目標中也強調學生不但要掌握現代信息系統的規劃、分析、設計、實施和運維等方面的方法與技術，更要具有現代管理科學思想和較強的信息系統開發利用以及數據分析處理能力。信息管理與信息系統專業是和大數據聯系最為緊密的專業，為了應對大數據分析與應用的挑戰，抓住機遇，找到我校信息管理與信息系統專業的特色，拓寬就業生的就業范圍，在信息管理與信息系統專業中建設并實踐數據分析與數據挖掘課程群是非常迫切的任務。

2 課程群建設的基本思路

課程群是圍繞一定專業的人才培養目標要求，為了完成某種能力的培養，由若干門具有邏輯關系的課程重新規劃、整合構建的有機結合體。課程間相互連接、相互支撐、相互配合，教學內容要具有系統性、關聯性和整體性[4]。它的建設不是簡單的課程堆積，需要從實際應用的角度對教學內容進行系統設計，對相關課程的整體內容、結構、關聯性進行整體優化，各課程形成一個有機聯系的整體，才能稱得上是真正的課程群[5]。課程群打破了課程內容的歸屬性，弱化了課程的獨立性，強化課程之間的親和性，使它們在一個更高的層面上連貫起來。

圖1 課程群建設思路

在進行課程群的構建時，采用如圖1的建設思路。首先根據建設課程群的目的確定課程群教學目標，即該課程群在專業人才培養中的地位及作用，然后分解該目標找到對應的知識體系、實踐能力和綜合素質，繼而找到對應的課程，有了課程需要根據所對應的知識點撰寫課程大綱，還需要有完成該課程群所需要的保障條件，課程群有效實施后，實現課程群的目標，形成了閉環。

在構建課程群時除了理論知識的優化整合外，還需要考慮實踐環節的統籌，建立合理的實踐教學體系也是課程群建設的重要部分。

3 數據分析與數據挖掘課程群的構建

3.1課程群教學目標

課程群的構建不能脫離專業人才培養，課程體系建設是專業培養目標相適應的整個課程體系為對象，是屬于宏觀層面的課程建設；課程的建設是一單獨課程為建設對象，屬于微觀層面的課程建設；課程群的建設是以相對獨立的課程整體為建設對象，具有明確的教學目標與培養任務，屬于中觀層面的建設。

根據信息管理與信息系統專業的人才培養目標，數據分析與數據挖掘課程群在整個人才培養中的地位非常重要，學生應該掌握數據采集、存儲、分析與挖掘以及可視化的相關方法和技術，具備數據分析與數據挖掘的能力，在目前大數據的背景下，學生應該具備以Hadoop為技術支持的數據分析與數據挖掘的能力。

3.2課程群的構建

根據以上課程群的教學目標，以數據分析與數據挖掘的流程來找到對應的知識體系，進而確定對應的課程以及課程的前導后續關系。

3.2.1 能力培養的流程

以Hadoop為技術基礎的數據分析與數據挖掘的流程如圖2所示。

數據分析與數據挖掘的第一步必須有大量的數據，數據的來源可以是已存儲的數據，也可以是從網絡或系統中提取的數據，在此，我們著重教給學生從網絡自行爬取數據的方法。

數據采集后，需要對數據進行清洗，即對數據進行預處理，處理好之后進行存儲，目前，數據庫的存儲可以使用關系型數據庫、非關系型數據庫、分布式文件存儲數據庫等。因為構建的是以Hadoop為技術基礎的課程群，在此我們著重培養學生使用分布式文件存儲數據庫的能力。

數據存儲后，可以對數據進行分析與挖掘，使用大數據技術中的MapReduce以及數據挖掘、數據統計的方法對數據進行分析挖掘。

數據挖掘后，以圖表的形式展現清晰明了，需要對數據進行數據可視化。

3.2.2課程群知識體系的構建

根據上述流程，逐個分析各個流程中需要用的知識技能。

1）數據采集

數據采集中著重培養學生從網絡爬取數據的能力，在目前眾多的方法中選取比較流行的前沿語言Python語言，在此流程中，需要用到的知識技能如下：

（1）學生需要掌握數據采集的基本原理

（2）掌握Python語言的基本語法

（3）具備使用Python語言進行數據采集的能力。

2）數據存儲

數據存儲中，需要對數據進行預處理，然后實現分布式存儲，需要用到的知識技能如下：

（1）數據預處理的原理方法，包括數據清洗、數據集成、數據變換和數據規約。

（2）Hadoop體系結構

（3）HDFS分布式文件系統的基本原理及運行機制

（4）掌握一門分布式文件存儲數據庫，這里選用比較前沿的MongoDB。

對于關系型數據庫，在數據庫原理專業基礎課中已經講述，在此不再納入該課程體系的范疇。

3）數據分析與數據挖掘

對數據進行預處理和存儲后，可以根據目標對數據進行分析與挖掘了。在此，需要使用的知識技能如下：

（1）掌握數據統計的基本原理

（2）掌握數據挖掘的經典算法和典型工具

（3）理解MapReduce編程模型的原理

（4）掌握簡單的MapReduce程序的編寫

（5）掌握Python中Pandas庫numpy數值計算方法

4）數據可視化

數據可視化在目前的數據分析中用的非常多，也有很多的工具。為了使該課程群具有前后連貫性和統一性，在此，使用Python語言中數據可視化的工具包，需要使用到的知識技能如下：

（1）掌握matplotlib的使用方法，matplotlib是Python中最基本的可視化工具

（2）掌握seaborn的使用，seaborn是一個非常漂亮的可視化工具。

以上，根據課程群的建設目標，找到了對應的知識體系。

3.2.2 課程的構建

根據上述中對課程知識點的分析描述，對課程進行合并歸納，找到課程群中的課程，課程群推導過程如圖3所示。

從圖3中，根據每個流程中對應的知識點，找到對應的課程，對課程進行內容合并，課程群的主要課程包括Python語言、數據預處理、統計學、數據挖掘、大數據技術、MongoDB數據庫六門課程。其中，Python語言課程的講解中需要包括的內容有網絡爬蟲的應用、Python語言數據分析與挖掘、Python語言可視化。為了更好地提高學生的實踐能力，將整個課程的內容按照能力培養的流程從頭到尾進行貫穿，在課程學習結束后，增加了一個數據分析與數據挖掘項目綜合實訓。

3.2.3課程群的課程體系

為了更好地達到該課程群的教學目標，對課程群中的課程以及支撐課程進行分析，得出數據分析與數據挖掘課程群的課程體系，如圖4所示。

學生學習數據分析與數據挖掘的課程，需要具有計算機科學的基礎，掌握面向對象的計算機編程思想和數據描述方法，需要開設數據結構、計算機網絡、數據庫原理、程序設計語言等課程；為了給學生將來從事數據分析、數據挖掘等相關工作奠定基礎，以數學和統計為基礎，掌握基本的數學邏輯思維方法，需要開設微積分、線性代數、概率論與數理統計等課程，這些構成了數據分析與數據挖掘課程群的支撐平臺，為數據分析與數據挖掘課程群的開設奠定了基礎。

課程的開設先后關系如圖4中所示。Python語言是整個課程群的語言基礎，貫穿整個課程群的學習，所以放在最前面，根據信管專業的課程體系整體安排，建議在第四學期開設。數據預處理和MongoDB數據庫也是比較基礎的課程，Python語言中采集部分需要用到相關知識，所以與Python語言課程一起開設。根據能力培養的流程，將大數據技術、統計學在第五學期開設，數據挖掘在第六學期開設，在整個課程學習完后，第六學期的期末進行數據分析與數據挖掘綜合項目實訓。

數據分析與數據挖掘課程群的具體的教學安排如表1所示，其中學分是指理論課和實驗課的總學分，其中理論課的1學分為16課時，實踐課的1學分為32課時，如“2+2”表示32課時的理論課和64學分的實驗課。另外，項目綜合實訓屬于集中實踐環節，2學分為2周的時間。

4 結束語

在當前大數據背景下，基于Hadoop技術的面向信管專業的數據分析與數據挖掘課程群的構建研究是信息管理與信息系統專業與大數據結合的一次創新。以社會的需求為導向，以培養學生的數據分析與數據挖掘的能力為目標，同時培養學生運用數據思維分析和解決實際問題的能力。此課程群的有效實施，還需要有完善的實踐平臺以及一支知識結構合理、教學水平高的教學團隊，這是以后重點建設的方向。

參考文獻：

[1]汪祖柱.大數據背景下的信息管理與信息系統專業課程建設[J] .宿州學院學報，2015（2）：121-122.

[2]高巖. 大數據背景下信息管理專業的課程群建設[J].計算機教育，2014（12）：8-10.

[3]劉婷婷， 李長儀， 張立濤.大數據時代下信息管理與信息系統專業培養模式研究[J].中國電力教育，2014（2）：48-50.

[4] 石洪波，冀素琴，呂亞麗，郭珉.財經院校信息類專業數據管理與分析課程群體系研究[J].高等財經教育研究，2015（9）：54-58.

[5] 張景森，杜振川，周俊杰，許云，張靜.高校課程群建設理論與實踐中的幾個問題[J]. 現代教育科學，2015（9）：64-69.

【通聯編輯：王力】