對應用型本科生開設數據挖掘課程的嘗試

摘要：本文對數據挖掘課程的特點以及應用領域、數據預處理方法以及關鍵的四項技術、Web挖掘與個性化推薦以及算法實現及應用上做了分析，并且在教學實踐中做了嘗試，提出了一些經驗和不足。

關鍵詞：數據挖掘；數據預處理；挖掘算法；Web挖掘；個性化推薦

中圖分類號：G642文獻標識碼：A

文章編號：1672-5913(2007)14-0027-03

1引言

數據挖掘是一門綜合性的交叉學科，它融合了概率統計學、數據庫技術、數據倉庫、人工智能、機器學習、信息檢索、數據結構、高性能計算、數據可視化以及面向對象技術等，在保險業、電信業、交通業、零售業、銀行業正在被越來越廣泛深入地使用，同時在生物學、天文學、地理學等領域也逐漸顯現出技術優勢，特別是在客戶關系管理系統、個性化網站設計、電子商務系統、搜索引擎等方面數據挖掘技術顯示出了獨特的魅力。數據挖掘技術正在以一種全新的概念改變著計算機應用的方式。

從最近計算機技術的發展以及學生就業方面來看，對本校的應用性本科生開設“數據挖掘技術”課程迫在眉睫。但數據挖掘給人的感覺就是“高深莫測”，當前數據挖掘領域主要是博士生、碩士生研究的領域，數據挖掘課程也只在一些重點大學的研究生或高年級的本科生中開設，應用型本科院校以及一些高職高專幾乎都沒有開設此類課程。這限定了數據挖掘作為一門既有理論又有實踐價值學科的應用和推廣，筆者認為很可惜。從計算機專業的學生的畢業設計以及就業角度分析，相當多的同學以后會從事電子商務類軟件的開發，而這類應用目前都漸漸基于Web作為應用平臺，面對的是海量的數據信息，因此讓學生掌握數據挖掘的思想和方法對提高計算機素養很有必要。即使將來從事控制、通信、游戲、圖像處理等軟件開發，數據挖掘的思想和方法也很容易找到用武之地。

2數據挖掘課程開設的可行性分析

從計算機技術發展以及學生就業反饋的信息，筆者覺得數據挖掘的思想、方法以及算法對應用型本科生是很重要的，并且讓學生掌握好這門課程也是完全可能的。我校從1998年以來一直在高年級本科生中開設了“人工智能”課程，但從教學效果上來看，很不理想。“數據挖掘技術”這門課程在不少地方很像“人工智能”，“數據挖掘技術”課程中的一些思想就是從“人工智能”中發展過來的，但是“數據挖掘技術”課程與“人工智能”課程有一個本質的區別，就是數據挖掘從誕生的一開始就是面向大量的、實際的數據庫信息，因此，具有極強的應用性，如果將“數據挖掘技術”課程看做是“數據庫技術”課程的自然延伸，同時充分利用數據結構、人工智能、面向對象技術與方法、Web技術、概率統計等課程的基礎，就能夠將“數據挖掘技術”課程開設好。于是兩年前，筆者在應用型本科生中做了嘗試，就是取消原來的“人工智能”課程，取而代之的是“數據挖掘技術”課程，從兩年的教學實踐以及教學效果上看，行之有效。并且在教學中發現，雖然數據挖掘技術要用到人工智能的一些思想和方法，但沒有“人工智能”課程作為前導課程，沒有任何影響，因為，數據挖掘中的一些人工智能思想在“數據挖掘技術”課程的教學中是自成體系的，并且是以比“人工智能”中的方法更加簡單、更加直接、更加面向應用的方式。開設“數據挖掘技術”課程必須以下列的課程作為基礎(前導課程)，當然這些課程都是一些常規課程。

1) 必須深入學習一門程序設計語言，通過這門語言的學習可以掌握程序設計的基礎知識，并且掌握面向對象思想開發的精髓，能夠進行可視化程序設計。學習程序設計絕不是記住程序設計語言的語法就行了，而要努力做到將應用中的思想變為程序。這一點是計算機專業學生的基本素養。這一環節沒有做好，其余的計算機專業的專業課程，如數據結構、操作系統、數據庫原理、編譯原理、軟件工程等就無法學習，即使學了，也不能真正掌握。筆者從計算機發展和應用角度，推薦學習C/C++和Java，要求對C++的模板以及STL或Java的數據結構類(在Java的util包中)能夠較好掌握。

2) 掌握“數據結構”課程，特別是“數據結構”課程中的樹的特點和應用。在“數據結構”課程中，樹主要以二叉樹為主，對于一般的樹，在當前的“數據結構”課程的教學中都是將一般的樹轉化為二叉樹來進行處理的，但是在數據挖掘中這樣不太方便。數據挖掘中的很多算法都涉及到樹的應用，并且大多都是不太規則的樹，在數據挖掘中，采用樹的思想與Java中的數據結構類或C++中的STL相結合的方法，能夠得到很好的效果。

3) 掌握“數據庫技術”課程中數據庫操作的特點和應用。數據挖掘的對象主要是數據庫中的數據，但作為數據挖掘對象的數據庫的數據信息量往往很大，因此，為了提高挖掘的效率，需要建立數據倉庫，或者需要在算法上加工，盡量減少掃描數據庫的次數。

4) 掌握“Web技術”。這是因為Internet已經廣泛應用并且深入人心，未來的軟件相當多的都是基于Web平臺之上，因此，對于Web挖掘不僅重要，而且具有直接的應用價值。當前Internet上的軟件如一些知名網站、搜索引擎以及一些電子商務系統，采用了數據挖掘技術，得到了很多有價值的信息或提高了個性化能力，大大增強了企業的競爭力。因此，掌握“Web技術”課程對Web挖掘很有裨益。

5) 熟悉“概率統計”課程中的思維方式，對各種分布以及條件概率能夠熟練掌握，在數據挖掘中的分類、關聯規則等領域很多挖掘方法都靈活運用了概率統計中的思想和方法。

從“數據挖掘技術”課程的教學實踐中明顯看出，主要需要以上幾門課程，并且教學結束后發現，學生不僅能夠掌握數據挖掘的思想、方法以及算法，通過對一些主要的挖掘算法的實現，對“數據庫技術”、“程序設計語言”、“數據結構”、“Web技術”以及“概率統計”掌握得更加深刻，將“數據挖掘技術”作為“數據庫技術”的自然延伸，是“程序設計語言”、“數據結構”、“Web技術”以及“概率統計”的綜合運用得到良好效果。

3 “數據挖掘技術”課程的設置

一門課程的設置，不僅要根據當前計算機技術的發展，同時也要根據當前學生的就業需求，充分考慮到應用型本科學生的特點。兩年前，經過多方面的考慮以及參考了各種國內國外數據挖掘的教材以及論文后決定，“數據挖掘技術”課程教學學時定為32課時，講課22學時，上機實驗10學時。在這個總的學時定下來之后，就是對“數據挖掘技術”課程的內容設計，這是最重要的環節。精選出的內容不僅要反映數據挖掘的特點以及最新發展，還要結合應用型本科生的特點，要具有很強的針對性，重點要突出，要能夠“學以致用”。最后“數據挖掘技術”課程的教學內容如下：

1) 數據挖掘綜述2學時。本講側重于從兩、三個具體應用領域進行分析得出采用數據挖掘技術的重要性與必要性，可以選取客戶關系管理、體育競技、信息安全和商業欺詐等作為案例，然后給出完整的數據挖掘定義和數據挖掘技術的分類，以及數據挖掘需要的一些前導課程的知識要點。

2) 數據挖掘過程及當前數據挖掘的軟件工具2學時。數據挖掘的過程是數據抽取與集成、數據清洗與預處理、數據的選擇與整理、數據挖掘以及結論評估。本講重點講解挖掘的過程，強調數據預處理對挖掘的重要意義，對于缺省的值、殘缺的值等的處理方法。讓學生對數據挖掘的整體過程有清楚的理解。然后介紹一下當前流行的商品化數據挖掘軟件如IBM的IntelligentMiner和加拿大Simon Fraser 大學的DBMiner。

3) 關聯規則挖掘與序列模式挖掘6學時。在介紹關聯規則原理的基礎上，主要介紹著名算法Apriori及其改進、FP_Tree算法、用于序列模式挖掘的AprioriSome算法。每個算法需要2學時，對每個算法要進行徹底分析，不僅能夠理解算法的原理、思想以及過程，還要分析算法提出人為什么會提出這種算法，在日常生活中的含義是什么，算法的優點和缺點是什么，以及如何用Java或C++來編程實現該算法。最后，對多層次關聯以及數量關聯規則挖掘做個簡單介紹即可。

4) 分類技術4學時。介紹分類的原理，主要講解ID3和C4.5、樸素貝葉斯分類，簡單介紹一下BP神經網絡的分類。對于C4.5要求能夠從原理上把握整個算法，能夠進行連續值的離散化處理，理解C4.5比ID3的優勢所在；對于樸素貝葉斯分類，要深刻理解該分類的原理以及貝葉斯信念網絡的工作原理。特別的，對于FP_TREE以及C4.5算法的實現，需要用到不規則樹，提出用C++或Java解決這種不規則樹的方法。

5) 聚類技術4學時。在介紹聚類的重要性和分類的基礎上主要介紹劃分聚類PAM算法思想以及基于密度聚類DBSCAN，對于當前重要的聚類STING和CLIQUE做個簡單介紹。最后，比較聚類和分類的不同之處。

6) Web挖掘與個性化推薦技術4學時。對于Web挖掘從內容挖掘、訪問行為挖掘和結構挖掘三個方面進行講解，重點講解個性化技術。對基于最小關聯規則集的個性化推薦以及基于協作篩的個性化推薦作深入剖析，并指出在當今網站設計中的重要意義。

7) 上機實驗設計。精選五個上機實驗。第一個實驗是關聯規則的Apriori算法或FP_Tree算法的實現，兩個任選一個，如果選擇Apriori的話，需要采取一些效率改進措施；第二個實驗是序列模式挖掘中的AprioriSome算法；第三個實驗是分類技術中的ID3或C4.5算法，這兩個算法的主體相同，任做一個即可；第四個實驗是聚類中的PAM或DBSCAN算法，兩個任選一個；第五個實驗是利用協作篩進行個性化網站的智能推薦。以上五個實驗每個實驗2學時，建議編程語言采用Java或C++，最后挖掘結果具有可理解性。

當然，以上的課程內容設計會隨著數據挖掘技術的發展，不斷進行微調，以適應不斷變化的計算機技術發展與社會需求。

4 “數據挖掘技術”教學實踐總結

兩年前，雖然已對“數據挖掘技術”課程作了充分準備，但在剛開設這門課程的時候，很擔心這門“高深莫測”的課程的教學效果。但經過兩年的教學實踐發現，這門課程的教學效果比預想的還要好。通過對該門課程的學習，學生不僅基本掌握了數據挖掘的基本原理和算法，同時對以前的一些主干課程如數據結構的理解和運用有了非常深刻的認識。更為重要的是，本課程的五個實驗都是數據挖掘領域中最經典、最重要的算法，通過對這些算法的編程實現，不僅理解了數據挖掘關鍵算法的精髓，同時，這些數據挖掘算法實現的程序經過不斷改進、加工，性能不斷提高，由于都是源代碼，可以將這些算法應用到一些實用的軟件系統如客戶關系管理系統、個性化網站中去，收到良好效果。此外，在網上的一些數據挖掘論壇中，經常看到一些初學數據挖掘的研究生或技術人員很想看一看數據挖掘經典算法的具體程序實現，我們也將這兩年不斷改進的程序源代碼作為免費資源贈送給了不少同行，也為數據挖掘的推廣應用貢獻了微薄之力。

5結束語

“數據挖掘技術”課程的教學嘗試目前主要針對的是本校應用型計算機專業本科生，雖然收到了良好的效果，但“數據挖掘技術”絕不僅僅是計算機專業學生才需要掌握的課程，對于我校通信系、電力系、自動化系等工科專業，經濟系、管理系甚至一些文科類的學生也很有價值，因此，怎樣在非計算機專業的應用型本科生中開設好這門新興課程，甚至在高職高專學生中也開設好這門課程，則是需要作進一步的探索和嘗試。

參考文獻：

[1] 毛國君. 數據挖掘原理與算法[M]. 北京：清華大學出版社，2005.

[2] 陳文偉. 數據挖掘技術[M]. 北京工業大學出版社，2002.

[3] 余力. 電子商務個性化[M]. 北京：清華大學出版社，2007.

A Test to Applied College Students on Teaching Data Mining

XU Jin-bao

(Dept. of Computer Engineering， Nanjing Institute of Technology，

Nanjing 211100，China)

Abstract:Data mining becomes more and more important in nowadays. To applied college students， mastering the basics and methods of data mining technology demands immediate attention. This article gives some suggestions on how to teach these students well. The content of data mining technology course and experiments are selected elaborately. Mining technologies such as association rule ， data classification， clustering ， web mining and personalized recommendation are emphasized.

Keywords: data mining ;data preprocessing; mining algorithms; web mining; personalized recommendation

作者簡介：徐金寶(1970－)，男，江蘇南京人，講師，1992年畢業于浙江大學，主要從事計算機軟件的教學與研究，研究方向是數據挖掘、Java新技術應用。