基于Web數(shù)據(jù)挖掘的個性化學(xué)習(xí)系統(tǒng)研究

高海波　李志超　蘭玲　劉義柯

摘 要： 結(jié)合Web數(shù)據(jù)挖掘在E-learning平臺中的應(yīng)用，分析了Web數(shù)據(jù)挖掘的基本過程與關(guān)鍵技術(shù)，提出了一種基于Web挖掘的個性化學(xué)習(xí)平臺模型，并闡述了Web挖掘在平臺中的應(yīng)用及其個性化搜索引擎的實(shí)現(xiàn)。

關(guān)鍵詞： E-learning應(yīng)用平臺； Web數(shù)據(jù)挖掘； 個性化學(xué)習(xí)； 個性化搜索引擎

中圖分類號：TP392；G434 文獻(xiàn)標(biāo)志碼：A 文章編號：1006-8228（2013）09-05-03

0 引言

計(jì)算機(jī)通信技術(shù)的日益強(qiáng)大支撐了建設(shè)學(xué)習(xí)型社會的需求，遠(yuǎn)程教育借助它的靈活性與選擇性漸漸走進(jìn)人們身邊，成為學(xué)習(xí)的一種普遍方式。自1996年我國開通了“中國教育與科研計(jì)算機(jī)網(wǎng)”，開放、靈活的E-learning便迅速被人們所接受并應(yīng)用于各種網(wǎng)絡(luò)學(xué)校和遠(yuǎn)程教育之中。

隨著時間的推移，人們要求不僅僅只是遠(yuǎn)距離的教學(xué)，更多的是個性化的學(xué)習(xí)。個性化教育理論認(rèn)為，學(xué)習(xí)過程應(yīng)是針對學(xué)生個性特點(diǎn)和發(fā)展?jié)撃芏扇∏‘?dāng)?shù)姆椒?、手段、?nèi)容、起點(diǎn)、進(jìn)程、評價方式等，促使學(xué)生各方面獲得充分、自由、和諧發(fā)展的過程[1]。但是目前的遠(yuǎn)程教育學(xué)習(xí)系統(tǒng)并不令人滿意，首先是系統(tǒng)缺乏智能性，學(xué)習(xí)系統(tǒng)面對的用戶并非是一類人，而是不同背景、不同目的、不同時期的一系列請求，面對這些請求，缺乏智能化的系統(tǒng)就難以實(shí)現(xiàn)因材施教；其次是缺乏有效的監(jiān)督機(jī)制和有效的學(xué)習(xí)幫助支持，導(dǎo)致學(xué)生偏離學(xué)習(xí)目標(biāo)、遇到困難時不能及時得到幫助；再者是有用的教學(xué)資源沒有被有效利用，造成了資源的極大浪費(fèi)。“以人為本”的教育理念的逐漸普及，個性化學(xué)習(xí)方案總體上應(yīng)該做到學(xué)習(xí)資源的多維性、學(xué)習(xí)價值追求的多重性、學(xué)習(xí)風(fēng)格的獨(dú)特性、學(xué)習(xí)過程的終身性和學(xué)習(xí)方式的自主性。

基于Web智能的網(wǎng)絡(luò)教育是現(xiàn)代遠(yuǎn)程教育的一種重要手段，其可以通過網(wǎng)絡(luò)來營造虛擬的學(xué)習(xí)環(huán)境，在一個平臺上向?qū)W生提供豐富的學(xué)習(xí)資源，從而幫助學(xué)生開展基于資源的探究式學(xué)習(xí)；在虛擬的學(xué)習(xí)環(huán)境中，教師和學(xué)生、學(xué)生與學(xué)生間可以方便地進(jìn)行同步或異步的交互。數(shù)據(jù)挖掘便是實(shí)現(xiàn)Web智能網(wǎng)絡(luò)教育的重要方法，主要是通過獲取學(xué)習(xí)者在Web上的學(xué)習(xí)過程行為數(shù)據(jù)，如訪問信息、時間、次數(shù)及喜好等，經(jīng)過挖掘流程處理，得到學(xué)習(xí)者的模式規(guī)律，從而給學(xué)習(xí)者提供良好的個性化服務(wù)[2]。

1 Web數(shù)據(jù)挖掘相關(guān)分析

1.1 Web數(shù)據(jù)挖掘基本過程

Web是一個強(qiáng)大的交互環(huán)境，所以Web事務(wù)度量就需要數(shù)據(jù)的獲取與處理，Web數(shù)據(jù)挖掘指的是從大量的、不完全的、蘊(yùn)含的、模糊的WWW資源上提取隱含在其中有用的信息和知識的過程。其處理對象是大量的業(yè)務(wù)數(shù)據(jù)，目的是為了提取有價值的知識，提高信息利用率。Web數(shù)據(jù)挖掘又被稱為資料探勘或者數(shù)據(jù)采礦，是數(shù)據(jù)庫知識發(fā)現(xiàn)中的一個步驟。根據(jù)大量業(yè)務(wù)數(shù)據(jù)的不同類型，Web數(shù)據(jù)挖掘可以分為：Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘、Web使用挖掘[3]。其中，Web內(nèi)容挖掘是挖掘Internet的頁面和后臺交易數(shù)據(jù)庫，包括結(jié)構(gòu)化的數(shù)據(jù)挖掘與非結(jié)構(gòu)化的數(shù)據(jù)挖掘。無論是哪種數(shù)據(jù)挖掘，都是為了尋找隱藏著的、大量的、有價值的信息，并且為Web提供更好的服務(wù)。

以下給出Web數(shù)據(jù)挖掘的基本流程。

⑴ 目標(biāo)數(shù)據(jù)采集：數(shù)據(jù)采集就是要記錄用戶訪問行為。數(shù)據(jù)來源包括服務(wù)器端、客戶端和代理端。為了有效地實(shí)施挖掘算法，僅僅采集數(shù)據(jù)是不夠的，還需要進(jìn)行下一步操作：預(yù)處理。

⑵ 預(yù)處理：目標(biāo)數(shù)據(jù)經(jīng)過預(yù)處理才能有效的實(shí)施挖掘算法，也就是從目標(biāo)數(shù)據(jù)集中除去明顯錯誤數(shù)據(jù)和冗余的數(shù)據(jù)，進(jìn)一步精簡所選數(shù)據(jù)的有效部分，并將數(shù)據(jù)轉(zhuǎn)化為有效形式。數(shù)據(jù)的預(yù)處理的質(zhì)量與Web挖掘的效率是緊密相關(guān)的。內(nèi)容包括數(shù)據(jù)凈化、用戶識別、會話識別、事務(wù)識別及路徑補(bǔ)充等。

⑶ 模式發(fā)現(xiàn)與分析：模式發(fā)現(xiàn)就是對預(yù)處理后的數(shù)據(jù)實(shí)施具體的、合理的挖掘算法或綜合應(yīng)用不同的算法。其最終目的是發(fā)現(xiàn)用戶的訪問模式，預(yù)先為用戶設(shè)定學(xué)習(xí)內(nèi)容類別。模式分析的目的是根據(jù)實(shí)際應(yīng)用，通過觀察和選擇，將模式發(fā)現(xiàn)的統(tǒng)計(jì)結(jié)果、規(guī)則和模型轉(zhuǎn)換為知識，經(jīng)過篩選后用來指導(dǎo)實(shí)際應(yīng)用，也就是在預(yù)先的類別中再次為用戶提供個性化資源和學(xué)習(xí)支持服務(wù)。

⑷ 用戶反饋：利用數(shù)據(jù)挖掘與學(xué)習(xí)內(nèi)容綁定等各種技術(shù)，學(xué)習(xí)者的學(xué)習(xí)過程會是以可視化方式進(jìn)行指導(dǎo)。

1.2 相關(guān)算法分析

協(xié)同過濾這一概念最早出現(xiàn)在1992年，由Goldberg、Nicols、Oki及Terry提出，隨著大大小小系統(tǒng)的應(yīng)用，協(xié)同過濾推薦迅速成為Web數(shù)據(jù)挖掘中一種很受歡迎的技術(shù)。該技術(shù)分析用戶興趣，在用戶群中找到指定用戶的相似用戶，綜合這些相似用戶對某一信息的評價，形成系統(tǒng)對該指定用戶對此信息的喜好程度預(yù)測[4-6]。

相似性計(jì)算是協(xié)同過濾推薦算法中最關(guān)鍵的一步，傳統(tǒng)的相似度計(jì)算方法有三種。

⑴ 余弦相似性

把用戶評分看做n維項(xiàng)目空間的向量，用戶間的相似性通過向量間的余弦夾角度量，設(shè)用戶i和用戶j在n維項(xiàng)目空間上的評分分別表示為向量k，e，則用戶i和用戶j之間的相似性為：

Sin（i，j）=cos（k，e）= ⑴

⑵ 修正的余弦相似性

余弦相似性度量方法中沒有考慮不同用戶的評分尺度問題，修正的余弦相似性度量方法通過減去用戶對項(xiàng)目的平均評分來改善上述缺陷，設(shè)經(jīng)用戶i和用戶j共同評分的項(xiàng)目集合，則用戶i和用戶j用戶之間的相似性為：

Sin= ⑵

其中，Rij代表用戶i對項(xiàng)目c的評分，和分別表示用戶i和j對項(xiàng)目的平均評分。

⑶ 相關(guān)相似性

設(shè)經(jīng)用戶i和用戶j共同評分的項(xiàng)目集合用Iij表示，則用戶i和用戶j之間的相似性sin（i，j），通過Pearson相關(guān)系數(shù)度量：

歸根結(jié)底，三種相似方法均為基于向量的相似度計(jì)算方式，進(jìn)行對象屬性之間的嚴(yán)格匹配。

余弦相似性度量方法把用戶評分看作一個向量，用向量的余弦夾角度量用戶間的相似性，然而沒有包含用戶評分的統(tǒng)計(jì)特征；修正的余弦相似性方法在余弦相似性基礎(chǔ)上，減去了用戶對項(xiàng)目的平均評分，然而該方法更多體現(xiàn)的是用戶之間的相關(guān)性而非相似性。相關(guān)性和相似性是兩個不同的概念，相似性反應(yīng)的是聚合特點(diǎn)，而相關(guān)性反映的是組合特點(diǎn)；相似相關(guān)性方法，依據(jù)雙方共同評分的項(xiàng)目進(jìn)行用戶相似性評價，如果用戶間的所有評分項(xiàng)目均為共同評分項(xiàng)目，那么相似相關(guān)性和修正的余弦相似性是等同的，用戶對共同評分的項(xiàng)目集稀少，使得相似相關(guān)性評價方法實(shí)際不可行。

2 基于Web數(shù)據(jù)挖掘的個性化學(xué)習(xí)系統(tǒng)模型

基于Web數(shù)據(jù)挖掘的個性化學(xué)習(xí)系統(tǒng)采用的是三層B/S模型，如圖1所示。

個性化與智能化功能模塊的實(shí)現(xiàn)都是以Web為基礎(chǔ)的。服務(wù)器是一個核心，用戶通過客戶端發(fā)送一系列請求，Web服務(wù)器作出相應(yīng)的響應(yīng)，也就是在后臺數(shù)據(jù)庫中查詢信息，查詢到的信息再返回給Web服務(wù)器，最后服務(wù)器通過網(wǎng)頁的形式呈現(xiàn)及反饋給用戶。

2.1 主要功能模塊分析與設(shè)計(jì)

基于Web數(shù)據(jù)挖掘的個性化學(xué)習(xí)系統(tǒng)主要是由學(xué)習(xí)者、學(xué)習(xí)者個人秘書、管理員、個性化推薦引擎及教學(xué)資源等模塊構(gòu)成。其中系統(tǒng)的核心部分是“學(xué)習(xí)者個人秘書”。當(dāng)學(xué)習(xí)者通過身份驗(yàn)證后，便會進(jìn)入個人的學(xué)習(xí)頁面?！皩W(xué)習(xí)者個人秘書”根據(jù)學(xué)習(xí)者的訪問習(xí)慣和學(xué)習(xí)者提交的要求等信息進(jìn)行自動整合（這里主要是由用戶信息收集和用戶信息建模兩個模塊來實(shí)現(xiàn)），并進(jìn)行內(nèi)部建模，形成一套完整的學(xué)習(xí)方案，并對此方案進(jìn)行資源調(diào)度，進(jìn)而反饋給學(xué)習(xí)者所需的資源信息。“學(xué)習(xí)者個人秘書”也就是所謂的個性化處理引擎，它主要由四個模塊組成：用戶信息收集、用戶信息建模、個性化學(xué)習(xí)方案、學(xué)習(xí)資源調(diào)度。該個性化學(xué)習(xí)系統(tǒng)方案構(gòu)建如圖2所示。

⑴ 用戶信息收集模塊

信息收集模塊是實(shí)現(xiàn)在線學(xué)習(xí)個性化服務(wù)的基礎(chǔ)，它收集用戶請求，跟蹤用戶的行為，結(jié)合用戶數(shù)據(jù)庫中事先存放的用戶個性化特征數(shù)據(jù)，經(jīng)過預(yù)處理，對用戶信息建模提供個性化的策略。

⑵ 用戶信息建模模塊

信息建模模塊則是運(yùn)用數(shù)據(jù)挖掘技術(shù)對這些信息進(jìn)行分析，不斷更新或者初始化用戶數(shù)據(jù)庫中動態(tài)部分，以生成個性化推薦策略并發(fā)送給個性化學(xué)習(xí)方案模塊。

⑶ 個性化學(xué)習(xí)方案模塊

學(xué)習(xí)方案模塊是“學(xué)習(xí)者個人秘書”的核心模塊，它結(jié)合前面提供的一系列用戶特征信息，并進(jìn)行整合后自動生成一套教學(xué)方案，把教學(xué)方案中所需要調(diào)度的資源傳遞給資源調(diào)度模塊。

⑷ 資源調(diào)度模塊

資源調(diào)度模塊是根據(jù)教學(xué)方案中需要調(diào)度的資源從視頻庫、作業(yè)庫、試題庫等資源庫中調(diào)度并反饋給用戶。其中，資源庫中保存學(xué)習(xí)者的基本信息、學(xué)習(xí)歷史、訪問歷史、對知識的掌握情況、學(xué)習(xí)喜好等個性特征。學(xué)生的個性特征也分為靜態(tài)信息與動態(tài)信息。如學(xué)生的姓名、性別、年齡、ID、密碼等都屬于靜態(tài)信息，如學(xué)習(xí)歷史、學(xué)生做過的練習(xí)和測試題的答案、學(xué)習(xí)者的知識結(jié)構(gòu)等都屬于動態(tài)信息。學(xué)生的個性化特征信息是實(shí)施個性化教學(xué)策略的基礎(chǔ)。

總之，整個個性化在線學(xué)習(xí)系統(tǒng)就是通過數(shù)據(jù)挖掘技術(shù)，把用戶在學(xué)習(xí)過程的所有行為記錄下來，并結(jié)合用戶數(shù)據(jù)庫，從中挖掘出用戶個性化學(xué)習(xí)特征，為個性化教學(xué)策略的產(chǎn)生提供可靠的依據(jù)。在本文，學(xué)習(xí)者個人秘書個性化引擎的加入，主要是實(shí)現(xiàn)個性化學(xué)習(xí)系統(tǒng)中視頻主導(dǎo)、測驗(yàn)穿插、在線交流、引導(dǎo)學(xué)習(xí)等功能。其中視頻能提取該集視頻所具有的知識點(diǎn)，作為關(guān)鍵字在知識樹中進(jìn)行串聯(lián)。知識樹是惟一呈現(xiàn)給用戶的學(xué)習(xí)接口，讓用戶不再注重于選擇何種視頻、哪位老師所教，達(dá)到最快的學(xué)習(xí)效率。再就是測驗(yàn)穿插，是在用戶不主動去做測驗(yàn)的時候，類似強(qiáng)制于用戶做測驗(yàn)，否則無法進(jìn)入下階段測試。概括來說，學(xué)習(xí)者個人秘書模型設(shè)計(jì)實(shí)現(xiàn)以下功能：記錄學(xué)習(xí)者進(jìn)行的所有學(xué)習(xí)活動；定時給予用戶學(xué)習(xí)建議與誤區(qū)糾正；能主動與其他學(xué)習(xí)者的學(xué)習(xí)秘書進(jìn)行交流；記錄每次學(xué)習(xí)周期，學(xué)習(xí)者的學(xué)習(xí)路線。

2.2 Web數(shù)據(jù)挖掘在系統(tǒng)中的應(yīng)用

數(shù)據(jù)挖掘是開發(fā)Web智能的學(xué)習(xí)系統(tǒng)的關(guān)鍵所在，它對個性化學(xué)習(xí)模型的構(gòu)建、個性化的學(xué)習(xí)資源的提供、個性化學(xué)習(xí)的指導(dǎo)、系統(tǒng)性能的改進(jìn)等方面應(yīng)用非常多。

⑴ 個性化學(xué)習(xí)模型的構(gòu)建

學(xué)習(xí)者模型的構(gòu)建本就是根據(jù)學(xué)習(xí)者不同的個性特征參數(shù)，對學(xué)生學(xué)習(xí)活動進(jìn)行跟蹤，并且記錄學(xué)生學(xué)習(xí)的相關(guān)信息，如：學(xué)生經(jīng)常訪問的URL的次數(shù)、停留時間、訪問的課程數(shù)等等。Web數(shù)據(jù)挖掘用去噪和模式進(jìn)行“模式發(fā)現(xiàn)”，得到學(xué)生學(xué)習(xí)的個性特征，建立、完善學(xué)生學(xué)習(xí)模型，建立學(xué)生個性數(shù)據(jù)庫，為不同的學(xué)生提供智能、個性的學(xué)習(xí)策略。

⑵ 個性化學(xué)習(xí)資源的提供

在系統(tǒng)進(jìn)行模式發(fā)現(xiàn)后，需要為學(xué)生從后臺數(shù)據(jù)庫中調(diào)度學(xué)習(xí)資源，這時候就需要系統(tǒng)將學(xué)生無關(guān)及學(xué)生不感興趣的資源進(jìn)行篩選。Web數(shù)據(jù)挖掘中的統(tǒng)計(jì)分析技術(shù)可以根據(jù)學(xué)生經(jīng)常訪問的頁面推測學(xué)生下一步的行為，推測出其感興趣的相關(guān)資源，從而減少學(xué)生的搜索時間，合理提供備用資源。

⑶ 個性化學(xué)習(xí)的指導(dǎo)

一個好的學(xué)習(xí)系統(tǒng)能適應(yīng)的并不只是一類人，而是不同背景，不同能力，不同目的的人，因?yàn)槊總€人的學(xué)習(xí)能力、興趣、習(xí)慣以及基礎(chǔ)都有很大的差異。若采取進(jìn)入系統(tǒng)平臺前讓用戶提交測試用戶屬性信息的一些表單，初始化學(xué)生學(xué)習(xí)特征，但是其中的屬性卻是時刻變動的，普通的學(xué)習(xí)系統(tǒng)無法做到隨機(jī)應(yīng)變。利用Web數(shù)據(jù)挖掘技術(shù)，挖掘用戶的使用數(shù)據(jù)日志，分析用戶的瀏覽趨勢，從而形成一組按時間排序的會話，預(yù)測用戶未來的訪問模式并做及時的指導(dǎo)。這樣針對不同類型的用戶，系統(tǒng)可以安排特定的內(nèi)容，做到真正意義上的“因材施教”。

⑷ 系統(tǒng)性能的改進(jìn)

Web數(shù)據(jù)挖掘技術(shù)提供網(wǎng)站構(gòu)架及用戶的使用信息，管理員可以根據(jù)這些信息，控制Web緩存、負(fù)載平衡和網(wǎng)絡(luò)構(gòu)架等問題，從而做到了系統(tǒng)的安全性與穩(wěn)定性。

3 結(jié)束語

基于Web數(shù)據(jù)挖掘的個性化學(xué)習(xí)系統(tǒng)研究，以“個性化E-learning系統(tǒng)研究與實(shí)現(xiàn)”課題為背景，實(shí)現(xiàn)了Web數(shù)據(jù)挖掘技術(shù)的應(yīng)用、學(xué)習(xí)知識點(diǎn)概念相關(guān)性的算法分析與設(shè)計(jì)、且構(gòu)建一個基于Web的學(xué)習(xí)者模型，闡述系統(tǒng)研究思路，并完成了系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)應(yīng)用。在一定基礎(chǔ)上為在線學(xué)習(xí)系統(tǒng)的個性化應(yīng)用提供理論與推廣參考價值。同時，本文雖取得了具體的應(yīng)用效果，但在個性化學(xué)習(xí)資源的組織與動態(tài)呈現(xiàn)上未能與學(xué)習(xí)者模型聯(lián)系，以呈現(xiàn)針對不同用戶的個性化學(xué)習(xí)內(nèi)容頁面。這將是今后需要進(jìn)一步研究的問題。

參考文獻(xiàn)：

[1] 陶劍文.基于多Agent的協(xié)作式網(wǎng)絡(luò)學(xué)習(xí)系統(tǒng)模型研究[J].計(jì)算機(jī)時代，2006.7：64-66

[2] 單蓉.一種基于用戶瀏覽行為更新的興趣模型[J].電子設(shè)計(jì)工程，20l0.4：61-62

[3 唐遠(yuǎn)洋，黃爾嘉.知識挖掘技術(shù)與網(wǎng)絡(luò)教育資源的組織[J]. 情報資料工作，2005.4：107-109

[4] 游文，葉水生.電子商務(wù)推薦系統(tǒng)中的協(xié)同過濾推薦[J].計(jì)算機(jī)技術(shù)與發(fā)展，2006.9：97-99

[5] 邱明虹，何躍.從Web日志中挖掘用戶興趣路徑算法改進(jìn)[J].計(jì)算機(jī)工程與應(yīng)用，2008.26：129-131

[6] 馬宏偉，張光衛(wèi)，李鵬.協(xié)同過濾推薦算法綜述[J].小型微型計(jì)算機(jī)系統(tǒng)，2009.7：1682-1687

[7] 朱明.數(shù)據(jù)挖掘[M].中國科學(xué)技術(shù)大學(xué)出版社，2008.