學(xué)習(xí)行為分析與質(zhì)量評估的技術(shù)和模型研究

曹 菡，亓 瑤，于汪洋，劉永勃

（陜西師范大學(xué) 計算機(jī)科學(xué)學(xué)院，陜西 西安 710062）

學(xué)習(xí)行為分析與質(zhì)量評估的技術(shù)和模型研究

曹 菡，亓 瑤，于汪洋，劉永勃

（陜西師范大學(xué) 計算機(jī)科學(xué)學(xué)院，陜西 西安 710062）

探討學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為分析與質(zhì)量評估的技術(shù)與模型，提出一套完整的學(xué)習(xí)行為分析與質(zhì)量評估方案，并以Blackboard網(wǎng)絡(luò)教學(xué)平臺的學(xué)習(xí)分析實(shí)例指出學(xué)習(xí)分析技術(shù)在網(wǎng)絡(luò)學(xué)習(xí)分析中的應(yīng)用。

混合式教學(xué)模式；學(xué)習(xí)行為分析；網(wǎng)絡(luò)學(xué)習(xí)評估；評估指標(biāo)；Blackboard教學(xué)平臺

1 背 景

目前，網(wǎng)絡(luò)學(xué)習(xí)行為分析與效果評估已成為教育界普遍關(guān)注的熱點(diǎn)問題。早在2005年，Romero等就開始對Moodle教學(xué)平臺日志的學(xué)習(xí)分析[1]。近年來國內(nèi)顧小清、李青、祝智庭等也從不同角度對學(xué)習(xí)分析的研究和發(fā)展做了綜述性研究[24]。魏順平以實(shí)例從管理者、輔導(dǎo)教師和學(xué)習(xí)者等多個視角展示了學(xué)習(xí)分析技術(shù)在網(wǎng)絡(luò)學(xué)習(xí)分析中的應(yīng)用[5]，李杏研究了教師網(wǎng)絡(luò)學(xué)習(xí)行為分析及其系統(tǒng)模型[6]，王均霞給出了現(xiàn)代教育技術(shù)網(wǎng)絡(luò)課程學(xué)習(xí)評價的設(shè)計[7]。然而現(xiàn)有的網(wǎng)絡(luò)學(xué)習(xí)行為分析及評估模型還存在著評估指標(biāo)不完善，不能很好地處理不確定性和分析網(wǎng)絡(luò)學(xué)習(xí)軌跡等方面的問題，而且也很少有教學(xué)行為分析和質(zhì)量評估模型在網(wǎng)絡(luò)教學(xué)中真正發(fā)揮作用。

2 學(xué)習(xí)行為分析與質(zhì)量評估體系的構(gòu)建

指標(biāo)體系構(gòu)建是學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為分析與質(zhì)量評估的基礎(chǔ)，為行為分析與質(zhì)量評估提供依據(jù)，行為分析與評估系統(tǒng)反過來驗證指標(biāo)體系的正確性，檢測指標(biāo)體系的構(gòu)建是否科學(xué)合理。

1）多級評估指標(biāo)體系的構(gòu)建。

指標(biāo)體系的構(gòu)建通常基于德爾菲法和層次分析法。評估指標(biāo)體系設(shè)計的一般過程是：先對目標(biāo)進(jìn)行分解，導(dǎo)出評估對象特征，然后建立評估標(biāo)準(zhǔn)，進(jìn)行標(biāo)準(zhǔn)的描述，確立價值取向的原則，最后確定指標(biāo)的權(quán)重。

以AHP層次分析法構(gòu)建學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為及效果評估指標(biāo)體系為例。構(gòu)建學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為及效果評估體系時，應(yīng)針對學(xué)生網(wǎng)絡(luò)學(xué)習(xí)行為分析與質(zhì)量評估普遍關(guān)注的問題，結(jié)合網(wǎng)絡(luò)學(xué)習(xí)學(xué)生群體的主要特征，參考中國網(wǎng)絡(luò)教育技術(shù)標(biāo)準(zhǔn)CELTS的近30項規(guī)范，以指導(dǎo)性標(biāo)準(zhǔn)、學(xué)習(xí)環(huán)境相關(guān)標(biāo)準(zhǔn)、學(xué)習(xí)資源相關(guān)標(biāo)準(zhǔn)、學(xué)習(xí)者相關(guān)標(biāo)準(zhǔn)、教育管理相關(guān)標(biāo)準(zhǔn)等5類標(biāo)準(zhǔn)為目標(biāo)。以學(xué)習(xí)成績、參與程度等各項重點(diǎn)考慮的目標(biāo)因素為基礎(chǔ)，選取多位不同學(xué)科專業(yè)的專家，利用層次分析法中的成對比較法對模型中的各個影響因素即指標(biāo)進(jìn)行賦值。在此基礎(chǔ)上對專家賦值的結(jié)果進(jìn)行反復(fù)的回溯與求證，直至各位專家對各個因素的賦值結(jié)果趨于一致，得到基于目標(biāo)的多級評估指標(biāo)體系。圖1為基于層次分析法構(gòu)建的學(xué)習(xí)資源易用性指標(biāo)AHP模型。

專家對各指標(biāo)進(jìn)行賦值，建立層次模型后，為保障決策結(jié)果的正確性，還需構(gòu)造各層次的判斷矩陣，并對所構(gòu)建的指標(biāo)體系的判斷矩陣進(jìn)行一致性檢驗。

2）權(quán)值尋優(yōu)。

圖1 學(xué)習(xí)資源易用性指標(biāo)AHP層次模型

在求得初始指標(biāo)權(quán)重的基礎(chǔ)上，采用蟻群算法、粒子群算法等，根據(jù)不同專家的歷史值數(shù)據(jù)對權(quán)值進(jìn)行尋優(yōu)，獲得更加合理準(zhǔn)確的指標(biāo)權(quán)重。

3）評估數(shù)據(jù)加權(quán)融合。

運(yùn)用證據(jù)理論合成法則，對合成法則進(jìn)行加權(quán)處理。由專家對各個指標(biāo)的重要程度進(jìn)行評分選擇，并進(jìn)行權(quán)值優(yōu)化以獲取最終較為客觀的指標(biāo)權(quán)重；最后，運(yùn)用證據(jù)理論的合成法則將多個指標(biāo)的評估值結(jié)合獲取的各指標(biāo)權(quán)值進(jìn)行數(shù)據(jù)融合，綜合評估出最終的指標(biāo)等級。

4） “不確定”性處理。

由于獲取的各項指標(biāo)的評估信息必然存在諸多的“不確定”性，在云模型理論的基礎(chǔ)上，利用主觀的AHP法和客觀的熵權(quán)法相結(jié)合來確定各指標(biāo)的權(quán)重，進(jìn)行權(quán)重的優(yōu)化融合，這樣在對指標(biāo)進(jìn)行評估時結(jié)果更加客觀精確。

云模型的特性：云模型所表達(dá)概念的整體特性可以用云的數(shù)字特征來反映，云用期望（expected value）、 熵（entropy）、 超 熵（hyper entropy）3個屬性作為云的數(shù)字特征。

基于云模型處理網(wǎng)絡(luò)教育資源評估的“不確定”性，首先要建立網(wǎng)絡(luò)教育資源及網(wǎng)絡(luò)學(xué)習(xí)行為質(zhì)量評估多級指標(biāo)體系，方法如前所述；其次是結(jié)合層次分析法和熵權(quán)法確定指標(biāo)綜合權(quán)重。針對網(wǎng)絡(luò)教育資源的易用性評估，基于云模型的網(wǎng)絡(luò)教育資源及網(wǎng)絡(luò)學(xué)習(xí)行為質(zhì)量評估模型如圖2所示。

圖2 基于云模型的網(wǎng)絡(luò)教育資源及網(wǎng)絡(luò)學(xué)習(xí)行為質(zhì)量評估模型

網(wǎng)絡(luò)教育資源及網(wǎng)絡(luò)學(xué)習(xí)行為質(zhì)量評估是一個多目標(biāo)決策問題，需要以指導(dǎo)性標(biāo)準(zhǔn)、學(xué)習(xí)環(huán)境相關(guān)標(biāo)準(zhǔn)、學(xué)習(xí)資源相關(guān)標(biāo)準(zhǔn)、學(xué)習(xí)者相關(guān)標(biāo)準(zhǔn)、教育管理相關(guān)標(biāo)準(zhǔn)等5類標(biāo)準(zhǔn)為目標(biāo)進(jìn)行合理分析比較。

（1）AHP確定指標(biāo)主觀權(quán)重，利用層次分析法確定指標(biāo)權(quán)重步驟與前（2）同。

（2）熵權(quán)法確定指標(biāo)客觀權(quán)重，利用熵權(quán)法確定指標(biāo)權(quán)重的步驟如下：

步驟1：構(gòu)造指標(biāo)評估矩陣如下：

其中：m為評估指標(biāo)個數(shù)，n為評估對象個數(shù)。

步驟2： 將評估矩陣進(jìn)行標(biāo)準(zhǔn)化處理得R=(rij)mn，其中rij稱為第j個度量對象在指標(biāo)i上的值，且rij∈[0,1]。

步驟3：計算評估指標(biāo)熵值為

步驟4 由熵值計算評估指標(biāo)熵權(quán)值為

（3）確定指標(biāo)綜合權(quán)重，層次分析法（AHP）對指標(biāo)主觀賦權(quán)，忽視了評估指標(biāo)權(quán)重的客觀性。AHP難以避免人為因素和模糊隨機(jī)性對指標(biāo)重要程度的影響；熵權(quán)法不能充分體現(xiàn)專家和決策者的建議，可能會造成指標(biāo)的實(shí)際重要程度與權(quán)重值不相符合。基于此，采用AHP法和熵權(quán)法相結(jié)合來確定指標(biāo)的綜合權(quán)重。

設(shè)采用AHP法確定的權(quán)重為λi，熵權(quán)法確定的權(quán)重為θi，則指標(biāo) 綜合權(quán)重為

（2）、B磨分離器擋板開度為30°、40°、50°時，煤粉細(xì)度R90分別為22.8%、24.0%、24.4%，隨著分離器擋板逐步開大，煤粉細(xì)度雖逐步增大，但調(diào)節(jié)范圍較小，因此可見B磨分離器擋板對煤粉細(xì)度的調(diào)節(jié)能力較差；

由式（4）可得綜合權(quán)重 ω=(ω1,ω2,ω3, ωm）。

5）仿真實(shí)驗。

對已構(gòu)建的多級指標(biāo)體系和質(zhì)量評估模型，采集網(wǎng)絡(luò)教學(xué)平臺的學(xué)習(xí)數(shù)據(jù)，進(jìn)行仿真實(shí)驗，評估該指標(biāo)體系的科學(xué)性和有效性。

3 學(xué)習(xí)行為分析與質(zhì)量評估模型的設(shè)計

單純以定性評估的模型、方法或定量評估的模型、方法都無法有效、全面進(jìn)行學(xué)習(xí)行為分析與質(zhì)量評估，因此需要采用定性評估和定量評估相結(jié)合的評估模型和方法。①定性評估和定量評估相結(jié)合；②人工智能與機(jī)器學(xué)習(xí)；③社會網(wǎng)絡(luò)模型；④數(shù)據(jù)挖掘與數(shù)據(jù)倉庫。

網(wǎng)絡(luò)學(xué)習(xí)行為及效果評估的模型、方法如圖3所示。

圖3 網(wǎng)絡(luò)學(xué)習(xí)行為及效果評估的模型與方法

4 教育云服務(wù)平臺總體架構(gòu)

教育云服務(wù)平臺綜合運(yùn)用多種成熟的信息技術(shù)手段，建立完整的教學(xué)資源管理與評估平臺，其總體架構(gòu)如圖4所示。

5 學(xué)生學(xué)習(xí)行為分析實(shí)例

本節(jié)通過Blackboard網(wǎng)絡(luò)教學(xué)平臺的學(xué)習(xí)分析實(shí)例來展示學(xué)習(xí)分析技術(shù)在網(wǎng)絡(luò)學(xué)習(xí)分析中的應(yīng)用。研究對象選取了陜西師范大學(xué)2015年4—7月在Blackboard平臺中注冊并使用數(shù)據(jù)庫課程資源的計算機(jī)科學(xué)與技術(shù)專業(yè)兩個班的學(xué)生，共71人。研究過程中所使用的數(shù)據(jù)均來自Blackboard平臺。

圖4 教育云服務(wù)平臺總體架構(gòu)

5.1 研究過程

5.1.1 學(xué)習(xí)者學(xué)習(xí)行為分析

圖5 點(diǎn)擊量與成績關(guān)系散點(diǎn)圖

5.1.2 關(guān)聯(lián)分析

本節(jié)通過關(guān)聯(lián)分析得出學(xué)生Blackboard平臺的學(xué)習(xí)行為與其學(xué)習(xí)成績的相關(guān)性。

1）點(diǎn)擊量與成績。

通過分析學(xué)生的考試成績并進(jìn)行抽樣對比，發(fā)現(xiàn)大多數(shù)期末成績較高的學(xué)生，他們對平臺的點(diǎn)擊量相對也較高，期末成績較低的學(xué)生，平臺的點(diǎn)擊量相對也較低。在進(jìn)行相關(guān)分析前，可以通過散點(diǎn)圖初步確定兩個變量間是否存在相關(guān)趨勢。如圖5所示，通過散點(diǎn)圖，可以得到點(diǎn)擊量和成績兩組數(shù)據(jù)的分布關(guān)系。通過總計擬合線，發(fā)現(xiàn)點(diǎn)擊量和成績之間有正相關(guān)關(guān)系，線性相關(guān)系數(shù)為0.400。確定了兩組數(shù)據(jù)的相關(guān)關(guān)系后，下一步進(jìn)行相關(guān)性分析，以獲得點(diǎn)擊量和成績之間更為精準(zhǔn)的相關(guān)關(guān)系數(shù)據(jù)。從相關(guān)分析的結(jié)果可以看出，平臺訪問量和期末成績之間不相關(guān)的假設(shè)檢驗值P為0.000，小于0.01，所以否定原假設(shè)，認(rèn)為平臺訪問量和期末成績之間是相關(guān)的。平臺訪問量和期末成績之間的相關(guān)系數(shù)是r=0.632，0.5＜r＜0.8,所以平臺訪問量和期末成績之間是中度相關(guān)的關(guān)系。平臺點(diǎn)擊量越高的學(xué)習(xí)者，其期末成績越高。

2）點(diǎn)擊量與參與度。

單從研究對象的點(diǎn)擊量來說，可能存在數(shù)據(jù)誤差，影響最終的結(jié)果，比如某一部分學(xué)習(xí)者只是訪問了平臺，點(diǎn)擊了某一部分學(xué)習(xí)內(nèi)容，其本身并未習(xí)得知識，所以為了確保分析結(jié)果的正確性和準(zhǔn)確性，本研究對研究對象在平臺中的題庫和章節(jié)習(xí)題中的完成情況作了統(tǒng)計，并把這些情況轉(zhuǎn)化成參與度這一屬性，重新獲取一組數(shù)據(jù)，再次對參與度和成績進(jìn)行相關(guān)性分析。從結(jié)果中可以看出，平臺參與度和期末成績之間不相關(guān)的假設(shè)檢驗值P為0.000，所以平臺參與度和期末成績之間是相關(guān)的。平臺訪問量和期末成績之間的相關(guān)系數(shù)是r=0.784，平臺參與度和期末成績之間是中度相關(guān)的關(guān)系。平臺參與度越高的學(xué)生，其期末成績也越高。

3）內(nèi)部差異性。

進(jìn)一步把兩個班的學(xué)生分別看作是一個獨(dú)立的樣本進(jìn)行分析，1班的樣本數(shù)量是37，2班的樣本數(shù)量是34。兩個班由同一位老師教授，上課時間也相同。采用控制變量法的思想，通過對兩個班的成績進(jìn)行差異性檢驗，得到統(tǒng)計結(jié)果如表1、表2所示。

表1 方差Levene檢驗

表2 均值T檢驗

根據(jù)方差Levene檢驗值和均值T檢驗判斷兩個班成績是否有差異性。表2的方差Levene檢驗值中，方差相等的情況下，F(xiàn)值是3.627，相伴概率Sig=0.61，大于0.05，不能拒絕原假設(shè)，即這時方差是齊性的。再考察均值T檢驗中“假設(shè)方差相等”的情況，Sig=0.011，小于0.05，達(dá)到了顯著水平，拒絕T檢驗的零假設(shè)。也就是說，兩個班的人均平均成績存在顯著差異。表2中，從樣本的均值差的95%置信區(qū)間看，區(qū)間沒有跨0，也說明兩個班的成績平均值存在顯著差異。

另外對比點(diǎn)擊量數(shù)據(jù)可以發(fā)現(xiàn)，1班的平均平臺點(diǎn)擊量為130.73，而2班的平均點(diǎn)擊量為110.21，1班的平均點(diǎn)擊量比2班高出了18.7%，由此從另一個角度說明了，平臺的訪問量越高，學(xué)習(xí)者取得的成績越好。

6 結(jié) 語

我們提出的理論研究和實(shí)例分析，只有實(shí)時、全面地采集、分析學(xué)習(xí)者的學(xué)習(xí)行為信息，才能為學(xué)習(xí)者量身定做最適合的指導(dǎo)。解決這個問題的首要方法是在國家權(quán)威部門的評估指標(biāo)體系基礎(chǔ)上，借鑒國內(nèi)外網(wǎng)絡(luò)教育標(biāo)準(zhǔn)和規(guī)范，探索制定多級多樣的高等教育、中小學(xué)教育網(wǎng)絡(luò)學(xué)習(xí)評估指標(biāo)體系，進(jìn)而根據(jù)指標(biāo)體系來研究構(gòu)建學(xué)習(xí)者的行為模型，再根據(jù)模型采集學(xué)習(xí)行為數(shù)據(jù)，進(jìn)行合理分析評估，給出指導(dǎo)建議。

[1] Romero C, Ventura S, Garcia E. Data mining in course management systems: Moodle case study and tutorial[J]. Computers &Education, 2008(1): 368-384.

[2] 顧小清, 張進(jìn)良, 蔡慧英. 學(xué)習(xí)分析: 正在浮現(xiàn)中的數(shù)據(jù)技術(shù)[J]. 遠(yuǎn)程教育雜志, 2012(1): 18-25.

[3] 李青, 王濤. 學(xué)習(xí)分析技術(shù)研究與應(yīng)用現(xiàn)狀述評[J]. 中國電化教育, 2012(8): 129-133.

[4] 祝智庭. 學(xué)習(xí)分析學(xué): 智慧教育的科學(xué)力量[J]. 電化教育研究, 2013(5): 5-12.

[5] 魏順平. 學(xué)習(xí)分析技術(shù): 挖掘大數(shù)據(jù)時代下教育數(shù)據(jù)的價值[J]. 現(xiàn)代教育技術(shù), 2013(2): 5-11.

[6] 李杏, 謝先成. 教師網(wǎng)絡(luò)學(xué)習(xí)行為分析及其系統(tǒng)模型探究[J]. 天津電大學(xué)報, 2015(1): 62-66.

[7] 王均霞, 陳明選. 高校網(wǎng)絡(luò)課程學(xué)習(xí)評價的設(shè)計與實(shí)現(xiàn)——以“現(xiàn)代教育技術(shù)”網(wǎng)絡(luò)課程為例[J]. 中國電化教育, 2011(8): 70-72, 76.

[8] 李德毅, 劉常昱. 論正態(tài)云模型的普適性[J]. 中國工程科學(xué), 2004(8): 28-34.

1672-5913(2017)11-0043-05

G642

2016年陜西師范大學(xué)校級重點(diǎn)教學(xué)改革綜合研究項目“面向師范院校計算機(jī)專業(yè)本科生的工程能力培養(yǎng)與評估研究”；陜西師范大學(xué)教師教育招標(biāo)項目“基于信息技術(shù)教學(xué)的中小學(xué)教師教學(xué)方法和教學(xué)效果研究”；陜西師范大學(xué)“名師工作室”專項建設(shè)經(jīng)費(fèi)資助項目。

曹菡，女，教授，研究方向為學(xué)習(xí)分析、空間數(shù)據(jù)挖掘、智慧旅游，caohan@snnu.edu.cn。

（編輯：郭田珍）