網絡化的MOOC的教學評價系統(tǒng)開發(fā)與應用

陸妙琴

(咸陽職業(yè)技術學院 基礎部， 陜西 咸陽 712000)

0 引言

隨著“互聯網+”在教學領域的深入應用于發(fā)展以及終身學習理念，催生出了在線學習這一新教學模式，MOOC新型教育資源受到教育界及公眾持續(xù)的關注和追捧，為我國高校教學質量提升及教學管理改革創(chuàng)新帶來了新的機遇和挑戰(zhàn)，有關MOOC的研究和探索在不斷深入，極大的豐富了在線學習形式及資源內容，MOOC同各類學校間的聯系也在不斷加深，教學質量評價作為教育教學管理的核心環(huán)節(jié)需同MOOC進行有效對接和融合，在創(chuàng)新教育理念和教育模式的過程中需有機結合自身需求，充分發(fā)揮MOOC的優(yōu)勢，進一步提高教育教學水平及質量，MOOC教學質量評價在繼承傳統(tǒng)教學模式評價標準和方法的基礎上構建了針對新教學模式的有效的評價指標及評價體系[1]。

1 現狀分析

2 層次結構模型的構建

本文在現有研究成果的基礎上在MOOC的教學評價過程中引入了層次分析法，通過教學績效評價實現對課程教學資源的優(yōu)勢和短板的精準識別過程，教育工作者可據此充分挖掘學習者的興趣點和關注點，對教學的流程和方法進行持續(xù)有效的優(yōu)化，進而實現各層次學生學習能力及學習水平的水平全面提升。

2.1 MOOC教學質量評價指標的選取

傳統(tǒng)以線下教學為主的教學模式通常將網絡教學作為提供線上學習資源的平臺，以學習者作為學習主體的MOOC更加注重學習者的學習體驗，提倡自主性、探究性和研究性的學習過程，教育工作者對MOOC的學習活動、教學環(huán)境及資源、個性化服務等的重視程度不斷提高。開展MOOC課程教學績效評價已經成為提升教育教學質量的重要手段，根據《精品資源共享課建設工作實施辦法》，可從該具有權威性和指導性的評估指標體系中提取出適用于MOOC的指標或MOOC借鑒的指標，如教育教學水平、課程與教學質量等，系統(tǒng)技術、學生學習、教學效果、教師行為等是MOOC教學質量評價過程的重要指標[3]。結合現有文獻的研究成果，可在評價指標體系中融入學生的學習態(tài)度、協(xié)作精神等；學習效果、教學效果設計為一級指標，對應學習者成績(以學習積極性與持續(xù)性、課程互動等作為主要觀測點)和教學評價(以教師評價、學習者評價等作為主要觀測點)等二級指標；將學生學習(包含學習動機、學習效果、自我監(jiān)督等二級指標)、學習評價、教學活動(包含以知識講解、教學行為和問答互動等作為主要觀測點的教師活動和以課程訪問、課程學習、在線交互等情況作為主要觀測點的學生活動等二級指標)、教學技術(包含是視頻的檢索、分類、控制、切換等的科學合理性作為主要觀測點的用戶界面布局和視頻質量等二級指標)、將系統(tǒng)特性(包含穩(wěn)定性、響應速度、兼容性等)和視頻質量作為一級指標[4]。綜合了定性和定量分析方法的層次分析法(AHP)將目標問題劃分成不同的組成因素并在此基礎上完成若干層次的聚集組合處理，最終形成多層次的分析結構模型。本文基于Delphi專家評價法通過采用AHP法完成對評價指標體系權重的分配和計算確定[5]。

2.2 層次分析結構模型

基于傳統(tǒng)的教學評價指標體系對上述主要觀測點進行分析比較和分類，MOOC的評價指標中應對教學的內容/設計/效果/師資隊伍、包括拓展資源在內的課程資源、學生及教師活動、系統(tǒng)性能和設計等指標作為重點考量對象，本文采用AHP方法構建了分為目標層、準則層、指標層的層次分析結構模型。目標層對應為MOOC教學質量的科學合理評價(A)；準則層主要包括師資隊伍(B1)、課程內容與資源(B2、B4)、教學設計(B3)、學習活動與指導服務(B5)、教學效果(包括社會效益，B6)和系統(tǒng)技術與設計(B7)等7項;指標層主要包括教師素養(yǎng)(C1)、學術水平(C2)、教學水平(C3)、課程目標(C4)、教學內容和計劃(C5、C6)、教學組織(C7)、教學方法與手段(C8)、教學評價方式(C9)、教學視頻(C10)、基本資源(課件等，C11)、拓展資源(試題庫等，C12)、學習行為(C13)、學習氛圍(C14)、教師監(jiān)督與指導個性化服務(C15)、同行及學習者評教(C17、C18)、優(yōu)勢特色(C19)、推廣應用(C20)、系統(tǒng)性能(C21)、媒體技術質量(C22)和界面設計(C23)等23項[6]。

3 評價指標體系的建立

3.1 構造判斷矩陣

對于集中在教學的內容、資源及效果方面的一級指標權重的確定，主要結合國家級相關評審指標體系和專家意見確定。準則層上依次表現出的重要程度順序為課程資源、課程內容、教學效果、教師隊伍、教學設計、教學活動、系統(tǒng)技術與設計等，據此構建標度由Mij表示(取值為1～9及其倒數)的判斷矩陣，用于表示本層各元素間的相對重要程度(相比于上一層的某因素，兩兩比較)，2個因素同等重要由1表示，一個元素比另一個稍重要由3表示，一個元素明顯比另一個重要由5表示，一個比另一個強烈重要由7表示，一個比另一個極端重要由9表示，兩相鄰判斷的中間值分別由2、4、6、8表示，兩因素交換次序比較的重要性用倒數表示。結合現有文獻數據研究成果及專家建議構建了MOOC教學質量評價的判斷矩陣，如圖1所示[7]。

圖1 各層次因素的判斷矩陣

3.2 層次排序和一致性檢驗

計算獲取判斷矩陣最大特征值和特征向量(使用層次分析法，采用近似計算)，在矩陣A=(aij)n×m的最大特征值(由λ表示)約等于n的情況下可確定其具有一致性，此時A的各個因素的比重可由特征向量W=(w1，w2，…，wn)反映；若判斷矩陣不具有滿意的一致性需進行調整[8]。一致性指標：CI=(λ-n)/(n-1)，本文通過結合運用matlab(作為計算工具)和eig()函數(用于求取特征值和特征向量)完成了層次排序和一致性檢驗，一致性比率：CR=CI/RI， RI(1～9階的矩陣)∈(0，0，0.58，0.90，1.12，1.24，1.32，1.41，1.45)表示平均隨機一致性指標，CR<0. 1時具有滿意的一致性，分別完成A、B1、B2、B3、B4、B5、B6、B7數組的構建，保存為mat矩陣文件以供程序讀取、計算和調整，以A矩陣為例，計算其權重向量和一致性檢驗的主要流程可描述為：對命令窗口和工作空間的內容進行清除，加載A矩陣的mat矩陣文件，求矩陣的全部特征值和A的特征向量分別構成對角陣D和V的列向量，求對角陣D的最大值和其每一行的最大值，找到最大特征值所在行列位置并獲得對應特征向量，從而獲取矩陣的規(guī)模，計算 CI，根據RI計算一致性比率，并生成零矩陣，歸一化處理對特征向量，輸出權重向量、最大特征值、CI、 RI、CR，主要代碼如下[9]。

clc；

Clear；

load A .mat；

在紀念“楓橋經驗”50周年之際，習近平總書記作出重要指示，充分肯定“楓橋經驗”的重大意義，強調要把“楓橋經驗”堅持好、發(fā)展好，把黨的群眾路線堅持好、貫徹好。2013年10月11日，紀念毛澤東同志批示“楓橋經驗”50周年大會在杭州召開，會議就如何貫徹落實黨的十八大和習近平總書記重要指示精神作出重要部署。

[V，D] =eig(A)；

lmd=max(hmax)；

hmax=max(D)；

[row，col]=find(D==imd)；

W = V(:，col) ；

[ m，n]=size(A)；

CI= (lmd-n)/(n-1)；

RI = [0 0 0.58 0.9 1.12 1.24 1.32 1.41 1. 45]；

CR = CI/ RI(1，n)；

If CR<0.10

WW =zeros(n，1)；

For i =1：n

WW(i ，1)=W(i ，1)/sum(W(：，1 ))；

end

WW 、LMD、CI、RI、CR

else

disp(未通過一致性檢驗需調整)；

end

反復調整判斷矩陣最終確定了圖1所示的判斷矩陣，利用MATLAB程序獲取的層次排序和一致性檢驗結果，如表1所示。

表1 層次排序和一致性檢驗結果

CR均小于0.1說明具有滿意的一致性，驗證了該模型及指標權重的合理性。假定評價采取百分制，第Bi個準則的權重及其所包含的第Cj個指標的權重分別由WBi、WCj表示，使用計算式MCj=100＊WBi＊WCj分別計算各指標的分值(從上到下)，據此完成各指標評定等級的制定及對應各個等級的系數，評價總分計算式為M=∑KiMCj(Ki和MCj分別表示等級系數和指標分值)[10]。

4 總結

MOOC教學質量評價過程需在繼承傳統(tǒng)教學模式的評價標準和方法的基礎上，對新教學模式的教學質量的重要影響因素(包括系統(tǒng)設計方法與技術、教學資源及效果、學習活動、社會效益等方面)以及多指標體系建立方法進行充分考慮與研究。本文通過AHP 法的使用完成了MOOC教學評價指標體系及相應層次結構模型的構建，并在此基礎上完成了對相關指標分配權重科學合理的計算過程，并完成了一致性檢驗(通過MATLAB完成)，根據實際評價需要給出了計算總評分數的方法，為MOOC評價系統(tǒng)的進一步完善提供參考。