基于大數據分析的在線課程學習過程測評和優化*

郭 玲，郭澤睿

基于大數據分析的在線課程學習過程測評和優化*

郭 玲1，郭澤睿2

（1.珠海城市職業技術學院，廣東 珠海 519090；2.華中師范大學 數學與統計學院，湖北 武漢 430070）

隨著在線學習迅速發展，如何構建在線課程教學評價體系，有效發揮評價機制成為亟需解決的問題．由于在線學習無法進行課堂上的面對面交流和對學生能力的準確定位，往往存在評價單向性、忽視過程評價、評價形式簡單等問題與局限．文章在對在線課程教學評估現狀分析的基礎上，通過對課程在線學習測評數據進行大數據分析，提出了基于形成性評價的在線課程教學評價優化方案，并以語言類、程序語言類等課程為例，驗證了文中所提算法可以給出優化的評價策略，保證學生的學習質量，提升課程的利用率．

大數據；在線課程；需求匹配

學生的需求和能力評估一直都是提高課程教學效果的重要組成部分．恰當的需求、能力評估和引導方法能夠提高學生的學習興趣，增進學生在學習過程中的能動性，促使學生全方位能力的增強[1-3]．目前，大部分教師采用傳統的評估和引導手段，重點關注學生的成績，而忽略了學習的過程、時間、學習方法、教學手段等因素的影響[4-5]．對于在線學習這一新興事物而言，課程評價方式的不足就更為突出[6-7]．單一的評分機制很難真實反映學生在線學習的效果和存在的問題[8]．相比于傳統的面對面教學方式，在線教學模式下教材是事先準備好的，教學內容也是事先錄制的，在提升教學質量和教學效果等方面幾乎無據可依，成為在線學習課程利用與課程效果評估的一大難點問題[9-11]．本文在分析在線課程教學評價輔助手段發展的基礎上，提出在線課程教學評測系統的優化方案，并對所提方案的效果進行了系統分析和評估．

1 在線教學的課程效果評估發展及現狀

傳統評價關注學生最終的學習成績，忽略了學習過程．而形成性評價將關注點的一部分轉移到學生的學習過程，比如，學生在這個過程中的行動、效果、意愿等，能夠幫助學生糾正學習習慣、調整學習方法和學習目標，檢測其學習效果，最終達到完成課程學習，提升學生能力的目標．Scriven提出形成性評價和最終評價的概念及彼此的差異[12]．該理論極大地影響了教育界，特別在語言類、程序語言類等課程教學的效果尤為明顯．根據Scriven的理論，形成性評價因其可通過對教學過程中出現的問題進行診斷，及時與學生形成溝通，從而實現教學質量地提升．形成性評價的主要目標并不是區分學生之間的等級次序，也不是證明或者評估學生的成績，只是在學習過程中幫助學生關注學習本身，提高學生的弱項能力，最終提升相應的技能．

Bloom于20世紀70年代提出將教學評價分為診斷性評價、形成性評價和最終評價3類，并認為這3類評價在教學過程的不同發展階段使用，有不同的評估目標，也將產生不同的評估效果[1]．診斷性評價一般用于某一門課程剛剛確定和興起的階段，其評價目標是了解環境條件、明確起點并診斷問題的成因．形成性評價主要用于課程逐步成熟發展階段，用于監控能力的發展過程并收集反饋信息、提供改進建議等．最終評價在完成一門課程的成熟發展和授課之后，對整個學習過程進行整體性評估．

通過對教學發展過程的研究，可以發現教學評估正逐漸成為對課程質量和教學效果的評估手段，在教學發展和教學效果增強兩方面都有舉足輕重的地位，從而增強教學手段的豐富程度、教學效果的全程跟蹤、學生對所學知識的靈活運用等．教學評估涵蓋了所有在教學過程中對授課過程和學生發展相關的影響因素的作用效果評價，通常采用跟蹤教學過程、提供教學反饋、根據課程設置目標提升學生全面素質等方式．無論是在線或離線教學，對于促進學生自主學習能力的培養，教學評估所起的作用都非常重要．

2 基于形成性評價的在線課程學習測評和優化方案

2.1 在線課程學習過程測評和優化方案

形成性評價強調及時的信息反饋，以幫助教師修訂并改進其課程設置，從而提高教學效果和學生的學習成效．因此，形成性評價應包括的任務有：

1）跟蹤學習過程：為實現對學習過程的跟蹤，形成性評價要求教師在每個學習階段分配不同的學習任務，明確描述學習目標，并設計這些目標的評估方法．為達到學習目標，學生將根據評估結果調整他們的學習方法．

2）測試學習效果：形成性評價應讓學生清楚地了解他們是否完成了本階段的學習，以及下一階段的學習目標．這有助于提升學生的學習興趣、增強學生的學習信心和改善他們的學習方法．

3）找到存在的問題：根據反饋和此前評估的分析，教師和學生都可以通過形成性評價找出問題的原因，并尋求解決問題的最佳方案．

4）糾正學生學習策略：根據學習過程中的問題，教師可以及時與學生聯系，并與學生一起構建和改進學習策略與學習方法，這個過程將極大提升學生潛在能力．

盡管形成性評價早已提出，但是在實際教學中應用卻具有很大的難度．本文基于在線學習的大量交互數據，嘗試融入形成性評價機制來進行基于大數據分析的在線課程學習測評優化研究，實現學生自我評估、學生相互評估和教師評估等對學習效果的綜合評估．為了能夠更全面準確地評估學生的學習效果，可將學生在學校的學習情況作為輔助信息用于在線課程評估．因此收集的信息包括進行在線課程學習的學生的在校學習情況信息、在線課程興趣點、學習成績、訪談等多方位信息．傳統教學中這樣的匹配是很難做到的．

實現本方案的具體步驟如下：

1）為不同的測試學生設置獨立賬戶以便于信息匯總和分析．為每個學生分配一個獨立的信息賬戶．無論何時何地進行在線學習，學生必須使用這個賬戶登錄．這樣就可以收集到完整的在線學習行為信息；后臺則同步記錄學生登錄的次數、在線時間長度、每次在線學習時間，及給定學習周期內總的花費時間長度等．

2）記錄學生每次學習的內容．學生每次學習的內容對事后分析學生的學習行為和問題十分有幫助．如果學生在進行特定的學習內容上花費大量時間的話，可能表明對于這個學生來講，這部分內容是他的學習難點，應予以恰當的疏導、指導．

3）設定最低完成率．對學生在線提交的所有練習結果應進行評分并記錄．為了便于在線學習成績的記錄，教師需要通過小型測試或練習來獲得學生在相應的學習部分的掌握程度，以便于對學習效果進行評價．對于每個測試或練習，應設置最低的正確率．假設設定為50%，就表明如果學生在測試或練習的正確率未達到一半時，就需要及時糾正其在這部分的學習．

4）設置討論區．設置討論區可以更好地激發學生學習興趣，促進學生自主學習．以語言類、程序語言類等課程的學習為例，應以學以致用為教學的目標，那么就應該設置相應的討論區，讓學生可以自由發揮和實踐．通過對學生在討論區表現的評估，可以更好地掌握學生對在線課程后續內容的需求程度．

5）對學習效果欠佳學生設置回訪．根據在線學習文檔和學習過程中收集的效果反饋，可以明確判定哪些學生通過在線學習的學習效果欠佳，需要教師進行人為干預．針對這些學生，通過系統數據很難發現導致其學習效果不佳的關鍵原因，這時需要在在線課程設置機制中引入對學生的回訪機制，防止學生因在線學習效果不好而喪失了學習興趣．考慮到技術實現的難度，一般可以采用網頁對話或400回撥等方式實現．

6）為每個學生建立一份成績記錄表．在在線學習的過程中，需要為每位學生建立一份學習成績的記錄表．這份記錄表詳細記載了在線學習的過程、問題、解決方案和解決效果，并記錄了基于目前學習表現得到的后續學習興趣點等情況．這樣在進行在線課程檢索和自動推薦過程中，可以有針對性地實現對學生的在線課程推薦和匹配．

基于上述步驟，本文建立的在線課程學習過程測評和優化方案流程圖如圖1所示．通過如圖1所示的流程，可以實現在線學習效果的全程追蹤，記錄和檢查全部學習過程．

2.2 測評優化方法建模

為了更好運用算法，主要考慮加權系數，將變量延續圖1的歸類進行細化，從以下幾個方面對測評優化方法進行建模．

2.2.1 AHP權重設置

AHP是一種系統分析方法，20世紀70年代由T.L.Satty提出．AHP的基本原則如下：將包含對某一復雜問題特定相關因素的一組變量進行復合結構模型建模，通過逐一比對的方式對每個層級上的因素之間的重要性進行比較排序．最后決定在決策問題中每個影響因素的影響權重．

步驟1：為比對設置判定矩陣．

參考T.L.Satty的具體方案，對每個比對進行排序，生成判定矩陣A=(aij)n*n，其中，n是相關對評估的總數．

圖1 在線課程學習過程測評和優化方案流程圖

步驟2：通過AHP對評估權重進行確認．

對判定矩陣A的秩進行求解特征值，得到最大特征值Rmax和對應的特征向量W．根據特征值的排序在不同層級排列權重計算結果．

步驟3：判斷矩陣的一致性檢驗．

判定矩陣的一致性檢驗需要計算一致性索引CI=(Rmax-n)/(n-1)，當隨機一致性比例滿足CR=CI/RI<0.10時，認為判定矩陣是滿足一致性要求的．否則需要調整判定矩陣使之滿足一致性條件要求．

2.2.2 確定評估標準集合

假設評估條件集合為：

C={C1,C2,C3,C4,C5}=

{佳，較好，一般，較差，差}與之對應的評分以向量表示．

評估條件集C的評估標準評價可表示為：

E=( e1, e2, e3, e4, e5)．

2.2.3 建立模糊綜合評價模型

步驟1：確定Xij的模糊矩陣．

計算Xij的rij(t)值．rij(t)屬于標記t的維度值．構建成員函數rij(t)為：

建立Xij的Ri的模糊評估矩陣為：

步驟2：Xij的模糊評估向量計算．

將Xij的模糊評估向量定義為Ki：

步驟3：計算X的模糊評估向量．

將X的模糊符合評估向量表示為Q，可通過下式得到：

其中，

q′t=，得到Q的標準化矩陣為：

步驟4：建立模糊評估模型．

從上述步驟中，已具備了模糊評估模型的計算基礎，可通過下式計算評估值：

3 方案性能分析

為驗證上面所提方案在在線課程學習過程測評的實施效果，本文基于國內主要的幾個在線教學課程網站的后臺數據進行提取分析．為了增強驗證效果的可靠性，本文將進行形成性評價優化匹配課程教學前后的結果進行了對比．

本文所選測試數據來自網站腳本數據提取，去除不完整記錄，并通過關鍵詞索引進行數據信息的歸類，圖2給出了本文測試所用的在線課程數據采集分布．由圖2可見，所采集的數據基本服從正態分布特征，從數據統計上來看，基礎數據采集基本符合測試需求．從統計數據分布來看，受測課程記錄了每位選修該課程的學生學習記錄，并較完整地保存了學生的課程筆記和學習登陸歷史數據．由于課程自身教學內容的差異，課程進行過程中的問答及咨詢發生的頻次會明顯低于學生登陸在線課程學習的頻次，這一規律在圖2的統計數據中也得到了印證．由于本文所提出的方案在在線課程的關鍵知識點的測試中增加了課程練習的最低完成率，所以總體的學習時長相應有所增加，約束了學生的學習惰性，從而使學生通過更多時間的練習增強對關鍵知識點的理解和運用．

為進一步分析課程優化匹配前后的效果，本文對課程匹配前和匹配后，相同課程下學生的學習內容及學習時長進行統計對比．

本文提出的方案中，首先為不同的測試學生設置獨立賬戶，隨后，記錄學生每次學習的內容，并設定最低完成率、討論區，為每個學生建立一份成績記錄表．

在課程配置調整中，參照上一章節圍繞圖1流程進行．在權重方面，重點考慮課程中所需的基礎知識的量和難度、課程目標中擬使學生掌握的新知識的量和掌握所需難度、掌握新的知識所需的練習的強度等因素，以及因素之間的制約關系．例如，對于基礎性強的課程，學習基礎知識的課時比例應更高，所對應的權重應更大；對于新的專業知識類課程，往往需要學生具備一定的基礎課程的前提下學習才能夠達到較好的效果，這類課程中則需對學生具備的基礎知識程度的權重值有所增加；對于需要大量練習來強化知識的課程，課程設置中的練習時間的權重則相對更大．

圖2 在線學習數據采集情況分布

由于涉及的課程種類較多，在統計中，本文將每門課程中的關鍵知識點相對于課程自身的關系分類為：基礎知識、關鍵理論、練習實踐、知識拓展這幾個類別，將對應的內容的學生在線學習時長進行累計．為便于統計觀察，本文進一步將各類別的學習時長與總的課程學習時長求商，從而實現各類別學習時長的歸一化處理．即，例如全部學習時長為100%，其中基礎知識學習時長為40%．通過這種統計數據預處理方式，可以更直接地觀測課程優化的效果．經過統計預處理后，整理的數據如圖3所示．

測試中共涉及15門課程，每門課程分別按基礎知識、關鍵理論、聯系實踐和知識拓展四方面的學習時長進行統計．每門課程分別統計課程匹配優化前和優化后的時間差異．

如圖3所示，在基礎知識部分，匹配優化之后所用時間均低于優化之前所用時間，這表明課程與學生的基礎匹配度更好，學生在學習課程時具有更貼合課程需要的基礎知識．在關鍵理論部分，可以看到呈現與基礎知識相似的學習時長縮短的規律，進一步驗證了課程與學生自身基礎的匹配優化效果．同時，注意到由于課程自身的差異，同一課程內部所需的基礎知識和關鍵理論的知識量不同，因此在課程之間可以看到這兩部分學習時長比例的差異．

在練習實踐部分，課程優化后所用學時明顯增加．主要原因是配置優化中增加了最低完成率的設置，學生在學習中無法通過囫圇吞棗式地快進來完成課程，而是必須在關鍵的練習中達到一定的完成度才能夠進行下一個環節的學習，因此通過課程練習的完成，保障了學生對所學知識的應用和固化，加強了學習效果．這一點地影響，可以聯合觀察知識拓展方面消耗的學習時長得到印證．

在知識拓展消耗學時方面，那些基礎知識及關鍵理論的知識點較多的課程，在進行課程調整前，學生的絕大部分時間消耗在前兩部分內容的學習中，而練習實踐的時間比例很小，到知識拓展部分有的課程甚至幾乎沒有學生進行知識拓展的學習．而在課程調整之后，這些課程的學習中，用于前兩項學習內容的時間比例有所降低，在練習實踐和知識拓展方面的學習時間有明顯的增加．這表示著一方面學生能力與課程之間實現了優化的匹配，另外一方面通過上述機制的引導，學生更傾向于實際運用，并增加了更多基于課程內容的延伸學習的意愿和行動．這些效果都是有助于培養學生自主學習能力和提高動手應用能力．

本次的優化方案設置了討論區和學生回訪,來保障部分不適應課程的學生能夠及時得到幫助．本測試給出了受測課程中討論區活躍度和回訪次數，如圖4所示．從圖4的對比可以看出，對于討論區相對活躍的課程（如帖子數量超過50個），對應的回訪次數明顯較低（回訪次數一般低于5次）．可以發現，通過設置討論區并由教師通過討論區與學生保持課程中的互動，可以有效降低學生難以完成預計課程內容的風險．

圖3 在線學習的課程不同內容耗時對比

圖4 討論區活躍度和回訪次數

最后，從15門課程的匹配優化總體性方面，與專家人工建議分類進行了對比分析，從另外一個維度驗證本文所提匹配理論的可靠性．本測試給出了所提方案的自動匹配結果、目前網站上課程匹配現狀、專家人工建議分類結果的對比，如圖5所示．從圖5分析可知，所提方案和專家建議的匹配度在大部分受測課程數據分析結果方面來看，優于網站上目前未進行任何匹配優化的結果．也可以看到，所提方案在有些課程方面有些課程的判斷結果低于專家判斷，主要因為在匹配考慮因素中缺少完整的信息引導會產生一些偏差．

圖5 在線學習需求匹配度分析

4 結 論

本文針對在線學習課程教學評價優化問題，基于對教學中三類評價特征的分析，采取將形成性評價融入到問題建模當中展開研究，通過收集教學過程中的各環節信息進行綜合分析評判，給出適用于學生的在線課程教學評價優化方案．通過網站腳本提取數據進行分析，對前后學習耗時分析、討論區與學生回訪次數對比等方面驗證了所提方案的性能，并引入專家評判從宏觀維度加以印證．分析結果表明所提方案可以較好地優化當前在線課程教學評價體系．

[1] Bloom B S. Evaluation to improve learning[M]. New York: McGrawHill，Inc, 1977．

[2] Cheng W &Warren Martin. Peer assessment of language proficiency[M].http://ira.lib.polyu.edu.hk/bitstream/ 10397/618/1/LT_298.pdf. 2005．

[3] 黃婷婷．學堂在線網絡課程的互動行為研究[J]．教育現代化，2015（9）：11-13．

[4] Edgier. Approaches to measurement and evaluation. studies in educational evaluation[M]. Educational Leadership, 1993．

[5] 吳會琴，居海清．慕課背景下的“電機與電氣控制”在線課程開發的探索[J]．機械職業教育，2015（10）：21-24．

[6] 趙赳．云南干部在線課程資源建設現狀分析及對策研究[J]．軟件導刊教育技術，2015，14（1）：70-73．

[7] Higher Education Department. College English curriculum requirement[M]. Higher Education Press, 2007．

[8] McMillan J H. Classroom assessment[M]. Boston: Allyn & Bacon, 2004．

[9] 李紅霞，曾英姿．OCs在線課程時代高校圖書館的角色定位——基于MOOC、SOOC及SPOC的探索[J]．現代教育技術，2015，25（5）：59-64．

[10] 金瑾慧．大規模開放在線課程的國內現狀分析及發展研究[J]．亞太教育，2015（09）：292-292．

[11] 穆肅．機遇與挑戰：從開放教育資源到開放教學過程——從遠程教育視野出發對開放在線課程的思考[J]．中國電化教育，2015（8）：52-58．

[12] Scriven. The methodology of evaluation[M]. Washington DC：American Educational Research, 1967．

Evaluation and Optimization of Online Course Learning—Based on Big Data Analysis

GUO Ling1, GUO Zerui2

（1. Zhuhai City Polytechinc, Zhuhai, Guangdong519090; 2. Mathematical And Statistical School ,Central China Normal University，Wuhan, Hubei 430070, China）

How to build up a teaching evaluation system for online courses is a pressing issue in an era when online learning is becoming more and more popular. Lacking a face-to-face communication and an accurate classroom appraisal of students’ ability, online learning overlooks process evaluation, which results in a one-way and oversimplified evaluation. After analyzing the existing problems and the evaluation data, this article puts forward an optimized evaluation system for online course learning. Linguistics and program language courses are taken as examples to prove that the above mentioned optimized evaluation strategies can help students improve their study and make better use of the courses.

Big data; online courses; demand match

TP399

：A

：1672-0318（2017）01-0045-07

10.13899/j.cnki.szptxb.2017.01.010

2016-05-19

*項目來源：中國成人教育協會“十二五”成人教育科研規劃2015年度一般課題《終身學習理念下學歷與非學歷教育一體化設計研究》（課題批準號：2015-095Y）

郭 玲（1970-），女，湖南長沙人，講師，雙學士，研究方向：計算機應用、教育技術．

郭澤睿（1998-），男，本科，研究領域：應用數學．