基于MOOC+SPOC模式的學習效果評價模型研究

張昭玉，任建平，付保川，張兄武，高恩婷

（1．蘇州科技大學 電子與信息工程學院，江蘇 蘇州 215011；2．蘇州科技大學天平學院 電子與信息工程系，江蘇 蘇州 215011）

0 引 言

近年來，以MOOC+SPOC為代表的互聯網教學模式逐漸興起并為教育界所接受，該模式通過短視頻網絡在線學習、翻轉課堂、在線互動討論、視頻回看等手段，有效解決了學習受時間、空間、師資等方面限制的問題。重復觀看視頻、隨時隨地在線互動討論以加深課程內容的理解，有效彌補課堂教學的不足。同時，課堂教學技術結合MOOC+SPOC，加強與學生的互動和深度交流，可起到寬度教學與深度教學相結合的效果，寬度教學由視頻完成，深度教學則由課堂教學來實現，如此可有效保證教學質量的提升[1]。

然而，在基于MOOC+SPOC的教學研究過程中，教育界對MOOC的研究大都集中在服務體系方面，比如MOOC設計、MOOC制作、MOOC上線、MOOC使用等，如中國大學MOOC團隊開展的MOOC服務研究；或者針對MOOC課程本身進行評價，如文獻[2]開展的“在實踐中探索MOOC評價體系”，提出了一個MOOC課程建設的評價體系；而針對MOOC這種教學模式開展的學生學習效果評價機制卻較少有系統性的研究。2016年，在高等教育出版社舉辦的“中國大學MOOC——大學計算機基礎”課程研討會上，西北農林大學的陳勇教授團隊提出了一個“課程多元化考核機制與探索”課題，引起了與會者極大興趣，該模式使用了線上線下、課內課外多種考核指標集成學生的最終考核成績的方式，并大膽提出“期末考試的部分將逐漸取消”。該模式可行性強，且具有合理性和創新性，但其在指標權重分配上使用了諸如“50%，20%……”這樣的模糊定義，且對于如何精選量化指標、每個指標權重如何分配、總評分數如何合成、總評成績的區間如何界定等，缺乏有效的計算方法和科學界定。

因此，如何采用合理、科學、創新、量化的評價手段反映學生學習過程的每個環節，充分發揮MOOC+SPOC作用，有效提升教學效果，是當前教學評價領域急需解決的問題之一。基于上述問題，依據MOOC+SPOC教學模式的特點，筆者提出了一個關注學習者過程性評價的量化模型，并給出了詳細的構建方法。

1 基于MOOC+SPOC模式的學習效果評價模型構建

1.1 模型概述

傳統的教學評價過于關注結果，已經不適應網絡化社會、終身教育和教育改革深化的需要，而過程性教學評價，在關注結果的基礎上，更注重評價對象的成長發展過程，在教學過程中給予多次評價機會，有利于師生的自我教育和終身教育、有利于改善評價者和被評價者的關系、有利于反映教學的整體狀況和個性特色，是一種促進教育改革深化的新評價模式[3]。因此，過程性教學評價特別適合基于MOOC+SPOC模式的教學模式。

模型實施過程如圖1所示。

圖1 基于MOOC+SPOC的學生學習效果評價模型

1.2 指標體系的構建

首先，不同的學科、不同的課程，其評價標準是不一樣的，比如“大學英語”的過程性教學評價要求的是聽說讀寫能力，而“計算思維（大學計算機基礎）”則注重計算思維、算法設計和實踐能力，不同的課程需要不同的評價指標體系，這項研究是一個長期的、持續的系統工程，需要投入大量的人力物力。其次，評價指標應能在不同方面反映高等教育教學體系的發展目標、教育水平和教學效果、社會價值等特點。最后，評價指標的設置還要充分考慮MOOC+SPOC教學的特點以及實現的可行性。因此，需要廣泛收集資料、不斷研究實踐，從而構建出科學性、可操作性較強的過程性教學評價指標體系，為過程性教學質量評價提供有力支撐。

根據過程性評價的要求，評價過程需要貫穿整個教學，所以筆者把評價過程分為前置性評價、形成性評價、終結性評價3個階段。前置性評價在教學活動之前進行，主要評價學習的預備工作；形成性評價是在學習活動過程中進行的評價，目的是獲取反饋信息，及時調整和改進學習活動；總結性評價則是在學習活動完成后進行的評價，目的在于對這一活動的結果進行反思和總結。這3個指標作為一級指標定義為(V1,V2,V3)，然后再根據一級指標定義的活動范圍尋找二級指標，定義為｛(V11,V12,…,V1i)，(V21,V22,…,V2j)，(V31,V32,…,V3k)｝，以此類推。

初選的指標還要進行進一步的優化，筆者采用的優化方法是德爾菲法：系統首先向有經驗的教育專家發放有關初選指標的調查問卷，收集調查專家對問卷所提問題的看法，反復征詢、歸納、修改，最后匯總成與專家基本一致的看法作為優選的結果。這種方法具有廣泛的代表性，且具備可行性，較為可靠。

優選后的指標將被加入到評價指標數據庫中。如前所述，評價指標既是動態的又是相對靜態的，所以在評價模型中，使用數據庫進行處理，數據庫中只存儲指標代碼和指標名稱，數據庫管理員可以根據需求更改指標名稱及指標描述，以此達到實時動態更新的目的。

以計算思維課程為例，通過對相關文獻的研究，結合中國大學MOOC在線提供的默認指標體系以及課題組教學實踐，筆者得到了表1中的16個最終評價指標。

1.3 指標權重的確定

筆者選擇的方法是AHP法（層次分析法），AHP法的基本思想就是將組成復雜問題的多個元素權重的整體判斷，轉變為對這些元素進行“兩兩比較”，再對這些元素的整體權重進行排序判斷，最后確立各元素的權重[4]。評判矩陣的確定是通過發送問卷調查得到的專家打分，將每個專家評定的分值單獨建立矩陣，通過一致性檢驗的矩陣作為有效評判矩陣。然后，將所有專家對該指標的評判權重求平均值，得到最終權重。以計算思維課程為例，筆者得到的指標權重見表2。

表1 評價指標體系

1.4 終評得分的合成

終評得分的合成方法是根據已經獲得的指標體系權重值，結合評價主體的打分。首先對指標獲得的分數進行標準映射，將其映射到標準區間[a～b]之間，即為學生的最終得分，然后計算各指標加權算術平均得到的平均數作為評價最終得分。該方法能夠消除指標體系中各個指標的量綱不統一和性質各異的問題，通過求解綜合得分作為評價教學狀態的依據。

表2 計算思維MOOC+SPOC指標評價體系

本模型定義標準映射區間為[0 ～10]，一次考試分數最大值為Xmaxt，最小值為Xmint，則學生的標準分數為

舉例說明，一次考試全班的最高分為70分，最低分為10分，某生得分70分；另一次考試全班的最高分為90分，最低分為60分，該生得分為70分。這兩次某生同樣得分為70分，但標準化之后分數分別為10分和3.3分，這意味著學生的知識掌握能力相對較高或者較低，而不是絕對分值的高低。本項步驟對于評價模型來說是非常必要的，這是因為評價模型中不可避免地會引入大量主觀因素及其他不可度量因素，僅靠分值高低來認定某學生屬于哪個等級還不夠準確，還要考慮其分值相對整個得分區間的位置來進行最后的評判。

接下來將每個過程性評價指標的得分乘以其權重值然后累加，得到每個評價指標的總得分。最后將每一指標加權平均求出綜合指數，定義評價區間（表3）并由教師給出恰當評語。

表3 評價區間定義

2 模型實施——以計算思維課程為例

為了研究評價模型的有效性，筆者選取2013級、2014級電子與信息工程學院非計算機專業新生共16個班的“計算思維”課程開展針對該評價模型的滿意度調查，具體實施情況如下。

2013級，未開設MOOC+SPOC課程，考核方式是傳統考核方式，即平時成績60%，期末成績40%。平時成績源于課堂教學，包含5次平時作業、課堂提問、出勤率。學期結束時，發放調查問卷，收集學生對評價機制的意見。

2014級，在中國大學MOOC網開設了“大學計算機——計算思維導論”SPOC專區作為輔助教學平臺，該平臺依托哈爾濱工業大學戰德臣教授的MOOC教學平臺開設，可以實現教師布置作業、提問、發起討論、測試等多種教學形式，而學生憑借學號和密碼登錄“SPOC課堂”，則可實現諸如完成作業、回答問題、參與討論、參與測試、發表話題等功能。這些活動的相應得分都被存入電子檔案，作為過程性教學的評價數據。最后，在學期結束時，參照模型中學生評價的計算方法對學生打出期末總評成績，并再次通過調查問卷的形式收集學生對評價的意見。評價實施過程分為3個部分。

2.1 數據來源

（1）中國大學MOOC——大學計算機基礎——計算思維導論蘇州科技大學SPOC課程，原始數據含學生昵稱、真實姓名、學號、學校、成績等級、測驗分、作業分、考試分、討論分、域外成績分、成績總分、原始分、老師調整分、作業互評、發帖、討論、視頻觀看時長等，提取指標映射為本系統指標，如①V14——“學生昵稱，真實姓名，學號，學校”能獲得正確結果，表明該生能正確注冊平臺，完成選課，具備一定現代信息技術運用能力，可以獲得該指標的相應分數；②V31——“測驗”，考察學生專業知識掌握程度，直接從系統中獲得。

（2）課堂控制，結合蘇州科技大學上課實踐，主要包含入學考試、微信簽到、上課提問、課堂小作業、課堂討論，映射為本系統指標V11、V21、V24、V25、V32。這部分的控制比較難，因為計算機基礎課都是大班，約70人左右，通過上課提問記下每個人成績較難實現。所以我們選用了“問卷星”平臺，每學期開展5次左右的微信簽到，5次左右的課堂討論或者實時作業，通過“問卷星”平臺發送微信鏈接，保證每個同學都能拿到10次課堂成績，該成績也計入評價體系。

2.2 數據轉換

將數據轉換為標準分，然后求每個指標的加權值并累加，得到求每個同學的最終評價分數。最后根據評價定義區間確定最終評價等級。

2.3 數據分析

關于計算思維課程的考核方式評價滿意度調查如圖2、圖3所示。

圖2 2013年考核方式滿意度評價

圖3 2014年考核方式滿意度評價

從學生意見反饋來看，使用該模型后的評價滿意率遠超過未使用該模型的評價模式，不少學生反映說很喜歡這種評價方式，因為以前的評價就是由期末考試分數決定，一旦失誤就要重修，一學期的辛苦學習就被一筆抹殺，有了這種方式，學習中的點點滴滴都能體現出來，應該說這是一種科學的評價方式。

從上述研究的結果來看，應用該模型得到的評價指數較好地反映了蘇州科技大學高等教育教學中的實際情況，達到了預期的效果，表明該模型在教學評價中起到了積極的作用。

3 結 語

筆者所在課題組在2013年就開始了以“計算思維”為導向的大學計算機課程改革嘗試，并于同年加入了哈爾濱工業大學戰德臣教授的“基于MOOC+SPOC的教學改革”團隊，在“中國大學MOOC”平臺上，開設了2年的計算思維MOOC+SPOC同步課程。從理論研究、問題分析到教學實施方案的研制、試用、修訂和完善，整個過程歷時3年。在為期3年的教學研究和改革過程中，引入了“過程性教學”作為評價的基礎理論，綜合考察學習者的發展指標，設計了一套較為完整的指標考核體系，把評價過程分為前置性評價、形成性評價、終結性評價3個階段，并應用統計學原理，提出了一個合理的基于MOOC+SPOC教學評價模型。

教學實踐證明，該模型是科學、有效、可行的，希望能夠給其他課程的教學改革提供一種新的思路。然而，在課題的研究中，我們也看到了這種評價模式存在的一些問題：①評價過程復雜，需要記錄大量成長數據，這其中不可避免地需要引入大量的主觀評價因素，不利于定量分析。②需要教師掌握較多有關教學評價的專業知識，能夠確定測驗、觀察和評價的重點，制定和掌握適當的評價標準；需要教師和學生的有效互動。這意味著教師必須投入更多的精力在教學和學生身上，這對習慣了傳統教學模式的教師來說是一種挑戰。③實施改革還需要技術層面的支持，評價模型中數據的記錄、采集、運算、決策，都需要計算機技術的支持，而目前筆者還是先取得數據，然后依據EXCEL進行合并、統計，工作量較大，所以必須利用可靠的軟件設計、先進的編程技術開發出功能強大、操作簡單、界面友好和穩定性強的計算機分析軟件，才能被廣泛應用于教學實踐，這都需要進一步研究和探索。