基于“證據”的高校混合學習課程學業評價模型構建

王慧君 張念

[摘? ?要] 混合學習已成為高校教學的新常態，混合學習課程的學業評價問題逐漸進入研究者視域并成為教育研究者和教育實踐者共同關注的熱點。文章針對目前在高校課程學業評價中的“軟評價”現象，以評價三角為理論基礎，在綜合分析國內外相關研究成果的基礎上，構建了基于“證據” 的高校混合學習課程學業評價模型（e-ABC模型）。借助德爾菲法專家咨詢、深度訪談等方法，對模型進行修訂和完善;又將模型進行了為期一學期的教學實踐。實踐表明：e-ABC模型的應用對營造公平公正的評價氛圍、增強實踐者基于“證據”實施評價的意識和能力、提升學業評價結果的科學性和公信力以及培養學生自我監控、自主學習能力等都具有積極的影響。

[關鍵詞] 證據; 混合學習; 學業評價; e-ABC模型

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 王慧君（1966—），女，河南新鄉人。教授，博士，主要從事信息技術與教學融合、教師教育、基于技術的學業評價等研究。E-mail：henuwhuijun@163.com。

一、引? ?言

隨著教育信息化的發展，混合學習已成為我國高校課程教學的新常態，混合學習課程的學業評價問題逐漸進入研究者視野，并成為教育研究者和教育實踐者共同關注的話題。目前，高校混合學習課程的學業評價多是基于教師經驗的“軟評價”[1]，評價中缺乏證據和數據意識[2]，未能充分利用信息技術所提供的工具和資源，從而導致評價結果主觀性強，隨意性大，缺乏證據和公信力。學業評價是否科學、有效，從微觀論關乎學生課程學習的公正評價，從宏觀論則關乎高校的培養目標、培養什么人的大問題。文章對高校混合學習課程的學業評價進行研究，并嘗試構建基于“證據”的混合學習課程學業評價模型，旨在為高校教師開展基于 “證據”的課程學業評價提供“腳手架”，提高高校混合學習課程學業評價的科學性和公信力，充分發揮學業評價的功能。

二、基于“證據”學業評價的相關研究

（一）基于“證據”的評價理念及評價內涵

“證據”是法律領域的專門術語，指“可以用于證明案件事實的材料”。新版《現代漢語詞典》將“證據”解釋為“能夠證明某事物真實性的有關事實或材料”[3]。基于“證據”的評價是一種評價理念或者評價態度，具體而言，就是在評價中強調“證據”的作用和價值，注重證據的收集、分析和利用，在充分占有、分析相關證據信息的基礎上，通過證據鏈推理作出價值判斷。秉持“證據理性”觀，是證據理性在評價中的具體體現。美國國家研究委員會指出，由于評價會受到評價的具體內容、評價形式、評價時間等多方因素的影響，所以任何評價從某種程度而言都只能是一種“基于證據的推理（Reasoning from Evidence）”[4]。2010年，SBAC和PARCC兩個評價聯盟采用“以證據為中心”的設計框架（簡稱ECD），研制了新一代學業質量評價體系，旨在通過收集學生學習的證據來推理判定學生學業表現[5]。美國教師教育領域特別強調用證據來證明已取得的績效，在1998年制定的《高等教育法》中規定，所有州每年都要向聯邦政府提供關于教師教育質量的證據[6]。2013年，美國教師培養認證委員會建立了一套基于“證據”的、高標準的教師培養機構質量認證體系，要求教師培養機構要形成注重研究、調查和證據分析的氛圍[7-8]。有研究指出，美國各院校的成果評估工作已轉向一種基于“證據”的評估文化的創建[9]。置身于這種評估文化中的教師，會被習慣性地問及“你有什么證據證明，你教給學生的東西達到了預期的目標”;教師自己也會不斷反思“我有什么證據證明，我教給學生的東西達到了預期的目標”。2006年到2008年，美國教育考試服務中心（簡稱ETS）連續發布了三個以“證據文化”為主題的報告[10-12]，有力推動了基于“證據”的學生學習成果評估機制在高等院校中的運行。

基于“證據”的學業評價在國內也逐漸受到關注。姚林群等認為，學業評價必須講究證據、重視證據，對學生的評價必須建立在充分占有、分析與學業表現密切相關的證據信息的基礎上，才能全面、客觀反映學生在課程中的表現狀態[13]。楊明全等指出，正是通過證據的呈現，人們得以判斷學生的學習是否真正發生，亦即“運用證據來提升學習結果，由此證明個體的能力和學習績效的持續提升”[14]。

（二）基于“證據”的評價模型研究

為促進基于“證據”評價的普及和推廣，增加評價的可操作性，國內外學者致力于模型的構建并研發了若干評價模型。梅斯雷弗（Mislevy，R.J.）等人于20世紀90年代提出了ECD框架，強調學業評價是一種證據推理過程，評價者需根據有限的學習證據對學生的學業成就進行推理和判斷[15]。美國國家學習成果評估中心制定了基于“證據”的學生學習成果透明度模型，包括確定學生學習目標、開展評估活動、收集學生學習證據、使用證據等六個環節。該模型有力推動和指導了美國各院校、機構開展基于證據的評估實踐，在獲得質量認證的美國高等院校中，84%以上的院校都采用此模型開展大學內部的本科學生學習成果評估[16]。2008年，ETS發布的“證據文化”白皮書中提出了“學生學習成果證據模型”，模型包含闡明期望的學生學習成果、審核評估、增強評估、建立并維持證據文化等七個環節，又稱為“七步模型”。其中，“闡明期望的學生學習成果”是指評估機構要明確學生應該取得哪些成果以及收集學生學習相關證據的目的;“審核評估”指評估機構要確定當前有哪些證據能夠證明學生達到了學習目標;“增強評估”指還需要收集哪些額外的證據來證明學生達到了學習目標。該模型允許各大院校自行進行系統的評審和分析，旨在幫助院校創建或完善一種評估學生學習成果的證據文化[12]。

形成性評價在美國學生學習成果評價中起著重要作用，是學業評價研究中最活躍的部分。在美國現有的形成性評價模型中，以瑪格麗特·赫里蒂奇（Margaret Heritage）提出的“證據為中心”的形成性評價環最為典型[17]。他將形成性評價劃分為學習進程、學習目標、成功標準、獲取學習證據、解釋證據等10個相互關聯的環節。其中“成功標準”是對學生學習目標的明確表達，“獲取學習證據”是指通過具體的策略和方法系統地收集學生學習過程中出現的各種證據，“解釋證據”是指教師根據證據分析學生的學習內容和學習方式。強調證據理性、收集證據的有效性、證據分析與成功標準的一致性是美國形成性評價獲得成功的最重要因素，體現了美國學業評價鮮明的證據文化特色。我國學者王健等運用評價三角理論，以證據收集和解讀作為評價設計的基本范式，構建了中小學學生學業評價質量框架[2]。該框架將“證據的來源”“評價任務的設計”“證據的收集與解讀”作為基于“證據”進行推理學業質量的主要環節，并給出了詳細說明。

三、模型的建構過程

（一）研究設計

1. 研究目的及方法

本研究以混合學習課程學業評價為研究對象，秉持證據理性，致力于構建基于“證據”的混合學習課程學業評價模型，旨在為高校教師實施學業評價提供腳手架，提升學業評價的科學性和公信力，充分發揮學業評價的功能。課程學業評價即對學生在某門課程中所獲得的學習成就進行評價，具體而言，就是指根據預先設定的評價標準，采用恰當有效的評價工具，系統收集學生學習證據，對學生的學習過程、學習成就等作出判斷的過程。

研究方法主要有文獻研究法、模型構建法與德爾菲法。

2. 模型建構流程

（1）明確模型建構目標。為高校教師實施基于“證據”的學業評價提供“腳手架”，提升高校學業評價的科學性和公信力，充分發揮評價的功能。（2）明確模型構成要素。結合國內外已有的實踐模型、個人開展混合學習設計及教學的經驗，依據評價操作的流程（環節）確定模型的構成要素，并對各構成要素進行界定和說明。（3）分解要素，并對構成要素的子系統功能、操作工具和方法進行講解和說明。（4）揭示各構成要素、各要素的子系統之間的聯系及相互作用。（5）模型可視化。

（二）模型的初步建構

在文獻研究基礎上，結合教學實踐經驗，構建基于“證據”的學業評價初步模型。模型構成要素包括識別證據、創設證據、采集證據、篩選證據、分析證據、解釋證據及使用證據七要素，亦即七個環節;將各要素及各要素的子系統以左右結構呈現，即得到如圖1所示的模型。

為表達方便起見，對該模型完整的英文表述進行關鍵詞提取，最終將模型命名為e-ABC模型。其中，“e”為“evidence”，“A” 為“Academic Achievement Assessment”，“BC”為“Blended Curriculum”。

1. 識別證據：認識證據并判斷證據價值

識別證據是開展基于“證據”評價的首要環節。識別證據就是能夠分辨出哪些可以作為證據，其屬于哪一種類型的證據，并在此基礎上能夠判斷證據對應于學生哪方面的能力，具有怎樣的評價價值。

2. 創設證據：通過一定手段引出所需證據

創設證據是指通過一定的工具或手段引出并留存證據的過程。該環節的提出主要受到司法領域創設證據的啟發。在司法領域的案件中，最有價值的證據往往不會自然呈現，而是要通過“創設”的方法獲得。混合學習中學生的學習行為和學習結果，有些證據可以自動記錄，如登錄次數、登錄時長、點擊量等;有些證據卻不能自動存儲，如果不及時收集，這些證據就會消失。需要提前設計登錄入口、植入插件（線上創設）或者現場錄音、拍攝（線下創設）等方能收集。如我們可以將學生的教學試講、角色扮演等錄制成視頻，上傳平臺共享，作為學生自評和互評的證據;將小組討論移至線上，通過平臺自動記錄小組活動過程，為小組自評互評留存證據。

3. 采集證據：收集存儲并整理證據

采集證據即收集、整理證據。不同的證據需選擇不同的采集工具和采集方法。證據采集方法有：課堂觀察、問卷調查、照片拍攝、視頻錄像、文本采集、情感識別等[18]。證據采集工具有：錄音筆、錄像機、監控設備、教學管理系統、教育機器人、智能穿戴設備、物聯感知系統等[19]。

4. 篩選證據：對證據進行挑選和排序

篩選證據是指通過一定的方法對證據的真實性和相關性進行評定，挑選出有用的證據。實際應用中，采集的證據往往是雜亂無章的，需要對這些證據進行篩選和整理以保證證據的質量。真實性是保證評價結果公正性的重要條件，也是實施公正評價的前提;相關性是證據最基本的屬性，相關性越強，證據力就越大。

5. 分析證據：對證據進行統計和推理

分析證據是指使用恰當的技術或框架對證據進行統計和推理，挖掘證據價值并使其轉化為評價信息。目前，常用的分析方法主要包括：學習行為分析、內容分析、社會網絡分析、情感分析等。

6. 解釋證據：對證據及其分析結果進行解釋

解釋證據即對證據分析的結果進行闡釋說明，揭示證據所反映的現象和規律。

7. 使用證據：利用證據及證據分析結果實現學業評價

使用證據與學業評價目標息息相關。本研究的證據使用包括3個出口，分別滿足學業評價的3個層面的目標。評定學業成績、形成學業評價報告并反饋給學生，促進學生的學習和發展;向教師提供學生學習的數據和證據，幫助教師反思教學問題，改進教學;向學校提供學生學習的數據和證據，為學校學習質量評估、綜合素質評價、教學質量評估等提供素材和決策依據。

（三）模型的修訂與完善

[5] 劉晶晶，郭元祥. 美國學生學業質量評估聯盟PARCC與SBAC述評[J].中國考試， 2015（6）：24-30.

[6] 鞠玉翠. 美國教師教育中的證據：現狀、問題與改進[J].全球教育展望，2011（10）：54-60.

[7] Teacher Preparation Analytics.Building an evidence-based system for teacher preparation[EB/OL].（2013-09-01）[2019-02-17].http：//caepnet.org/knowledge-center？page=2.

[8] 段曉明. 美國教師教育認證制度的變革走向——基于CAEP標準的分析[J].中小學教師培訓，2017（6）：71-75.

[9] 俞佳君. 美國高校中的學生學習成果評估[J].外國教育研究，2016（1）：17-29.

[10] DWYER C A， MILLETT C M， PAYNE D G. A culture of evidence： postsecondary assessment and learning outcomes. Recommendations to policymakers and the higher education community[R]. Educational Testing Service， 2006.

[11]? MILLETT C M， STICKLER L M， PAYNE D G， et al. A Culture of evidence： critical features of assessments for postsecondary student learning[R]. Educational Testing Service， 2007.

[12]? MILLETT C M， CATHERINE M，et al. A culture of evidence： an evidence-centered approach to accountability for student learning outcomes[R].Educational Testing Service， 2008.

[13] 姚林群，戴根元.論基于證據的學業質量評價[J].全球教育展望， 2016（5）：49-57.

[14] 楊明全，吳娟. 論基于證據的學習的內涵與意義[J]. 教育科學研究， 2017（11）：45-49.

[15] MISLEVY R J， HAERTEL G D. Implications of evidence-centered design for educational testing[J].Educational measurement：issues and practice， 2006（4）：6-20.

[16] National Institute for Learning Outcomes Assessment. Providing evidence of student learning：a transparency framework[EB/OL].（2011-04-25）[2018-11-09]. http：//www.learningoutcomesassessment.org/TransparencyFramework.htm.

[17] HERITAGE M.Formative assessment：making it happen in the classroom[M].Corwin Press，2010：170.

[18] 葉俊民，陳曙，郭思培，王嬙，黃朋威，王志鋒.線下學習數據的分析方法研究[J].電化教育研究，2016（12）： 52-59.

[19] 劉雅馨，楊現民，李新，田雪松.大數據時代教師數據素養模型構建[J].電化教育研究，2018（2）：109-116.

[20] 劉文輝，王藝亭，趙敏.教育游戲評價指標的設計與開發[J].開放教育研究，2017（2）：111-120.

[21] CHANG P C，TSOU N T，YUAN B J C，HUANG C C.Development trends in Taiwan's? opto-electronics industry[J].Technovation，2002（3）：161-173.