開放教育環境下移動學習效果評價體系研究

李海波,許小媛

(江蘇開放大學 信息工程學院,南京 210017)

0 引言

隨著移動互聯網技術的不斷發展,基于手機終端的移動學習在開放教育中得到了快速應用和發展,被越來越多的成人學習者群體所接受。與傳統的網絡學習相比,作為開放教育的一種輔助教學形式,移動學習完全解決了網絡教育在空間和時間的限制,具有靈活性、個性化、交互性和即時性的特點,可以為學習者傳遞豐富的學習資源,[1]滿足學習者的多樣化、個性化學習需求。基于移動學習平臺學習者可以隨時隨地進行學習,教師也可以開展豐富的教學活動,為學習者提供個性化、多元化的移動學習支持服務,促進“人人皆學、時時能學、處處可學”。由于移動學習的內容及學習方式與在線學習有明顯差異,傳統的評價方法及指標評價學習效果的模式并不適用于開放教育環境下的移動學習。2020年,中共中央、國務院印發的《深化新時代教育評價改革總體方案》明確提出“系統推進教育評價改革,改進結果評價,健全綜合評價,針對不同類型教育特點,分類設計,促進學生全面發展的評價辦法更加多元”。因此,評價開放教育學習者移動學習效果對于推進教育評價改革、促進開放教育高質量發展具有重要意義。

1 移動學習效果評價研究現狀

在“互聯網+教育”背景下,移動學習極大地提高了學習的可獲得性,有助于提高教學效果。近年來,移動學習逐漸流行,備受研究者的關注,已經有學者對移動學習效果及其評價開展了實證研究分析。如馬寧生等通過研究學生在線學習成績與登錄時長、答題次數、知識結構類型、學生背景的關聯性,構建了移動學習效果評價模型,以此來輔助學生進行自我評價和教師對學生進行客觀評價。[2]公艷艷等通過對遠程學習者移動學習的現狀及存在問題進行分析,從互動交流、移動平臺、教學資源、教學支持服務和人文環境等方面對移動學習模式的效果進行了評價。[3]栗娟等從知識與技能掌握情況、學習效果考核、平臺學習滿意度三個方面構建了基于微信平臺的應急救護移動學習系統混合式教學模式及形成性評價體系。[4]然而,目前的研究整體上還處于探索階段,學習者對于移動學習的滿意程度,學習后知識和技能的掌握程度、行為變化情況以及移動學習對學習者職業發展成就的影響等研究還相對較少,對于開放教育環境下移動學習效果的評價仍缺乏深入的研究。

2 移動學習效果評價體系的理論基礎

層次評估模型由美國著名教授Donald L.Kirkpatrick于1959年首次提出,又稱為柯氏評估模型。該模型是目前培訓領域應用最廣泛、認同度最高的培訓評估工具之一,并在實踐中不斷發展。[5]在教育領域,也有學者運用柯氏評估模型對教育教學質量評價體系進行了探索和實踐。蔡蕓等運用柯氏評估模型進行了高等教育質量評價體系的構建。[6]趙志群教授基于“柯氏評價理論”,確定了職業教育學業評價的四個基本層次,即反應層、學習層、行為層和結果層。[7]吳春林等基于過程導向的柯氏評估模型的思路,從課程教學、學術鍛煉、實踐培訓和論文答辯等多個環節,構建了學術型與專業型碩士生培養質量的多元評價體系。[8]楊瑩依據柯氏評估理論,結合中小學教師網絡學習的學習者特點、學習內容、學習平臺等方面的特征,構建了“中小學網絡學習績效評估模型”。[9]鄧潔華通過柯氏評估模式的實際運用,進行了“管理學”課程思政教學評價改革研究。[10]

柯氏評估模型的核心框架由依次銜接的反應層、學習層、行為層和結果層四個評價層次組成,如表1所示。第一層級是反應層,主要評估學員對培訓的滿意程度,關注學員對培訓項目的主觀感受和情感,如對培訓場所、課程、內容、方法、組織以及自己收獲等方面的看法。第二層級是學習層,主要評估學員的學習獲得程度,是測量學員在培訓過程中或結束時,對原理、知識、技能等方面的理解掌握程度及參與培訓活動的程度。第三層級是行為層,主要評估學員的知識運用及熟練程度,是指學員在培訓結束后,在學習習慣、學習能力等行為上是否發生變化,是否能夠在工作和學習中運用培訓中學到的知識和技能。第四層級是結果層,主要評估學員的培訓效果,通過培訓能否給企業或部門帶來直接的貢獻,創造出經濟效益和社會效益。

表1 柯氏層次評估模型

與傳統的學習效果評價重結果、輕過程不同,柯氏評估模型四個層次之間層層遞進,不僅關注學習者的學習效果,更關注學習者在學習過程中的感受、知識、技能、行為等方面的動態變化情況,以及產生的社會影響。[11]將柯氏評估模型運用于開放教育移動學習效果評價中,與移動學習效果評價結合起來,可以通過分析各層級學習成果情況找到開放教育教學過程中薄弱之處,提出有針對性的建議,進而提高開放教育教學質量。

3 開放教育環境下移動學習效果評價體系的構建

對學習者移動學習效果進行有效的評價是開放教育教學質量的重要保證。本文在柯氏四層評估模型的基礎上,圍繞開放教育環境下成人學習者的移動學習過程,確定移動學習效果評價體系構建原則,詳細分析各層次的評價內容,遴選具體的評價指標,從而構建移動學習效果評價體系。

3.1 移動學習效果評價體系構建原則

開放教育環境中的移動學習過程包含三個要素:移動學習平臺、學習者和學校。移動學習平臺是移動學習模式實施的主要學習載體,學習者是移動學習的主體,既是評價的主體,也是評價的對象,學校是移動學習的組織方。因此,在構建移動學習效果評價體系時,需結合柯氏四層評估模型理論,圍繞上述三個要素,確定各層次相應的評價重點。具體包括:區別于傳統的學習效果評價,反應層重點關注學習者對于移動學習的主觀情感;根據成人學習者在崗在職學習的特點,學習層關注學習者專業知識和技能掌握程度的同時,重點關注學習者的學習能力和學習參與度;根據移動學習的自主化、個性化特點,行為層重點關注學習者在學習過程中行為的動態變化,包括學習理念的樹立;根據成人學習者所處的工作環境和社會環境特點,結果層關注學習者學習后的專業發展成就及對高校聲譽的影響。

3.2 移動學習效果評價體系分析

3.2.1 反應層評估

反應層評估關注學習者對于移動學習的主觀感受,在開放教育領域,關注的是對學習者的情感反應和效用評價。

在評估學習者對移動學習的反應時,可以從移動學習平臺、學習資源、教學設計和學習評價四個評估指標出發,觀測學習者對移動學習平臺的建設水平、易用性、流暢穩定性、用戶體驗的滿意度,對學習資源的實用性和完整性、課件質量、視頻質量以及資源的個性化、多樣化、趣味性的滿意度,對教學目標設計、教學內容設計、教學活動設計的滿意度,對學習體驗、學習反饋與評價、學習資源的可獲取性等情況的滿意度。可以采取的具體措施包括:在移動學習過程中或者學習結束后的某段時間內,向學習者發放滿意度調查問卷或者進行訪談、座談,直接獲得學習者對移動學習模式的反應和感受;或者由教師在教學中觀察學習者的學習反應,來間接推斷學習者對移動學習模式的反應。該層級的評價可選擇在移動學習過程中或學習完成后進行,屬于過程性評價。學習者對移動學習平臺提供的學習支持服務的接受度和滿意度直接影響學習者對移動學習的整體滿意度,從而影響學習效果,因此這一層級的評價非常有必要。

3.2.2 學習層評估

學習層評估關注對于學習者在移動學習模式下所取得的學習效果進行檢測和評估,在開放教育中更加關注學習主體的知識和技能掌握程度以及學習活動的參與程度。此環節是對移動學習效果評價中至關重要的一個環節,能有效地反應該移動學習模式的實施情況和移動學習效果情況。[12]

在評估學習者的移動學習效果時,可以從學習能力、專業知識、專業技能和學習參與度四個指標出發。針對學習能力指標,可以通過自主學習任務、互動討論、小組作業等來觀測學習者是否具備移動學習環境下的自主學習能力和協作學習能力。針對專業知識指標,可以通過課堂小測驗、單元測試、期末考試等方法來觀測學習者對學習內容的理解程度和對專業知識的掌握程度等。針對專業技能指標,除了以上方式外,還可以通過現場操作、實際項目實施等方法來觀測學習者對專業技能的實踐操作能力,評價學習者在學習基礎知識之后在技能應用上是否提高。針對學習參與度指標,可以通過移動學習平臺實時記錄和統計學習者的登錄學習次數、學習資源閱讀次數、資源檢索次數、參與話題討論次數,以及構建并分享學習資源數量、分享資源被采納數量等,即從學習活躍度和內容貢獻度兩個方面觀測,綜合判斷學習者的學習態度。對學習效果的評估是一個持續的過程,可以選擇在移動學習完成期間或之后進行評估,因此,該層級評估結合了形成性和總結性評估方案。[13]

3.2.3 行為層評估

行為層評估關注學習者在學習后對學習內容的運用熟練程度,是否將學習獲得的知識和技能應用到實際工作中,完成知識的遷移,是否在學習行為和學習理念上產生積極的變化。

開放教育學習者主要是社會在職人員,社會閱歷和工作經驗較為豐富,在評估學習者的行為變化時,可以從知識運用、學習遷移和學習理念三個指標出發。因此,針對知識運用指標,可以從學習者能否將所學知識與技能熟練運用到實際工作中,運用的程度如何等方面進行觀測。針對學習遷移指標,可以從學習者能否將移動學習獲得的知識、技能或態度對工作表現形成影響進行觀測,設計職級提升、職業資格認證、獲得獎勵數量、專利數量等顯性指標。針對學習理念指標可以從學習者開展移動學習后是否產生主動有意識的行為,樹立了自主學習、全面學習、創新學習、終身學習等方面的理念進行觀測。行為變化是個動態長期的過程,學習者的行為變化不會立即顯現,可能發生在學習結束后很長的一段時間里。因此,該層級的評價屬于總結性評價。

3.2.4 結果層評估

結果層評估是對學習成果進行評估,關注的是學習者在學習后是否將所學知識、技能和態度運用到實際中,并給組織、部門帶來直接和間接的利益。

將結果層評估維度應用到開放教育環境下移動學習效果評價中,不僅表現為移動學習對學習者專業發展質量和職業發展成就的影響,還可體現在服務社會的能力以及對高校社會聲譽的影響等。在評估學習者的學習成果時,可以從職業發展、社會服務和社會聲譽三個指標出發,可以使用跟蹤調查、績效評估等方法,對成人學習者遠期成果的影響進行調研,邀請用人單位對高校的人才質量做出評價、評估公眾對高校教育服務的認可度等方式來實現。高校的社會聲譽是指公眾對學校的主觀或客觀評價的集合,體現了一所高校在社會公眾眼中的形象,對高校社會聲譽進行評價是互聯網時代高校評價的重要環節,[14]可以從認可度和美譽度兩個指標來評測社會公眾對于一所高校的評價,借助大數據技術手段,通過關鍵詞聚類對公眾在自媒體渠道的評價性信息進行采集獲取。

3.3 移動學習效果評價體系的構建

根據開放教育的實際教學情況,基于移動學習效果評價體系的具體分析,參考目前國內外研究中學習效果評價指標的選取,結合柯氏評估模型的四個維度,進一步明確評價內容、評價方法、評價階段和評價類型,并篩選評價指標,將指標具體細分為15個二級指標和41個三級指標,具體的開放教育環境下移動學習效果評價體系如表2所示。

表2 移動學習效果評價指標體系

4 實施開放教育移動學習效果評價要注意的問題

本文構建的基于柯氏評估模型的移動學習效果評價體系,是一種適用于開放教育形式的評價模式,在具體的評價實施過程中,需要注意以下幾個問題。

4.1 構建可操作的指標體系

初步形成移動學習效果評價體系之后,還需對指標進行篩選,保證最終指標體系對于開放教育移動學習效果評價的針對性和有效性,并依據專業人才培養目標和課程性質,能全面反映移動學習效果的各個維度及主要指標和觀測點。例如:可以通過德爾菲專家問卷法和因子分析法對移動學習效果評價指標劃分的合理程度和指標文字表述的合理程度進行修訂和驗證,確定移動學習效果評價體系各級指標。為了保證評價體系的科學性,在實際應用中,需要通過科學方法進一步明確各級評價指標的權重系數,避免主觀分配權重所帶來的偏差,影響評價結果。

4.2 注重移動學習前后的效果比較分析

移動學習效果評價主要發生在學習過程中和學習結束后,因此無法觀測到學生在參加移動學習前的感受、學習態度、知識與技能、社會服務能力等,因此為了觀測到移動學習前后的更深層次的變化,在移動學習開始前,評估者需要針對學習者及所在學校和企業進行調研、訪談,了解在移動學習前的學習認知、專業技能、創新能力和學習理念等,為后期的評價提供對照樣本。為保證評價結果的及時有效,需要針對各層次的評價特征,選取合理有效的時間和評價方法對評價對象及時做出評價。

4.3 實施評價的保障條件

針對開放教育成人學習者的移動學習效果評價,是一項復雜的工程,從移動學習的實施準備、開展到評價反饋都需要有效的管理制度和經費保障。企業和學校需要建立健全實施移動學習評價的管理制度,保障移動學習的推廣及運用,提升學習者參與移動學習評價的積極性和主動性,并保證評價結果能夠被企業、學校和教師所運用,促進企業發展和高校教育教學質量的提升。[15]在移動學習效果評價的實施過程中,行為評估和成果評估需要長期的跟蹤觀察和測量,需要花費較多的時間和精力,存在著執行難的問題,需要一定的經費保障移動學習效果評價能夠全面實施。

5 結語

本文構建的開放教育環境下移動學習效果評價體系,是以學習者為中心對開放教育移動學習效果進行評價的一種積極探索與實踐,但是評價體系目前還沒有進行實證研究,在下一步研究實踐中將不斷進行改進和完善,力求評價體系更具有科學合理性,更加有助于推進教育評價改革,促進開放教育高質量發展。