基于學習分析的創客學習效果評價方法研究

占亞劍

（廣東機電職業技術學院，廣東 廣州）

教育部在2016年發布的《教育信息化“十三五”規劃》提出，要積極探索信息技術在“眾創空間”、跨學科學習、創客教育等新型教育模式的應用。當前，國內眾多高校通過開展面向創客的創新創業教育來提高學生的創新意識和創新能力，培養創新型人才。然而，創客培養作為一種教學活動類型，如何使之有機融入高校學科專業人才培養，探索高校創新創業教育改革的可行路徑已成為學界研究的熱點，在這其中，教學評價視域下的創客學習效果評價是對其價值潛能和積極作用進行判斷的關鍵。本研究基于學習分析相關理論及技術，構建創客學習效果評價模型，并利用K-means聚類分析算法，刻畫學習者學習過程畫像，探索創客學習效果評價的量化分析方案。

一 學習效果評價與學習分析

（一） 學習效果評價的演變

評教評學是學習效果評價的重要方式，其理論基礎源自不斷發展的教學理論，如肯普提出的刺激反應學說、奧蘇貝爾的認知同化學說和維特羅克的建構主義學說。以建構主義為代表的當代教育理論認為，學習是主動建構和生成意義的過程，學習過程不完全依賴教師傳授的知識信息，更主要的是完成主動構建信息意義的生成過程。因此，以學習為中心的教學思想逐漸替代了以教為中心的傳統教育觀念，教師和學習者的地位、作用發生了根本性的轉變。對于“評教”而言，“評學”的重要性變得更為突出。然而，學習的過程屬性決定了學習效果蘊含在學習結果和學習過程中，單純依據學習結果還是跟蹤學習過程的綜合評價成為“評學”有效性的關鍵問題。顯然，依據學習成績的結果性評價不能全面刻畫學習者的學習情況，學習者學習過程的評價則能夠較全面反映出學習者的個體差異、內部和外部的學習特征，還可以發現學習過程中潛在的問題并預測未來表現。但隨之而來的問題是，描述學習者學習過程的數據量非常龐大，并且學習者樣本數量眾多。面對如此海量的數據，如何挖掘、分析和利用是一直以來困擾教育工作者的難題。

（二） 學習分析技術溯源

大數據挖掘技術在教育領域的創新發展，以及e-learning相關技術的廣泛應用促進了學界對教育數據挖掘（EDM）領域的研究。教育數據挖掘以計算機算法和信息技術為手段，從各種學習支持或教育信息管理等系統中提取有價值的數據并導入預設模型，實現教育過程自動檢測，為學習者學習質量評估、教學效果反饋和資源使用績效提供量化依據。全球性學術組織國際教育數據挖掘協會于2008年舉行了第一屆教育數據挖掘國際會議，引發學術界對EDM的興趣與探索。諸多技術手段如統計分析與可視化技術、關系挖掘、預測和聚類算法得到廣泛應用，技術促進學習（TEL）的理念逐漸成為學界共識，利用數據分析改進教學、運用技術變革教育的時代已然來臨。

學習科學理論認為，學習的本質是行為能力的持久固化，是一種具有過程屬性的活動。因此，對教育過程的評價并不能替代對學習過程的評價，學習過程是學習效果最有效的預測依據。國外學者試圖采用教育數據挖掘技術，回歸學習本位，開拓了以采集、分析學習過程中數據信息為主要手段的學習數據挖掘研究領域。2011年，德州大學Siemens教授、阿薩巴斯卡大學Dragan教授和悉尼理工大學Shum教授等知名學者發起成立學習分析研究學會（SoLAR），并創辦了學術期刊《學習分析》。學習分析研究學會在學習分析領域是世界公認的頂尖研究機構，每年舉辦學習分析與知識國際會議。此外，德克薩斯大學學習創新與網絡化知識研究實驗室、英國開發大學知識媒體研究所和美國高校教育信息化協會等機構將學習分析作為重點研究項目，學習分析已成為目前教育研究的熱點領域之一。

二 學習分析的研究框架及相關技術

（一） 學習分析的理論研究框架

Siemens提出基于工作流程的分析框架，包括學習者及學習過程的數據采集、監控、分析預測和反饋等四個過程階段。德國亞琛工業大學Chatti認為學習分析的流程包括數據采集與清洗、數據分析與預測、分析及后處理等環節，提出學習情境、分析過程、技術手段和參與主體的四維度分析框架。在此基礎上，Elians將學習分析的資源要素從工作流程中分離出來，提出了一個由四個資源要素和六個分析階段組成的改進型分析框架。四個資源要素指包括學習者、教育者、學習系統和分析模型。與此類似，荷蘭開放大學Greller和Drachsler利用四個資源要素和兩個約束條件對應的六個關鍵領域來建構分析框架（見圖1粗線條方框），他們認為每個關鍵領域中都包含若干個子項目，每個子項目在分析流程中都有具體的指代，子項目并可以根據學習分析的設計需要進行擴展，該框架被學者們認為是學習分析的通用研究框架。

圖1 Greller和Drachsler提出的關鍵領域分析框架

研究框架是開展一項學術研究的路線圖和方法論，諸多學者從多個維度為學習分析提供了研究框架，推動了學習分析領域的理論探索，為廣泛開展的學習分析提供了重要的指導。然而，學習行為的多樣性、復雜性使得學習過程呈現多模態特征，學習分析的研究框架的普適性和準確性難以兼顧，導致通用理論框架在分析實踐中出現結構性缺陷，符合分析實踐要求并能經受驗證的理論研究框架仍然比較缺乏[1]。

（二） 學習分析模型的構建

分析模型是針對學習分析系統中對某一項流程或對象作為研究目標，對其進行特征描述和結論推導的通用分析工具。在學習分析領域，學習分析模型構建與實踐走在理論研究框架的探索之前，如哥倫比亞大學Baker、美國高等教育信息化協會Brown和華東師范大學顧小清等學者嘗試從描述性和預測性兩個方面來建構分析模型，以更好地指導學習分析實踐研究。學習分析模型刻畫出的學習過程與學習者特征是否全面與科學，將影響到學習分析結果的有效性、客觀性。

學習分析以學習行為研究為邏輯起點，聚焦學習者和學習情境，對學習過程實施科學的評判。因此，采集學習者的信息特征與學習者的知識建構過程等兩個維度可來構建學習分析模型。學習者的信息特征是學習者的學習行為主體顯性變量的集合，包括學習者的外顯和內隱特征，外顯特征主要指個體學習行為、社會性學習行為和學習成果等方面特征，內隱特征包括學習者情感狀態、認知及元認知能力和認知策略等。對于學習者的知識構建維度，主要研究對象是學習者知識體系形成的過程，將學習者知識生成狀態進行量化反饋，不僅體現了學習者的學習成果，還實時反映出學習者的學習過程是否達到既定標準，為判定學習者的學習效果、學習情境提供科學依據。在學習分析模型中，諸多特征變量并非獨立存在，還具有一定的關聯性。例如對學習者學習成果進行評價的過程中，通過查擺學習者在知識理解、分析和固化等方面的不足與缺陷，對學習行為進行修正優化，在反思性實踐的過程中獲得學習效果的提升，這個過程也就是學習者元認知能力和認知能力提升的過程。

1．學習分析數據的來源與采集。以采集技術來劃分，學習分析數據通常可分為文本語義、生物識別和心理情感等三大類。數據采集需要借助相關工具或設備，如視頻監控、生理感知設備等，不少學者為此開展了大量探索。如安德雷德借助圖像傳感器記錄學習者在學習過程中的手部動作，分析學習者在學習情境中的外顯行為特征；美國心理學教授埃克曼設計了面部動作編碼系統（FACS），通過比對學習者面部表情的細微變化，判斷其在學習行為中的心理活動特征；扎亞等人將學習情境中的文本和語義數據、學習者情緒調動程度和行為特征識別等數據信息融合，提出了基于學習過程的學習者多模態數據采集系統（EMODA儀表盤）。雖然物聯網技術發展推動可穿戴設備、眼球追蹤儀、視頻監控等設備儀器應用于教學實踐成為可能，但在課堂環境下采用大量監控設備存在倫理問題爭議，加上生理信息采集需要特定的傳感儀器支持，其侵入性較大，難以保證數據的真實性。另外，儀器設備的介入會影響學習者的過程體驗，降低學習者的思維活躍度，數據真實性與準確性難以取得平衡，進而影響研究結果的可靠性。一般而言，輕量化設備更有適用于學習分析數據采集，利用伴隨式采集方式可有效降低采集過程對數據的干擾。同時，借助學習者自我報告或專家觀察的方式，收集學習過程中的質性數據進行校驗擬合，進一步提高學習分析的準確性。

2．學習分析工具的設計及應用。常見的學習分析工具的設計思路遵循學習者中心、多元化、簡約性和實用性等多個原則。基于若干個設計原則，結合學習分析模型，利用算法處理學習分析數據，可以實現學習分析工具的設計功能。例如，美國普渡大學采用的學習分析工具Course Singals，以學習行為目標達成率為預測變量，自動識別“風險學生”并實施預警干預；美國東田納西州立大學采用D2L分析工具通過可視化的圖表界面展示學習者的課程學習情況，并預測課程學習可能會出現的情況，幫助學習者優化學習，該工具的技術核心是名為Students Success System的學習分析引擎，可以對學習者學習過程實施動態監測[2]。

三 創客學習效果評價方法探索

創客學習是一種基于項目式的工程化實踐學習，學習者通過“做中學”吸收顯性的“編碼知識”并轉化為隱性的“默會知識”，在動手實踐中培養創新創造能力。創客學習以項目行動為導向，項目實踐結果并不能夠全面反映創客學習效果，對學習過程的評價同樣值得我們重視。基于學習分析理論框架，本研究嘗試構建創客學習效果分析模型，利用創客在線學習平臺數據和項目實踐分布式成績，采用聚類分析算法量化創客學習效果，技術路線圖如圖2所示。

圖2 基于學習分析的創客學習效果評價技術路線

（一） 創客學習效果的分析模型

創客學習具有分散性、自發性、階段性等特點，學習者未必具有相同的專業背景，一般以小組為單位開展學習實踐活動，以某個或若干個項目任務為學習目標。我們認為，可以從學習者、學習參與特征、交互特點、認知發展等方面設計學習分析模型，考察創客學習過程與分布式項目任務的完成情況，實時反映學習者的學習效果，為學習者改進學習、教師優化教學提供參考建議。

（二） 創客學習效果的數據采集與處理

創客學習的過程是在工程化項目實踐中將知識學習與能力培養有機融合、互相促進的過程。根據現代信息加工心理學理論，創客學習的內容可以分為陳述性知識、程序性知識和策略性知識。具體而言，陳述性知識是項目實踐中涉及的有關理論知識，要解決“為什么”“是什么”的問題；程序性知識是在實踐中的掌握的操作性知識，即對工程化項目“做什么”“怎么做”的認知；策略性知識是靈活運用陳述性知識和程序性知識的技能所必備的知識，體現學習者學會學習和對工程化項目創新迭代的能力。為更好地采集學習分析數據，本研究借助在線學習平臺，并根據創客學習效果分析模型，將在線學習平臺的學情數據進行分類，加入教師對分布式項目執行情況的打分數據，編制了描述學習過程畫像的學習分析數據集（如表1所示）。在數據處理方面，把預處理后的學習分析數據分為四類，采用K-means聚類算法將每個學習者的學習數據按不同類別劃分為K個組，每個數據都從屬于距離最近的聚類中心。由于所有數據聚合為K個簇，若K值過大，每個簇中的數據偏少將不利于分析。一般而言，教學班級的人數大多在50～100人，將簇數量定為8個較合適。在每個簇內，簇點的加權平均值為代表點數值，由此得到表征學習者學習效果的量化數據，對于學習者優化學習和教師實施教學干預具有統計觀測與參考意義。

（三） 應用前景

基于學習分析的創客學習效果評價將定性與定量分析相結合，擺脫了評學評教對學習結果的過度依賴，將學習過程評價納入學習效果量化評價，較好地回應了教學過程評價與教學結果評價相統一的教改要求。對于學習者而言，學習分析抽取學習過程信息刻畫出學習者畫像，幫助其調整學習策略、優化學習進程，實現學習過程監控與預警，確保學習者順利完成學習任務。對于教師而言，學習分析能幫助教師洞察學習者個體和整體的知識理解、認知調節、參與情況以及學習者之間組織配合等多方面信息，有助于教師優化教學促進教學目標實現。

表1 創客學習效果分析框架

四 結語

本研究系統梳理了學習分析理論研究進展和相關技術路線，在理論層面深入討論學習分析應用于創客學習效果評價的技術路線。本研究從學習者、學習參與特征、交互特點和認知發展等方面探索構建了創客學習效果評價模型，采用K-means聚類分析方法處理學習分析數據，計算簇點加權平均值得到基于學習者分組的學習效果量化數據。在實證分析中，我們發現創客學習效果分析模型中各子模對結論的影響并不相同，需要以系統化視角分解各評價子模塊的權重準則，可采用層次分析法按不同層次凝聚組合，形成一個多層次分析結構模型。此外，本研究的實證分析工作還不夠充分，聚類分析算法參數K選取、聚類均值計算方法都是需要深入研究的問題。