基于大數據理念下的中小學教師信息技術應用能力發展測評模型探究
——以廣州為例

譚穎臻，陳艷

（廣州市廣播電視大學教師繼續教育學院，廣東廣州510091）

1 問題的提出

近年來，國家非常重視信息技術在教育教學中的融合應用及教師信息素養的提高，教育部2013年啟動了“中小學教師信息技術應用能力提升工程”，要求將信息技術應用能力培訓作為“必修課”納入全國中小學教師培訓工作中[1]。2015年以來，廣州市“提升工程”在全國工程辦和省工程辦的指導下，依托“廣州市中小學教師繼續教育網”為廣大中小學教師提供了培訓服務，培訓人次超過365萬。隨著培訓各環節工作的逐步完善，如何對在線學習過程當中產生的各類學習行為數據進行整理及分析評價一直是各大在線教育平臺共同面臨的一個難題[2]。

2 發展測評的設計思路

結合教育部2013年發布的《教育部關于實施全國中小學教師信息技術應用能力提升工程的意見》（教師〔2013〕13號）、《中小學教師信息技術應用能力測評指南》及《中小學教師信息技術應用能力標準（試行）》等文件精神，堅持“以評促學，以評促用”為導向開展信息技術應用能力測評，開發適合本地實際的測評工具，建立網絡測評系統，為教師提供有效測評服務以激發教師持續學習的動力[3]。為讓大數據技術在與廣州市中小學教師繼續教育網的融合應用中，最終確立“基于培訓、但要高于培訓、著重應用”的設計思路[4]。

首先，建立觀察測評模型。設立觀察點，在數據分析基礎上進行多元化評價：基于教師專業發展角度，進行系統性評價；基于多種技術應用基礎上，進行定性定量的技術性評價；線上測評活動結合線下實際情況進行綜合評價。

其次，智能化測量、采集學習活動各環節的行為數據。如查看文檔、瀏覽視頻、提交作業、論壇發言、選課情況、參與研修、自我總結；完成情況、完成質量、完成數量；交互情況、貢獻數量、同伴互評、教師評價；客觀測評（章節測試、過程測試、期末測試）；前測結果等功能。

再次，線下活動包括校本觀察、設計案例、反思自評、應用效果、后續跟蹤、創新情況、對比分析競賽成果、學生情況（橫向、縱向）等。

最后，進行多維、多元綜合性的評價：綜合線上、線下情況進行分析；定量計算、定性分析；動態反饋調整；可視化結果呈現。

在這一過程中，測評系統的設計遵循以下理念。

2.1 基于柯氏評估模型的設計

柯氏模型是現今國際人力資源管理領域公認運用最廣泛、最有效的培訓評估模型，其從反應層、學習層、行為層及結果層4個層級對培訓活動進行評估，但就當今的教師培訓活動而言，如何準確把握教師需求、精準實現培訓目標應該是一個完整的評估活動的開始，因此，借鑒劉建銀等關于“國培計劃”項目評估的五層次模型，在該次發展測評的模型設計中[5]，對照教師的培訓參與和結果應用情況，加入了對需求層的評估，整個評估層次和內容如圖1所示。

2.2 過程與結果相結合、主觀與客觀相結合

學習行為分析部分會對教師在學習、研修過程中產生的各類數據和成果的應用情況進行綜合分析，實現過程與結果的相結合；信息技術應用能力在線測評對教師的自我評價情況和情境測評情況進行分析，實現主觀與客觀相結合。

2.3 強調多元評價、關注發展方向

以多主線、多維度、個體數據和群體數據出發對教師的情況進行評價，包含登錄基本數據、終端使用情況、互動研討情況、研修開展情況、實踐作品評價情況、在線測評情況、學習與發展情況等。發展測評不局限于簡單的呈現評價結果信息和進行培訓前后結果對比，突破對教師信息技術應用能力高低的絕對評價，不再是冷冰冰、無感情的數據，而是結合教師個體情況、技術平臺發展趨勢、專業發展需求等向教師提供下一步參與培訓以及教學教研工作的方向建議，與教師之間可以產生更多的活動交流。

3 發展測評的模型構建

以《中小學教師信息技術應用能力的標準（試行）》為基礎，開發“L+U”發展測評模型，實現基于大數據理念的智能分析。首先通過研修平臺用戶行為數據采集系統采集教師學員在培訓平臺中的學習行為數據，然后通過教師線下成果采集系統采集教師線下研修成果，構建中小學教師信息技術應用能力發展測評的數據集，采用大數據分析子系統（TOPSIS分析、效用分析、柯氏五級分析）對應不同角色（教師、學校、管理部門、培訓機構）分析生成不同內容的測評報告，最終形成一個科學完整的測評系統，為教師、學校、相關機構和管理部門提供教育教學方面針對性的指導建議[6]，如圖2所示。

3.1 數據整合及數據模型建模

廣州市“提升工程”發展測評數據庫存儲了包括“教師學員基本信息、系統測評題、教師線上線下的測評數據及最終的測評結果”等各項重要信息，而它的建立，也是整個測評系統最基礎、最關鍵的部分，關乎整個軟件能否持續穩定的運行。見圖3。

從平臺提取教師學員在“提升工程”學習、研修平臺中產生的各類學習、研修和線下應用等方面的數據，采用線上ETL和線下互聯網爬蟲技術采集相關信息，通過數據整合的規則和關聯對數據加以評估、訓練和分析，得出有用數據并通過“L（本地化）+U（通用化）”的數據模型進行存儲，方便后期進行數據分析。見圖4。

3.2 測評模型的指標分析與評估

評估工作可為整個測評平臺運作確立起點，為考核評價提供相關依據，任何的評估都需要一個統一的標準用以衡量基礎環境或體現原則，國家目前已明確提出以《中小學教師信息技術應用能力標準（試行）》（以下簡稱《能力標準》）所列內容為標準，既確保測評活動嚴肅性和權威性，又可幫助教師實現能力達標。文件對教師信息技術應用能力提出兩點要求，教師應用信息技術優化課堂教學能力、教師應用信息技術轉變學習方式能力，其中每項要求各有5個能力維度作為測評系統的一級指標，25個具體指標作為二級指標，共稱為測評平臺的整個評價體系。見表1。

表1 “應用水平評估”中“學習與發展”5個指標

圖1 基于柯氏評估模型的發展測評模型設計

圖2 大數據視角下的“L+U”發展測評模型

圖3 數據整合過程

發展測評模型采用熵權法TOPSIS（Technique for Order Preference by Similarity to an Ideal Solution）和夾角余弦兩種算法對教師的測評數據進行分析。TOPSIS方法是多目標決策分析中一種常用的有效方法，其基本原理是通過計算評價對象與理想化目標的距離來進行優劣，也成為優劣解距離法。已開發出的發展測評系統可結合TOPSIS法對教師的各項指標進行標準化、賦值、單調性處理，然后進行綜合排序的計算。夾角余弦法是采用余弦相似度來判斷兩個個體的某項屬性或特征（由一系列指標組成）的相似程度的算法。以上兩種大數據算法的系統實現，形成了指標測評的典型解決方案，不僅可以應用到教師發展測評活動中，也可以針對教師的其他能力進行分析，為建立的“測評+培訓”的常態化機制奠定了堅實基礎。

L+U測評模型需要分析的內容主要包括以下部分。

3.2.1 L（本地化分析）

L部分主要采取線上獲取數據的方式，根據下列指標進行學員學習情況評估。

（1）診斷測評與選課：將學員選課結果與其診斷測評結果進行對比，分析學員的選課相符度和課程推薦系統的有效性。

圖4 數據庫模型建立過程

（2）過程性基本數據：將學員平臺登錄次數、在線時長、課程完成比例、學習活動完成總數、日學習時間段信息和周學習時間段信息、學習終端使用情況（PC，智能手機/平板，智能互動電視）分別與廣州市教師平均水平對比，分析學員學習過程基本數據的特點，作為接下來學習的參考。

（3）交互參與度：關注學員在整個學習、研修的過程中與其他成員之間的交流互動情況，為其日后的網絡交流活動提供有效有利的參考標準。內容包括：關注情況，關注自身與關注他人人數指標；發帖量/回帖量，發帖和回帖情況指標；研修成果，學員分享研修資源、日志和話題量的創建及其他評論量指標；交流互動情況，學員交流互動的對象、范圍、角色分布指標。

（4）教學實踐作業：學員在平臺提交的網絡研修作業等教學實踐作品，可參與市工程辦每年舉辦的教學技能競賽活動，在此環節會對學員的作品評價情況及推優情況進行說明。評價情況，主要包括學員的主動評論、被評論及雙向評論的互動情況指標；對于評價排行與推優情況，是針對學員在研修作業評價情況及研修作業的推優情況進行說明，并給出相應的綜合排名情況，方便公布結果。

3.2.2 U（通用化測評）

U部分主要針對教師學員L部分中的測評數據，進行統一整合、分析、評估等活動。

（1）同質群體分析：在性別、年齡段、教齡、學科、學段、學歷、職稱等某個條件相同的情況下，將學員的數據與廣州市其他教師群進行比較排名，給出相應的優化建議，并為學員推薦合適的學習與研究。

（2）教學環境分析：參照《廣東省推進教育現代化先進縣（市、區）督導驗收方案》制訂量表，由學校填寫，根據量表得分，分析該學員所在學校是偏向簡易多媒體環境、交互式多媒體環境、網絡教學環境、移動教學環境當中的哪種類型，系統則會據此為學員所在學校分配更加合適的綜合測評題目。

（3）結果評估：由學員在線填寫問卷進行自評，為方便對學員學習成果進行精確評估，所有題型均為單選題，系統會從教學環境契合度、學習與研修滿意度和能力提升滿意度3個方面的指標對結果進行評估。

（4）信息技術應用能力水平評估：學員登錄發展測評系統回答相關題目，測評題目由學科專家針對兩條主線、九個維度，從文科類、理科類、藝術類、中職類、幼教類這5類學科進行案例分析所設計得出。評估的內容包括信息技術應用能力整體水平、兩條主線（應用信息技術優化課堂教學、應用信息技術轉變學習方式）、5個能力維度（技術素養、計劃與準備、組織與管理、評估與診斷、學習與發展）。系統會對應學習與發展中的5個指標分別出題，并運用到“專業發展評估”中去。

（5）專業發展評估：此環節系統會從學員自身優勢、發展方向、需要加強點3個方面對學員目前的優勢與不足進行分析，并對進一步發展提供方向性建議與指導。

學員的自身優勢及發展方向，是通過從平臺獲取該學員的獲獎項目（包括教科研類獲獎項目、教學技能獲獎項目、其他獲獎項目）和“學習與發展”五大指標得分的綜合分析，這部分可以為推薦學員升為教研專家、教學實踐專家抑或是教研并重專家提供有利依據。在需要加強點部分中，是根據學員在信息技術應用能力水平評估中的“短板”項目和“薄弱”維度，為學員提供相應的推薦課程主題，幫助在測評結果中不理想的學員盡快提高。

3.3 報告生成

發展測評報告，是通過大數據技術對學員產生的各類學習行為數據進行分析，根據不同的角色對應生成的不同報告，包括教師發展測評報告、管理決策支持報告、面向學校的報告和面向培訓機構的報告。如圖5所示。

4 發展測評體系的運用與成果分析

廣州市“提升工程”發展測評工作從2015年開始立項研究，經歷了思路探索、模型設計、系統開發、題庫研發、試點實施等一系列工作之后，2017年進行了全面測評。截至2018年1月31日，廣州市組織已經完成了“提升工程”學時的中小學教師參加了發展測評，共有103 170名教師完成并生成了發展測評報告。各區信息技術應用能力水平測評情況如下。

4.1 信息技術應用能力整體水平評估

該部分從總分、兩條主線（應用信息技術優化課堂教學、應用信息技術轉變學習方式）、學習與發展三方面進行分析。其中，總分為應用信息技術優化課堂教學、應用信息技術轉變學習方式、學習與發展3項分數之和。應用信息技術優化課堂教學和應用信息技術轉變學習方式分數中各包含了不同主線的“技術素養”“計劃與準備”“組織與管理”“評估與診斷”“學習與發展”5個維度的分數。學習與發展一項分數由5個子指標組成，對測評報告的結果有較大影響，故也單獨進行分析。

由表1可知，白云區、海珠區、天河區、越秀區、荔灣區、黃埔區、市直屬學校的教師在總分、兩條主線和學習與發展三方面的平均分均在廣州市平均線以上，而天河區、市直屬學校相對處于領先地位，但各區中小學教師信息技術應用能力水平整體差距不大，中心區域整體水平稍高于其他區域。

4.2 信息技術應用能力提升情況

廣州市“提升工程”在培訓體系上構建了由診斷測評、過程測評和發展測評相結合的一體化測評體系，多階段測評關注教師實際發展。診斷測評實現按需施訓、分層培訓，發展測評衡量培訓質量、指引教師發展方向。通過對診斷測評和發展測評中教師各維度信息技術應用能力測評成績的轉換處理，對廣州市已參加診斷測評和發展測評的中小學教師的前后測評平均成績進行對比，結果如圖6、圖7所示。

全市已測評教師在經過信息技術應用能力提升工程培訓后，信息技術應用能力測評整體平均成績、2條能力主線（應用信息技術優化課堂教學、應用信息技術轉變學習方式）平均成績和5個維度（技術素養、計劃與準備、組織與管理、評估與診斷、學習與發展）平均成績都有較大幅度提升，提高比例均達到40%以上。

其中應用信息技術轉變學習方式系列能力指標平均成績提升較大，提高51.38%，正是對應了教育部《中小學教師信息技術應用能力指標（試行）》對教師在教育教學和專業發展中應用信息技術的發展性要求。另外，在各維度中，學習與發展維度測評平均成績提升最大，提高了57.07%，一定程度上說明經過信息技術應用能力提升工程的學習、研修和實踐，教師在專業自主發展方面取得進步較大。

4.3 教師發展方向分布情況

發展測評系統會將教師測評的“學習與發展”評價結果與最優結果進行夾角余弦計算，最終根據相似度結果對教師的信息技術應用能力學習與發展水平進行評估。當教師的學習與發展5個指標與最佳指標之間的夾角余弦值小于0.8時，發展測評系統會根據教師學習與發展5個指標中，教研類指標和教學實踐類指標的得分對比、教師在廣州市中小學教師繼續教育網登記的獎勵信息，評估、建議教師發展方向。

圖5 按用戶角色輸出發展測評報告

表2 各區中小學教師信息技術應用能力在線測評分數

由表2可知，番禺區、增城區、花都區、從化區、南沙區在3個發展方向的占比都超過了其他區域，而白云區、海珠區、天河區、越秀區、荔灣區、黃埔區、市直屬學校在3個發展方向上的占比則相對較低。這一結果恰好對“信息技術應用能力在線測評分數”的分析結果形成印證，側面說明番禺區、增城區、花都區、從化區、南沙區與其他區域相比，整體能力發展水平較弱。總體來說，中心城區依然稍微領先于其他區域。

4.4 專家階段教師分布情況

當教師的學習與發展5個指標與最佳指標之間的夾角余弦值大于等于0.8時，按照計算機技術專家、教研與教師培訓專家建議，將教師定位于專家階段，再根據教師的教研類獎勵信息和教學實踐類獎勵信息情況將教師分為教研專家、教學實踐專家以及教、研并重專家。

圖6 整體測評成績與2條主線測評成績前后情況對比

圖7 各維度能力測評成績前后情況對比

表3 各區教師發展方向分布（夾角余弦＜0.8時）

表4 各區專家階段教師分布（夾角余弦≧0.8時）

由表3可知，在教、研并重專家方面，白云區、海珠區、荔灣區、市直屬學校超過了廣州市總體比例，花都區、天河區比例相對較低。在教學實踐活動專家方面，白云區、天河區、越秀區、荔灣區、黃埔區、市直屬學校超過了廣州市總體比例，增城區、從化區比例相對較低。在教研專家方面，白云區、增城區、海珠區、市直屬學校超過了廣州市總體比例，花都區、天河區、南沙區相對較低。

由表4可知，根據此次測評結果，整體上教學實踐活動專家較多，教、研并重專家和教研專家較低。廣州市中小學教師中可評估為教研專家的總人數為839人，該比例較低主要是因為在教研專家的判斷條件中，教師教研類獲獎數目不能為0（夾角余弦≧0.8時，教學實踐類獲獎數目為0；0.6≤夾角余弦＜0.8，教學實踐類獲獎數目不限）、教研類獲獎總數要排到全部教師的前10.00%，兩類獲獎數目綜合要3條以上。但參與測評的教師中，提交教研類獲獎信息的教師只有3 000人左右，因此達到該條件的教師只有839人。