課堂教學自動評價及其初步研究成果*

駱祖瑩 張丹慧

?

課堂教學自動評價及其初步研究成果*

駱祖瑩1,2張丹慧3

（1．北京師范大學 信息科學與技術學院，北京 100875；2．虛擬現實應用教育部工程研究中心，北京 100875；3．中國基礎教育質量監測協同創新中心，北京 100875）

課堂評價是教育評價的核心環節。文章基于人工智能等最新的信息技術，結合課堂評價的需求，在全球范圍內，首次給出了課堂教學自動評價的定義，構建了課堂教學自動評價理論，并在自動考勤、學習注意力分析、基于對話文本的師生對話與互動評價等方面都取得了初步研究成果。與傳統的課堂評價技術相比，課堂教學自動評價具有全員、全程、全自動、高采樣率、無擾、客觀等優點，使規模化、常態化課堂教學過程評價成為可能。

課堂評價；學習情感；自動考勤

引言

課堂評價是改進教學質量的關鍵技術，主要包括課堂教學信息采集與和信息處理這兩個部分。一般而言，結構化的教學信息可以進行自動化的信息處理，如弗蘭德斯互動分析系統（Flanders Interaction Analysis System，FIAS）生成的師生互動1～10的行為編碼和調查問卷生成的等級打分；而非結構化的教學信息則難以進行自動化的信息處理，如人種志、課堂觀察報告等文本材料。為了生成能夠進行自動處理的課堂信息，目前主流的方法是采用課堂測試生成測試分數、調查問卷生成等級分數、符號化的課堂觀察、課堂教學場景的編碼等人工生成方法，但這些方法具有人工參與程度高、人工費用高、客觀性難以保障等缺陷，難以實施常態化、規模化、自動化的教學信息采集。

近年來，由于信息技術、特別是以深度學習為基礎的人工智能技術的快速發展，研究者將計算機技術引入課堂評價中，嘗試進行教學信息的自動化采集，包括：①采用電子白板、電子書包、錄播教室等教育設備來記錄一些過程性的教學信息；②采用刷卡、刷指紋、刷臉等信息設備進行課堂自動考勤；③采用姿態識別技術對學生的聽課姿態進行采集與評價；④采用表情識別技術對學生的學習表情進行采集與評價；⑤采用語音情感識別技術對教師的授課情感進行采集與評價；⑥采用電子投票器Clicker或手持智能設備采集學生的問題回答信息等。到目前為止，這些方法都是采用單一的信息技術或教育設備對單一指標的課堂教學信息進行自動采集與評價，從應用情況來看，這些課堂教學信息自動采集技術還都停留在研究階段，尚還未呈現出大規模應用之勢。

從課堂教學信息自動采集到自動處理，目前國內外鮮有關于課堂教學自動評價理論的研究成果。因此，本研究綜合弗蘭德斯互動分析系統所得的定量數據易于自動分析、LICC（Learning, Instruction, Curriculum, Culture）課堂觀察可以對課堂教學進行整體評價的優點，利用人臉識別、表情識別、注意力分析、姿態識別、文本情感識別、情感計算、深度學習等信息技術對課堂評價自動化進行的系統研究，提出了課堂教學自動評價理論，并給出了其在課堂評價領域的初步研究成果。文章主要進行了如下研究工作：

①從信息技術角度對目前課堂評價研究進行總結與反思，得出現有課堂評價方法難于滿足常態化、規模化課堂評價需求的結論；基于人工智能、情感技術等最新的信息技術，首次給出了課堂教學自動評價的定義，即“課堂教學自動評價是一個全新的教育研究方向，既是一項對課堂教學眾多評價指標進行量化建模、自動分析與評價、服務于課堂評價實踐的計算機應用技術，也是一項改進課堂教學效果的教育技術”；同時，構建了關于課堂教學自動評價的一套完整、系統的理論架構，為課堂教學自動評價研究奠定了理論基礎。

②為了滿足廣大任課教師與課堂評價人員對實用課堂評價工具的需求，本研究提出了一種基于師生對話文本的課堂教學自動分析與評價方法，其先從課堂教學視頻獲取師生對話文本，再基于師生互動對課堂教學場景進行分類，然后使用文本處理技術，將連續的課堂教學過程自動離散為一個課堂教學場景時序序列，實現對課堂教學過程的可視化分析與評價[1]。

③使用深度學習技術對教室內的所有學生進行人臉識別與姿態識別，對課堂教學過程進行多時間點的自動考勤，考勤指標包括：曠課、遲到、早退、隨意進出教室、不認真聽講，實現對課堂教學的全員、全過程、全自動、多指標的實時考勤[2]。

④對于課堂教學過程離散出來的教學場景時序序列，使用不同的信息技術對一個個具體的教學場景進行準靜態分析，主要對學生的聽課姿態、注意力、表情、學習情感等參數進行自動分析與評價[3][4][5]。

一 課堂評價研究的反思與改進

1 定量與定性課堂評價的優缺點分析

定量課堂評價指通過課堂測驗、師生互動編碼、問卷（評價量表）等手段對評價數據進行自動分析與評價。目前，對課堂教學進行定量評價的途徑主要有四個：①使用課堂測驗來獲取學生對知識吸收情況的定量數據；②使用問卷來獲取學生對課堂教學評價的定量數據；③使用與FIAS相類似的技術來獲取每3秒一個編碼的師生互動行為分析數據；④課堂觀察人員使用符號獲取某些教學指標的定量數據。定量課堂評價的缺點在于取得定量數據的工作量比較大，但具有使用定量數據進行自動評價的優勢。受技術的限制，目前定量課堂評價的應用范圍比較小。

與定量課堂評價相比，定性課堂評價通過課堂觀察和課后座談的形式，可以直觀地對課堂教學進行評價，評價人員可以根據經驗與需求、直接對課堂教學效果進行評價，限制因素比較少，所以目前課堂評價大多采用定性課堂評價。但從發展的眼光來看，定性課堂評價也有全人工評價造成的評價費用高、難以進行持久的大規模評價、用人進行評價難以避免主觀性評價所造成的不客觀等缺陷。因此，為了對課堂教學進行大規模持久的監測與評價，獲取客觀的教育大數據，實現大地域、多樣本、全過程的課堂評價，發展課堂教學定量評價技術勢在必行。

2 專業人士對現有課堂觀察與課堂評價的反思

相比于傳統的范式評價，基于課堂觀察的課堂評價更有助于了解課堂的真實性。以課堂觀察作為主要手段的課堂評價研究與實踐也存在一些無法回避的局限性，王陸等[6]從教師、校長、旁觀者、研究者及其自身對于課堂觀察進行了諸多反思。綜合起來，現有的課堂觀察與課堂評價主要存在如下局限性：

（1）碎片化。從某種程度上講，課堂觀察是對課堂的精細化解構，一節課被量表、指標分解得支離破碎，各個觀察的視點不一定是一節課最為有力的切入點。我們常常會看到各觀察者（組）相互獨立的觀察數據，而它們之間的聯系和意義的建設對于只關注自己這部分的觀察者來說是很難輕易把握的，因此教師會擔心：“這樣的觀察是否丟失了整體性？”

（2）貴族化與運動化。“貴族化傾向”是指在一些學校，課堂觀察成為個別精英教師的專利，變成僅供人觀賞的“盆景”，而大多數教師成為學校課堂觀察的旁觀者和邊緣者。一些學校的領導和教師在潛意識中認為搞課堂觀察煩瑣，會浪費時間，存在嚴重的畏難情緒，只在遇到檢查或參觀時才倉促應戰，而在日常的聽課、評課活動中排斥這種方法，使課堂觀察變成搞“運動”。

（3）形式化與模式化。一些地方的課堂觀察活動搞一刀切，不管學校的學情和教師的教情，完全照搬他人的模式。而事實上，由于背景、文化、基礎等存在差異，課堂觀察的方式、方法也要因人而異，應該引導教師選擇合乎實際的手段和具體方式。學校應指導教師百花齊放、不拘一格，并鼓勵教師開拓創新，真正在有效性上下功夫。

（4）功能化。觀察者只觀察限定的維度、限定的問題，觀察分工有知覺功能上的“分裂主義”味道。科學主義的聽評課會帶來這樣的結果：①感受缺失。課堂觀察如果缺少了感受，就不會產生審美愉悅，從而會蛻變為一種教學負擔，也就不具有長久的生命力。②靈性被束縛。當教師了解觀察者的觀察意圖后，可能會將觀察意圖轉換為一種教學訴求。太細化的教學聽評課會限制教學主體性的發揮，從而束縛教學的靈性。③視點散化。長期的規范訓練會使教師頭腦中只有量表，而丟失了自我。

（5）背景割裂化。課堂研究可以在一定程度上說明課堂的問題，卻難以說明影響課堂的社會因素問題。在教師的教學水平達到一定的程度、具備基本的教學條件后，教師水平、技巧和課堂中物質條件等因素并不構成教學質量問題的關鍵，課堂之外社會的、家庭的、環境的因素才是深層次發生影響的重要因素。以課堂觀察為主要技術的課堂研究，對于教師提高課堂技藝，以及學生改善課堂行為確實有效，但教育質量的整體提高僅通過這種局部的、微觀的研究是難以徹底達成的。

3 課堂評價與課堂觀察的改進方向

為滿足基礎教育質量監測的需求，本研究通過與北師大教育評價、心理、教育技術領域專家的互動，結合筆者在課堂教學自動評價研究的心得，針對現有課堂觀察方式的不足之處，就未來基于課堂觀察的課堂評價提出了如下改進建議：①無擾觀察。課堂觀察不應該給教學過程帶來任何干擾，以保持課堂教學的原生態，得出真實的課堂觀察和課堂評價結果。因此，應該使用攝像頭代替教師進行課堂觀察，基于課堂教學視頻進行課堂觀察與課堂評價。②公平評價。要盡可能使用計算機進行課堂評價，或參與評價的人員數量盡可能多，以保證評價結果盡可能公平。③量化評價指標。為了便于進行后續的計算機自動分析與評價，課堂觀察與評價要盡量采用量化指標進行評價，即使對于評價人員給出的評價文本，也要采用文本分析技術進行評價指標量化處理。④主客觀協同評價。受限于信息技術發展的水平，無法對所有的課堂觀察指標進行客觀評價，還需要評價人員對一些計算機無法評價的指標進行主觀評價，最后進行主客觀協同評價，以擴大評價范圍。⑤評價結果成體系綜合化。對于主客觀協同評價得出的數據要進行計算機自動分析與處理，輸出成體系綜合化的評價結果，消除現有課堂評價常常出現的碎片化問題，便于教育用戶使用。⑥課堂評價過程的自動化。為了降低評價人員的勞動強度，滿足大規模課堂評價需求，必須盡可能地使課堂評價自動化，降低課堂評價的人力費用。⑦提高課堂評價系統的易用性。為了擴大課堂評價的應用范圍，課堂評價系統要提高易用性，易于上手、易于熟悉，盡量使具有本科水平的教師能夠直接使用課堂評價系統對自己的課堂進行評價。

圖1 課堂教學自動評價的框架與工作流程

（A）一級行為可視化分布

（B）二級行為可視化分布

圖2 基于課堂教學場景的可視化自動評價

二 課堂教學自動評價理論

課堂教學自動評價的定義是：一個全新的教育研究方向，既是一項對課堂教學眾多評價指標進行量化建模、自動分析與評價、服務于課堂評價實踐的計算機應用技術，也是一項改進課堂教學效果的教育技術。作為主要由計算機與教育進行交叉的科研方向，課堂教學自動評價需要具有足夠的靈活性，以滿足不同課堂教學類型的評價需求。為此，本研究設計了如圖1所示的課堂教學自動評價流程，其目的是使用計算技術，盡量將教育評價專業人員從繁瑣重復的規范性評價工作中解放出來，使他們將精力投向計算機技術難于處理的評價工作中。

如圖1所示，為了盡量減少教育評價專業人士的工作量，課堂教學自動評價理論將傳統的教師先隨班觀察、后給出結論的課堂評價過程進行了深度細化，劃分為采集課堂教學高清視頻、基于視頻生成師生對話文本、基于對話文本將課堂教學過程解構為教學場景時間序列、精確標注課堂教學場景、對課堂教學自動地進行簡單評價、教學場景準靜態分析、采集家長與專業人士的主觀評價、課堂教學綜合評價、輸出評價結果、生成評價報告等共10步評價操作，以便于使用視頻采集、語音輸入、文本編碼、文本與視頻分析、數據分析、模式識別、信息融合等計算機技術對課堂教學進行自動分析與自動評價。需要教育評價專業人員參與的工作被壓縮到：課堂教學場景標注的手動更正、基于視頻的主觀評價（可以省略）、撰寫評價報告這三步操作。因此，課堂教學自動評價可以減少評價人員的工作量、豐富評價指標、擴大課堂評價范圍。

三 基于師生對話文本的課堂教學自動評價[7]

從課堂教學視頻中可以獲得師生對話文本，包括每一句話的順序、內容、起始時刻、結束時刻。為了使用對話句進行基于句子的教學場景自動編碼（Sentence-based Automatic Coding，SAC），本研究基于師生互動行為對課堂教學行為進行了分類，共分為9個一級行為和33個二級行為。使用文本編譯技術可以對師生對話文本進行編譯，獲得SAC自動編碼。基于師生對話文本和教學場景編碼，可以對課堂教學過程進行全過程、全自動的可視化分析與評價。如圖2所示，將連續的課堂教學過程離散為教學場景時序序列以后，就可以基于一節課的課堂教學場景編碼結果，不僅能夠對一級教學行為分布進行可視化分析，還能夠對一級教學行為內的二級教學行為進行可視化分析，進而對課堂教學進行直觀的評價，評價結果不依賴評價人員的好惡，因此客觀性比較好。

四 基于計算機視覺技術的課堂教學自動評價

1 基于深度學習的課堂教學自動考勤[8]

課堂考勤作為課堂教學日常評價的重要基礎環節，對課堂教學質量有著重要的作用。使用深度學習技術對課堂教學高清視頻中的全部學生進行自動人臉檢測與識別，實現課堂教學的全程無擾全自動考勤，不僅可以對曠課、遲到、早退、隨意出入教室這4項常規考勤指標進行監測，而且可以對學生的不認真聽講情況進行監測。如圖3所示，本研究使用基于深度學習技術的人臉識別軟件SeeTaFace[9]，可以獲得滿意的人臉識別效果。

圖3 SeeTaFace人臉識別效果

圖6 課堂教學前15分鐘的一名學生的表情分析結果

2 基于學生學習注意力分析的課堂教學自動評價[10][11]

在教室前后墻的中間位置進行吸頂安裝兩只攝像頭。如圖4（A）所示，前攝像頭的視頻用于識別學生人臉、檢測臉部特征點、計算出學生的空間位置/頭部姿態/面部法線的指向。如圖4（B）所示，后攝像頭的視頻用于將學生面部法線投射到視場中，進行注意力的可視化表示，黑板前進行板書的教師脖子旁處的圓點就是教室中聽課學生的視線投射點。

根據學生聽課的注意力分析結果，可以對學生的學習狀態粗略地進行分類。如圖5（A）所示，當學生注意力聚焦于授課教師時，說明學生學習處于專注狀態。如圖5（B）所示，當學生注意力游離于黑板外邊時，說明學生學習處于漠視狀態。此外，當學生注意力沒有聚焦于教師、但還看著黑板時，則說明學生學習不夠專注，但處于關注狀態，即還保持對授課內容的關注。

3 基于學生學習表情分析的課堂教學自動評價[12]

通過收集并分析一線教師和教育研究人員關于學生聽課表情的相關論述，同時通過觀看教學視頻對真實課堂教學所做的大量觀察，本研究首先將學習表情粗分為愉悅（Joy）、驚訝（Sur）、專注（Foc）、困惑（Con）、走神（Dis）等5類，然后自建了一個專用于課堂教學自動評價的學習表情數據庫，最后開發了一個基于學習表情識別的課堂教學自動評價系統。

圖4 基于前后攝像頭的學習注意力分析系統

圖5 基于前后攝像頭的學習注意力分析系統

如圖6所示，本研究對一堂課前15分鐘視頻中的一個學生進行表情識別，表情分析結果表明：課堂教學剛開始的4～5分鐘，由于精神集中，對于教師所導入的教學材料，該生呈現了較好的學習表情，表情主要為愉悅和專注；隨著教師講授新知識點，該生出現了較多的困惑、走神表情，說明該生在理解上出現了困難；在后5分鐘，教師對新知識點進行鞏固教學，該生的困惑/走神表情減少，出現了較多的專注/驚訝/愉悅表情，說明該生吸收、掌握了這個知識點。因此，學習表情分析可以對學生的聽課效果進行評價，即使用表情識別技術可以對課堂教學過程中的學生聽課效果進行自動評價。

五 結語

本研究首先系統地介紹了課堂教學自動評價理論，接著依次介紹了在基于師生對話文本的課堂自動評價和基于計算機視覺技術的課堂教學自動評價（包括自動考勤、學習注意力分析和學習表情分析）、課堂教學自動考勤、學生學習注意力/學習表情/學習情感分析技術等方面取得的初步研究成果。本研究認為課堂教學自動評價是一項非常有前景的課堂評價技術,能夠對課堂教學進行常態化、規模化課堂評價，但課堂教學自動評價應該結合課堂教學的實際需求開展研究，以切實改善課堂教學質量為主要突破方向，避免單純追求技術進步的教具式改進研究，同時也要適度考慮師生的個人隱私保護問題。

[1][7]Lu J, Wang D, Luo Z Y. Automatic evaluation of teacher-student interaction based on dialogue text[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1517-1522.

[2][8]Wang D, Fu R, Luo Z Y. Classroom attendance auto-management based on deep learning[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1523-1528.

[3][10]Li D X, Liu H, Chang W Q, etc. Visualization analysis of learning attention based on single-image PnP head pose estimation[A]. Education, management and computing technology[C]. Paris: Atlantis Press, 2017:1508-1516.

[4][11]Li D X, Luo Z Y, Chang W Q. The study on problems and their answer in elementary education quality monitoring[J]. Science innovation, 2017,(4):220-226.

[5][12]Tang C G, Xu P F, Luo Z Y, etc. Automatic facial expression analysis of students in teaching environment[A]. Biometric recognition[C]. Switzerland: Springer International Publishing, 2015:439-447.

[6]王陸,張敏霞.課堂觀察方法與技術[M].北京:北京師范大學出版社,2012:223-230.

[9]GitHub.SeeTa Face引擎[OL].

Auto-evaluation of Classroom Teaching & Learning andIts Preliminary Research Findings

LUO Zu-ying1,2ZHANG Dan-hui3

Classroom Evaluation (CE) is the core of educational evaluation. Based on latest information techniques of artificial intelligence and the combination of CE needs, this article proposed the theory of Classroom Teaching & Learning Auto-evaluation (CTLAE) for the first time in the world. Preliminary research progresses have been achieved in auto-attendance management, learning attention/expression/emotion analyses, text-based dialogue/interaction analyses between teacher and students. Compared with the traditional CE techniques, CTLAE shows advantages on all personnel, whole process, full automatic, high sampling rate, undisturbed, impersonality and so on, which make it possible to evaluate the scaled and normalized classroom teaching process.

classroom evaluation; learning emotion; classroom attendance

G40-057

A

1009—8097（2018）08—0038—07

10.3969/j.issn.1009-8097.2018.08.006

本文受國家自然科學基金面上項目“基于GPU集群層次式并行計算的3D芯片電熱綜合分析與綜合優化”（項目編號：61274033）資助。

駱祖瑩，教授，博士，研究方向為課堂評價、情感計算，郵箱為luozy@bnu.edu.cn。

2017年12月19日

編輯：小西