智能技術(shù)助推教師課堂教學(xué)行為評(píng)價(jià)的應(yīng)用框架研究*

魯圓圓 陳增照 陳 榮 石雅文 鄭秋雨

智能技術(shù)助推教師課堂教學(xué)行為評(píng)價(jià)的應(yīng)用框架研究*

魯圓圓1,2陳增照1[通訊作者]陳 榮1石雅文1鄭秋雨1

（1．華中師范大學(xué) 人工智能教育學(xué)部，湖北武漢 430079；2．武漢學(xué)院 信息工程學(xué)院，湖北武漢 430212）

目前，教師課堂教學(xué)行為評(píng)價(jià)主要采用課堂觀察的經(jīng)驗(yàn)描述方式，人力成本較高，且主觀性強(qiáng)。隨著人工智能技術(shù)在教育領(lǐng)域的廣泛應(yīng)用，該評(píng)價(jià)開始轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的研究范式，智能技術(shù)賦能的教學(xué)行為評(píng)價(jià)憑借實(shí)時(shí)分析和可視化評(píng)價(jià)的優(yōu)勢，逐漸成為幫助教師調(diào)控教學(xué)行為、提高教學(xué)質(zhì)量的有力手段。然而，目前智能化教師行為評(píng)價(jià)仍處于初步探索階段，應(yīng)用研究還不夠深入。基于此，文章從評(píng)價(jià)數(shù)據(jù)、手段和結(jié)果上解析智能技術(shù)在教師課堂教學(xué)行為評(píng)價(jià)中的應(yīng)用；利用聲紋識(shí)別技術(shù)對(duì)課堂視頻進(jìn)行教師身份識(shí)別與話語追蹤，分割視頻片段；再從情感、姿態(tài)和位置偏好三個(gè)維度，構(gòu)建教師課堂教學(xué)行為評(píng)價(jià)的應(yīng)用框架；將評(píng)價(jià)結(jié)果以更加直觀、易于理解的可視化方式呈現(xiàn)給教師，幫助教師進(jìn)行教學(xué)反思。文章旨在通過研究，推進(jìn)教師課堂教學(xué)行為評(píng)價(jià)向著智能、高效、持續(xù)的方向變革。

人工智能；教師課堂教學(xué)行為評(píng)價(jià)；教學(xué)行為識(shí)別；語音情感識(shí)別

隨著人工智能的發(fā)展及智能教學(xué)環(huán)境的普及，利用智能技術(shù)進(jìn)行課堂教學(xué)行為評(píng)價(jià)已逐漸成為新的趨勢。2021年《教育部關(guān)于實(shí)施第二批人工智能助推教師隊(duì)伍建設(shè)行動(dòng)試點(diǎn)工作的通知》發(fā)布文件，指出要探索人工智能助推教師隊(duì)伍建設(shè)的新模式[1]，創(chuàng)建智能化教育環(huán)境提升教師素養(yǎng)[2]，推動(dòng)智能技術(shù)賦能教師教學(xué)行為的精準(zhǔn)評(píng)測。目前，教師課堂教學(xué)行為評(píng)價(jià)研究主要采用課堂觀察、行為對(duì)比等經(jīng)驗(yàn)描述的方式，這導(dǎo)致人力成本高，主觀性較強(qiáng)，且無法實(shí)現(xiàn)常態(tài)化評(píng)價(jià)。而利用智能技術(shù)開展的評(píng)價(jià)，能對(duì)教師行為進(jìn)行深度挖掘和分析，將過程性行為轉(zhuǎn)化為可視化數(shù)據(jù)，使教師反思變得有據(jù)可依。盡管智能技術(shù)在行為識(shí)別研究上已有突破，但如何利用技術(shù)高效賦能評(píng)價(jià)還需進(jìn)一步研究。基于此，本研究從智能技術(shù)賦能教師課堂行為評(píng)價(jià)的視角入手，構(gòu)建了集教師情感、姿態(tài)、位置三維一體的評(píng)價(jià)體系框架，通過實(shí)驗(yàn)進(jìn)行分析研究，以期為教師的教學(xué)行為診斷提供數(shù)據(jù)支持，以過程性評(píng)價(jià)促進(jìn)教師行為的持續(xù)發(fā)展。

一 智能技術(shù)賦能教師課堂教學(xué)行為評(píng)價(jià)

教師課堂教學(xué)評(píng)價(jià)是對(duì)教師課堂教學(xué)的行為及其效果所進(jìn)行的價(jià)值判斷[3]，通常包含教學(xué)過程評(píng)價(jià)、學(xué)生活動(dòng)評(píng)價(jià)和教學(xué)效果評(píng)價(jià)三種方式[4]。智能技術(shù)賦能的教師課堂教學(xué)行為評(píng)價(jià)，在此基礎(chǔ)上提供了更加多元的過程評(píng)價(jià)，從而加快了教學(xué)行為評(píng)價(jià)進(jìn)程，為教師提供更全面的教學(xué)行為診斷。接下來，本研究將從評(píng)價(jià)數(shù)據(jù)、評(píng)價(jià)手段、評(píng)價(jià)結(jié)果三個(gè)方面介紹智能技術(shù)賦能的教師課堂教學(xué)行為評(píng)價(jià)的特點(diǎn)及相關(guān)研究。

1 精準(zhǔn)采集多維教師評(píng)價(jià)數(shù)據(jù)

智能技術(shù)可采集多維數(shù)據(jù)，使用錄播系統(tǒng)、腦電、眼動(dòng)等設(shè)備采集高質(zhì)量、全過程的教師多維行為數(shù)據(jù)，構(gòu)建教師行為數(shù)據(jù)庫，為教學(xué)行為評(píng)價(jià)提供客觀的數(shù)據(jù)支持。如孫眾等[5]采集多源數(shù)據(jù)建立教學(xué)案例庫，利用智能技術(shù)進(jìn)行教學(xué)行為分析，幫助教師教學(xué)反思；Blikstein等[6]提出在多模態(tài)學(xué)習(xí)分析中將可穿戴傳感器、生物傳感器、手勢感應(yīng)、紅外成像和眼球跟蹤等技術(shù)用于采集多維數(shù)據(jù)源，可對(duì)復(fù)雜的認(rèn)知能力進(jìn)行更綜合的評(píng)估。這些研究表明，利用智能技術(shù)采集和挖掘多維數(shù)據(jù)，可以實(shí)現(xiàn)更全面、更高準(zhǔn)確度的教師行為評(píng)價(jià)。

2 智能技術(shù)強(qiáng)化行為評(píng)價(jià)手段

智能技術(shù)可識(shí)別教學(xué)行為，利用人工智能技術(shù)對(duì)多維教師行為數(shù)據(jù)進(jìn)行準(zhǔn)確識(shí)別和智能分析，可獲得評(píng)價(jià)分析結(jié)果。如駱組瑩等[7]利用計(jì)算機(jī)視覺技術(shù)進(jìn)行課堂教學(xué)自動(dòng)評(píng)價(jià)，并在學(xué)生注意力分析、表情識(shí)別和情感識(shí)別等方面取得初步成果；Ashwin等[8]提出一種混合架構(gòu)通過識(shí)別面部表情、身體姿態(tài)和手勢行為預(yù)測整個(gè)課堂的情感狀態(tài)，結(jié)果表明其預(yù)測準(zhǔn)確率較高。這些研究表明，利用智能技術(shù)突破傳統(tǒng)評(píng)價(jià)手段進(jìn)行多元的智能評(píng)價(jià)，可使評(píng)價(jià)更高效準(zhǔn)確。

3 可視化呈現(xiàn)行為評(píng)價(jià)結(jié)果

智能技術(shù)可進(jìn)行數(shù)據(jù)可視化展示，將評(píng)價(jià)結(jié)果以文字、圖表、雷達(dá)圖等形式可視化呈現(xiàn)。如駱祖瑩等[9]開發(fā)了一套基于課堂言語的可視化的分析軟件，能對(duì)課堂教學(xué)活動(dòng)過程進(jìn)行分析，可視化反饋結(jié)果以幫助教師進(jìn)行教學(xué)反思；Safsouf等[10]評(píng)估了某一針對(duì)教師和學(xué)生的學(xué)習(xí)分析儀表盤，該儀表盤可以對(duì)課程中的學(xué)習(xí)進(jìn)度進(jìn)行綜合可視化，能有效提高學(xué)生的參與度。通過這些研究發(fā)現(xiàn)，利用儀表盤進(jìn)行教師行為評(píng)價(jià)可視化反饋，能幫助教師反思課堂行為表現(xiàn)。

圖1 教師課堂教學(xué)行為智能評(píng)價(jià)的應(yīng)用框架

二 智能技術(shù)助推教師教學(xué)行為評(píng)價(jià)的應(yīng)用框架

雖然智能技術(shù)的發(fā)展推動(dòng)教師行為評(píng)價(jià)向多維數(shù)據(jù)、智能分析和可視化評(píng)價(jià)的方向變革，但以往研究往往從單一模態(tài)或雙模態(tài)對(duì)言語[11]、情感[12][13]、姿勢[14][15]、目光[16]、生理[17]等行為進(jìn)行分析，不能全面評(píng)價(jià)。鑒于此，本研究針對(duì)多模態(tài)，構(gòu)建了教師課堂教學(xué)行為智能評(píng)價(jià)的應(yīng)用框架，如圖1所示。由于本研究僅需上傳常規(guī)的課堂視頻即可進(jìn)行評(píng)價(jià)，故不采用需佩戴儀器采集的目光和生理數(shù)據(jù)，而是在現(xiàn)有研究的基礎(chǔ)上，增加了可提高師生互動(dòng)的位置分析，構(gòu)建了集教師情感、姿態(tài)、位置三維一體的教師課堂教學(xué)行為智能評(píng)價(jià)系統(tǒng)。

1 對(duì)象層：面向教師和教學(xué)管理者

對(duì)象層面向教師和教學(xué)管理者。通過對(duì)教師的多維課堂行為數(shù)據(jù)進(jìn)行量化分析和評(píng)價(jià)，既可以為教師提供可視化的行為分析與評(píng)價(jià)，以教學(xué)反思促教師專業(yè)發(fā)展；又可以為教學(xué)管理者提供周期性的評(píng)價(jià)數(shù)據(jù)，以動(dòng)態(tài)監(jiān)控促智能評(píng)教，指導(dǎo)教師改進(jìn)課堂行為，提高教學(xué)質(zhì)量。

2 數(shù)據(jù)層：數(shù)據(jù)采集

數(shù)據(jù)層利用深度錄播系統(tǒng)采集教師的語音情感、面部表情、頭勢、手勢和教師位置信息，建立教師課堂教學(xué)行為測評(píng)數(shù)據(jù)集（如表1所示），幫助開展教師課堂教學(xué)行為的過程性評(píng)價(jià)。

表1 教師課堂教學(xué)行為測評(píng)數(shù)據(jù)集

3 技術(shù)層：教師行為識(shí)別分析和數(shù)據(jù)可視化

技術(shù)層以采集的數(shù)據(jù)為基礎(chǔ)，結(jié)合計(jì)算機(jī)視覺、語音識(shí)別、情感計(jì)算等技術(shù)分析教師的情感狀態(tài)、姿態(tài)行為和位置信息，將評(píng)價(jià)結(jié)果可視化呈現(xiàn)給教師，幫助教師進(jìn)行教學(xué)診斷和反思。

圖2 語音情感識(shí)別流程

（1）教師行為識(shí)別分析

①語音情感。語音是教師課堂傳遞信息和情感最直接的方式，由于師生行為在時(shí)間維度上可以連續(xù)采樣，因此可將視頻按照師生話語切分連續(xù)樣本數(shù)據(jù)，并在切分后的時(shí)間片段內(nèi)進(jìn)行教師的語音情感識(shí)別和其他教學(xué)行為檢測。考慮到語音識(shí)別是進(jìn)行教師行為識(shí)別的重要前提和基礎(chǔ)，故本研究以語音情感識(shí)別為例進(jìn)行詳細(xì)技術(shù)分析，其流程如圖2所示。

第一步，特征提取。首先對(duì)采集的語音數(shù)據(jù)進(jìn)行預(yù)處理，將信號(hào)轉(zhuǎn)換為頻域上的能量分布，在信號(hào)加窗后進(jìn)行快速傅里葉變換（Fast Fourier Transform，F(xiàn)FT）。然后對(duì)對(duì)變換后的離散頻譜用序列進(jìn)行Mel濾波處理，經(jīng)過離散余弦變換（Discrete Cosine Transform，DCT）得到梅爾倒譜系數(shù)。最后利用openSMILE工具包和神經(jīng)網(wǎng)絡(luò)，使用梅爾倒普系數(shù)提取師生的音頻聲紋特征，所得到的梅爾倒譜系數(shù)用于教師身份識(shí)別中UBM模型的建立和說話人GMM模型的訓(xùn)練。

第二步，教師身份識(shí)別。本研究采用團(tuán)隊(duì)成員陳增照教授的前期研究專利“基于聲紋識(shí)別的智能S-T分析”中提出的高斯混合—通用背景模型（Gaussian Mixed Model-Universal Background Model，GMM-UBM）對(duì)教師進(jìn)行身份識(shí)別，該模型利用UBM擬合說話人的特征，通過極大后驗(yàn)概率算法（Maximum A Posteriori，MAP）將UBM中的每個(gè)高斯分量向待識(shí)別說話人的GMM進(jìn)行偏移[18]，從而得到GMM模型。教師身份識(shí)別的過程如下：首先，建立訓(xùn)練集的參考模型或模型庫，訓(xùn)練矢量集為(X,X,,X)，其中為訓(xùn)練集中師生語音的幀數(shù)。UBM模型中的參數(shù)可表示為{w,μ,σ2,,,}，其中w、μ、σ2分別為第個(gè)高斯分量的權(quán)重系數(shù)、均值以及方差，為高斯分量個(gè)數(shù)（本文設(shè)為2048個(gè)）。然后，計(jì)算中的矢量X與UBM模型高斯分量的相似度，通過相似度更新UBM中高斯分量的均值和方差，從而向待識(shí)別說話人（教師）的GMM進(jìn)行偏移。最后，將更新后的各高斯分量和原始UBM的均值及方差進(jìn)行融合，得到識(shí)別教師身份的GMM模型，其權(quán)重系數(shù)、均值以及方差分別如公式（1）、公式（2）、公式（3）所示。其中，、和是自適應(yīng)參數(shù)，用于調(diào)節(jié)新參數(shù)和UBM參數(shù)，n表示訓(xùn)練語音中屬于第個(gè)高斯分量的幀數(shù)，E()表示UBM中高斯分量的均值，E(x)表示高斯分量中的方差，用來調(diào)整w。通過這三個(gè)參數(shù)可得到教師的GMM模型和待識(shí)別說話人對(duì)應(yīng)的GMM模型，并進(jìn)行模式匹配，對(duì)GMM模型進(jìn)行余弦相似度打分，高于一定閾值（本文設(shè)為0.5）將判定為同一說話人，否則為不同說話人，以此來實(shí)現(xiàn)教師身份判斷，并進(jìn)行教師視頻片段分割。

第四步，情感分類。利用注意力層的輸出結(jié)果，使用Softmax進(jìn)行情感分類，如公式（7）所示。其中，z為上一層第個(gè)節(jié)點(diǎn)的輸出值，為分類的類別數(shù)。

最后，利用模型迭代訓(xùn)練，即可在決策層輸出教師語音片段的情感分類。教師的課堂語音情感可分為積極情緒（高興）、中性情緒（自然）和消極情緒（憤怒、厭惡）三類。

②面部表情。教師的面部表情對(duì)學(xué)生的學(xué)習(xí)興趣和學(xué)習(xí)效果有重要影響。面部表情識(shí)別可以通過人臉檢測技術(shù)抓取教師面部信息的圖像，然后對(duì)圖像預(yù)處理，進(jìn)行對(duì)齊、數(shù)據(jù)加強(qiáng)和歸一化操作。再利用深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人臉的幾何特征、統(tǒng)計(jì)特征、運(yùn)動(dòng)特征等以進(jìn)行特征提取，最后通過面部表情進(jìn)行情感分類。教師課堂的面部表情同樣分為積極、中性和消極三類。

③頭勢。教師的頭部姿態(tài)和目光注視能有效傳遞教師的注意力焦點(diǎn)。頭勢識(shí)別可以通過2D人臉關(guān)鍵點(diǎn)檢測技術(shù)獲取教師的關(guān)鍵點(diǎn)信息，然后在3D人臉模型中匹配2D人臉關(guān)鍵點(diǎn)的映射，再利用俯仰角、偏航角和滾轉(zhuǎn)角三個(gè)歐拉角（Euler Angle）根據(jù)旋轉(zhuǎn)矩陣計(jì)算頭部旋轉(zhuǎn)姿態(tài)角，判斷教師的面部朝向和注意力范圍。教師的頭勢分為看學(xué)生、看黑板、看教材、看其他四類。

④手勢。教師在課堂上使用手勢行為進(jìn)行教學(xué)引導(dǎo)，可以吸引學(xué)生的注意力。手勢識(shí)別首先對(duì)教師圖像數(shù)據(jù)進(jìn)行手勢分割，將圖像轉(zhuǎn)換為立體模型，建立手勢庫。再根據(jù)手勢形狀和指尖特征等進(jìn)行輪廓特征提取，利用神經(jīng)網(wǎng)絡(luò)技術(shù)識(shí)別教學(xué)過程中的教師引導(dǎo)性、輔助性等手勢。教師的手勢分為有手勢和無手勢兩類。

⑤教師位置。教師的教學(xué)位置可以傳達(dá)遠(yuǎn)近、親疏的信息。教師位置識(shí)別采用圖像分割的方法對(duì)教室內(nèi)部場景進(jìn)行劃分，識(shí)別黑板的位置，然后以地面為水平面，黑板中線為軸建立三維坐標(biāo)系[19]。在體距識(shí)別中，利用人體骨架識(shí)別對(duì)視頻圖像進(jìn)行教師關(guān)鍵點(diǎn)識(shí)別，將人體關(guān)鍵點(diǎn)與三種區(qū)域進(jìn)行交叉運(yùn)算以識(shí)別教師位置。教師的位置分為教室前、教室中、教室后三類。

（2）數(shù)據(jù)可視化

在對(duì)課堂教學(xué)視頻進(jìn)行自動(dòng)化智能識(shí)別與分析后，本研究將教師課堂表現(xiàn)行為分為語音情感、面部表情、頭勢、手勢和教師位置五個(gè)方面進(jìn)行可視化展示，按照表1所示的教師課堂教學(xué)行為測評(píng)數(shù)據(jù)指標(biāo)對(duì)教師本節(jié)課的表現(xiàn)做出科學(xué)、直觀的評(píng)價(jià)，通過動(dòng)態(tài)地更迭數(shù)據(jù)，以易于理解的圖表和儀表盤方式將數(shù)據(jù)信息呈現(xiàn)給教師感知，強(qiáng)化過程性評(píng)價(jià)，以幫助教師進(jìn)行教學(xué)反思。

4 應(yīng)用層：教師課堂教學(xué)行為評(píng)價(jià)系統(tǒng)

應(yīng)用層在技術(shù)層的基礎(chǔ)上，搭建教師課堂教學(xué)行為評(píng)價(jià)系統(tǒng)，教師上傳授課視頻，在線獲得課堂分析可視化結(jié)果。本團(tuán)隊(duì)現(xiàn)已研發(fā)一款教師課堂行為評(píng)教系統(tǒng)“小雅評(píng)教系統(tǒng)”，該評(píng)教系統(tǒng)包含課堂分析、教學(xué)反思、成長記錄和名師幫扶四大功能模塊，其中“課堂分析”功能即在應(yīng)用層實(shí)現(xiàn)對(duì)課堂視頻中教師情感、教師姿態(tài)和教師位置的綜合智能分析與評(píng)價(jià)。

（1）教師課堂情感分析

對(duì)于教師課堂情感分析，在評(píng)價(jià)系統(tǒng)的情感分析界面使用圖表和儀表盤從語音情感和面部表情兩個(gè)維度可視化反饋教師的情感分析數(shù)據(jù)。在心理學(xué)領(lǐng)域，情感通常分為高興、憤怒、厭惡、自然、驚訝、悲傷和恐懼七類，刪除后面三類課堂中少見的情緒，可將根據(jù)教師語音情感和面部表情識(shí)別的“高興”定義為積極情緒，“憤怒”和“厭惡”定義為消極情緒，“自然”定義為中性情緒。教師的積極情緒有助于提高學(xué)生的課堂投入度和專注度，而消極情感流露的越多，課堂氛圍就越差。因此，教師可參考課堂情感分析結(jié)果調(diào)整語音和面部表情的情感表達(dá)。

（2）教師課堂姿態(tài)分析

對(duì)于教師課堂姿態(tài)分析，在評(píng)價(jià)系統(tǒng)的姿態(tài)分析界面使用圖表和儀表盤，從頭勢和手勢兩個(gè)維度可視化反饋教師的姿態(tài)行為數(shù)據(jù)。頭勢分析通過檢測教師頭部旋轉(zhuǎn)姿態(tài)，將其分為看學(xué)生、看教材、看黑板、看其他四類。手勢分析通過對(duì)教師課堂使用的手勢進(jìn)行檢測，將常見的手勢如引導(dǎo)性手勢和輔助性手勢定義為“有”手勢，將教師自然站立時(shí)的姿態(tài)定義為“無”手勢。課堂中教師頭部姿態(tài)和手勢的使用可引導(dǎo)學(xué)生的注意分配，還能提高師生互動(dòng)[20][21]。因此，教師可根據(jù)課堂姿態(tài)分析結(jié)果調(diào)整課堂中頭部的目光朝向范圍和時(shí)長，以及手勢的使用頻率。

（3）教師課堂位置分析

對(duì)于教師課堂位置分析，在評(píng)價(jià)系統(tǒng)的位置分析界面使用圖表和儀表盤可視化反饋教師的位置變化區(qū)域，分為“教室前”“教室中”“教室后”。教師的課堂位置能影響學(xué)生的學(xué)習(xí)狀態(tài)，教師長時(shí)間依賴講臺(tái)或保持位置不變，會(huì)導(dǎo)致部分學(xué)生注意力不集中、課堂氣氛不活躍等問題發(fā)生。教師適度地走進(jìn)學(xué)生的位置范圍，有利于監(jiān)控課堂秩序、了解學(xué)生學(xué)習(xí)情況、增加課堂活力。因此，教師可根據(jù)課堂位置分析結(jié)果，合理調(diào)整自己在課堂上的行走軌跡。

三 智能技術(shù)助力教師課堂教學(xué)行為評(píng)價(jià)的應(yīng)用

為驗(yàn)證本框架的有效性和應(yīng)用價(jià)值，本研究選擇武漢市A大學(xué)附屬小學(xué)五年級(jí)某班的語文課堂作為實(shí)驗(yàn)對(duì)象，在2021～2022學(xué)年第一學(xué)期開展跟蹤實(shí)驗(yàn)。前半學(xué)期采用常規(guī)的人工評(píng)價(jià)，根據(jù)每節(jié)課的課堂觀察對(duì)各項(xiàng)指標(biāo)、各類行為和總評(píng)進(jìn)行總結(jié)性打分；后半學(xué)期采用智能評(píng)價(jià)，每節(jié)課利用智能技術(shù)應(yīng)用框架識(shí)別各類行為進(jìn)行自動(dòng)化評(píng)價(jià)，每次評(píng)價(jià)結(jié)束后，教師都會(huì)根據(jù)結(jié)果在下一次課堂中進(jìn)行調(diào)整。經(jīng)過半學(xué)期的實(shí)驗(yàn)，本研究分別將前半學(xué)期的最后一節(jié)課（對(duì)照組）和后半學(xué)期最后一節(jié)課（實(shí)驗(yàn)組）的課堂視頻上傳到利用本研究框架構(gòu)建的評(píng)教系統(tǒng)進(jìn)行在線評(píng)價(jià)，結(jié)合學(xué)生反饋，驗(yàn)證教師周期性地使用該框架進(jìn)行教學(xué)反思，能否有效提高教學(xué)效果。教師課堂教學(xué)行為分析數(shù)據(jù)如表2所示，節(jié)選的部分視頻信息展示教師的課堂教學(xué)行為時(shí)序圖，如圖3、圖4所示。

從分析結(jié)果來看：①在教師情感分析方面，受學(xué)生發(fā)言和課堂靜默時(shí)間、教師背對(duì)學(xué)生板書和走動(dòng)的影響，語音情感和面部表情數(shù)據(jù)是間斷的。對(duì)照組中教師面部表情語使用較少，語音情感較平淡，以中性為主的情感表達(dá)較多，從語音時(shí)長來看講授較多且互動(dòng)較少；實(shí)驗(yàn)組中應(yīng)用智能評(píng)價(jià)改進(jìn)情感后，教師課堂上面帶微笑，語音富有激情，以中性和積極為主的面部表情和語音情感表達(dá)明顯增多。②在教師姿態(tài)分析方面，對(duì)照組和實(shí)驗(yàn)組中教師在課堂中看向?qū)W生的時(shí)間較多、交替使用手勢的頻率較高，教學(xué)行為上變化不大，說明教師一直以來比較注重教學(xué)姿態(tài)的使用，所以提升效果并不明顯。③在教師位置分析方面，對(duì)照組中教師偏愛站在講臺(tái)區(qū)（教室前）教學(xué)，鮮少走近學(xué)生；實(shí)驗(yàn)組中教師應(yīng)用智能評(píng)價(jià)改進(jìn)課堂走動(dòng)位置后，明顯較多時(shí)間走進(jìn)學(xué)生區(qū)（教室中）進(jìn)行互動(dòng)。

表2 教師課堂教學(xué)行為分析數(shù)據(jù)

圖3 對(duì)照組中教師課堂教學(xué)行為時(shí)序圖

圖4 實(shí)驗(yàn)組中教師課堂教學(xué)行為時(shí)序圖

在實(shí)驗(yàn)中，應(yīng)用本框架持續(xù)半學(xué)期對(duì)課堂視頻進(jìn)行機(jī)器智能評(píng)價(jià)后，教師在本學(xué)期后期的教學(xué)行為表現(xiàn)上明顯增加了語音情感和面部表情的表達(dá)，并走進(jìn)教室中與學(xué)生互動(dòng)。結(jié)合學(xué)生課堂表現(xiàn)反饋，兩節(jié)課中學(xué)生的抬頭率都較高，舉手參與率從44%上升到87%，回答問題人次從18次上升到34次，課堂發(fā)言時(shí)間延長了約6分鐘，且后排學(xué)生的課堂紀(jì)律明顯好轉(zhuǎn)，整體上學(xué)生的積極性和參與度明顯增加。本研究發(fā)現(xiàn)，利用智能技術(shù)進(jìn)行教師課堂教學(xué)行為評(píng)價(jià)，可以分析和反饋教師的過程性行為數(shù)據(jù)，及各類數(shù)據(jù)在課堂內(nèi)的分布時(shí)間，精確地、可視化地反饋教師的課堂行為和評(píng)價(jià)結(jié)果，能有效幫助教師進(jìn)行教學(xué)反思，提高教學(xué)質(zhì)量。

四 結(jié)語

本研究以智能技術(shù)助推教師課堂教學(xué)行為框架構(gòu)建為研究目標(biāo)，提出了一種融合多模態(tài)行為分析的教師課堂教學(xué)行為評(píng)價(jià)的應(yīng)用框架，關(guān)注教師的課堂情感變化、姿勢引導(dǎo)和課堂位置，以幫助教師及時(shí)調(diào)整和反思課堂教學(xué)行為。本研究的創(chuàng)新性體現(xiàn)在三個(gè)方面：①實(shí)現(xiàn)了真實(shí)課堂多維數(shù)據(jù)的采集和存儲(chǔ)，全過程的課堂教學(xué)數(shù)據(jù)能實(shí)時(shí)分析教師教學(xué)行為的動(dòng)態(tài)變化。②通過實(shí)驗(yàn)，驗(yàn)證了本框架下的智能評(píng)價(jià)能全面準(zhǔn)確地反映教師課堂行為表現(xiàn)，以過程性評(píng)價(jià)數(shù)據(jù)幫助教師進(jìn)行教學(xué)行為診斷和反思。③將智能技術(shù)應(yīng)用于教師行為評(píng)價(jià)，能加快評(píng)價(jià)進(jìn)程，提高評(píng)價(jià)結(jié)果對(duì)教學(xué)行為的反饋?zhàn)饔茫瑤椭處熖岣呓虒W(xué)能力。然而，本研究也存在一些不足，后續(xù)還需進(jìn)一步深入研究師生互動(dòng)行為在教師教學(xué)行為評(píng)價(jià)中的重要作用，開展大規(guī)模優(yōu)質(zhì)課程的教師教學(xué)行為分析，建立數(shù)據(jù)常模，為同類課堂分析比較提供依據(jù)。通過健全教師教學(xué)行為智能評(píng)價(jià)系統(tǒng)，為智能教學(xué)行為評(píng)價(jià)提供更準(zhǔn)確的分析結(jié)果和更有價(jià)值的評(píng)價(jià)服務(wù)。

[1]教育部.教育部關(guān)于實(shí)施第二批人工智能助推教師隊(duì)伍建設(shè)行動(dòng)試點(diǎn)工作的通知[OL].

[2][11][12]吳立寶,曹雅楠,曹一鳴.人工智能賦能課堂教學(xué)評(píng)價(jià)改革與技術(shù)實(shí)現(xiàn)的框架構(gòu)建[J].中國電化教育,2021,(5):94-101.

[3][4]張大均.教育心理學(xué)(第三版)[M].北京:人民教育出版社,2015:590、665.

[5]孫眾,呂愷悅,駱力明,等.基于人工智能的課堂教學(xué)分析[J].中國電化教育,2020,(10):15-23.

[6]Blikstein P, Worsley M. Multimodal learning analytics and education data mining: Using computational technologies to measure complex learning tasks[J]. Journal of Learning Analytics, 2016,(2):220-238.

[7]駱祖瑩,張丹慧.課堂教學(xué)自動(dòng)評(píng)價(jià)及其初步研究成果[J].現(xiàn)代教育技術(shù),2018,(8):38-44.

[8]TS A, Guddeti R M R. Automatic detection of students’ affective states in classroom environment using hybrid convolutional neural networks[J]. Education and Information Technologies, 2020,(2):1387-1415.

[9]駱祖瑩,趙琦琦,段福慶.基于教師近場語音的課堂教學(xué)過程自動(dòng)分析[J].現(xiàn)代教育技術(shù),2021,(8):76-84.

[10]Safsouf Y, Mansouri K, Poirier F. Experimental design of learning analysis dashboards for teachers and learners[A]. Proceedings of the Eighth ACM Conference on Learners[C]. Germany: ACM, 2021:347-350.

[13][17]張立山,馮碩,李亭亭.面向課堂教學(xué)評(píng)價(jià)的形式化建模與智能計(jì)算[J].現(xiàn)代遠(yuǎn)程教育研究,2021,(1):13-25.

[14][19]陳少輝.智慧教室環(huán)境下教師非言語行為量化計(jì)算研究及應(yīng)用[D].武漢:華中師范大學(xué),2020:14-17.

[15][20]楊九民,章儀,李麗,等.教師引導(dǎo)行為與學(xué)習(xí)者先前知識(shí)水平對(duì)視頻學(xué)習(xí)的交互影響[J].中國電化教育,2019,(7):74-81.

[16][21]楊九民,皮忠玲,章儀,等.教學(xué)視頻中教師目光作用:基于眼動(dòng)的證據(jù)[J].中國電化教育,2020,(9):22-29.

[18]Reynolds D A, Quatieri T F, Dunn R B. Speaker verification using adapted gaussian mixture models[J]. Digital Signal Processing, 2000,(1-3):19-41.

Research on the Application Framework of Intelligent Technologies to Promote Teachers’ Classroom Teaching Behaviors Evaluation

LU Yuan-yuan1,2CHEN Zeng-zhao1[Corresponding Author]CHEN Rong1SHI Ya-wen1ZHENG Qiu-yu1

At present, the evaluation of teachers’ classroom teaching behaviors mainly adopts the experience description method of classroom observation, which has high human cost and strong subjectivity. With the wide application of artificial intelligence technology in the field of education, the evaluation began to turn to the data-driven research paradigm. With the advantages of real-time analysis and visual evaluation, intelligent technology-enabled teaching behavior evaluation has gradually become a powerful means to help teachers regulate teaching behaviors and improve teaching quality. However, at present, the evaluation of intelligent teachers’ behaviors is still in the preliminary exploration stage, and the application research is not deep enough. Based on this, this paper firstly analyzed the application of intelligent technology in the evaluation of teachers’ classroom teaching behavior from the evaluation data, methods and results. Next, the voice print recognition technology was used to recognize the teachers’ identities and track the speech of the classroom videos, and the video segments were segmented. Then, the evaluation framework of teachers’ classroom teaching behaviors was constructed from the three dimensions of emotion, posture and location preference. Finally, the evaluation results were presented to teachers in a more intuitive and easy-to-understand visual way to help teachers reflect on teaching. This paper aimed to promote the transformation of teachers’ classroom teaching behaviors evaluation towards an intelligent, efficient and sustainable direction through existing research.

artificial intelligence; teachers’ classroom teaching behavior evaluation; teaching behavior recognition; speech emotion recognition

G40-057

A

1009—8097（2022）12—0076—09

10.3969/j.issn.1009-8097.2022.12.009

本文為國家自然科學(xué)基金“教師課堂非言語行為的量化計(jì)算與教學(xué)效果評(píng)價(jià)研究”（項(xiàng)目編號(hào)：6207020477）、湖北省教育科學(xué)規(guī)劃2021年度重點(diǎn)課題“基于人工智能技術(shù)的教師課堂行為動(dòng)態(tài)分析與評(píng)價(jià)研究”（項(xiàng)目編號(hào)：2021GA083）、武漢學(xué)院科學(xué)研究項(xiàng)目“基于在線學(xué)習(xí)的學(xué)習(xí)行為分析及促進(jìn)策略研究”（項(xiàng)目編號(hào)：KYZ202101）的階段性研究成果。

魯圓圓，武漢學(xué)院副教授，華中師范大學(xué)在讀博士，研究方向?yàn)槿斯ぶ悄堋⒄Z音情感識(shí)別，郵箱為yuanyuan.lu@whxy.edu.cn。

2022年6月8日

編輯：小時(shí)