國際中文課堂中的教師語音情感識別研究

摘要：當前，國際中文教育正處于轉型發展的關鍵期，亟待引入人工智能、大數據等新一代信息技術以提高教育教學質量，推動中文教育數字化、智慧化。為此，文章首先以通道注意力機制、時間注意力機制以及空間注意力機制為基礎，融合2D、3D卷積神經網絡，構建多維注意力混合卷積神經網絡模型用于語音情感識別。然后，文章將該模型應用于國際中文課堂教師語音情感識別實踐，發現該模型通過深度學習能夠更好地獲取語音情感特征表示。此外，文章還發現模型表現出較好的語音特征提取和分類能力，能夠對國際中文課堂中教師普遍表現的高興、關懷、滿意、平靜等情感進行識別。文章通過研究，旨在助益中文教師自主提升教學實踐能力、改善課堂教學效果。

關鍵詞：人工智能；語音情感識別；注意力神經網絡；國際中文教育；國際中文教師

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097（2023）08—0087—09 【DOI】10.3969/j.issn.1009-8097.2023.08.010

引言

國際中文教育是傳播中國語言文化、提升國家實力的重要途徑，也是我國教育事業的重要組成部分。在教育數字化國家戰略背景下，國際中文教育也在加快數字化轉型，為此2021年教育部中外語言交流合作中心成立“語合智慧教室”，應用人工智能、大數據等新一代信息技術服務全球中文教學。2022年，世界漢語教學學會成立智慧教育分會，提出加強國際中文教育智慧研究、實現智能創新發展。雖然人工智能技術在教學優化、資源建設等方面給國際中文教育帶來了便利，但是目前人工智能的應用尚處于起步階段，人工智能助力師資培養、促進教師專業發展等方面的相關研究還沒有廣泛開展，而師資作為國際中文教育“三教”（教師、教材、教法）問題的核心，尤其需要引入新一代信息技術，以提高其培養質量和效率。在師資培養過程中，對于國際中文教師專業素質、專業能力的培養目前依然是重點，但是不能只關注教師知識的積累和技能的成長，對情感的關注也非常必要[1]。情感與認知、思維、行為密切相關，教師的課堂情緒對教學質量有直接的影響[2]，積極的情緒對教師效能感具有促進作用，消極的情緒則會阻礙教師效能感的發展[3]。

相對于人們在日常環境中表現出來的高興、憤怒、悲傷、恐懼等基本情感，教師作為一個特定行業群體，其情感表現更為豐富。教師情感重點分為兩大類——正向情感和負向情感，常見的正向情感包含自信、愉悅、自豪、欣慰、高興、滿意等14類，負向情感包含生氣、焦慮、無聊、緊張、沮喪、擔憂等18類[4]。課堂是教師工作的主要環境，也是教師情感表現最顯著的場所，當教師在教學活動中對學生表示愛護和關懷情感時，會表現出不同程度的積極情感，如快樂、滿意、愉悅和興奮等；當學生或者自我表現不符合預期時，教師也會表現出擔憂、失望、生氣、焦慮等情感[5]。而國際中文教師相較于普通的教師，在日常教學過程中具有一定的特殊性，如教學內容屬于第二語言教學、教學對象是國際學生、教學活動涉及跨文化交流等。因此，在國際中文課堂中，教師需要頻繁與學生進行互動，對語言知識進行操練，相比其他教師，他們在課堂上的情感除了體現普遍的教師情感特征，還要在具體類別和表現程度上略有不同。國際中文教師認同文化的多元性，教學態度積極[6]，他們大部分時間會展現不同程度的正向情感，諸如在多元文化場景下教學進展順利時表現的高興、對國際學生的關懷、對學生積極學習中文和應用中文進行交際時表現的滿意等。當教學活動進展不順利時，他們也會表現出負向情緒，例如教學遇到障礙時表現的焦慮、對學生不遵守課堂秩序時的生氣等負向情緒。

國際中文教學是跨文化交流活動，教師情感表現與教學質量之間的關系尤為密切，但目前國際中文教師的課堂情感尚未受到重視：一方面，教師缺少有效的方法和工具及時對課堂上自身表現的情感進行分析，進而對教學活動進行反思；另一方面，教育管理者也只能通過問卷調查、人工視頻檢視的方法來衡量教師的課堂教學表現。為此，本研究嘗試利用人工智能技術實現國際中文教師課堂情感自動識別。考慮到教師在課堂上的情感是教師內心信息的展示，主要通過語言行為進行體現，因此本研究總結中文語音情感識別進展并獲得啟發，基于卷積神經網絡、注意力機制等構建多維注意力混合卷積神經網絡模型，以實現國際中文課堂教師語音情感的自動識別，從而幫助教師及時加強教學反思，提高教學實踐能力，進而改善課堂教學效果。

一 中文語音情感識別進展

隨著人工智能技術的不斷發展，計算機對語音的處理和識別從常規的自動語音識別（Automatic Speech Recognition，ASR）拓展到語音情感識別（Speech Emotion Recognition，SER）。SER研究最早源于國外，以西方語言情感識別為主，涵蓋英語、德語、法語等。語言不同，發音方式不同，語言情感也有差異，因此在語言情感識別時需要結合相應的語言數據庫開展研究。近年來，隨著一些中文語音情感數據庫的公開發布，以此為基礎的中文語音情感識別研究層出不窮。相關研究大致可以分為兩類：①傳統機器學習方法，即使用信號處理流程提取語音特征，然后采用機器學習進行情感分類，涉及高斯混合模型（Gaussian Mixture Model，GMM）、支持向量機（Support Vector Machine，SVM）等算法。例如，通過SVM結合降維操作可以使識別準確率達到68.8%，以獲得中等水平的語音情感識別效果[7]。這種方法依賴信號處理流程，通常將提取的語音特征直接作為情感特征進行分類，機器學習算法在情感識別作用方面貢獻有限，識別結果更多地取決于提取的語音特征質量。②深度學習方法。而深度學習技術興起后，通過對神經網絡進行深層次訓練能夠實現語音特征的再加工，以端到端的方式完成情感特征提取和情感分類兩個任務，從而實現情感識別，使中文語音情感識別的準確性大幅提高。例如，有研究通過增加網絡深度、用一維卷積代替二維卷積等方法，對以卷積神經網絡（Convolutional Neural Network，CNN）為基礎的模型經過訓練后獲得了更好的語音情感特征向量，情感識別準確率達到85%以上，相比傳統機器學習方法大幅領先[8]。在循環神經網絡（Recurrent Neural Network，RNN）得到廣泛使用后，長短期記憶網絡（Long Short-Term Memory，LSTM）發揮在語音序列特征學習上的優勢，結合CNN學習的圖譜特征，使識別率進一步得到提高[9]。受人類使用注意力觀察事物機制的啟發，研究者開始在圖像分類時使用注意力機制，使構建的模型在識別圖像時將焦點放在代表圖像特征的重要部位，取得了良好的分類效果[10]。在語音情感識別方面，也有研究指出注意力機制與LSTM、CNN相互融合既能學習到廣泛的情感特征信息，又能按權重自主保留重要特征以實現情感分類[11]。綜上所述，中文語音情感識別準確率不斷提高的過程就是人工智能技術不斷進步的過程，因此研究國際中文教師語音情感識別時，可基于已有研究、緊跟技術進步，將重點放在注意力機制這類具有挖掘潛力的技術和算法上。

二 多維注意力混合卷積神經網絡模型

盡管中文語音情感識別持續取得進展，但其在算法模型上還有較大的改進空間，相比計算機視覺和自然語言處理領域，注意力機制在語音識別領域還未受到足夠重視，語音情感識別領域應用更多的還是基于LSTM、CNN等的基礎神經網絡模塊。由于國際中文課堂是跨文化教學場所，教師語音是在復雜的課堂環境下產生的，通過語音進行情感識別要求所采用的模型和算法需要具備較強的特征提取和分類能力，因此本研究嘗試加強對注意力機制的創新研究，挖掘其在語音情感識別方面的潛力，具體工作包含語音特征提取、語音分類建模以及模型效果驗證，以實現使用人工智能技術對國際中文教師課堂情感的自動識別。語音特征提取就是使用信號處理算法對語音物理數據進行加工，再把獲得的音頻聲學特征作為模型的輸入數據。在構建模型時，為了達到良好的識別效果，本研究采用深度學習方法代替傳統的機器學習方法：首先建立神經網絡的多維注意力機制，然后以此為核心基于2D卷積、3D卷積構建多層神經網絡模型實現情感分類，最后通過公開數據庫對算法模型進行效果驗證。

1 語音特征提取

語音是一種短時平穩信號，在10～30ms時間段內被認為是穩定的。原始語音信號不能直接作為特征數據使用，通常需要進行預加重、加窗、傅里葉變換以及各類濾波器加工，轉變成譜圖特征之后才能夠作為模型輸入數據。語音特征的表現方式多樣，包含韻律特征、音質特征以及譜圖特征，其中譜圖特征在深度神經網絡建模中應用較為普遍。在進行語音數據處理時，通常使用Librosa語音處理庫提取常用的梅爾倒譜系數（Mel-frequency Cepstral Coefficients，MFCC）和梅爾語譜圖（Mel-Spectrogram）特征。為了保留音頻豐富的數據特征，本研究采用MFCC和Mel-Spectrogram進行融合的提取方式：①音頻樣本統一處理為采樣頻率16000hz、單通道、Wav格式文件。②使用Librosa對音頻文件進行MFCC和Mel-Spectrogram特征數據提取，參數設置為80組濾波器、25ms幀長以及10ms幀移，同時對提取的特征數據進行一階Delta和二階Delta計算。③對MFCC和Mel-Spectrogram特征數據進行拼接，每個音頻樣本特征最終形成（N， 80， 6）的三維矩陣，其中N為樣本語音的幀數，與音頻長度有關，80是濾波器的輸出維度，6對應原始MFCC、一階Delta MFCC、二階Delta MFCC、原始Mel-Spectrogram、一階Delta Mel-Spectrogram、二階Delta Mel-Spectrogram組成的維度。

2 語音分類建模

（1）多維注意力機制

在完成特征提取后，緊接著就是構建模型進行語音情感分類，為進一步提高識別性能，本研究考慮在輸入數據的多個維度使用注意力機制。在現有的注意力機制中，卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）憑借在模型訓練、特征表示方面展現出的優異特性[12]，得到了更廣泛的應用。CBAM主要考慮通道注意力（Channel Attention）和空間注意力（Spatial Attention），在處理帶有時間維度的3D數據時需要進行改進。因此，本研究引入時間注意力（Temporal Attention），以構建多維注意力機制（Multidimensional Attention Mechanism，MAM），整個MAM由輸入層（Inputs）、3個3D卷積層、通道注意力層、時間注意力層、空間注意力層以及作為輸出部分的1個3D卷積層共同組成，如圖1所示。在具體實現時，MAM使用Sigmoid函數進行通道注意力和空間注意力計算；在計算時間注意力時使用Softmax函數，實現時間分量上的權重介于0～1之間，所有分量權重值總計為1。在圖1中符號○×代表張量之間對應元素相乘，符號⊕代表張量相加。

輸入特征Inputs經由3個Conv3d卷積構成的輸入卷積層后，形成特征圖Fi∈RB×N×H×W×C（B代表批次，N為時間，H為高度，W為寬度，C代表通道）。其中，考慮到網絡效率，不同于已有的實現，通道注意力直接基于通道維度使用全局最大池化層（Global Max Pooling，GMP），經Reshape操作以及Sigmoid函數激活后得到通道注意力權重Wc∈RB×1×1×1×C，Wc與Fi相乘生成通道注意力輸出特征圖Fc，其計算如公式（1）所示。

對Fc再次進行Reshape操作，并作為時間注意力輸入特征。類似地，時間維度經GMP以及Softmax函數激活、Reshape操作后得到時間注意力權重Wt∈RB×N×1×1×1，Wt和Fc相乘后獲得時間注意力輸出特征圖Ft，其計算如公式（2）所示。

Ft作為空間注意力輸入特征，通過步長為（N，1，1）、輸出通道為1的3D卷積操作，經Sigmoid函數激活后獲得空間注意力權重Ws∈RB×1×H×W×1，Ws和Ft相乘得到空間注意力輸出特征圖Fs，其計算如公式（3）所示。

Fs與輸入特征Inputs經過卷積后形成的特征圖Fi相加，為獲得更多的非線性特征，再經過一層3D卷積操作進行輸出。

（2）混合卷積神經網絡模型

以多維注意力機制MAM為核心，融合卷積神經網絡中的2D卷積和3D卷積等基本模塊，本研究構建了多維注意力混合卷積神經網絡（Multidimensional Attention Hybrid Convolutional Neural Network，MAHCNN）模型，其整體結構由12部分組成，如圖2所示。首先，輸入層C1后接一個Conv3d卷積層C2，卷積核大小參數為（1， 1， 1），在進行通道擴充的同時獲得非線性特征。然后，連續經過兩個帶TimeDistributed操作的2D卷積層C3、C4，使用TimeDistributed的目的是保持更多的時間維度特征，即在卷積操作時幀數保持不變，保留更多的原始信息。接下來，繼續使用TimeDistributed操作，C4后接兩個2D卷積層C5、C6，再后接一個2D卷積層C7、最大池化層C8。隨后，經過多維注意力機制MAM組成的網絡層C9是整個模型的核心部分，其輸出結果和C8進行帶權重融合相加，權重參數記為α。最后，融合后通過一個3D卷積層C10進行通道擴充，進入GMP層C11，輸出層C12使用Softmax激活函數進行語音情感分類。MAHCNN模型主要網絡層的參數設置如表1所示。

3 模型效果驗證

為了驗證模型和算法的有效性，本研究參考一般做法，在公開的數據庫上進行驗證。鑒于語音情感識別的公開數據庫數量較少，實驗只使用兩個公開的、代表性較強的中文語音情感數據庫：一是中國科學院自動化研究所建立的CASIA漢語情感語料庫（下文簡稱CASIA數據庫），其情感語料由4位專業發音人錄制，每個語料含驚訝、憤怒、悲傷、恐懼、中性以及高興6種情感的發音語句[13]。CASIA數據庫共有9600條語音，公開的語料中每類情感各200條，共1200條語音。CASIA數據庫發布較早，是語音情感識別相關算法研究經常使用的數據庫，在以往的多項研究中被采用。二是語音情感數據庫（Emotional Speech Dataset，ESD），包含10個以普通話為母語和10個以英語為母語的發音人的350個平行語料，每個語料包括5句發音，分別代表中性、高興、憤怒、悲傷和驚訝5種情感狀態[14]。ESD數據庫是雙語平行語料庫，可用于中英文語音情感識別及其對比研究。

實驗時每個音頻樣本幀數為80，不足長度進行數據補0操作，最終獲得形如（80， 80， 6）的張量數據。本研究使用PC機進行神經網絡訓練，操作系統為Ubuntu16.04，使用兩塊NVIDIA GTX 1080 TI GPU進行計算加速。此外，本研究使用Python 3.8.5編程語言，深度學習庫為TensorFlow 2.2.0。網絡訓練參數為：單批次迭代大小（Batch size）為16，訓練批次（Epoch）為100；使用Adam優化函數，學習率參數Lr為0.0001，Beta_1為0.9，Beta_2為0.99，Decay為0.00005；Dropout設置為0.5。鑒于現有研究大多用CASIA數據庫驗證，為實現MAHCNN識別性能與已有研究的對比，本研究首先按照權重融合參數α取值的不同，在CASIA數據庫進行三組實驗；然后基于最佳性能的參數α取值，在ESD數據庫進行一組實驗，用于驗證模型在不同數據的適用性。本研究在CASIA數據庫使用可公開獲得的1200句語料，在ESD數據庫使用中文發音的17500句語料。兩個數據庫語料均按8：1：1隨機劃分為訓練集、驗證集、測試集。

在CASIA數據庫，MAHCNN模型與其他模型識別性能的比較如表2所示。在未采用數據增廣方法、增加樣本數的情況下，MAHCNN模型取得了較好的效果，準確率高于其他文獻使用的方法：其中，當α=0.9時，模型的識別性能最優，準確率為90.0%，相比表2中所列已有研究識別模型準確率最高的“FCN+LSTM”模型提高了約2個百分點。參數α取值不同，準確率有差異，意味著不同權重的網絡層特征融合會對模型識別性能產生影響。以參數α=0.9為例，展現MAHCNN模型在CASIA數據庫中最佳識別效果的混淆矩陣如圖3所示。

圖3中，顏色越深，表示識別準確率越高，六種情感的識別準確率分別為95.0%、80.0%、80.0%、95.0%、95.00%和95.0%。其中，憤怒、中性、悲傷、驚訝情感的識別率達到最高值95.0%，恐懼和高興情感的識別率較低（均為80%）。恐懼情感容易與高興、中性和驚訝混淆，其中有10%的比例被錯誤識別為驚訝。高興情感容易與憤怒、驚訝混淆，有15%的比例被錯誤識別為驚訝。憤怒情感有5%的比例被錯誤識別為高興情感，而高興情感也有5%的比例被錯誤識別為憤怒情感。

在數據集ESD的實驗中，MAHCNN模型的混合卷積結構和注意力機制同樣發揮了較強的作用，在α=0.9時準確率達到了98.9%，模型的識別性能有了更為顯著的表現。從識別準確率來看，MAHCNN在ESD數據庫的實驗結果優于CASIA數據庫，一個可能的原因就是，前者比后者樣本的數量更多、數據分布更均勻。MAHCNN模型在這兩個數據庫中的實驗結果表明，混合卷積神經網絡經過注意力機制加強后在語音情感識別方面具有較好的適用性。

三 國際中文課堂教師語音情感識別實踐

國際中文教師課堂上的情感不僅包含生活中的基本情感，還包含與課堂教學有關的特定情感，因此在基本情感類型數據庫CASIA和ESD上訓練好的模型不能直接應用于國際中文教師情感識別，在具體應用時還需要重新對情感類型進行劃分。為了進一步明確課堂上教師表現的情感類別，本研究從中國、泰國、菲律賓等中文課堂視頻中隨機選取不同時長的視頻進行觀察，結合已有的研究，本研究認為國際中文教師課堂上的情感大致分為正向情感、負向情感和平靜情感三大類。其中，失望、焦慮、擔憂、生氣等負向情感較為少見。為避免數據出現極端的類別傾斜和樣本不平衡，本研究將這些情感統一納入負向類別，與高興、關懷、滿意這三類正向情感，以及平靜情感共同組成5個國際中文課堂教師情感類型，如表3所示。

國際中文教師的情感表現存在個體差異，教學經驗豐富的教師一般情感認知能力較強，在課堂上通常表現正向情感，會盡量避免負向情感；而教學經驗欠缺的新手教師正向情感和負向情感都會有所表現。因此，本研究首先從“中文聯盟”“嗶哩嗶哩”等互聯網平臺收集這兩類教師的教學視頻，涵蓋國外孔子學院中文課堂和國內留學生中文課堂；然后從中選取29個質量良好（聲音清晰、畫面清楚）、包含不同類型教師情感的視頻，抽取視頻中的音頻，以自建數據庫方式開展情感識別實踐，視頻文件均統一為MP4格式。本研究使用Ffmpeg軟件以單通道方式提取音頻信息，采樣頻率為16000hz，每3秒進行一次音頻切分，去除與教師語音無關的片段。最終由3位國際中文教學相關專業的碩士、博士研究生基于表3中劃分的國際中文課堂教師情感類型，對教師音頻片段進行標注，并統一處理差異標注結果，獲得樣本數據共8327個。依據前述實驗的基本設置，調整樣本語言幀數N為96，濾波器維度設置為48，權重融合參數α設置為0.9，其他參數保持不變，MAHCNN模型在自建數據庫上獲得了平均73.20%的準確率。可見，MAHCNN模型在自建數據庫上的表現不如公開數據庫，主要原因在于公開數據庫的音頻采用專門環境錄制，而自建數據庫來自于真實教學活動，在數據質量和類別分布方面都有差異。

本研究單獨使用一份國際中文課堂教學視頻（獨立于自建數據庫的29個視頻）進行教師情感識別與分析：首先按時間線順序依次切分教師課堂上產生的音頻數據，然后基于自建數據庫訓練好的MAHCNN模型對這些音頻片段進行情感識別。根據結果統計，占比最高的是關懷情感（49.9%），其次是平靜情感（30.3%），然后是高興情感（15.7%），負向和滿意占比較低（分別為2.2%和1.9%），如圖4所示。其中，關懷情感占據優勢，可能是因為教師在講課中頻繁照顧學生情緒，反復用溫和、關愛的語氣與學生進行交流互動；而出現負向情感的原因可能是教師在講授內容時有些許緊張，對學生表現不符合預期略有輕微失望。通過觀察還發現，教師情感表現很平靜的時候大部分都是在講解知識點的環節。進一步分析可知，高興、關懷、滿意三類情感在國際中文課堂中占主導地位（占比約為67.5%），這也符合國際中文教師在課堂上的大部分時間都表現出積極情感這一客觀現象。

四 結語

人工智能以技術驅動帶來創新動力，對教育者、學習者和教育活動等諸要素產生影響[15]，使用人工智能技術應用于國際中文課堂的教師情感識別是一次嶄新的嘗試，將為持續開展智慧教育相關研究積累經驗。通過實驗證明，本研究提出的多維注意力混合卷積神經網絡模型MAHCNN在語音情感識別方面表現出色，可以此為基礎實現對教師課堂情感的跟蹤和分析。同時，該模型還可以集成到智慧教學和教師教育等系統，助力教學評價、教師培訓以及教師自主實踐等。在應用算法模型開展實踐時，因國際中文教育領域缺少公開數據庫，本研究還采用了自建語料庫方式進行實驗，考慮語料質量、標注成本等方面因素，MAHCNN模型在數據庫規模、情感表現粒度劃分等方面仍需進一步改進。因此，在后續研究中，本研究團隊將繼續擴大數據庫規模，對教師情感表現程度進行更為細致的劃分，如由目前5個粒度類別擴展至更多類別，使情感識別更為細致，支持的情感類型更為豐富。另外，在構建模型時還可使用大模型或者預訓練模型進行語音聲學特征提取，以進一步提升情感識別的準確率。

參考文獻

[1]吳勇毅.論情感在教師漢語二語教學中的重要作用——基于敘事的探究[J].華文教學與研究，2019，（4）：54-59.

[2]邱莉.教師課堂情緒對教學效果影響的實驗研究[J].教育研究與實驗，2014，（1）：72-76、85.

[3]龔少英，張擴滕，張盼盼，等.實習教師課堂情緒與教師效能感的關系——情緒調節的中介作用[J].教育研究與實驗，2013，（4）：66-70.

[4]Richards J C. Exploring emotions in language teaching[J]. RELC Journal， 2022，（1）：225-239.

[5]Sutton R E， Wheatley K F. Teachers’ emotions and teaching： A review of the literature and directions for future research[J]. Educational Psychology Review， 2003，（4）：327-358.

[6]耿淑梅.多元文化背景下對外漢語教師的角色定位——以北京語言大學為例[J].中國大學教學，2009，（7）：42-44.

[7]蔣海華，胡斌.基于PCA和SVM的普通話語音情感識別[J].計算機科學，2015，（11）：270-273.

[8]姜芃旭，傅洪亮，陶華偉，等.一種基于卷積神經網絡特征表征的語音情感識別方法[J].電子器件，2019，（4）：998-1001.

[9]朱敏，姜芃旭，趙力.全卷積循環神經網絡的語音情感識別[J].聲學技術，2021，（5）：645-651.

[10]Mnih V ， Heess N M O ， Graves A ，et al. Recurrent models of visual attention[A]. 2014 International Conference on Neural Information Processing Systems[C]. Montreal Canada： MIT Press， 2014：2204-2212.

[11]張會云，黃鶴鳴.基于異構并行神經網絡的語音情感識別[J].計算機工程，2022，（4）：113-118.

[12]Woo S，Park J，Lee J Y，et al. CBAM： Convolutional block attention module[A]. 2018 European Conference on Computer Vision（ECCV）[C]. Munich， Germany： Springer Cham， 2018：3-19.

[13]Institute of Automation， Chinese Academy of Sciences. CASIA Chinese emotional corpus[OL].

lt;http：//www.chineseldc.org/resource_info.php？rid=76gt;

[14]Zhou K， Sisman B， Liu R， et al. Seen and unseen emotional style transfer for voice conversion with a new emotional speech dataset[A]. 2021 IEEE International Conference on Acoustics， Speech and Signal Processing（ICASSP）[C]. Toronto， Canada： IEEE Computer Society， 2021：920-924.

[15]劉玉屏，歐志剛.本土化、多元化、均衡化：人工智能在國際中文教育中的應用探析[J].民族教育研究，2022，（1）：162-169.

Research on Teacher Speech Emotion Recognition in International Chinese Language Classrooms

OU Zhi-gang" " LIU Yu-ping[Corresponding Author]" " LI Ruo-lin" " QIN Ke

（College of International Education， Minzu University of China， Beijing， China 100081）

Abstract： At present， international Chinese language education is in a critical period of transformation and development， and it is urgent to introduce the new generation of information technology of artificial intelligence and big data to improve the quality of education and teaching， and futher promote the digitalization and intelligence of Chinese language education. In this paper， based on the channel attention mechanism， temporal attention mechanism and spatial attention mechanism and fused 2D and 3D convolutional neural networks， a multidimensional attention hybrid convolutional neural network model was built for speech emotion recognition. Then the model was applied to the teacher speech emotion recognition practice in international Chinese language classrooms. And it was found that the model can better obtain speech emotion feature representation through deep learning. In addition， the model exhibited good speech feature extraction and classification capabilities， and could recognize the emotions of joy， care， satisfaction， and calmness that were commonly expressed by teachers in international Chinese language classrooms. Through the study， this paper was aimed to help Chinese teachers improve their teaching practices and improve the teaching effectiveness in classrooms.

Keywords： artificial intelligence; speech emotion recognition; attention neural network; international Chinese language education; international Chinese language teacher

*基金項目：本文為2021年教育部中外語言交流合作中心國際中文教育創新項目“國際中文教師自主實踐AI磨課系統構建研究”（項目編號：21YH029CX1）的階段性研究成果。

作者簡介：歐志剛，在讀博士，研究方向為國際漢語教學、人工智能，郵箱為ouzhigang@139.com。

收稿日期：2023年2月23日" " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "編輯：小時