基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)

摘要：在線教學(xué)是我國(guó)后疫情時(shí)代應(yīng)對(duì)突發(fā)狀況、創(chuàng)新教學(xué)方式的重要手段，而大規(guī)模在線教學(xué)實(shí)踐過程中出現(xiàn)的學(xué)習(xí)者專注度不高、投入度不夠等普遍性問題影響了學(xué)習(xí)效果。受限于在線教學(xué)形式，教師言語成為師生的主要交互手段，且教師言語對(duì)學(xué)習(xí)者情緒有重要影響。基于此，文章首先對(duì)學(xué)習(xí)者聽覺情緒預(yù)測(cè)的理論基礎(chǔ)進(jìn)行了介紹，包括學(xué)習(xí)者聽覺情緒波動(dòng)誘因分析和聽覺情緒預(yù)測(cè)定位。隨后，文章結(jié)合上述理論基礎(chǔ)和相關(guān)技術(shù)算法，構(gòu)建了基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)模型，并詳細(xì)闡述了模型的實(shí)現(xiàn)過程。最后，文章依托基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)模型，提出學(xué)習(xí)者聽覺情緒調(diào)節(jié)策略，以期為在線教學(xué)效果提升、教學(xué)路徑優(yōu)化等相關(guān)研究提供理論與實(shí)踐參考。

關(guān)鍵詞：教師言語；聽覺情緒；情緒預(yù)測(cè)；在線學(xué)習(xí)

【中圖分類號(hào)】G40-057 【文獻(xiàn)標(biāo)識(shí)碼】A 【論文編號(hào)】1009—8097（2023）03—0046—10 【DOI】10.3969/j.issn.1009-8097.2023.03.005

引言

受全球新冠疫情的影響，我國(guó)教育系統(tǒng)經(jīng)歷了大規(guī)模的在線教學(xué)實(shí)踐。在大規(guī)模在線教學(xué)實(shí)踐實(shí)施的過程中，學(xué)習(xí)者的情緒問題受到廣泛關(guān)注。與傳統(tǒng)教學(xué)相比，在線教學(xué)中教師與學(xué)習(xí)者之間缺少互動(dòng)，師生長(zhǎng)時(shí)間的時(shí)空分離容易導(dǎo)致學(xué)習(xí)者情感缺失，甚至?xí)寣W(xué)習(xí)者產(chǎn)生孤獨(dú)感或厭學(xué)情緒^[1]，而教師又無法通過直接觀察判斷學(xué)習(xí)者的情緒，因此從傳統(tǒng)的情緒識(shí)別研究轉(zhuǎn)為學(xué)習(xí)者情緒預(yù)測(cè)研究是解決在線學(xué)習(xí)者情感缺失問題的關(guān)鍵。教師通過情緒預(yù)測(cè)對(duì)學(xué)習(xí)者情緒進(jìn)行及時(shí)干預(yù)，能夠規(guī)避不良情緒的產(chǎn)生，促進(jìn)學(xué)習(xí)者在線學(xué)習(xí)目標(biāo)的達(dá)成。

當(dāng)前研究在理論層面多從心理學(xué)、教育學(xué)、社會(huì)學(xué)等角度探討教師行為對(duì)學(xué)習(xí)者情緒的影響；在技術(shù)算法層面多聚焦于情緒識(shí)別，關(guān)注情感數(shù)據(jù)特征的提取和技術(shù)的創(chuàng)新，而對(duì)學(xué)習(xí)者情緒預(yù)測(cè)的相關(guān)研究較少，將學(xué)習(xí)者情緒波動(dòng)理論探析與情緒預(yù)測(cè)技術(shù)創(chuàng)新相融合的研究有待繼續(xù)深入。另外，教師言語行為是教師組織教學(xué)活動(dòng)和學(xué)習(xí)過程中師生交互的重要行為之一，對(duì)學(xué)習(xí)者在線學(xué)習(xí)過程中的情緒狀態(tài)具有重要影響，而學(xué)習(xí)者聽覺通道是教學(xué)過程中接收信息的重要渠道。基于此，本研究立足學(xué)習(xí)者聽覺情緒，從理論層面全方位、多層次地解析教師言語特征，利用大數(shù)據(jù)、深度學(xué)習(xí)等技術(shù)，挖掘教師言語與學(xué)習(xí)者聽覺情緒之間的關(guān)系，并結(jié)合預(yù)測(cè)類的相關(guān)算法，對(duì)學(xué)習(xí)者聽覺情緒進(jìn)行預(yù)測(cè)。

一 學(xué)習(xí)者聽覺情緒預(yù)測(cè)相關(guān)研究

1 聽覺情緒

當(dāng)前學(xué)習(xí)者情緒感知的相關(guān)研究主要集中在學(xué)習(xí)者情感模型、基于人工智能技術(shù)的學(xué)習(xí)者情緒感知、學(xué)習(xí)者情緒感知的教育應(yīng)用三方面，而關(guān)于教育情境要素對(duì)學(xué)習(xí)者情緒的作用機(jī)理還稍有欠缺^[2]。教師言語作為教師向?qū)W習(xí)者傳遞教學(xué)內(nèi)容、組織教學(xué)活動(dòng)的重要載體，是外界情境要素的表現(xiàn)性特征之一。與動(dòng)作反饋、表情反饋相比，外界給予的言語反饋更容易激發(fā)學(xué)習(xí)者積極情緒的產(chǎn)生^[3]。在神經(jīng)科學(xué)領(lǐng)域，當(dāng)前聽覺情緒的相關(guān)研究主要通過實(shí)驗(yàn)來探究聽覺與情緒之間的影響機(jī)制，如Wildgruber等^[4]通過實(shí)驗(yàn)揭示了不同特征的人聲會(huì)通過知覺神經(jīng)激活大腦中的不同區(qū)域，進(jìn)而引發(fā)情緒波動(dòng)，這證實(shí)了教師言語的不同聲學(xué)特征會(huì)對(duì)學(xué)習(xí)者的情緒產(chǎn)生不同影響。在教育教學(xué)領(lǐng)域，研究者從心理學(xué)、教育學(xué)、社會(huì)學(xué)等視角，探討了不同教師言語行為對(duì)學(xué)習(xí)者情緒產(chǎn)生的影響，可為教師言語的劃分提供依據(jù)。

2 情緒分類預(yù)測(cè)方法

教師言語特征對(duì)學(xué)習(xí)者情緒的影響是多方面、多類型的，這些特征在表征方法、特征維度等方面存在顯著差異，而通用的情緒分類預(yù)測(cè)方法僅能處理單一特征或同類型特征，目前尚無針對(duì)基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)的研究成果。可借鑒的通用情緒分類預(yù)測(cè)方法主要包括：①傳統(tǒng)機(jī)器學(xué)習(xí)方法，是通過帶有情緒標(biāo)簽的數(shù)據(jù)集訓(xùn)練一個(gè)情感分類器，再預(yù)測(cè)測(cè)試集中新樣本的情緒傾向，主要包括隱馬爾科夫方法^[5]、支持向量機(jī)方法^[6]、K近鄰方法^[7]、Adaboost方法^[8]、決策樹方法等^[9]。②深度學(xué)習(xí)方法，是通過模擬人腦對(duì)數(shù)據(jù)的處理邏輯，將數(shù)據(jù)中的模式建模為復(fù)雜的多層網(wǎng)絡(luò)。目前，常用的深度神經(jīng)網(wǎng)絡(luò)框架有卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）、卷積循環(huán)神經(jīng)網(wǎng)絡(luò)（Convolutional Recurrent Neural Network，CRNN）等。本研究采用通用情緒分類預(yù)測(cè)方法，融合教師言語的多種特征，開展基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)。

二 學(xué)習(xí)者聽覺情緒預(yù)測(cè)的理論基礎(chǔ)

1 學(xué)習(xí)者聽覺情緒波動(dòng)誘因分析

（1）情緒波動(dòng)產(chǎn)生的重要理論

實(shí)現(xiàn)學(xué)習(xí)者情緒預(yù)測(cè)，需要對(duì)學(xué)習(xí)者情緒誘發(fā)的機(jī)理進(jìn)行探究，通過分析引起學(xué)習(xí)者情緒波動(dòng)的原因，確定在線學(xué)習(xí)環(huán)境下學(xué)習(xí)者情緒預(yù)測(cè)關(guān)注的要點(diǎn)。當(dāng)前，情緒波動(dòng)產(chǎn)生的原因主要集中在情緒非認(rèn)知理論和情緒認(rèn)知理論兩個(gè)方面^[10]，具體如表1所示。

（2）情緒理論視角下的教師言語分類

學(xué)習(xí)者與教師之間的互動(dòng)反饋，是教學(xué)活動(dòng)的重要組成部分。在線學(xué)習(xí)的授課形式限制了教師的非言語行為，而更多地依賴于教師的言語行為。言語行為理論的創(chuàng)始人Austin認(rèn)為，人們說話時(shí)的動(dòng)作通常是為了實(shí)施某種行為或?qū)崿F(xiàn)說話人的意圖^[11]，在線課堂中教師話語表達(dá)方式在語義屬性、聲學(xué)屬性上存在差異。從情緒非認(rèn)知理論視角來看，教師言語的聲學(xué)特征能夠刺激學(xué)習(xí)者的聽覺器官，在生理層面激活學(xué)習(xí)者的情緒，是學(xué)習(xí)者聽覺情緒誘發(fā)的外部影響因素；而從情緒認(rèn)知理論視角來看，教師言語的語義信息通過學(xué)習(xí)者的認(rèn)知評(píng)估過程引發(fā)不同的情緒效價(jià)，成為學(xué)習(xí)者聽覺情緒誘發(fā)的內(nèi)部影響因素。本研究關(guān)注在線學(xué)習(xí)過程中的“教師言語”這一要素，通過挖掘教師言語對(duì)學(xué)習(xí)者情緒的影響機(jī)制，實(shí)現(xiàn)學(xué)習(xí)者情緒預(yù)測(cè)。

2 學(xué)習(xí)者聽覺情緒預(yù)測(cè)定位

基于教師言語的學(xué)習(xí)者情緒預(yù)測(cè)需要關(guān)注學(xué)習(xí)者情緒發(fā)生的原理、教師言語的分類依據(jù)、相關(guān)技術(shù)與方法的使用、教學(xué)活動(dòng)的本質(zhì)與規(guī)律四個(gè)方面。從這四個(gè)方面出發(fā)，學(xué)習(xí)者情緒預(yù)測(cè)需要經(jīng)過兩個(gè)層面的探究：①理論層面，基于教育學(xué)、心理學(xué)、腦科學(xué)、認(rèn)知科學(xué)等諸多領(lǐng)域的相關(guān)研究成果，挖掘教師言語中能夠影響學(xué)習(xí)者情緒的內(nèi)部、外部因素，探討教師言語中通過刺激學(xué)習(xí)者聽覺器官影響學(xué)習(xí)者情緒的聲學(xué)特征和經(jīng)過學(xué)習(xí)者內(nèi)部認(rèn)知評(píng)估引發(fā)情緒的語義特征，進(jìn)而從生理、認(rèn)知雙重視角下深層次地挖掘?qū)W習(xí)者情緒發(fā)生的根本規(guī)律。②技術(shù)層面，大數(shù)據(jù)技術(shù)、深度學(xué)習(xí)算法的發(fā)展能夠有效實(shí)現(xiàn)對(duì)學(xué)習(xí)者情緒的精準(zhǔn)預(yù)測(cè)。例如，可以利用在線教學(xué)平臺(tái)的數(shù)據(jù)采集技術(shù)，實(shí)現(xiàn)在線課堂中教師言語與學(xué)習(xí)者情緒的數(shù)據(jù)化處理；可以利用深度學(xué)習(xí)、情感計(jì)算等相關(guān)技術(shù)，進(jìn)行教師言語特征與學(xué)習(xí)者情緒的細(xì)粒度分析與關(guān)聯(lián)度計(jì)算；可以基于學(xué)習(xí)者情緒預(yù)測(cè)的相關(guān)技術(shù)和算法，實(shí)現(xiàn)基于教師言語的學(xué)習(xí)者情緒分類預(yù)測(cè)。

三 基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)模型及其實(shí)現(xiàn)

1"模型構(gòu)建

基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)是通過收集在線學(xué)習(xí)環(huán)境下教師的言語數(shù)據(jù)，對(duì)其進(jìn)行預(yù)處理、訓(xùn)練和特征融合，最終預(yù)測(cè)出學(xué)習(xí)者聽覺情緒的過程。根據(jù)此定義，結(jié)合學(xué)習(xí)者聽覺情緒預(yù)測(cè)的理論基礎(chǔ)和相關(guān)技術(shù)算法，本研究提出基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)模型（下文簡(jiǎn)稱“預(yù)測(cè)模型”），如圖1所示。

（1）教師言語采集與預(yù)處理模塊

本模塊是預(yù)測(cè)模型的基礎(chǔ)模塊。通過對(duì)在線學(xué)習(xí)平臺(tái)進(jìn)行實(shí)時(shí)監(jiān)測(cè)，收集在線學(xué)習(xí)環(huán)境下教師講授的知識(shí)內(nèi)容、組織的教學(xué)活動(dòng)、回答學(xué)生問題等方面的言語數(shù)據(jù)，形成教師言語數(shù)據(jù)集，并對(duì)其進(jìn)行端點(diǎn)檢測(cè)、預(yù)加重、分幀、加窗四個(gè)環(huán)節(jié)的預(yù)處理，再利用傅里葉變換計(jì)算得到教師語音信號(hào)頻譜圖，為后續(xù)教師言語特征分類提供數(shù)據(jù)支持。

（2）教師言語特征分類模塊

本模塊是預(yù)測(cè)模型的關(guān)鍵模塊。依據(jù)上一模塊預(yù)處理后得到的教師言語數(shù)據(jù)，針對(duì)教師語音數(shù)據(jù)，從音頻屬性、語言特點(diǎn)、教育教學(xué)要素與規(guī)律等角度進(jìn)行分析與總結(jié)，將教師言語特征劃分為文本內(nèi)容所體現(xiàn)的語義特征和語音信號(hào)頻譜所體現(xiàn)的聲學(xué)特征，共提煉出聽覺情緒相關(guān)的六類言語特征（即教學(xué)活動(dòng)類型、認(rèn)知過程分類、句型、響度、音調(diào)、音色）作為學(xué)習(xí)者聽覺情緒影響因素的一級(jí)指標(biāo)。其中，語義特征包含內(nèi)容語義和領(lǐng)域特征（包含教學(xué)活動(dòng)類型、認(rèn)知過程分類、句型），聲學(xué)特征包含響度、音調(diào)和音色。之后，在權(quán)力距離導(dǎo)向下，根據(jù)教師與學(xué)習(xí)者的不同情感距離對(duì)句型進(jìn)行分類；在具身認(rèn)知理論的指導(dǎo)下，依據(jù)語義信息的不同抽象程度對(duì)認(rèn)知過程類型特征進(jìn)行分類；在語境有效性模型的基礎(chǔ)上，按照師生交互的不同語境對(duì)教學(xué)活動(dòng)進(jìn)行分類；在響度、音調(diào)、音色通用分類方法的基礎(chǔ)上，提煉出26項(xiàng)二級(jí)指標(biāo)，具體如表2所示。

（3）教師言語特征處理模塊

本模塊是預(yù)測(cè)模型的核心模塊。依據(jù)上一模塊生成的教師言語特征分類結(jié)果，采用多層感知機(jī)和注意力機(jī)制將教師言語的文本和語義特征融合為文本特征，同時(shí)采用卷積神經(jīng)網(wǎng)絡(luò)將教師言語的信號(hào)頻譜和聲學(xué)特征融合為語音特征，并對(duì)教師言語的語義特征和聲學(xué)特征進(jìn)行分析，生成文本特征向量和語音特征向量，用于下一模塊的學(xué)習(xí)者聽覺情緒預(yù)測(cè)。

（4）學(xué)習(xí)者聽覺情緒預(yù)測(cè)與結(jié)果呈現(xiàn)模塊

本模塊是預(yù)測(cè)模型的輸出模塊。依據(jù)前一模塊的教師言語特征處理結(jié)果，將文本特征向量與語音特征向量融合后輸入全連接層，預(yù)測(cè)學(xué)生對(duì)教師語音的聽覺反應(yīng)和情緒變化，同時(shí)結(jié)合北京師范大學(xué)學(xué)習(xí)情緒數(shù)據(jù)庫的情緒分類法（包括專注、好奇、愉快、走神、厭煩、困惑、疲憊七種）^[12]，進(jìn)行預(yù)測(cè)結(jié)果呈現(xiàn)，以用于后續(xù)學(xué)習(xí)者聽覺情緒干預(yù)、在線學(xué)習(xí)效果提升等研究。

2"模型實(shí)現(xiàn)

預(yù)測(cè)模型實(shí)現(xiàn)之前，需要先經(jīng)過預(yù)測(cè)模型訓(xùn)練過程，即從歷史在線課堂數(shù)據(jù)樣本集中提取教師言語特征和學(xué)習(xí)者情緒數(shù)據(jù)，構(gòu)建基于教師言語特征的學(xué)習(xí)者聽覺情緒數(shù)據(jù)集，以lt;言語特征， 學(xué)習(xí)者情緒gt;對(duì)的形式標(biāo)記存儲(chǔ)，并對(duì)該數(shù)據(jù)集進(jìn)行訓(xùn)練，挖掘聽覺情緒預(yù)測(cè)機(jī)制；之后，進(jìn)入預(yù)測(cè)模型實(shí)現(xiàn)過程，即通過收集在線學(xué)習(xí)環(huán)境下的教師言語數(shù)據(jù)，將教師言語特征進(jìn)行分類分析后，輸入聽覺情緒預(yù)測(cè)機(jī)制，實(shí)現(xiàn)對(duì)學(xué)習(xí)者聽覺情緒的預(yù)測(cè)，具體的實(shí)現(xiàn)流程如圖2所示。其中，基于深度學(xué)習(xí)的教師言語特征提取和基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)技術(shù)應(yīng)用是預(yù)測(cè)模型實(shí)現(xiàn)的兩個(gè)關(guān)鍵環(huán)節(jié)。

（1）基于深度學(xué)習(xí)的教師言語特征提取

為研究教師言語對(duì)學(xué)習(xí)者情緒的影響機(jī)理，本研究首先對(duì)教師言語進(jìn)行預(yù)處理（分為端點(diǎn)檢測(cè)、預(yù)加重、分幀、加窗四個(gè)環(huán)節(jié)），再?gòu)囊纛l屬性、語言特點(diǎn)、教育教學(xué)的要素與規(guī)律等角度對(duì)教師言語特征進(jìn)行分析與深度提取，構(gòu)建包含聲學(xué)特征和語義特征（由內(nèi)容語義和領(lǐng)域特征組成）的教師言語特征模型；在此基礎(chǔ)上，根據(jù)教師語音信號(hào)頻譜圖獲取響度、音調(diào)、音色三類聲學(xué)特征；同時(shí)，對(duì)教師言語進(jìn)行語義特征提取，得到內(nèi)容語義和教學(xué)活動(dòng)類型、認(rèn)知過程分類、句型三類領(lǐng)域特征，從而完成教師言語特征的提取，如圖3所示。

①聲學(xué)特征提取。本研究采用高通數(shù)字濾波器，實(shí)現(xiàn)H（Z）=1-az^-1（其中a為預(yù)加重系數(shù)）；采用傅里葉變換和交疊分段的方法，實(shí)現(xiàn)語音幀的穩(wěn)定和各幀間的平滑連續(xù)；同時(shí)采用Hamming窗，實(shí)現(xiàn)教師語音信號(hào)關(guān)鍵信息點(diǎn)的抓取，得到時(shí)序長(zhǎng)度和MFCC寬度的信號(hào)頻譜圖。根據(jù)信號(hào)頻譜圖，可分別計(jì)算出響度l_i、音調(diào)t_i、音色b_i。為綜合利用信號(hào)頻譜圖中除三要素外的隱含特征，本研究采用預(yù)訓(xùn)練的深度殘差網(wǎng)絡(luò)將信號(hào)頻譜圖作為圖像處理，得到教師言語中第i段語音信號(hào)頻譜圖R_i的語音信號(hào)特征向量，其計(jì)算如公式（1）所示。

公式（1）

②內(nèi)容語義提取。為利用教師語音所轉(zhuǎn)文本中蘊(yùn)含的內(nèi)容語義，本研究采用基于語義理解的深度雙向預(yù)訓(xùn)練模型BERT對(duì)教師文本內(nèi)容進(jìn)行特征提取，將第i個(gè)教師文本內(nèi)容X_i輸入BERT中得到文本表征，其計(jì)算如公式（2）所示。

公式（2）

③領(lǐng)域特征提取。根據(jù)教師言語的內(nèi)容語義，本研究利用雙向長(zhǎng)短記憶網(wǎng)絡(luò)進(jìn)行多通道分類輸出：首先將文本表征輸入到BiLSTM，根據(jù)公式（3）得到隱藏向量h_i；然后采用三個(gè)并行的全連接層，以多通道分類方式輸出，如將隱藏向量h_i輸入到其中一個(gè)全連接層，然后采用ReLU函數(shù)進(jìn)行激活，再輸入Sigmoid函數(shù)實(shí)現(xiàn)領(lǐng)域特征的提取；最后根據(jù)公式（4）、公式（5），實(shí)現(xiàn)在基本句型、教學(xué)活動(dòng)、認(rèn)知過程三類領(lǐng)域特征上的分類預(yù)測(cè)（其中W₁、W₂表示權(quán)重矩陣，b₁、b₂表示偏置，表示在多分類上的概率）。

公式（3）

公式（4）

公式（5）

（2）基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)技術(shù)應(yīng)用

實(shí)施基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)的重點(diǎn)，是解決如何將多種類型的教師言語特征進(jìn)行有效融合的問題。為此，本研究提取教師言語特征后，輸入教師言語特征中的文本特征和語音特征，實(shí)現(xiàn)教師言語特征嵌入表示與融合；同時(shí)，采用注意力機(jī)制平衡特征權(quán)重，最終得到學(xué)習(xí)者聽覺情緒預(yù)測(cè)的輸出結(jié)果。具體的學(xué)習(xí)者聽覺情緒預(yù)測(cè)過程如圖4所示。

①教師言語特征嵌入表示與融合。基于教師言語特征的學(xué)習(xí)者情緒數(shù)據(jù)集，本研究將訓(xùn)練輸入輸出對(duì)lt;言語特征， 學(xué)習(xí)者情緒gt;形式化定義為lt;s_i，"e_igt;。教師語音數(shù)據(jù)S={s_i：0≤i≤L}由截?cái)嗟拿恳粋€(gè)子語音句s_i組成，L表示語音句總數(shù)。每個(gè)s_i={}，其中表示內(nèi)容語義，表示信號(hào)頻譜圖，SL_i={ta_i， ty_i， se_i}表示語義特征SL包括教學(xué)活動(dòng)類型ta、認(rèn)知過程分類ty和句型se，AC_i={l_i， t_i， b_i}表示聲學(xué)特征AC包括響度l、音調(diào)t和音色b。

四 學(xué)習(xí)者聽覺情緒調(diào)節(jié)策略

進(jìn)行在線學(xué)習(xí)情緒研究時(shí)，可對(duì)學(xué)習(xí)者當(dāng)前情緒采取正向加強(qiáng)或負(fù)向干預(yù)的措施，以提升在線學(xué)習(xí)的參與度，加強(qiáng)情感交互^[13]。參考此觀點(diǎn)，本研究依托基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)模型，提出學(xué)習(xí)者聽覺情緒調(diào)節(jié)策略，以實(shí)現(xiàn)在線教學(xué)中學(xué)習(xí)者情緒“分析—預(yù)測(cè)—調(diào)控”的閉環(huán)管理。

1 智能化聽覺情緒干預(yù)策略

學(xué)習(xí)過程中出現(xiàn)的認(rèn)知失調(diào)感會(huì)引發(fā)學(xué)習(xí)者緊張、焦慮等不良情緒的產(chǎn)生，而利用生理信息分析和多模態(tài)整合分析技術(shù)能夠有效揭示學(xué)習(xí)者的信息感知和認(rèn)知規(guī)律^[14]。另外，在認(rèn)知神經(jīng)科學(xué)相關(guān)理論的指導(dǎo)下，利用智能導(dǎo)學(xué)系統(tǒng)、自適應(yīng)學(xué)習(xí)支持系統(tǒng)、教育智能體等智能工具調(diào)節(jié)學(xué)習(xí)者的聽覺情緒，對(duì)于在線學(xué)習(xí)者的孤獨(dú)、倦怠、挫敗等消極情緒有一定的緩解作用。

具體來說，在線學(xué)習(xí)環(huán)境下，可利用大數(shù)據(jù)技術(shù)和智慧課堂行為分析系統(tǒng)全方位追蹤課堂軌跡，提取并分析學(xué)習(xí)者的多維學(xué)習(xí)過程數(shù)據(jù)，以實(shí)現(xiàn)對(duì)學(xué)習(xí)者認(rèn)知能力、知識(shí)水平、學(xué)習(xí)風(fēng)格、情緒狀態(tài)等的精準(zhǔn)分析。同時(shí)，可基于診斷結(jié)果設(shè)計(jì)合理的智能化言語交互反饋，優(yōu)化智能助教、智能學(xué)伴等人工智能輔助教學(xué)應(yīng)用時(shí)的聲音特征設(shè)計(jì)，根據(jù)學(xué)段、知識(shí)類型和學(xué)習(xí)者的認(rèn)知狀態(tài)，利用三維聲技術(shù)提供與教學(xué)情境相契合并能有效喚醒積極情緒的情感支持環(huán)境；選擇更為合理的人聲特征與學(xué)習(xí)者進(jìn)行言語互動(dòng)，以緩解其因缺少與教師、同伴的交流而導(dǎo)致的焦慮、懈怠等負(fù)面情緒；引導(dǎo)學(xué)習(xí)者合理分配認(rèn)知加工資源，幫助學(xué)習(xí)者達(dá)到認(rèn)知層面的平衡狀態(tài)，避免因認(rèn)知失調(diào)引發(fā)過度消極情緒，實(shí)現(xiàn)教學(xué)路徑的優(yōu)化。

2 師生言語互動(dòng)設(shè)計(jì)策略

言語互動(dòng)是在線教學(xué)中師生互動(dòng)的重要表現(xiàn)形式，教師言語的聲音特性能夠從生理和認(rèn)知兩個(gè)層面誘發(fā)學(xué)習(xí)者情緒。Oxford^[15]指出，適度的消極情緒也能產(chǎn)生讓學(xué)習(xí)者保持警覺的積極作用。為提升學(xué)習(xí)者的學(xué)習(xí)效果，可利用教師言語從正向誘導(dǎo)和負(fù)向激發(fā)兩個(gè)方面調(diào)控學(xué)習(xí)者的聽覺情緒。在線學(xué)習(xí)環(huán)境下，遵循情緒表達(dá)、反饋的方式，在言語互動(dòng)時(shí)采用情緒語言表達(dá)策略實(shí)現(xiàn)“社會(huì)—情緒性”交互，可以改善學(xué)習(xí)者的情緒體驗(yàn)，增強(qiáng)其在學(xué)習(xí)過程中的歸屬感和信任感，提升認(rèn)知水平。

具體來說，從教師言語的聲學(xué)角度出發(fā)，可利用語音處理軟件對(duì)教師言語進(jìn)行情緒誘導(dǎo)設(shè)計(jì)，根據(jù)學(xué)習(xí)者情緒狀況動(dòng)態(tài)調(diào)整教師言語的聲學(xué)屬性，采用情緒反應(yīng)、情緒評(píng)價(jià)、情緒表達(dá)等方式，在生理層面誘發(fā)學(xué)習(xí)者正向情緒或依據(jù)教學(xué)內(nèi)容給予適當(dāng)?shù)呢?fù)向刺激，以激發(fā)學(xué)習(xí)者的成就動(dòng)機(jī)。而從教師言語的語義角度出發(fā)，可借助智能語言處理工具采集教師在不同學(xué)科教學(xué)中輸出的言語，基于自學(xué)習(xí)算法構(gòu)建學(xué)科語言結(jié)構(gòu)庫，根據(jù)不同學(xué)科知識(shí)內(nèi)容的差異性對(duì)教師言語進(jìn)行動(dòng)態(tài)調(diào)整，以實(shí)現(xiàn)教師言語與學(xué)科的自動(dòng)匹配，促進(jìn)學(xué)習(xí)成效不斷提升。

3 消極情緒負(fù)向干預(yù)策略

在師生言語交互的過程中難以完全避免學(xué)習(xí)者負(fù)面情緒的產(chǎn)生，且適度的消極情緒對(duì)學(xué)習(xí)效果具有一定的積極作用，因此當(dāng)學(xué)習(xí)者出現(xiàn)不良情緒后，應(yīng)結(jié)合當(dāng)前教學(xué)內(nèi)容和學(xué)習(xí)者情緒狀態(tài)進(jìn)行合理的情緒疏導(dǎo)，促進(jìn)學(xué)習(xí)者心流體驗(yàn)的發(fā)生。在設(shè)計(jì)教學(xué)環(huán)境、教學(xué)資源與教學(xué)活動(dòng)時(shí)設(shè)置情緒反饋通道，有利于學(xué)習(xí)者及時(shí)反饋情感需求，避免情緒表達(dá)抑制現(xiàn)象的發(fā)生。

具體來說，可依據(jù)“控制—價(jià)值理論”，針對(duì)學(xué)習(xí)者消極情緒產(chǎn)生的原因提供情感交互類資源，并通過設(shè)計(jì)具有創(chuàng)新性、趣味性和挑戰(zhàn)性較高的在線教學(xué)活動(dòng)，增強(qiáng)學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)和自我效能感，喚醒其積極情緒，以有效減少消極情緒對(duì)學(xué)習(xí)效果的影響。同時(shí)，在關(guān)鍵內(nèi)容教學(xué)的過程中，教師要通過優(yōu)化教學(xué)活動(dòng)，對(duì)學(xué)習(xí)者的不良情緒進(jìn)行適當(dāng)干預(yù)，通過環(huán)境導(dǎo)向、問題導(dǎo)向、認(rèn)知評(píng)價(jià)導(dǎo)向等方式，加強(qiáng)教學(xué)情緒臨場(chǎng)感，釋放學(xué)習(xí)者的消極情緒并引導(dǎo)其積極情緒的產(chǎn)生，以激發(fā)其學(xué)習(xí)動(dòng)機(jī)、保持注意力集中狀態(tài)，從而更快、更好地掌握重難點(diǎn)知識(shí)。

五 結(jié)語

情緒反映學(xué)習(xí)者的認(rèn)知心理狀態(tài)，對(duì)學(xué)業(yè)行為表現(xiàn)具有調(diào)節(jié)效用，是診斷性評(píng)價(jià)和形成性評(píng)價(jià)的關(guān)鍵指標(biāo)之一^[16]。現(xiàn)有研究更多地聚焦于情緒識(shí)別，尚無針對(duì)在線學(xué)習(xí)環(huán)境下基于教師言語的學(xué)習(xí)者情緒預(yù)測(cè)研究成果。基于此，本研究通過對(duì)學(xué)習(xí)者聽覺情緒波動(dòng)誘發(fā)的原因進(jìn)行分析，梳理教師言語的語義特征和聲學(xué)特征，在此基礎(chǔ)上構(gòu)建了基于教師言語的學(xué)習(xí)者聽覺情緒預(yù)測(cè)模型，并詳細(xì)闡述了模型的實(shí)現(xiàn)過程；同時(shí)，本研究從智能化聽覺情緒干預(yù)、師生言語互動(dòng)設(shè)計(jì)、消極情緒負(fù)向干預(yù)三個(gè)角度提出了學(xué)習(xí)者聽覺情緒調(diào)節(jié)策略，可為學(xué)習(xí)者情緒的干預(yù)與調(diào)節(jié)提供新的方向。后續(xù)研究將聚焦于在實(shí)踐中應(yīng)用基于教師言語的學(xué)習(xí)者聽覺情緒模型，不斷豐富在線課堂數(shù)據(jù)樣本，并融合學(xué)習(xí)者性格、教學(xué)情境、教師形象等背景信息，提供更加豐富的學(xué)習(xí)者聽覺情緒預(yù)測(cè)證據(jù)，以期實(shí)現(xiàn)更好的聽覺情緒預(yù)測(cè)效果；同時(shí)，將根據(jù)學(xué)習(xí)者聽覺情緒預(yù)測(cè)結(jié)果，有針對(duì)性地應(yīng)用學(xué)習(xí)者聽覺情緒調(diào)節(jié)策略，實(shí)現(xiàn)科學(xué)的學(xué)習(xí)者聽覺情緒干預(yù)，并優(yōu)化在線學(xué)習(xí)環(huán)境下學(xué)習(xí)者的情緒體驗(yàn)，進(jìn)而提升學(xué)習(xí)者的在線學(xué)習(xí)效果。

參考文獻(xiàn)

[1]萬海鵬，徐鑫，王琦，等.國(guó)外開放學(xué)習(xí)者模型的研究問題及其建議[J].現(xiàn)代教育技術(shù)，2022，（12）：93-101.

[2]王一巖，劉士玉，鄭永和.智能時(shí)代的學(xué)習(xí)者情緒感知：內(nèi)涵、現(xiàn)狀與趨勢(shì)[J].遠(yuǎn)程教育雜志，2021，（2）：34-43.

[3]王雪，喬玉飛，王崟羽，等.教育智能體如何影響學(xué)習(xí)者情緒與學(xué)習(xí)效果？——基于國(guó)內(nèi)外39篇實(shí)驗(yàn)或準(zhǔn)實(shí)驗(yàn)研究文獻(xiàn)的元分析[J].現(xiàn)代教育技術(shù)，2022，（8）：59-66.

[4]Wildgruber D， Riecker A， Hertrich I， et al. Identification of emotional intonation evaluated by fMRI[J]. Neuroimage， 2005，（4）：1233-1241.

[5]Oh G， Ryu J， Jeong E， et al. Drer： Deep learning-based driver’s real emotion recognizer[J]. Sensors， 2021，（6）：2166.

[6]Zhalehpour S， Onder O， Akhtar Z， et al. BAUM-1： A spontaneous audio-visual face database of affective and mental states[J]. IEEE Transactions on Affective Computing， 2016，（3）：300-313.

[7]Wu P， Liu H， Li X， et al. A novel lip descriptor for audio-visual keyword spotting based on adaptive decision fusion[J]. IEEE Transactions on Multimedia， 2016，（3）：326-338.

[8]Huang Y， Yang J， Liu S， et al. Combining facial expressions and electroencephalography to enhance emotion recognition[J]. Future Internet， 2019，（5）：105.

[9]Zhang S， Zhang S， Huang T， et al. Learning affective features with a hybrid deep model for audio-visual emotion recognition[J]. IEEE Transactions On Circuits amp; Systems for Video Technology， 2017，（10）：3030-3043.

[10]白潔，王姝彥.認(rèn)知視閾下情緒生成機(jī)制的探討[J].山西大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2013，（3）：21-25.

[11]宋揚(yáng)，呂明臣.信息傳遞中教學(xué)言語交際意圖及其實(shí)現(xiàn)條件研究[J].圖書館學(xué)研究，2016，（13）：98-101.

[12]Wei Q， Bo S， He J， et al. BNU-LSVED 2.0： Spontaneous multimodal student affect database with multi-dimensional"labels[J]. Signal Processing Image Communication， 2017，59：168-181.

[13]晉欣泉，王林麗，楊現(xiàn)民.基于大數(shù)據(jù)的在線學(xué)習(xí)情緒測(cè)量模型構(gòu)建[J].現(xiàn)代教育技術(shù)，2016，（12）：5-11.

[14]楊海茹，劉清堂，吳林靜，等.大數(shù)據(jù)時(shí)代生理信息分析的教育應(yīng)用及趨勢(shì)[J].現(xiàn)代教育技術(shù)，2019，（6）：34-40.

[15]Oxford R L. Powerfully positive： Searching for a model of language learner well-being[A]. Positive Psychology Perspectives on Foreign Language Learning and Teaching[C]."Cham： Springer International Publishing，"2016：21-37.

[16]王永固，張晨燾，許家奇，等.基于深度學(xué)習(xí)的孤獨(dú)癥兒童學(xué)習(xí)情緒智能感知[J].現(xiàn)代教育技術(shù)，2021，（7）：105-111.

Learners’"Auditory Emotion Prediction Based on Teachers’"Speech

TANG Ye-wei^1，2""""WU Shan-shan¹""""ZHAO Yi-ting¹

（1. School of Information Science and Technology， Northeast Normal University， Changchun， Jilin， China 130117;

2. Digital Learning Support Technology Engineering Research Center， Ministry of Education， Changchun， Jilin， China 130117）

Abstract： Online teaching is an important means to cope with emergencies and innovate teaching methods in the post-epidemic era. However， the universal problems such as low learner concentration and lack of engagement in the practice of large-scale online teaching have affected the learning effect. Limited by the online teaching form， the teachers’"speech has become the main means of interaction between teachers and students， and the teachers’s speech has an important impact on learners’"emotions. Based on this， the theoretical bases of learner auditory emotion prediction were introduced in this paper， which included the inducement analysis of learner auditory emotion fluctuation and the prediction orientation of auditory emotion. Then， based on these theoretical foundations and related technical algorithms， this paper"constructed a learners’"auditory emotion prediction model based on teachers’"speech， and further elaborated the implementation process of the model. Finally， relying on the learners’"auditory emotion prediction model， this paper"proposed strategies for learners’"auditory emotion regulation， in order to provide theoretical and practical references for the relevant research of the improvement of online teaching effect and the optimization of teaching paths.

Keywords： teacher speech; auditory emotion; sentiment forecasting; online learning

*基金項(xiàng)目：本文為全國(guó)教育科學(xué)“十四五”規(guī)劃2021年度教育部青年課題“泛在智慧下學(xué)習(xí)空間新樣態(tài)內(nèi)涵、體系及評(píng)價(jià)研究”（項(xiàng)目編號(hào)：ECA210408）的階段性研究成果。

作者簡(jiǎn)介：唐燁偉，副教授，博士，研究方向?yàn)橹腔劢逃]箱為tangyw100@nenu.edu.cn。

收稿日期：2022年10月5日

編輯：小米