基于情感建模的教學(xué)輔助系統(tǒng)的研究

摘要:設(shè)計了一個以情感交互為核心的人性化的教學(xué)輔助系統(tǒng)#65377;該系統(tǒng)綜合了情感計算#65380;計算機圖形圖像技術(shù)和移動Agent技術(shù)#65377;系統(tǒng)以心理學(xué)和人工心理理論為基礎(chǔ)構(gòu)建了情感認(rèn)知模型，定義了情緒空間#65380;基本情緒和基本學(xué)習(xí)心理狀態(tài)，并建立了基本情緒和基本學(xué)習(xí)心理狀態(tài)與情緒空間的映射關(guān)系#65377;通過情感認(rèn)知模型對識別表情的處理，得到學(xué)生的學(xué)習(xí)心理狀態(tài)及狀態(tài)評價值#65377;采用基于圖像處理的人臉檢測#65380;表情識別和姿態(tài)識別方法編程實現(xiàn)了教學(xué)輔助系統(tǒng)#65377;

關(guān)鍵詞:人工心理; 情感建模; 表情識別; 姿態(tài)識別

中圖分類號:TP3916文獻(xiàn)標(biāo)志碼:A

文章編號:10013695(2007)04007403

隨著計算機技術(shù)的迅速發(fā)展和網(wǎng)絡(luò)的普及，電子教室教學(xué)#65380;遠(yuǎn)程教學(xué)#65380;多媒體教學(xué)等利用現(xiàn)代化技術(shù)的教育形式越來越受到人們的關(guān)注#65377;計算機教育系統(tǒng)在國外經(jīng)過多年的發(fā)展已經(jīng)得到了廣泛應(yīng)用#65377;美國2000年教育技術(shù)高層論壇提出了Digital Learning即數(shù)字化學(xué)習(xí)的計劃#65377;德國人工智能研究中心(German Research Center for Artificial Intelligence，DFKI)專門成立了一個研究開發(fā)ELearning系統(tǒng)的中心#65377;我國也極大地關(guān)注于遠(yuǎn)程教育的發(fā)展，并實施了現(xiàn)代遠(yuǎn)程教育工程#65377;現(xiàn)在國內(nèi)各類網(wǎng)絡(luò)化教育系統(tǒng)#65380;遠(yuǎn)程教育系統(tǒng)不斷問世#65377;使用計算機技術(shù)的電子教學(xué)方法有著傳統(tǒng)教學(xué)方法無法比擬的優(yōu)勢，它能夠綜合文字#65380;圖像#65380;影像等多媒體數(shù)據(jù)進(jìn)行圖文并茂的教學(xué)#65377;但目前的電子教學(xué)與常規(guī)教學(xué)形式相比，缺乏教師與學(xué)生的情感互動，教師無法及時了解學(xué)生的反映，而且目前的計算機教學(xué)系統(tǒng)對學(xué)習(xí)者的心理幾乎沒有考慮#65377;心理學(xué)家認(rèn)為情緒和情感是學(xué)習(xí)過程中非常重要的影響因素，它們與認(rèn)知過程和注意聯(lián)系密切#65377;負(fù)向情緒(如緊張#65380;抑郁#65380;憤怒)可使知覺面變窄，思維變得遲鈍，不利于學(xué)習(xí);而正向情緒(如愉快#65380;滿意)可使知覺面變寬，思維敏捷，促進(jìn)學(xué)習(xí)^[1]#65377;腦科學(xué)的研究成果表明情感在人類學(xué)習(xí)中起著不可低估的作用^[2]#65377;現(xiàn)代社會中人們更加重視情緒在教學(xué)中的作用#65377;隨著社會的發(fā)展，當(dāng)前電子教育系統(tǒng)已經(jīng)進(jìn)入了個性化發(fā)展時代，要求教育系統(tǒng)實現(xiàn)人性化交互教學(xué)，個性化因材施教;同時還要針對學(xué)習(xí)者的學(xué)習(xí)興趣#65380;學(xué)習(xí)情緒的不同進(jìn)行智能化調(diào)整#65377;針對此類問題，本文結(jié)合人工心理理論^[3]設(shè)計了一個以情感交互為核心的體現(xiàn)和諧人機交互理念的人性化教學(xué)輔助系統(tǒng)#65377;

1系統(tǒng)介紹

本系統(tǒng)是以心理學(xué)#65380;人工心理和情感計算理論為基礎(chǔ)，采用圖像理解和模式識別的方法及各種和諧人機交互技術(shù)，按照“以學(xué)生為中心，學(xué)生是認(rèn)知的主體，是知識意義的主動建構(gòu)者”原則設(shè)計的用于輔助教學(xué)的計算機系統(tǒng)#65377;本系統(tǒng)的核心是對學(xué)生情緒與心理狀態(tài)的考慮#65377;系統(tǒng)通過基于圖像處理技術(shù)的面部表情識別和姿態(tài)識別方法來識別表情信息，并基于情緒心理學(xué)#65380;認(rèn)知心理學(xué)#65380;教育心理學(xué)和人工心理理論與方法進(jìn)行情感建模研究，建立了情感認(rèn)知模型#65377;

該系統(tǒng)采用B/S系統(tǒng)結(jié)構(gòu)，移動Agent實現(xiàn)數(shù)據(jù)傳輸#65377;需要的硬件是兩個服務(wù)器#65380;多個終端，每個學(xué)生端配備一個攝像頭#65377;Browser包括一個教師端和多個學(xué)生端#65377;

該系統(tǒng)主要包括情感認(rèn)知模型#65380;表情信息識別模塊和Avatar虛擬教學(xué)助理模塊#65377;系統(tǒng)的整體功能結(jié)構(gòu)如圖1所示#65377;學(xué)生端Browser要調(diào)用表情信息識別程序來識別學(xué)生的表情和姿態(tài)，通過移動Agent將識別的表情信息傳遞給情感模型;通過情感模型的處理得到學(xué)生的學(xué)習(xí)心理狀態(tài)，并傳遞給虛擬教學(xué)助理Avatar;由Avatar在教師端Browser向教師形象地表現(xiàn)出學(xué)生的心理狀態(tài)，并向教師和學(xué)生提供改進(jìn)學(xué)習(xí)效果的建議#65377;從而實現(xiàn)學(xué)習(xí)者與教師的情感互動#65377;網(wǎng)絡(luò)中的數(shù)據(jù)傳輸全部由移動Agent負(fù)責(zé)#65377;

2系統(tǒng)功能模塊設(shè)計

2.1情感模型設(shè)計

情感建模是情感計算研究中的重點，也是本系統(tǒng)的核心#65377;系統(tǒng)根據(jù)情緒心理學(xué)#65380;認(rèn)知心理學(xué)和教育心理學(xué)理論構(gòu)造了學(xué)生的情感認(rèn)知模型#65377;心理學(xué)理論認(rèn)為^[4]，情緒作為一種心理過程，具有獨特的外部表現(xiàn)形式——表情#65377;表情包括面部表情#65380;姿態(tài)表情和聲調(diào)表情#65377;面部表情是額眉#65380;鼻頰#65380;口唇等全部顏面肌肉的變化所組成的模式;姿態(tài)表情是除顏面以外身體其他部分的表情動作;聲調(diào)表情指情緒發(fā)生時在語言的音調(diào)#65380;節(jié)奏和速度方面的變化#65377;在這三種表情形式中，面部表情模式能最精細(xì)地區(qū)分出不同性質(zhì)的情緒，并且只有面部表情具有標(biāo)定特定情緒的特異模式#65377;因而面部表情是鑒別情緒的主要標(biāo)志，姿態(tài)和聲調(diào)表情則是輔助形式#65377;本系統(tǒng)檢測的表情信息以面部表情為主，姿態(tài)表情為輔#65377;

心理學(xué)家對基本情緒的定義各不相同，如Izard用因素分析方法，提出人總共具有8~11種基本情緒:興趣#65380;驚奇#65380;痛苦#65380;厭惡#65380;愉快#65380;憤怒#65380;恐懼和悲傷，以及害羞#65380;輕蔑和自罪感^[4]#65377;而Ekman把情緒分為六類^[5]，即高興#65380;憤怒#65380;厭惡#65380;恐懼#65380;悲傷#65380;驚奇#65377;通過對理論性和可實現(xiàn)性及適用環(huán)境的綜合考慮，本系統(tǒng)定義了四種基本情緒，即愉快#65380;悲傷#65380;興趣#65380;厭惡，并且基于情緒維度論(布魯門瑟爾基于認(rèn)知論提出的情緒三維模式^[6])建立了二維情緒空間#65377;如圖2所示，情緒空間的兩個維度分別為快樂—不快樂維，注意—拒絕維#65377;所有正常情緒都能在以快樂—不快樂維為橫向坐標(biāo)軸#65380;以注意—拒絕維為縱向坐標(biāo)軸的半徑為1的圓中找到對應(yīng)的點#65377;圓形以外的點表示情緒失控時的非正常情緒#65377;其中坐標(biāo)原點代表平靜狀態(tài)#65377;愉快與悲傷互為反向情緒，代表橫向坐標(biāo)軸上的1和-1;興趣與厭惡互為反向情緒，代表縱向坐標(biāo)軸上的1和-1#65377;

對于任何一種正常情緒，都可以用二維向量(x， y)來表示#65377;向量的模γ表示情緒的強度，情緒強度最大為1，最小為0，超出這個范圍，則認(rèn)為情緒失控#65377;向量的角度θ表示情緒向四種基本情緒的趨近度#65377;其中

由于情緒是一種多成分#65380;多維量#65380;多種類#65380;多水平整合的復(fù)合心理過程，任何基本情緒定義和維度空間的定義都是有局限性的#65377;本系統(tǒng)的情緒空間和基本情緒的定義也是如此，只是一種適合本系統(tǒng)應(yīng)用的情緒表示方法#65377;

為了清晰地表達(dá)學(xué)生的學(xué)習(xí)狀態(tài)，系統(tǒng)還定義了四種學(xué)習(xí)心理狀態(tài):喜歡(表示對課程非常有興趣)#65380;厭煩(表示對課程沒有絲毫興趣)#65380;理解(表示完全明白課程)#65380;困惑(表示沒有學(xué)會課程);并根據(jù)情緒與認(rèn)知的關(guān)系(正向情緒促進(jìn)學(xué)習(xí)#65380;負(fù)向情緒不利于學(xué)習(xí)^[1])，將四種學(xué)習(xí)狀態(tài)與二維情感空間相對應(yīng)#65377;對應(yīng)關(guān)系如圖3所示#65377;根據(jù)此對應(yīng)關(guān)系可得知學(xué)生的學(xué)習(xí)心理狀態(tài)，而且還能對學(xué)生當(dāng)前學(xué)習(xí)狀態(tài)是否適合學(xué)習(xí)作出評價，并給出評價值和狀態(tài)不佳的原因#65377;

假設(shè)情緒e=(x，y)，則x的值表示對課程的理解程度#65377;當(dāng)x=1時表示完全明白所學(xué)課程，即當(dāng)前心理狀態(tài)為理解;當(dāng)x=-1時表示絲毫沒明白所學(xué)課程，即當(dāng)前心理狀態(tài)為困惑#65377;y的值表示對課程興趣的大小#65377;當(dāng)y=1時表示非常有興趣，即當(dāng)前心理狀態(tài)為喜愛;當(dāng)y=-1時表示沒有興趣，即當(dāng)前心理狀態(tài)為厭煩#65377;

學(xué)習(xí)狀態(tài)評價值v=cos(θ-π/4)×γ#65377;其中θ和γ分別指情緒向量e的角度和模#65377;當(dāng)評價值為1，表示當(dāng)前心理狀態(tài)非常適合學(xué)習(xí)，評價值為-1，則表示該學(xué)生此時不適合學(xué)習(xí)#65377;

根據(jù)|y|/|x|的值，還可以知道當(dāng)前狀態(tài)不適合學(xué)習(xí)的原因#65377;系統(tǒng)可根據(jù)此原因向教師和學(xué)生提出建議#65377;當(dāng)|y|/|x|>1時表示狀態(tài)不佳主要是因為聽不懂課程;|y|/|x|<1則表示主要由于學(xué)生對課程沒有興趣#65377;

情感認(rèn)知模型結(jié)構(gòu)如圖4所示#65377;該模型首先按照情緒心理學(xué)中表情(包括面部表情和姿態(tài)表情)與情緒的對應(yīng)關(guān)系，對表情信息識別模塊識別的表情信息進(jìn)行處理，得到學(xué)生的情緒狀態(tài);然后對情緒進(jìn)行量化處理，將情緒映射到二維情緒空間;用二維向量表示情緒，再根據(jù)學(xué)習(xí)狀態(tài)與二維情感空間的對應(yīng)關(guān)系，得出學(xué)生的學(xué)習(xí)狀態(tài)及評價值#65377;

2.2表情信息識別模塊

該模塊包括面部表情識別(簡稱為表情識別)和姿態(tài)表情識別(簡稱為姿態(tài)識別)#65377;該模塊的功能就是檢測學(xué)生的面部五官特征和姿態(tài)特征，再根據(jù)特征識別面部表情和姿態(tài)表情#65377;面部表情識別和姿態(tài)表情識別的處理流程和采用的技術(shù)方法都大體相似，只是處理的信息不同#65377;表情識別處理的是人臉的五官變化信息，如閉眼#65380;張大嘴巴#65380;皺眉等;姿態(tài)識別處理的是人的姿態(tài)變化，如身體前傾#65380;后仰#65380;舉臂等#65377;表情信息識別模塊是本系統(tǒng)的關(guān)鍵部分，其識別效果的好壞影響著整個系統(tǒng)的運行效果#65377;根據(jù)提取對象的不同，目前常用的特征提取方法可分為幾何特征#65380;統(tǒng)計特征#65380;頻率域特征和運動特征幾種特征提取方法#65377;常用的識別方法有線性判別分類#65380;神經(jīng)網(wǎng)絡(luò)#65380;支持向量機分類器#65377;在此模塊的詳細(xì)設(shè)計中，要依據(jù)心理學(xué)和系統(tǒng)需求定義表情#65380;姿態(tài)與情緒的對應(yīng)關(guān)系，如眉毛上揚#65380;嘴角上揚表示愉快，皺眉#65380;嘴角下垂表示厭惡等#65377;該模塊的功能流程如圖5所示#65377;

2.3Avatar虛擬教學(xué)助理

Avatar是一個二維的卡通形象，可以分別在學(xué)生端和教師端顯示#65377;Avatar接收情感認(rèn)知模型的輸出信息，向?qū)W生提供改變自身學(xué)習(xí)狀態(tài)的建議;向教師提供學(xué)生的學(xué)習(xí)狀態(tài)，如有多少學(xué)生表示出對課程的厭倦，或表現(xiàn)出積極情緒的學(xué)生個數(shù)#65377;如果需要教師調(diào)整教學(xué)，則給出調(diào)整建議#65377;此外Avatar還可以實現(xiàn)老師與學(xué)生之間直接的信息交流#65377;

3系統(tǒng)實現(xiàn)

本系統(tǒng)采用Visual C++ 60，數(shù)據(jù)庫采用SQL Server實現(xiàn)#65377;Avatar提示界面如圖6所示#65377;表情識別模塊采用幾何特征定位和膚色模型方法#65377;姿態(tài)識別模塊采用膚色密度分布法和特征驗證法#65377;Avatar虛擬教學(xué)助理采用Windows COM組件實現(xiàn)，教師和學(xué)生的信息傳輸采用局域網(wǎng)的B/S結(jié)構(gòu)#65377;系統(tǒng)實現(xiàn)中的部分效果圖如圖7所示#65377;

4結(jié)束語

該系統(tǒng)通過情感認(rèn)知模型對學(xué)生表情的處理，實時地向教師反映學(xué)生的學(xué)習(xí)心理狀態(tài)#65380;狀態(tài)評價值以及狀態(tài)不佳的原因，并向教師和學(xué)生提供改進(jìn)學(xué)習(xí)效果的建議#65377;本系統(tǒng)可以幫助教師實時了解學(xué)生的學(xué)習(xí)狀態(tài)，實現(xiàn)了電子教學(xué)中師生的情感互動;彌補了現(xiàn)代電子教育方式缺乏情感交流的缺陷;有助于提高電子教學(xué)或網(wǎng)絡(luò)教學(xué)的教學(xué)效率，有利于實現(xiàn)真正意義上的個性化#65380;人性化計算機教學(xué)系統(tǒng)#65377;該系統(tǒng)可與ELearning教學(xué)平臺配合使用，也可以獨立用于電子教室教學(xué)#65377;今后將在此基礎(chǔ)上進(jìn)行更深入的研究:系統(tǒng)的情感認(rèn)知模型#65380;人臉檢測和表情識別算法;設(shè)計更加形象的虛擬教師助理;在系統(tǒng)中加入語音識別等新的技術(shù);研制更實用的人性化教學(xué)系統(tǒng)#65377;并在此基礎(chǔ)上研究開發(fā)應(yīng)用于其他領(lǐng)域的情感交互信息系統(tǒng)，如情感會議或在電子政務(wù)和電子商務(wù)等領(lǐng)域?qū)崿F(xiàn)人性化的電子銷售助理和虛擬服務(wù)助理#65377;

本文中所涉及到的圖表、注解、公式等內(nèi)容請以PDF格式閱讀原文。