基于情感識別的自適應多Agent虛擬ICAI系統的研究

盧阿麗， 楊　慶， 顏惠玲， 莊　嚴， 林　忠

(1. 南京工程學院 計算機工程學院， 江蘇 南京　210000；2. 南京信息工程大學 語言文化學院， 江蘇 南京　210000)

?

基于情感識別的自適應多Agent虛擬ICAI系統的研究

盧阿麗1， 楊慶1， 顏惠玲2， 莊嚴1， 林忠1

(1. 南京工程學院 計算機工程學院， 江蘇 南京210000；2. 南京信息工程大學 語言文化學院， 江蘇 南京210000)

傳統的虛擬智能計算機輔助教學系統(ICAI)未考慮學習者在學習過程中的情感和教學過程中的交互。針對這個問題，提出一種基于情感識別的自適應多Agent虛擬ICAI系統，并給出了其模型框架圖，用多Agent技術實現各模塊的主要功能，結合微表情識別技術和適應性教學理論，提出識別學習者的微表情來診斷情感狀態，并對學習者的情感狀態做出適應性的反應，從而實現輔助虛擬教學中的情感交流和自動交互。

微表情識別； 多Agent；ICAI; 適應性； 情感

智能計算機輔助教學系統(intelligentcomputerassistedinstructionsystem，ICAI)是輔助教師進行教學，或讓學習者通過與虛擬教學專家交互進行開放式學習的一種教學系統。傳統的虛擬ICAI未考慮學習者的情感問題，不能完成學習者與教師之間、學習者之間的交互，尤其是情感交互[1]。

隨著人工智能、多媒體交互技術和教學理論的發展，利用計算機及時獲取學習者的表情，感知學習者的學習情緒已經成為現實，將情感識別技術融入虛擬ICAI系統中，實現學習者與教學系統的自動交互已成為可能[2-3]。除了融合情感識別技術，本文通過引入適應性教學理論[4]和多Agent(Muti-Agent，MA)技術[5-6]，將點對點網絡拓撲結構與虛擬ICAI系統結合，提出一種基于多Agent的情感、自適應性框架，并將其用于虛擬智能輔助教學。

1　微表情識別技術系統模型框架

表情是情緒的面部反應，微表情對于情緒的表達不易受文化、區域和思維等因素的影響，具有穩定的特性。1969年，Ekaman等將人類情緒分為憤怒、高興、驚奇、厭惡、恐懼和悲傷6種[7]，首次開展了微表情識別的研究。目前，微表情識別方法主要分為兩大類[8]。

第一類是應變模式方法，可細分為光流法和基于人臉圖像的區域分割法，其優點是可捕獲微表情變化，缺點是表情閾值不好確定。

第二類是機器學習方法，可細分為分類器方法和聚類方法，優點是能夠保留原始的人臉微表情信息，識別率相對準確，缺點是復雜度高。該方法一般采用基于模型或基于整體面部特征的方法描述人臉或人臉圖像中特別區域，然后用分類方法或聚類方法對人類的微表情進行識別。

自適應多Agent虛擬ICAI系統(MA-ICAI)的模型框架如圖1所示，它采用P2P的網絡拓撲結構。系統集成了6個Agent(情感、交互對話、課程、教學、診斷和人機接口)和3個數據庫(知識庫、教學模型數據庫、學生模型數據庫)。知識庫存儲了MA-ICAI系統中的課程專業知識資源，可生成問題、提供問題的正確解答及求解過程；教學模型數據庫是MA-ICAI系統的控制模塊，為學生提供最佳的教學決策規則；學生模型數據庫準確反映學生的基礎知識、認知能力和情感狀態等，為系統實現個性化和適應性教學提供依據。

圖1　MA-ICAI系統框架結構圖

2　Muti-Agent

2.1情感Agent

情感Agent被整合到MA-ICAI的學習環境中，與學習者和教師通過面部表情進行交流，根據實際情況為學習者提供建議。情感Agent的內部結構有3個層次：感知層、認知層和動作層，其結構和相應的功能說明如圖2所示。

情感Agent的輸入參數為學習者的面部微表情特征和其他參數，這些參數包括學習者的認知狀態、學習歷史和互動環境參數等。情感Agent首先通過感知層檢測出學習者的情緒狀態，將其識別為6類情緒中的一類；然后通過認知層分析和診斷獲得學習者的情感狀態，并分析該情感狀態產生的原因。最后，情感Agent的結果傳遞給自身和其他交互對話系統。

圖2　情感Agent結構與功能圖

面部微表情識別包括兩個重要步驟：面部微表情特征提取和面部微表情識別。MA-ICAI系統參照Shreve等[9]采用的人臉圖像區域分割并結合光流方法識別學習者的微表情，其流程見圖3。其中“歸一化人臉”是將檢測的人臉按照對稱性歸為統一尺度，從而有利于后續人臉中8大區域的檢測和微表情識別。

圖3　微表情識別流程圖

2.2交互對話Agent

交互對話Agent的輸入參數來源于情感Agent的分析結果。當學習者在某一問題上表現出困惑或難以解決的情感時，可將情感信息通過其交互會話Agent傳遞給教學Agent、課程Agent或傳遞給其他學習者的交互會話Agent。如果教學Agent和其他學習者有一方可以為他提供幫助，就可以通過交互會話Agent發送幫助信息給學習者。本文的MA-ICAI參考了PECS模型[10]開發交互對話Agent。

2.3課程Agent

課程Agent主要的功能包括：

(1) 保存/更新學生模型中學習者與課程相關的信息，如學習者學習該課程的學習歷史、學習進度、學習效果等；

(2) 根據學生模型數據和學習者的學習需求，產生初始化教學序列并分配給教學Agent執行；

(3) 管理教學Agent的執行過程。

2.4教學Agent

在MA-ICAI系統中，教學Agent是面向不同學生提供特色教學的代理，主要作用是執行教學過程，其功能主要有3方面。

(1) 自適應呈現/更新教學策略。當自適應確定初始教學策略后，教學Agent根據實際需要調整教學策略、解釋遇到的問題，并保存這些策略供以后使用。

(2) 自適應確定/更新學習起點。根據學習歷史確定學習起點；根據對學習者的診斷結果決定下一個知識點的學習，確保每個學習者當前階段的學習和后續學習的有效性。

(3) 自適應呈現問題。診斷學習者在當前階段的學習效果和掌握程度，并決定是否進行后續學習。

2.5診斷Agent

診斷Agent是利用診斷規則判斷學生的綜合情況，產生評估報告并反饋給教學過程。診斷可發生在教學過程的始末：教學開始前的診斷可幫助MA-ICAI了解學習者的水平，初始化學習內容，并結合學習者的學習歷史自適應診斷教學起點；在教學過程中的診斷可為學習者發現薄弱環節并為進行鞏固性練習提供依據；在教學結束時進行診斷，可檢測學習者是否達到預期的教學要求。

2.6人機接口Agent

人機接口Agent是學習者和MA-ICAI系統交流信息的媒介，也是系統中多個Agent相互交流的接口。教學Agent可通過人機接口Agent與其他Agent進行交流；人機接口Agent可通過前端的攝像頭獲取學習者的面部微表情信息，將情感Agent識別的情緒種類、學生狀態信息數據傳遞給MA-ICAI中的其他Agent。

3　適應性教學過程

適應性教學過程是MA-ICAI系統的另一特點，也是本科創新型人才培養模式[11-12]的實現手段之一。適應性教學過程如圖4所示。

圖4　適應性教學過程圖

適應性教學主要包括5個步驟。

(1) 用戶登錄。MA-ICAI系統只允許注冊用戶訪問，否則會出現登錄失敗的提示。

(2) 用戶向MA-ICAI系統提出學習需求，確定初始化學習序列。系統生成課程知識樹，用戶選擇知識點。

(3) 自適應診斷教學起點。系統根據學習者的學習需求和學習歷史，自適應診斷學習的起點并進入學習狀態模塊，在學習過程中通過微表情識別技術分析、診斷出用戶的學習情感，作為學習者當前狀態的參數，為動態組織教學過程提供重要依據。

(4) 實施個性化教學。包括教學序列的適應性呈現、教學策略的適應性選擇、問題的適應性呈現。在教學過程中，MA-ICAI系統會通過微表情識別技術分析用戶的情感狀態，然后分析該情感狀態產生的原因，尋求情感幫助或自適應調節教學過程。

(5) 教學診斷。根據測試、練習結果和診斷規則判斷教學效果。如果達到教學要求，可終止學習或進入下一步學習階段；如果未達到教學要求，則重新進入教學過程。

4　結語

本文提出的MA-ICAI系統是在虛擬ICAI的基礎上，利用MA技術、情感識別技術和自適應教學理論解決網絡教學中情感缺失和交互性差的問題。MA-ICAI系統是多個Agent互相溝通和協作實施教學過程；在教學的過程中引入對學習者的微表情檢測和推理，更好地反映了學習者的情感狀態；系統根據學習者的情感狀態和學習歷史，適時調整教學過程，體現了優質的教學目標，教學效果更佳。MA-ICAI系統或將成為未來虛擬ICAI的發展趨勢。

References)

[1] 王萃寒,趙晨,余飛揚,等.智能計算機輔助虛擬教學系統的實現研究[J].計算機工程與科學,2003,25(3):83-85,89.

[2] 謝文秀,段富.基于多Agent的情感ICAI系統的研究[J].計算機應用與軟件，2014,31(1):65-68.

[3] 程響林,王萬森.基于情感識別的適應性教學系統的研究[J].科技信息，2007(8):6-7.

[4] 賀保國,趙廣社,劉美蘭.網絡環境下自適應學習系統研究[J].計算機測量與控制,2008,16(2):256-258，284.

[5] 張少蘋,戴鋒,王成志,等.多Agent系統研究綜述[J].復雜系統與復雜性科學，2011,8(4):1-8.

[6] 王建華.多AGENT技術在網絡智能教學系統中的應用研究[J].自動化技術與應用，2011,30(11):31-35.

[7]EkmanP,FriesenWV.Therepertoireofnonverbalbehavior:categories,origins,usage,andcoding[J].Semiotica,1969(1):49-98.

[8] 賁晛燁,楊明強,張鵬,等.微表情自動識別綜述[J].計算機輔助設計與圖形學學報，2014,26(9),1385-1395.

[9]GodavarthyS.Microexpressiondetectionusingstrainpatterns[R/OL].(2013-08-02)[2015-11-26].http://www.cse.usf.edu/～sgodavar/courses/CIS6930_Video/Project_final/Micro%20expression%20Detection%20using%20Strain%20Patterns.pdf.

[10]UrbanC，SchmidtB.PECSagentbasedmodelingofhumanbehavior[R/OL].AAAITechnicalReportFS-01-022001.https://www.researchgate.net/publication/254477036_PECS_-_Agent-Based_Modelling_of_Human_Behaviour.

[11] 任良玉,劉益東,馮利英.基于課題或問題的本科人才培養模式初探[J].中國大學教學,2014(4)：30-33.

[12] 張雷.地方本科高校開展大學生創新創業教育的思考[J].教育與職業，2014(9)：85-86.

Studyonadaptivemulti-agentvirtualICAIsystembasedonemotionrecognition

LuAli1,YangQing1,YanHuiling2,ZhuangYan1,LinZhong1

(1.SchoolofComputerEngineering,NanjingInstituteofTechnology,Nanjing210000,China;2.LanguageandCultureInstitute,NanjingInformationEngineeringUniversity,Nanjing210000,China)

Thetraditionalvirtualintelligentcomputerassistedinstruction(ICAI)systemwasabletocompletethetaskofinstruction,butnotconcernedabouttheemotionintheinstructionandinteraction.Tosolvethisproblem,thisarticleproposesanadaptivemulti-AgentICAIbasedonemotionrecognition,andgivesitsmodeldiagram.Theintroductionofmulti-Agenttechnologyachievesthemainfunctionofeachmodule.Thesystemcombinesmicroexpressionrecognitiontechnologyandadaptiveteachingtheory.Itcanidentifymicro-expressionsofthelearners,diagnosticemotionalstateandmakeadaptiveresponsestowardstheemotionalstateoflearners,soitaccordinglyachievesemotionalcommunicationandautomaticinteractionintheassistedinstruction.

microexpressionrecognition;multi-agent;ICAI(intelligentcomputerassistedinstruction);adaptability;emotion

DOI:10.16791/j.cnki.sjg.2016.05.032

2015- 12- 04

國家自然科學基金項目(61403188)；南京工程學院高等教育研究課題重點項目(2014ZD01)；南京工程學院高等教育研究課題(2014ZC22，2014ZC25)；南京工程學院教學改革課題(JG201409)；南京工程學院人才啟動項目(YKJ201324)

盧阿麗(1982—)，女，江蘇南通，博士，講師，主要研究方向為人工智能、模式識別等.

E-mail：clara82@163.com

G434

A

1002-4956(2016)5- 0125- 04