情感建模方法研究

吳偉國，孟慶梅，曲建俊

(哈爾濱工業大學機電工程學院，哈爾濱150001，wuwg@hit.edu.cn)

近年來，情感在人工智能中的重要性已被越來越多的研究學者所重視.早在1985年，Marvin Minsky教授在《精神社會》中指出“問題并不是智能機器是否能有情感，而是沒有情感的機器怎么能是智能的”.在人機交互中，被設計成具有情感的機器與人建立友好的交互界面，使其具有參與社會事務和開展人際交往的能力，更易被人類所接受;同時機器具有“生命”，使其主體的思維(或行為)具有明確的目的性和方向性，從而顯著地提高思維(或行為)的效率和速度［1］;在動態、不可預知和具有潛在“危險”的環境中，賦予機器思維上的創造性和行為上的自覺性，提高機器適應環境的能力［2］.

人工情感是利用信息科學的手段對人類情感過程進行模擬、識別和理解，使機器能夠產生類人情感并與人類自然和諧地進行人機交互的研究領域［3－4］.情感模型的建立是人工情感研究的一個主要方面，現有的情感模型主要是從人機交互的角度和情感認知的角度建立，盡管兩種方法并不是互斥的，但實際應用時情感模型都傾向于其中的某一個具體方法.盡管目前對機器情感模型的研究仍處于起步階段，但該方向對情感研究的貢獻主要在以下兩方面:驗證情感理論的有效工具，此時機器的情感模型可作為“虛擬實驗室”，不僅能驗證已有理論，而且能解決一些在人類情感研究中難以解決的問題，如:產生情感相關因素的孤立性、任務的反復特性等;另外從工程的角度考慮研究情感模型可以改善系統的性能，提高系統的自主性和適應性，以強化學習去適應環境.

1 目前的情感模型

1.1 OCC情緒模型

目前，對情感建模的研究有許多代表性的成果，如當前使用最普遍的OCC情感模型［5］.OCC模型采用一致性的認知導出條件來表述情感，是第一個用于人工智能領域的結構化模型.在該模型中，假定情感是對事件(高興與否)、Agent(滿意與否)和對象(喜歡與否)構成情感趨勢的傾向.通過不同認知條件歸納推導，規范出22種情感類型.并且制定出產生這些情感類型的基本構造規則及其各情感的階層關系，詳細的分類與階層關系如圖1所示.

圖1 OCC情感類型結構

1.2 Agent的情感模型

1994年，J.Bates在 OCC模型基礎上提出“Believable Agent”［6］.該模型雖然僅能夠描述基本的情感及其反應，卻開始在人工智能中研究利用Agent如何形象化地表達內部情感狀態，并且進行情感交互的研究.一個智能的Agent必須包含大量的環境信息，及時進行數據融合、過濾和選擇，利用信息完整表述環境的能力，降低成本和提高獲取信息的速度.這種情感模型往往將情感作為人類認知機制的一個成分，側重于認知評價、動機等結合的過程.典型的Agent情感模型為Sloman［7］提出的H－CogAff情感模型.該模型力圖覆蓋正常人處理情感信息的全過程，包括3層情感體系結構:反應層、評估層和管理層.Sloman的這種結構實際上包含情感在內的信息處理過程中的精神現象，由于該模型企圖體現自然情感處理過程，故該模型復雜并難以實現.K.A Maria提出3層基于情感的智能Agent的體系結構［8］.該模型由RIA(Regular Intelligent Agent)和EIA(Emotion Intelligent Agent)組成.接收器接收外部環境的特征信號，通過反應機制實現接收與執行之間的映射.執行器通過與環境的反饋執行最終的動作.評估機制包括兩部分進程:認知進程和情感進程.情感和認知相互作用.認知進程執行事件的感知、評估、推理和任務的決策;情感進程根據認知的評估產生相應的情感信號.

1.3 Cathexis模型

Cathexis模型提出“情緒”概念［9］.個體通過傳感器來檢測外界刺激，進一步判斷是否有合適的條件激起個體的情感再現.在Cathexis模型中傳感器被分為4種類型:神經、感覺運動、動機和認知.神經傳感器檢測來自神經的傳遞介質如腦壓.感覺運動傳感器檢測來自感覺運動過程的信號如面部表情、身體姿態等;動機傳感器檢測各種動機的輸入;認知傳感器檢測各種認知的輸入如對事件的評價和解釋、信念、記憶等.Cathexis模型有6種基本情感:生氣、害怕、悲傷、高興、厭惡和吃驚，模型的特點在于不僅僅包括認知研究還包括非認知的研究.但是由于計算情感探測的數值很難計算，故Cathexis模型靈活性較差.

1.4 基于模糊邏輯的情感模型

模糊邏輯是最早應用在情感建模中的數學方法之一，T.Yanaru通過確定9條模糊規則和5個模糊集合來定義情感，并且確定了情感信號和情感強度的表達方法［10］.L.I.Perlovsky使用模糊自適應邏輯來定義情感.在文獻［11］中，研究通過模糊邏輯來產生虛擬情感，該情感模型包括情感、學習和決策3個模塊.同時在文獻［12］中機器人的控制都是基于情感模型的，他使用加強學習算法.主要采用模糊認知映射，把情感、情感狀態、物理狀態及其行為結合起來.R.L.Mandryk等人提出一種模糊邏輯模型對人類情感進行定量的描述［13］.在OCC模型的基礎上提出了一個新的可計算情感模型.這一模型引入模糊邏輯用以表征情感強度，并建立了事件、期望與情感狀態、情感行為間的對應關系.盡管這些關系也可用其他形式化方法表示，但模糊邏輯更能體現情感狀態推理的不確定性和復雜性的本質特征.

1.5 其他的情感模型

文獻［14］以二維情感空間和OCC模型為基礎，結合粒子系統和有源場，建立人工情感模型.粒子系統的運動狀態表示模型當前的情感狀態.模型將外界刺激轉化為空間中的有源場.多個有源場產生的勢能，共同影響粒子的運動.模型輸出一個隨時間變化的多維向量，向量維度上的數值表示對應情緒的激活程度.該模型面對同樣的外界刺激，模型可能出現不同的情感狀態變化，體現了在整體確定性下的局部隨機性，但場源在空間中對應的坐標位置缺乏充足的理論支持，存在一定的不足之處.

北京科技大學的滕少東定義了情感的兩種狀態及其兩個基本的變化轉移過程，并應用馬爾可夫鏈構造了一個情感概率空間，建立模擬情感變化的情感模型，給出了情感能量、情感強度和情感嫡等概念，用以描述情感特征與情感狀態［15］.

浙江大學的楊宏偉等人結合生理和認知對情感的影響，提出了一種綜合的可計算情感建模方法［16］.該方法設計了一個完全的過程框架，用以描述情感在不同時刻如何動態變化以及如何處理多種混合情感的情況，并建立了基于具體描述事件和情感關系的情感結構，以產生具體、真實的情感行為;提出了學習交互機制以增強虛擬智能體對動態環境的適應能力.本模型把需求、認知和情感全面地融合在一起，建立了一個綜合的情感模型.同時，在模型中強調了情感的動態變化特性，提出了基于情感更新的情感合成過程.

2 目前情感模型的應用

目前情感模型主要應用在機器人及虛擬機器人上.人工情感模型成功運用在機器人上的主要有MIT的Kisment、日本早稻田大學的WE系列機器人、CMU的pearl機器人等.情感在實現人機交互中占有重要地位，此時情感常用來調節機器人的行動，加強人機交互的真實感［17－19］.

2.1 Kismet的情感模型

Kismet［20－21］的情感模型作為環境、內部刺激和行為動作的媒介，通過情感模型，機器人對外界輸入的刺激和內部需要進行綜合判斷從而引起表現行為的各種變化.Kismet的情感模型基于Cathexis情感模型，不同之處在于Kismet的情感模型強調與人類的社會交互，而Cathexis的情感模型側重于其他方面.Kismet的情感反應機構由情感刺激、情感評價、情感激活和情感表達等幾部分組成，能夠表達快樂、生氣、厭惡、恐懼、悲傷、驚奇、興趣、厭煩8種基本情緒.Kismet的情感空間如圖2所示.Kismet通過面部表情表達情感.三維情感空間為［A，V，S］，每個情感對應情感空間的一個具體的點.在圖2中可見9個基本的情感表達在情感空間的位置.Kismet的面部表情在3維情感空間通過插值的方法實現.每一維的情感空間的范圍為［－1250，1250］.盡管Kismet的情感空間維數并沒有準確的映射出情感空間，但是通過這種方法來再現情感和面部表情給情感建模提供新的思路.

2.2 ROMAN的情感模型

ROMAN機器人的情感模型采用基于行為的情感控制體系結構，如圖3所示［22］.

圖2 Kismet的情感空間

圖3 ROMAN的情感控制體系結構［22］

該情感體系通過情感、驅動、行為3部分相互交互來實現“類人”的行為.在該體系中“驅動”決定“做什么”，“情感”決定“怎么做”.驅動包括幾個驅動模塊，每個驅動模塊有2個輸入，1個代表傳感器的數據，另1個表示由其他驅動模塊對它產生的抑制因素.3個輸出，1個代表其他驅動的抑制因素，1個表示情感狀態，最后表示行為激勵.圖4表示ROMAN的情感狀態定義，針對所選取的情感狀態能夠實現類人的面部表情和姿態.在情感6面體中，再現6個基本情感.每個情感狀態的計算采用Kismet的計算方法，通過1個三維的輸入矢量［A，S，V］來計算.

圖4 ROMAN的情感狀態定義

2.3 服務機器人

人工情感模型已成功地應用在服務機器人上［23－25］.

韓國首爾國立大學的智能服務機器人具有個性的多維情感模型如圖5所示［26－27］.在該模型中機器人并不是直接對外界刺激作出反應，而是根據現有的情感模型來計算情感中各元素的變化.情感模型中包括反應動態、內部動態、情感動態、行為動態及個性5元素.其中個性是最為重要的元素，決定不同的機器人的情感和行為.如果個性不同，盡管外界刺激和內部動態保持不變，情感模型也會產生不同的情感和行為.

圖5 具有個性的多維情感模型

東京都立大學的Naoyuki Kubota在陪伴機器人上使用以情感記憶和物理記憶為基礎的情感模型來實現自然的人機交互.機器人具有理解信息能力、回憶功能、情感激勵功能［28］.Arkin等人研究如何把情感與行為學結合在一起應用在索尼娛樂機器人上［29］.Canamero，Fredslund等人定義情感激活模型來通過仿真水平規劃情感［24］.Schulte等人研制了一個簡單的狀態機來表述4種情緒［30］.

通過情感模型的應用，使得服務機器人具有人性化，消除了人與機器人之間的陌生感，增強了機器人的“親和力”.

3 基于擴展有限狀態機的情感模型

本文提出基于擴展有限狀態機的情感模型，在明確情感模型的各個狀態以及一些完全可以用觸發事件來確定各狀態轉換關系的基礎上，用有限狀態機來實現情感之間的狀態轉換.

擴展的有限狀態機是一個六元組［31］:

式中:Q為有限狀態集合，Q={q1，q2，…，qn};Σ表示系統接收的所有事件集合，Σ={σ1，σ2，…，σm};δ表示狀態轉移函數，δ:Q×Σ→Q;q0表示系統啟動時的初始狀態，q0∈Q;F表示終止狀態的集合，F∈Q.V定義為狀態上的變量屬性集合，指系統處于各個狀態時，在以后實現時需要涉及的變量.

根據情緒心理學中“情感維量”理論［32］，情感可分為基本情感和復合情感.為簡化模型，EFSM情感模型中情感狀態集合為{H，A，S，Su，D， F，N，C}:高興(H)、憤怒(A)、悲傷(S)、吃驚(Su)、厭惡(D)、害怕(F)、自然狀態(N)、復雜(C由于情感的復雜性，當情感交互時不是單一的情感時統稱為C).Σ表示外界的刺激事件(定義為不同的情感狀態)，F表示輸出的情感狀態(F和Σ是Q狀態空間的元素)，轉移函數δ:Q×Σ→Q及初始情感狀態q0(q0∈Q).根據當前的情感狀態和輸入狀態的變換情況，函數δ:Q×Σ→Q用來計算狀態機的最終狀態.如果狀態機在時間t時它的情感狀態為q(t)，外界輸入的狀態為∑(t)，那么下一個情感狀態為

假設情感狀態集中包含4種情感狀態，建立的情感交互模型如圖6所示.E1代表個體的初始情感狀態，條件代表輸入狀態，根據當前的情感狀態和輸入狀態，情感載體的情感狀態發生改變，并做出相應的行為.行為中的聲音和表情表示狀態上的變量集合V.

圖6 情感交互模型

建立的仿真模型如圖7所示，建立仿真模型的目的是驗證情感交互模型的有效性.情感狀態轉化模型利用Matlab中的Stateflow［33］模塊建立.它允許使用流程圖和狀態轉移概念、采用面向對象的編程思想描述物理模型，用圖形的方式繪制出遷移的條件，從而構造出有限狀態機系統.

圖7表示初始情感狀態為H，在不同外界刺激下的情感狀態轉換.圖中Eout2表示外界刺激情感，Eout表示初始情感狀態選取的條件.狀態變量屬性集合V中的元素是通過內嵌Matlab函數(Expression H，Expression S，Expression C，Expression A)實現.

圖7(a)為情感模型的初始狀態選取，在隨機過程中，狀態集合{H，A，S，C}中各個狀態的初始狀態分布的概率均等;圖7(b)為情感交互模型;圖7(c)為對應情感狀態的情感反應.

圖8為人機交互實驗的部分照片，進行的是機器人與人類面部表情的交互實驗.根據情感模型如果外界情感刺激為悲傷情感，機器人會產生悲傷的情感反應.圖8(b)為機器人的情感交互時悲傷面部表情變化的部分動態視頻截圖.

圖7 情感模型仿真

圖8 具有EFSM情感模型仿人頭像機器人人機情感交互初步實驗

4 結論與研究展望

現在的情感模型雖然取得一定成果，但仍有待進一步完善，未來的研究目標和方向如下:

1)雖然在感知、推理、決策和交流等方面有所了解，但并不了解情感的內在邏輯程序，同時對于如何實現這些功能中的信息處理過程了解并不完善.沒有符合人類情感規律并適于機器實現的人工情緒自動生成模型.

2)目前應用于機器人上的情感模型，雖然能夠使機器人與人類進行交流，但是不具有靈活性，如果新的驅動增加時，機器人的情感系統就必須改變.

3)情感表現的多樣化也為情感建模的分析和數值化帶來困難.例如對于任何一種情感而言，有許多行為和表情均被認為是適當的.因此何種情感表現強度更容易被用戶接受也需要進一步的研究.

4)情感信息的獲取與建模，例如，細致和準確的情感信息獲取、描述及參數化建模，海量的情感數據資源庫，多特征融合的情感計算理論模型.

［1］ORTONY A.On making believable emotional agents believable.Emotions in humans and artifacts［M］.Cambridge:MIT Press，2003:189－211.

［2］FRIJDA N.Emotions in robots-Comparative approaches to cognitive science［M］.Cambridge London:MIT Press/Bradford Books，1995:501－516.

［3］王志良.人工心理與人工情感［J］.智能系統學報，2006(3):38－47.

［4］PICARD R W.Affective computing［R］.［S.l.］:MIT Media Lab，1995:75－86.

［5］ORTONY A，CLORE G，COLLINS A.The cognitive structure of emotions［M］.［S.l.］:Cambridge University Press，1988:89－97.

［6］BATES J.The roles of emotion in believable agents［J］.Communications of ACM，1994(7):122－125.

［7］SLOMAN A.Beyond shallow models of emotion［J］.Cognitive Processing，2001，2(1):177－198.

［8］MARIA K A，ZITAR R A.Emotion agents:A modeling and an application［J］.Information and Software Technology，2007(49):695－716.

［9］VELASQUEZ J D.Modeling emotions and other motivations in synthetic agents［C］//Proceeding of the 14th National Confernce on Artificail Intelligence 2000.Austin，Texas，USA:AAAI，2000:10－15.

［10］YANARU T.An emotion processing system based on fuzzy inferernce and subjective observations［C］//Proceedings of the Second New Zealand International Two－Stream Conference on Artificial Neural Networks and Expert Systems 1995.Dunedin，New Zealand:［s.n.］，1995:15－20.

［11］EI-NASR M S，YEN J，LOEGER T R.Flame fuzzy logic adaptive model of emotions［J］.Autonmous Agents and Multi-Agent System，2000，3(3):219－257.

［12］AYESH A，MANDRYK R L.Emotionally motivated reinforcement learning Based controller［C］//IEEE International Conferernce on Systems Man and Cybernertics.Hague，Netherlands:ICSMC，2004:874－878.

［13］MANDRYK R L，ATKINS M S.A fuzzy physiological approach for continuously modelling emotion during interaction with play technologies［J］.International Journal of Human-Computer Studies，2007，65(4):329－347.

［14］胡博超，陳海山.基于粒子系統和有源場的情感建模研究［J］.心智與計算，2009(1):36－44.

［15］滕少冬，王志良，王莉，等.基于馬爾可夫鏈的情感計算建模方法［J］.計算機工程，2005(5):17－19.

［16］楊宏偉，潘志庚，劉更代.一種綜合可計算情感建模方法［J］.計算機研究與發展，2008，45(4):579－587.

［17］MICHAUD F，PIRJANIAN P，AUDET J，et al.Artificial motion and social robotics［C］//Proceedings of the International Symposiumon Distributed Autonomous Robotic Systems.Knoxville，Tennessee:DARS，2000:564－573.

［18］STEELS L.language games for autonomous robots［J］.IEEE Intelligent Systems，2001，16(5):45－52.

［19］FONG T，NOURBAKHSH I，DAUTENHAHN K.A survey of socially interactive robots［J］.Robotics and Autonomous Systems，2003(42):143－166.

［20］BREAZEAL C.Emotion and sociable humanoid robots［J］.International Journal of Human－Computer Studies，2003(59):119－155.

［21］BREAZEAL C.Function meets style:Insights from emotion theory applied to HRI［C］//2004 IEEE Transactions on Systems，Man and Cybernetics.Cambridge，MA，USA:［s.n.］，2004:187－194.

［22］HIRTH J，SCHMITZ N，BEMS K.Emotional architecture for the humanoid robot head ROMAN［C］//IEEE International Conference on Robotica and Automation.Roma，Italy:［s.n.］，2007:2150－2155.

［23］YMAEDA S.Autonomous pet－type robot with emotion behaviour learning system based on neuro modulators［J］.Systems and Control Engineering，2006，220(8): 717－724.

［24］CANAMERO L，FREDSLUND J.I show you how I like you-can you read it in my face?［J］.IEEE Transactions on Systems，Man and Cybernetics，2001，35(5):145－153.

［25］OGATA T，SUGANO S，KOMIYA T.Development of emotional communication robot:WAMOEBA-2R-experimental evaluation of the emotional communication between robots and humans［C］//Proceedings of the International Conference on using a Humanoid Robot.Boston，MA:［s.n.］，2000:213－220.

［26］HO S A，YOUNG M B，JIN H N，et al.Multi-Dimensional Emotional Engine with Personality using Intelligent Service Robot for Children［C］//International Conference on Control，Automation and Systems.Seoul，Korea:［s.n.］，2008:2020－2025.

［27］AHN，HO S，JIN Y C.Emotional Behavior Decision Model Based on Linear Dynamic Systems for Intelligent Service Robots［C］//16th IEEE International Conference on Robot＆Human Interactive Communication.Jeju，Korea:［s.n.］，2007:786－791.

［28］KUBOTA N，WAKISAKA S.Location-Dependent Emotional Memory for Natural Communication of Partner Robots［C］//2009 IEEE Workshop on Robotic Intelligence in Informationally Structured Space.Nashville，TN，USA:［s.n.］，2009:107－113.

［29］ARKIN R，FUJITA M，TAKAGI T，et al.An ethological and emotional basis for human—robot interaction［J］.Robotic and Autonomous Systems，2003(42):191－201.

［30］SCHULTE J.Spontaneous，short-term interaction with mobile robots in public places［C］//Proceedings of the International Conferenceon Robotics and Automation.Detroit，MI USA:［s.n.］，1999:258－264.

［31］年曉玲.基于擴展有限狀態機軟件測試自動生成的研究［D］.重慶:西南交通大學，2005:79－98.

［32］WANG Shang-fei，WANG Xu-fa.An artificial emotion model based on the dimension idea［J］.Journal of University of Science and Technology of China，2004(2): 83－91.

［33］張威.Stateflow邏輯系統建模［M］.西安:西安電子科技大學出版社，2007:30－295.