基于模糊認知圖的機器人情感響應模型

黃宏程 左蓉蓉 胡 敏 陶 洋② 寇 蘭

①(重慶郵電大學通信與信息工程學院 重慶 400065)

②(重慶市通信軟件工程技術研究中心 重慶 400065)

1 引言

人類社會交互過程中產生的情感是自然的、獨特的，所以人們希望機器人產生的情感也是如此。在人機交互過程中，研究者的研究重點聚焦于機器人如何識別、理解參與人的情感并表達屬于他們的獨特、自然、生動的情感。隨著研究的不斷深入，情感計算也逐漸走進大眾視野。情感計算(Affective Computing, AC)是賦予機器人觀察、識別、理解、生成和表達情感的能力，讓機器人在了解參與人情感狀態的基礎上，適時做出反應，去響應用戶不斷變化的情感，最終使機器人能夠像人一樣進行親切、自然、生動的交互[1]。

隨著情感計算研究的深入，如何提高參與人滿意度、體驗感和人機交互的和諧性成為人機交互的重要問題。近幾年，在情感計算方面涌現出眾多有價值的情感模型，其中包括情感計算方法、情感識別、情感響應、情感表達等方面的模型。在情感計算方法與認知模型的研究上，文獻[2]提出基于知識表示的情感計算方法，采用實數編碼方法計算情緒參數和心理狀態的變化；文獻[3]依據喚醒價態情感空間(Arousal-Valence-Stance, AVS)和有限狀態機提出了一種基于G r o s s 認知重評策略(G r o s s Cognitive Reappraisal strategy, GCRs)的認知情感模型，能減少機器人對情感刺激的依賴性。在情感識別研究上，文獻[4]提出文本分類的情感嵌入模型，用文本情感標簽構建情感嵌入模型并根據Plutchik情感模型將這些文本信息分為8種情感；文獻[5]提出基于深度信念網絡和多維擴展特征的模型，提高對短文本中文微博情感分類的性能；文獻[6]通過獲取情感、韻律、音質和情感維度之間的關系，提出了可拒絕的語音情感識別方法。情感響應方面，文獻[7]提出面向時序感知的多類別商品方面情感分析推薦模型，結合用戶情感信息推斷用戶對商品的偏好；文獻[8]從情感特征出發，抽取影響情感產生的因素引入蟻群算法(Ant Colony Optimization,ACO)，構建ACO情感模型，采用串行的方式通過反應強度值的不斷更新尋找最優情感狀態；文獻[9]提出多情感對話系統(Multi-Emotional Conversation System, MECS)以產生情感的連貫反應，選擇最相似情感作為機器人的情感響應。情感表達方面，文獻[10]提出基于多模態注意力的條件變分自動編碼器用于情感控制的對話生成任務，證明多模態以及上下文信息在情緒連貫反應上的重要性；文獻[11]通過關鍵詞提取與搭配提出一種對話生成模型，該模型利用強化學習(Reinforcement Learning,RL)和情感編輯約束，使機器人的情感表達更有意義。

結合現有情感計算的相關研究可以發現，人機交互過程中，極易出現機器人情感響應缺失主動性、獨特性等情感僵硬化的問題以及參與人滿意度和體驗感不高的問題。因此，針對以上問題，本文依據愉悅度-激活度-優勢度(Pleasure-Arousal-Dominance, PAD)情感空間提出了一種基于模糊認知圖(Fuzzy Cognitive Map, FCM)的機器人情感響應模型，考慮賦予機器人擬人化性格特征和社會角色，對人機交互中機器人情感響應過程進行建模。根據交互上下文得到參與人情感值，加入性格特征、社會角色的機器人會生成獨特的自我意識，實現對參與人交互情感的響應并影響參與人下一時刻的輸入，增加機器人交互過程中情感響應的獨特性、主動性，促進人機交互持續進行。

2 人機交互情感分析與情感響應

在人機交互過程中，參與人與機器人的情感交互可以描述為：首先，參與人交互行為輸入；其次，將參與人交互行為量化并評估為輸入情感值，實現對參與人的情感狀態識別；然后，對參與人的情感狀態進行跟蹤，結合影響機器人情感響應的因素，更新機器人的情感狀態矩陣，得到機器人的情感響應；最后，將得到的機器人情感響應與自然語言生成相結合，作為機器人響應輸出。人機情感交互過程如圖1所示。

由人機情感交互可知，情感響應是情感交互的一個重要過程，而參與人情感輸入與機器人情感響應構成了人機情感交互整個過程。情感交互與情感響應的關系如圖2所示(R表示機器人，H表示參與人)。根據歷史情感信息、參與人當前時刻情感值，同時考慮多種因素對機器人情感響應過程進行建模，得到機器人的情感響應，增加參與人的交互滿意度和交互體驗感。即已知EH，得到ER。

2.1 基于情感空間的情感狀態分析

為了分析參與人的情感狀態，實現后續交互過程中參與人情感狀態跟蹤，本文依據文獻[12]，對參與人的交互輸入進行情感量化，得到其在連續空間中PAD情感值。在得到參與交互輸入情感之后，依據文獻[13]，將第k輪參與人交互情感值EH=(pk,ak,dk)評估轉化為6種基本情感狀態作用下的情感狀態矩陣I(EH)

圖1 人機情感交互過程

圖2 情感交互與情感響應

2.2 基于模糊認知圖的機器人情感響應

在現實中，情感產生與變化不僅與外部環境有關，還與自身情感狀態、性格和社會角色有關。為了促進人機交互持續進行，構建機器人情感響應模型時不僅需要考慮交互上下文，還需要考慮參與人和機器人之間的相互影響。參與人輸入情感刺激機器人參與交互，機器人根據參與人情感變化，尋找時機，主動參與引導對話并影響參與人下一時刻輸入。考慮到二者相互影響，本文引入機器人社會角色，考慮到機器人情感響應獨特性帶給參與人獨特的參與體驗，引入機器人性格特征。為了使機器人的情感響應更趨近于人，本文綜合考慮多個因素，利用模糊認知圖構建上下文多輪情感狀態之間的關聯，情感響應框架如圖3所示。

2.2.1 基于社會角色的主動性情感響應

在日常生活中，交流是相互的，交互雙方主動參與是對話持續進行的前提，而主動參與是人作為社會角色的一個社交屬性。因此，考慮到人機交互中機器人的主動性，本文引入機器社會角色概念模型。

圖3 機器人情感響應框架

在人際交往過程中，人作為一個獨立個體，有屬于自己的社會角色，這對于每個人都是獨特的，而社會角色與行為、期望和責任相關。人機交互過程中，人是具有社會角色的個體，故而我們期望機器人也能有社會角色，而機器人成為社會角色需要具備類似人的社交屬性。根據參考文獻[14]，將機器人社會角色模型應用到人機交互的情感響應中。在情感響應中，機器人成為社會角色至少需要3個能力，即必須有一定的自適應能力、主動參與能力、學習和影響交互對象的能力，如圖4所示。

在人際交往中，參與雙方都能實時感受對方情緒起伏和變化，并根據對方的情緒變化適時地做出反應。所以在人機交互過程中，希望機器人也能夠考慮到參與人情感強度的變化，根據參與人情感強度變化主動承擔起調節參與人情感狀態的任務。依據參考文獻[15]，采用K近鄰算法得到參與人的情感強度計算公式

2.2.2 基于性格特征的獨特性情感響應

在日常生活中，交互雙方都是獨立個體，有自己獨特的性格特征。性格特征是“人格因素”的主要體現，人格因素的差異造就人獨一無二的特性。人格因素的不同是人看待問題角度、表達方式以及性格具有獨特性的原因。考慮機器人情感響應的獨特性，為機器人引入性格特征。參考大五人格因素理論，對機器人性格特征進行情感分析。依據文獻[16]，大五人格因素理論將人的性格分為5大類：外傾性表現為外向、活躍，用Ex表示；宜人性表現為溫和、寬容，用Ag表示；盡責性表現為可靠、自律，用Co表示；神經質表現為焦慮、被動，用Ne表示；經驗開放性表現為創造、智慧，用Op表示。

依據文獻[17]，Mehrabiana結合統計學擬合思想得到PAD情感維度與不同的性格特征之間的關系之間的影響關系作為有向弧，影響因素的大小作為權重。模糊認知圖在情感響應模型中各節點間關系如圖5所示。

圖4 機器人社會角色模型

3 基于模糊認知圖的情感響應模型

3.1 模糊認知圖

模糊認知圖是具有反饋功能的有向圖，是表達和推理系統中因果關系的模型。FCM的是一個3元序組M=(C,E,W)， 其中C={ci|ci ∈[?1,1];i=1,2,...,n}表示FCM的節點集合，E={|ci,cj ∈C}表示所有節點間的因果關系有向弧集合，W={wi,j|wi,j ∈[?1,1];i,j=1,2,...,n}表示節點之間影響強度的權重矩陣。本文將模糊認知圖應用到情感響應中，將機器人性格特征、社會角色、輸入與輸出情感作為模糊認知圖的概念節點，相互

圖5 模糊認知圖情感響應節點間關系

在圖5中c1,c2,...,c17,c18是節點，其含義為：c1,c2,...,c5,c6是機器人社會角色的體現，表現為參與人交互輸入情感和參與人情感強度的變化；c7,c8,...,c11,c12是機器人性格特征的體現，表現為經大五人格修正后的情感強度值；c13,c14,...,c17,c18是機器人的情感響應在6種基本情感上的強度值。wi,j代表節點之間的相互影響：圖5中由c1,c2,...,c5,c6指向c13,c14,...,c17,c18的直線表示社會角色對情感響應的影響，由c7,c8,...,c11,c12指向c13,c14,...,c17,c18的直線表示性格特征對情感響應的影響，由c13,c14,...,c17,c18指向c1,c2,...,c5,c6的直線表示情感響應對參與人下一時刻情感輸入的影響。由此構成一個權重矩陣W為

通過已知的初始條件可以確定FCM初始狀態空間，經過閾值函數傳播，當FCM達到穩定的循環狀態或固定點就完成了因果推理。具有時間記憶特點的FCM可以表示為

3.2 模糊認知圖權值學習

FCM推理過程如下：

3.3 機器人情感狀態更新

依據文獻[19]，將得到的第k輪機器人情感響應映射到PAD情感空間，標定其位置信息，實現機器人在連續情感空間中的情感狀態轉移。其中將機器人情感響應映射到PAD空間的公式為

3.4 情感響應模型構建

考慮參與人歷史交互情感、機器人性格特征和社會角色以及當前交互的外部環境，本文利用FCM對機器人的情感響應過程進行建模，得到機器人本輪交互的情感響應。模型構建如表1所示。

4 實驗設計與結果分析

4.1 實驗設計

為了直觀有效地對本文所提的模糊認知圖情感響應模型進行性能分析，依據文獻[20]，利用Python中的Chatterbot建立基于文本信息的聊天機器人，增加獨特的情感響應模塊。首先，利用聊天機器人邏輯適配器進行答案匹配，返回置信度較高的前m個答案作為候選答案集；其次，考慮性格特征的獨特性和社會角色的主動性對機器人情感響應的影響，構建基于模糊認知圖的情感響應模型。最后，依據該模型更新情感狀態轉移概率，得到機器人情感響應。

依據參考文獻[21]提供的NLPCC2017數據集作為本次實驗的數據集。NLPCC 2017自然語言處理和中文計算(shared task test data: emotional conversation generation)數據集共包含約1120000個問答對，隨機選取7000對問答作為驗證集，再隨機選取4000對問答作為測試集，剩余問答作為機器人訓練的語料庫。實驗驗證機器人給出該模型下參與人滿意度最高的作為機器人的最終表達。

本文選取現有情感模型中具有代表性的模型與本文模型進行對比實驗，對比模型如下：

文獻[3]提出基于個性特征認知重評策略GCRs的情感交互模型，通過減少機器人對外界情感刺激的依賴性，促使機器人產生積極的情感表達。該模型是認知情感交互領域具有代表性的模型之一，故選取該模型作為對比模型。

表1 基于模糊認知圖的機器人情感響應模型

文獻[9]提出多情感對話系統MECS以產生情感的連貫反應，傾向于達到和參與人輸入情感相同的情感狀態，選擇最相似情感作為機器人的情感響應，通過提高情感相似性增加交互共鳴。該模型在多情感對話系統中產生情感的連貫性較好，故選取該模型作為對比模型。

文獻[11]構建一種基于RL和情感約束的對話生成模型，在基于強化學習算法上生成與主題詞和情感詞相關的回復。該模型巧妙利用強化學習獎勵函數，通過提升交互詞語和交互情感的相似度生成和參與人語義、情感一致的信息，該模型在情感相似度上的研究較為突出，故選取該模型作為對比模型。

文獻[8]從情感特征出發，構建ACO情感模型，采用串行的方式通過反應強度值的不斷更新完成尋找最優情感狀態的任務。該模型強調參與人和機器人情感強度值之間的關聯，故選取該模型作為對比模型。

文獻[20]提出機器人認知模型Chatterbot根據候選答案集中置信度高低進行輸出。由于該模型不具備認知情感計算能力，選取該模型為對比模型僅用于模型有效性和參與度驗證對比實驗。

4.2 實驗結果與分析

人機交互過程中需要考慮參與人對機器人的情感響應需求，這是交互持續進行的基礎。此外，參與人對人機交互過程的體驗感和交互滿意度關系到交互頻率和交互狀態。針對上述需求，本文對人機交互過程中參與人的交互體驗感、交互滿意度和參與度以及模型有效性等多個方面進行驗證。

4.2.1 參與人交互體驗感評估

交互體驗感評估實驗主要從單輪對話與多輪會話兩個方面進行測量。由于文獻[20]提出的Chatterbot模型僅考慮語義語法方面進行響應輸出，缺少情感計算，因此未列入參與人交互體驗感對比實驗。在參與人交互體驗感評價過程中，本文分別對單輪和多輪對話參與人體驗感進行問卷調查。單輪對話評價指標包含情感連貫性、情感合理性、情感多樣性。多輪對話評價指標包含流暢性、一致性、準確性。

單輪對話和多輪對話的評價標準均為0～2分，其中0分代表指標狀態低，1分代表指標狀態中等，2分代表指標狀態高。為了驗證交互過程參與人的體驗感，采用人工測試的方法，從測試集中隨機選取100句用于測試，實驗共使用100個問答對，多渠道邀請50名志愿者進行線上線下問卷調查，各項指標均取調查平均分值作為實驗最終結果。不同模型單輪對話和多輪對話交互體驗感結果如表2所示。

由表2可知，單輪交互時，本文模型在其對話連貫性、合理性上明顯優于其他模型，這是由于本文在進行情感響應時綜合考慮機器人的性格特征和社會角色兩種因素，機器人的性格特征提升了其情感響應的合理性和連貫性。多輪交互時，本文模型在機器人情感響應的流暢性、一致性、準確性上明顯優于其他模型，這表明本文模型建立的上下文之間的情感聯系以及考慮到影響機器人情感響應的因素合理，結果顯示本文模型能提高參與人交互的體驗感，能夠實現人機交互過程中機器人情感響應擬人化。

為了查看性格特征和社會角色在參與人交互體驗感中的作用，進行消融實驗，結果如表3所示。

根據表3可知，單獨考慮性格特征或者社會角色的情況下，對單輪和多輪評價指標的作用不同。單輪交互時，社會角色對合理性、連貫性的影響更大，而性格特征對多樣性的影響更大；在多輪交互時，社會角色對評價指標的影響比性格特征對評價指標的影響更大，這是因為機器人社會角色能考慮參與人情感變化適時調整情感響應以影響參與人下一時刻情感輸入。綜合考慮兩個因素才是最佳選擇。

4.2.2 參與人交互滿意度評估

在參與人交互體滿意度檢測這一部分，測量指標包含機器人情感響應相似度、精確度和活躍度。

機器人情感響應的相似度由式(5)得到，定為d1。

機器人情感響應的精確度是決定機器人當前情感響應是否符合參與人期待得到的情感的重要因素。定義機器人情感響應的精確度為

其中，前k次情感相似度按從大到小排序，取排名前n的情感相似度。

機器人的情感活躍度會影響參與人的交互輸入，情感活躍狀態持續低迷則參與人會產生無聊、乏味等特征，降低其交互意愿；反之，積極的情感活躍狀態會提升參與人交互意愿。定義機器人的情感活躍度為

模型滿意度評估主要從多輪會話滿意度(multisatisfaction)進行測量。由于文獻[20]提出的Chatterbot模型僅考慮語義語法方面進行響應輸出，缺少認知情感計算，因此未列入參與人交互體驗感對比實驗。結合對比實驗，可以得到情感相似度、情感精確度、情感活躍度和交互滿意度的結果，如表4所示。

結合表4的實驗結果可知，本文所提模型在情感相似度、情感精確度、交互滿意度上高于其他模型，這是因為該模型考慮到機器人的社會角色，引入自適應能力、主動參與能力、學習和影響交互對象的能力這3種能力并影響參與人下一時刻的情感輸入。通過提高交互情感的相似度和情感精確度提升參與人的滿意度。

為了查看性格特征和社會角色在參與人交互滿意度評估中的作用，進行消融實驗，結果如表5所示。

表2 不同模型交互體驗感結果

表3 交互體驗感消融實驗

表4 不同模型交互滿意度結果

表5 交互滿意度消融實驗

由表5可知，兩者單獨作用時，社會角色對參與人滿意度提升作用高于性格特征，因為具有社會角色的機器人能考慮到參與人情感強度變化并影響參與人，故而能提高參與人交互滿意度。兩者共同作用高于兩者單獨作用，這是因為二者結合能夠帶給參與人獨特的交互體驗，提升參與人交互滿意度和交互體驗感。

4.2.3 參與人交互參與度評估

人機交互的目的是增加人與機器人交互次數和交互時長。為驗證交互過程參與人的參與度，本文通過多渠道邀請50名志愿者進行不同模型下的多輪人機交互實驗，進行交互次數和時長的評估，從數據集中選取50句作為人機交互初始輸入，得到不同模型下多輪交互的交互輪數和交互時長結果如表6所示。

由表6可知，本文所提模型在交互輪數和交互時長上均優于其他模型，這表明本文的聊天機器人能夠更好地參與和引導交互，減少交互出現僵局的頻率。這是由于具有性格特征的機器人能帶給參與人獨一無二的交互體驗，具有社會角色屬性的機器人能根據參與人情感強度變化，積極主動參與和引導交互。具有這兩個屬性的機器人能對參與人下一時刻交互輸入產生影響，通過提高參與人交互體驗感促進交互進行。

表6 不同模型交互參與度結果

表8 不同模型有效性評價結果

為了查看性格特征和社會角色在參與人交互參與度評估中的作用，進行消融實驗，結果如表7所示。

由表7可知，兩者單獨作用的效果差異不大，而兩者兼有的模型則有更好的效果。性格特征通過帶給參與人獨特的交互體驗增加交互輪次和時長，而社會角色則通過影響參與人交互輸入提升交互輪次和時長。

4.2.4 模型有效性驗證

為便于對模型答案檢索有效性進行驗證，依據文獻[22]采用兩個信息檢索評價指標平均倒數排名(Mean Reciprocal Rank, MRR)和平均精確度排名(Mean Average Precision, MAP)衡量對比模型的準確率，從測試集中隨機選取100句進行試驗，取排序準確率平均值作為實驗最終結果，結果見表8。

由表8可知，本文情感響應模型相較于其他模型取得更好的結果。這是因為本文情感響應模型比較符合實際，即主動權掌握在交互雙方手中，每個參與者都有主動參與和引導交互的權力，交互雙方都能從交互中獲得不同于其他人的交互體驗和情感變化，即每次人機交互的交互體驗感都獨一無二。

為了查看性格特征和社會角色在模型有效性中的作用，進行消融實驗，結果如表9所示。

從表9可知，兩者單獨作用時，社會角色對有效性的影響略高于性格特征，這是因為社會角色能抓住參與人情感變化影響參與人交互輸入，而性格特征則增加參與人交互體驗感。兩者相結合才是最佳選擇。

表7 交互參與度消融實驗

表9 有效性消融實驗

5 結束語

本文提出一種基于模糊認知圖的機器人情感響應模型。首先，將PAD情感空間作為機器人的情感狀態空間，對參與人輸入的交互情感值進行評估，得到參與人的情感狀態矩陣；其次，為機器人引入性格特征和社會角色，賦予機器人性格特征使機器人情感響應具有獨特性，賦予機器人社會角色使機器人情感響應具有主動性，利用模糊認知圖模型對機器人情感響應過程進行建模；最后，更新機器人情感狀態矩陣，得到機器人的情感響應。實驗結果從參與人滿意度、體驗感、參與度等多個方面驗證模型的有效性。本文考慮到機器人性格特征和社會角色對情感響應的影響，但由于人類情感產生不僅與參與人認知、喜好、所處生活環境有關而且與情感復雜性、情感顆粒度大小有關。因此，如何考慮情感主觀性、復雜性以及情感顆粒度劃分對機器人情感響應的影響值得進一步探索與研究。