社交學習網絡中基于學習認知的情感交互研究*

沈映珊 湯 庸

（華南師范大學 計算機學院，廣東廣州 510631）

社交學習網絡中基于學習認知的情感交互研究*

沈映珊 湯 庸

（華南師范大學 計算機學院，廣東廣州 510631）

在分析社交學習網絡特點的基礎上，文章探討了情感識別與學習者學習狀態之間的關系；通過將學習者臉部表情、眼動、人體姿態與情感圖文等多模情感作為識別的指標，并結合學習者的學習認知狀態和學習行為，構建了社交學習網絡情感交互模型。該模型可以促進學習者的認知發展，支持大規模的遠程學習；也可以對社交學習網絡進行更好的監督與指導，為該網絡在學習上的應用提供新思路與新方法。

社交學習網絡；情感交互；認知學習；學習行為；模式識別

一 社交學習網絡的特點

社交學習網絡（Social Learning Network，SLN）作為E-Leaning的一種學習環境，能創建一種內容可視化的、安全與實用的學習社區。SLN供各種教育工具，并“提供了一種上下文關聯的方法，以完成主題或任務為目標，能解釋學習者在網絡中交互的情況，學習者交換學習經驗的同時及時更新自己的知識”[1]，故有利于實現共享學習、提高學習效率并擴大學習范圍。

Enio Ohmaye[2]認為，未來教育創新的依據是學習者的情感體。但是，“目前E-Learning系統重‘知’輕‘情’的現象嚴重，由于在線學生規模大，因時空上的分隔而難以感受對方的情感和心智狀態，缺乏情感交流，普遍存在著‘情感缺失’問題，導致學習者學習熱情衰減，嚴重影響學習效果”[3]。所以，設計SLN時除了要綜合考慮學習者的個性、興趣等非智力因素，還要從學習者的情感及情感交互過程來考慮他們的學習認知問題，甚至在某些交互場景下實施情感補償的方法，以滿足大規模且有效的遠程學習的需求。

隨著移動智能設備的出現，學習者獲取信息與交流的途徑包括圖形或圖像、語音、人臉表情、眼睛、身體姿勢等。利用心理學、認知科學和情感計算為理論基礎，通過捕捉學習者在參與SLN活動過程中的各種情感信息，結合學習者在信息交流過程中所發出的文字、圖片等來識別學習者的實時情感狀態，推導學習者所處的學習認知狀態，給出相應的情感鼓勵或情感補償，可為研究SLN在個性化教學環境中的應用提供新的參考方法。

二 社情感識別與學習者的學習狀態

1 通過情感識別分析學習者的學習狀態

學習者的學習過程主要依靠學習者的認知加工過程。但近幾年的行為和神經科學研究數據證明，認知與情感的加工過程不但相互交互，而且在神經機制功能上還相互整合，共同構成了行為活動的基礎[4]。情感不但影響學習者的認知驅動與動機，還影響其學習的行為績效，進而影響其行為狀態——積極、正面的情感對于學習者的認知思維、學習智力等方面起到關鍵的作用，有助于提高創造力和解決問題的能力；而負面的情感則會對個人的思想過程產生相反的效果[5]。

（1）情感識別與人臉表情。情感識別可通過人臉表情進行直觀判斷，如當學習者對學習內容感興趣時，其情緒就會高漲，表現為眉毛上揚、眼睛睜大、上下眼簾間距變大；反之則情緒低落，表現為眉頭緊鎖、目光無神呆滯。為此，加州大學研究人員在2011年通過Emotient技術識別學習者人臉表情的變化，來預測視頻教程的難度和學生的觀看速度；美國Affectiva公司在2012年將帶有表情識別功能的Affdex產品應用到網絡課堂，方便教師觀察學生的活躍及認真程度。Paul和Friesen[6]在對人臉表情進行細微研究后，總結出多達46種人臉表情，并分為基本的6類（即高興、悲傷、驚訝、恐懼、憤怒和厭惡），系統地建立了上千幅不同的人臉表情圖象庫。

（2）情感識別與語調語速。學習者的情感可通過語音的高低快慢來體現，如學習者談到感興趣的內容時，自然地就會語調升高、語速加快；反之則語調低沉、語速緩慢。為此，MIT在“MYSELF”項目中曾將語音情感引入遠程學習和計算機輔助訓練中[7]。具體來說，使用多個情感檢測模塊，獲取學習者的面部表情、聲音（如頻率、強度）、發言內容和其它行為（如鼠標點擊），即通過生理信號與語音信號特征的結合分析，可確認學習者的情感狀態。

（3）情感識別與文字圖片。文字是學習者進行信息交流最基本的形式。利用文字進行情感識別的基本方法是從句子中分出字詞，抽取情感字詞，再分析情感。Fenske等[8]曾通過對文中字詞的分析來識別E-Learning環境中的協作學習角色，通過分析學習者發出的文字去判斷學習者的學習情感。SLN中為交流雙方提供了大量可視化的情感符號與圖片，學習者在表達情感意義時可直接引用，如表1所示。當學習者對學習內容感興趣時，發出正面、積極的文字與圖片，稱為正極性文字符號；反之則發出反面、消極的文字與圖片，稱為負極性文字符號。

表1 文字與圖片情感識別范例

2 情感識別與學習者學習狀態的認知評價

學習者的學習過程是學習信息加工的認知過程，學習者的情緒變化是認知影響的結果，即學習者的認知狀態與情感狀態是相互影響且可相互推斷的[9]。Lazarus[10]指出，情緒從來都是認知活動反應的結果，是在認知過程中產生的某種意義，認知過程的目的就是實現這一意義。因此，情緒可用來評估事件、對象與媒介／代理的目的、效價與態度。其中，目的指的是學習者對事件的評價是對自身發展起促進作用還是阻礙作用，效價是指評價媒介／代理的活動是否適合或符合個體所在環境的行為標準，態度則指主要用來評價的屬性是否符合學習者的態度。

根據吳滄海等[11]的研究，通過人臉表情、眼動情況及身體姿勢等易于判斷的學習狀態分為三種:專注、安靜和疲勞。當學習者處于專注狀態時，情感就處于愉快或興奮的狀態，應鼓勵狀態持續；當學習者處于安靜狀態時，說明其情感開始過渡到不感興趣或不愉快的狀態，應進行情感引導，喚醒其興奮度，鼓勵繼續學習；當學習者處于疲勞狀態時，情感就處于睡眠或難受狀態，應進行情感補償，使之愉悅起來。學習的認知狀態、情感識別和學習者行為是相互作用、相輔相成的，其相互判斷如表2所示。

表2 情感與學習狀態識別

三 模型建構

1 情感指標建構與篩選

（1）數據獲取方法

根據SLN的特點，為獲取有效的情緒信息，對于表情與姿態動作等信息的獲取不選擇攝像機進行跟蹤拍攝，原因有二:一是跟蹤攝像機會讓被拍攝者感到心理壓力，使其動作與表情處于主動抑制狀態；二是目前的智能終端都內嵌有高性能的攝像頭，軟件控制能夠獲得更有效、更自然的數據，其數據獲取方法如圖1所示。即學習者通過智能移動終端在SLN上進行學習，通過終端上的攝像頭、安裝在終端前方的攝像頭或行為捕捉工具（如微軟的 Kinect）捕捉學習者的人臉表情、眼動和身體姿勢的變化信息；通過代理 Agent獲取學習者在學習活動過程中發布的文字、圖片、聲音等。然后，所收集的信息通過有線或無線通信的方式被發送到情緒數據庫儲存起來。當需要進行分析的時候，工作站從情緒數據庫中提取這些信息進行分析，編碼、識別出學習者的情感狀態和認知狀態，再通過智能Agent將情感支持對策結果反饋給學習者。

圖1 情緒信息數據獲取方法

（2）情感與學習行為指標選定

根據情感識別與學習認知的對應判斷關系，參考應用于心理學、社會學和計算機科學情感計算領域的愉悅度—覺醒度—優勢度之情緒模型的定義，以及學習認知領域的學習三維狀態模型[12]等內容，本研究建構了情感狀態與學習認知狀態概念框架，如表3所示。學習者的人臉表情、動作和發送的圖文信息識別同時進行，其結果相互驗證，能更為準確的進行情感識別與認知狀態判斷。圖3表明，情感狀態可通過學習者的人臉表情、眼睛和身體姿態來識別，由捕獲所發送的情感文字或圖片來進一步驗證，并進行相應的情感支持與反饋建議；情感狀態分為三個維度，其中愉悅度表示對完成學習主題或學習任務過程的吸引、接受程度，覺醒度表示學習的疲勞程度，優勢度表示學習者對學習環境的滿意度。

表3 情感狀態與學習認知狀態概念框架

（3）學習認知狀態與學習行為狀態識別

判斷學習者在SLN中的認知狀態和行為狀態的框架如表4所示。學習者在SLN中的認知狀態，需綜合考慮學習者的情感數據、行為數據來進行判斷[18]。根據學習者在SLN中的運動軌跡，了解學習者的學習內容及階段，結合學習者的學習行為，利用知識庫中字詞解釋、知識點問題提示、學習任務與主題學習目標的反饋，給出情感支持的建議及反饋——當學習者的學習狀態呈現負極性、學習停滯不前或處于困難狀態時，需要給出正面的情感支持如鼓勵或補償等；當學習者已經完成任務或在任務之外，或者學習狀態輕松、愉悅時，可以不打擾。

表4 認知狀態和行為狀態判斷框架

2 社交學習網絡情感交互模型建構

本研究建構的社交學習網絡情感交互模型如圖 2所示。該模型可分為情感狀態識別層、學習狀態識別層和行為推理層。其中，情感狀態識別層的數據來源于學習者的表情數據和發送的圖文。具體流程是:將獲得的數據進行編碼、匹配與過濾，根據情感狀態三個維度的描述進行分類，獲取學習者的情感狀態，最后發送到SLN代理端去判斷是否需要對學習者進行情感支持。

利用學習者在SLN中的上下文、運動軌跡和學習者的學習行為數據，可推出學習者的認知學習狀態。學習者在SLN中需要點擊選擇某一任務進行學習的時間數據，如在解決學習任務的過程中，與同伴進行交流的時間、點擊某個內容瀏覽的時間、進入與退出某個主題的時間距離發送與發布的圖文等信息；學習者對待學習任務時的學習行為，如正在尋找問題的解決方法、已完成任務測試、請求幫助等，可推導出學習者的初始學習認知狀態是專注、平靜還是疲勞，任務是已完成還是難以解決。

將經過統一編碼后的學習者認知學習狀態推送到SLN的Agent端，與前面的情感認知狀態進行對比、驗證，可推導出是否需要對學習者的學習行為進行情感鼓勵、補償或是不干涉。可以通過情感 Agent從語言、文字、表情或動作來進行，如提供輕松的話語、和藹的笑容、充滿激情的行動等，可讓學習者的情感從緊張中得到放松、從昏昏欲睡中振作起來、從困惑和痛苦中得到緩解。同時，Agent也可以根據學習者的學習行為和學習認知狀態，了解其當前學習的主題或任務的進展情況，為學習者提供有針對性的幫助與建議。

四 小結

本研究通過臉部表情、眼動情況、人體姿態與情感圖文綜合的情感識別技術，構建了社交學習網絡情感交互模型，主要創新點在于:其一，認知與多模情感的結合對SLN效果的有效影響。通過更準確的模式識別，對學習者進行適當的情感調整或情感補償，保持學習者對學習主題或任務進行的興趣以及學習的愉悅感，進而優化學習效果。其二，SLN多模情感交互分析對學習過程與學習效果的影響。該模型可提高E-Learning環境中學習者的情感狀態識別度，有利于判斷學習者的學習認知狀態，從而對SLN進行更好的監督與指導。

具有情感交互功能的SLN的使用，是計算機情感計算耦合認知科學、機器學習與模式識別技術的結合，它不但可以作為學校課堂教學的有效輔助手段，還可以促進學習者的認知發展，為社交網絡在學習上的應用提供新思路與新方法。

圖2 社交學習網絡情感交互模型

[1]Tinmaz H. Social networking websites as an innovative framework for connectivism[J]. Contemporary Educational Technology, 2012,3(3):234-245.

[2]李晶.在線教育的新機遇:碎片時間和情感社區[OL]. 〈http://www.zhongjiaomedia.com/zaixianjiaoyu/a/933.html.〉

[3]鄭慶華,劉均,田鋒,等.下一代E-Learning系統[J].中國計算機學會通訊,2011,(11):54-60.

[4]Pessoa L. How do emotion and motivation direct executive control?[J]. Trends in Cognitive Sciences, 2009,13(4):160-166.

[5]Fowler C J H. The role of arousal in memory and attention[D]. London: Royal Holloway University, 1977:30-50.

[6]Paul E, Friesen W V. A guide to recognizing emotions from facial expressions[M]. UK: Malor Books, 2003:100-120.

[7](美)韓家煒著,范明譯.數據挖掘:概念與技術[M].北京:機械工業出版社,2002:45-60.

[8]Fenske M J, Raymond J E, Kunar M A. The affective consequences of visual attention in preview search[J]. Psychon Bull Rev, 2004,(11):1034-1040.

[9]詹澤慧.基于智能 Agent的遠程學習者情感與認知識別模型——眼動追蹤與表情識別技術支持下的耦合[J].現代遠程教育研究,2013,(5):100-105.

[10]Lazarus R S. Emotion and adaptation[M]. New York: Oxford University Press, 1991:78-103.

[11]吳滄海,熊煥亮,王映龍.遠程學習中學習狀態判斷的情感計算研究[J].軟件導刊·教育技術,2013,(12):24-27.

[12]解迎剛,王志良.遠程教育中情感計算技術[M].北京:機械工業出版社,2011:30-47.

[13]Chaffar S, Cepeda G, Frasson C. Predicting the learner’s emotional reaction towards the tutor’s intervention[A].IEEE. International conference on advanced learning technologies[C]. Niigata: IEEE, 2007:639-641.

[14]Abdullah A A, Mariah B M, Rahmat B G. Usage of social networking sites and technological impact on the interaction-enabling features[J]. International Journal of Humanities and Social Science, 2014,4(2):46-61.

[15]Cesar C, Maria J R, Ines de G. Supporting online collaborative learning in small groups: Teacher feedback on learning content, academic task and social participation[J]. Computers & Education, 2014,(75):53-64.

[16]Isbister K, Karlesky M, Frye J, et al. Scoop!: A movement-based math game designed to reduce math anxiety[A].ACM. The international conference on the foundations of digital games[C]. New York: ACM, 2012:228-230.

[17]Mellone. Gesturing to learn video game technology is in motion in loudoun county school[OL].

〈http://www.districtadministration.com/article/gesturinglearn.〉

[18]Alam K M, Rahman M A, Saddik A E, et al. Adding emotional tag to augment context-awareness in social network services[A]. IEEE. Instrumentation and measurement technology conference[C]. Binjiang: IEEE, 2011:1-6.

編輯:小米

Affective Interaction Studies of Social Learning Network based on Learning Cognitive

SHEN Ying-shan TANG Yong
(Department of Computer Science, South China Normal University, Guangzhou, Guangdong, China 510631)

Based on the analysis of the characteristics of social learning network(SLN), the relation between affective recognition and learning status of learners was discussed. The SLN affective interaction model was constructed in combination with the learning cognitive status and learning behavior of learners by using multi-mode emotions, such as learners’ facial expressions, eye movements, body postures and emotional texts and graphics, ect, as recognition indexes.The mode can effectively promote the cognitive development of learners, support the need of large-scale remote distance learning. It can also better supervise and guide the SLN, and provid a new idea and a new method for the application of SLN.

social learning network; affection interaction; cognitive learning; learning behavior; pattern recognition

G40-057

A 【論文編號】1009—8097（2015）09—0090—07

10.3969/j.issn.1009-8097.2015.09.014

本文受國家自然科學基金項目“移動學習行為感知下教育資源語義組織與存儲優化研究”（項目編號：613701678）資助。

沈映珊，副教授，博士，研究方向為網絡教育應用，郵箱為esancn@gmail.com。

2014年12月23日