基于情感識別的信息傳播設計方法

文／席 濤，潘長學（.上海交通大學 媒體與傳播學院；.武漢理工大學 藝術與設計學院）

為什么要情感識別？情感是藝術之美,設計之美。唐納德·諾曼在《設計心理學》提到:“所有偉大的設計都是在藝術美、可靠性、安全性、易用性、成本和功能之間尋找平衡與和諧”。蘇格拉底在 《真理的追求者》提到:“理性的智慧牢牢地控制著情感，危險的情感沖動被安全地抑制、疏導，或者情感與理性和諧”。

這是人類生態、生命狀態的直覺表達。美國符號論美學家蘇珊·朗格認為藝術是象征著人類情感的形式的創造[1]；從亞里士多德到康德、黑格爾的精神體系，情感性都是最高的目標；托爾斯泰的藝術情感學說認為情感具有道德性，是人性最本真的體現，推動情感是藝術的獨特功能[2]；黑格爾認為藝術要通過創造，把人類情感變成直覺審美形式。

情感是難以解決的、難以控制的情緒[3]；情感的合理性問題，引起深切關注，如何準確判斷情感的真實性和理性認知情感？在信息傳播設計研究中，核心問題是研究人與環境的復雜性關系問題，造成原因是復雜的情感問題。

人工智能技術的發展，對傳播設計方法的有效性提出了挑戰，是驅動創新的路徑；信息膨脹、商業行為模糊、文化傳播遲緩及高密度的經濟化服務問題，急需建設高品質的公共信息服務傳播系統，應對問題、賦能未來；研究情感哲學可以建立科學理性的研究情感識別方法。

什么是情感識別？情感在用戶的溝通和決策中起著重要作用。雖然在日常生活中情緒化對我們來說是很自然的，但對大腦情感功能的機制和人們情感的建模卻知之甚少。近年來，腦電圖中的情緒識別研究引起了從心理學到工程學等眾多跨學科領域的廣泛關注，其中包括情感理論基礎研究和情感腦—計算機交互 （affective Brain-Computer Interaction，aBCI）的應用[4]，這一研究增強了腦電圖中的情緒識別能力。BCI系統能夠使用生理信號檢測、處理和響應用戶的情感狀態。

情感識別，也被稱為情感計算。從生理學實驗研究角度，主要對心率、腦電、肌電、心電皮電及自主神經系統等生理信號與游客情感表現的相關性研究。通過傳感檢測系統采集人的情感所引起的表情、語氣和生理反應等信號，加以識別和分析。

一、情感識別與信息傳播設計的相關性

信息傳播設計，即信息設計。信息 （Information）指從調查、學習或指導中獲得的知識，包括：情報，新聞，事實，數據，信號，字符，數值；知識或智力的交流或接受。信息的功能包括自然功能和社會功能。信息功能工作程序包括信息加工、信息儲存、信息傳播（Merriam Webster韋氏詞典，Since 1828,https://www.merriamwebster.com/dictionary/kansei）。據知識圖譜了研究，揭示了信息設計學科主題的網絡關系及演進趨勢、信息資源數據管理、信息設計研究領域各概念之間的關聯性[5]?！霸O計”是對一個問題的識別和創始者的智力創造，表現在繪圖或計劃中，包括方案和規范①Definition approved/confirmed by the 10.ID General Assemblies 1993 and 2000，partly amended by using a phrase coined by Rune Pettersson in“It Depends：ID-Principlesand Guidelines”.2006，21：10.。“信息設計”是對信息內容及其呈現環境的定義、規劃和塑造，旨在滿足預期接收者的情感信息需求[4]，如圖1所示。

圖1 信息設計本體知識地圖模型構建

用戶的情感、情緒反應是影響用戶行為的決定性因素。經文獻綜述分析，信息傳播設計研究的核心問題是用戶信息體驗的質量，用戶接受信息的效率關鍵是用戶體驗，影響體驗的主要問題是用戶行為。

情感識別的客觀本質和動機是用戶為了解和掌握對方的價值關系[6]，因此具有哲學本質，涉及事物本質和定義，因為情感是基于知覺、信念、欲望，以及個人情況的；情感的合理性也轉移到了貫穿哲學的情感和倫理問題的中心，以及情緒的理性可以與體驗性、清晰的活動評價相比較[7]。笛卡爾（1649）在對情感主題的介紹中說： “每個人都有自己的情感體驗，沒有必要借用別人的觀察來發現它們的本質?！毖芯壳楦姓軐W，可以建立科學理性研究情感的識別方法。

生理信號的情感識別技術可以改變情感狀態。許多用來描述情緒的隱喻都涉及身體狀態。這些隱喻大多特別涉及一般生理過程。心理現象的直覺往往是不精確的，但心理生理學已經證明，以自主（即內臟）和軀體（如運動、表達）形式出現的外周過程，確實與情緒過程有關[8]。

二、情感識別算法與認知心理的相關性

在情感認知存在非理性問題。一個經常引起哲學家深切關注的問題：情感的合理性問題。把情感描述為單純的感覺或生理過程會使它們變得非理性。另一方面，亞里士多德假設一種情感可以是適當的或不恰當的[9]，愚蠢的或謹慎的，不僅僅是基于它在所討論的環境中是否可以被接受（盡管社會維度當然是必要的），而是基于知覺、信念、欲望，以及個人的情況而變化。事實上，情感至少包含在認知的一部分，這意味著可以用來評估信念和意圖的認知、社會甚至倫理標準來評估。探討用戶情感對信息傳播設計具有重要的相關性。

2.1 腦電波測試

腦電波（EEG）圖可以高精度地測定情緒，但由于其耗時的設置過程和噪聲敏感特性，因此最好用于臨床環境?？梢詫ΧS（效價和喚醒）進行測量。根據研究，高價態與額葉和右頂葉的高功率有關。喚醒與頂葉的能量一致。消極情緒如恐懼會導致右額葉的激活，而積極情緒則會導致左額葉的激活。根據不同皮質區域的腦電波頻譜來表達效價和喚醒之間的關系,使用支持向量分類器（SVM），準確度可達58%[10]。

2.2 眼動跟蹤識別

視覺跟蹤[11]為設計和營銷提供了更好地了解客戶及其興趣所在的機會?？梢岳檬占哪繕藬祿砗喕ぷ髁鞑⑻岣呖捎眯裕治瞿男┨匦晕擞脩舻淖⒁庖约八鼈儽苊饬耸裁?？關鍵設備是眼球跟蹤器，它可以安裝在電腦顯示器或筆記本電腦上，或者在某些情況下，安裝在用戶的頭上。該系統使用一個光源——通常是精確的紅外線——它指向用戶的眼睛。照相機跟蹤光線的反射和眼睛可見特征的運動，如瞳孔。眼球跟蹤器可以記錄很多數據，包括用戶查找的位置、用戶查看某些設計元素的時間、用戶注視力在圖像上移動的軌跡、用戶處理信息的方式，通過眼睛跟蹤收集的數據可以提供對從身體健康到情緒反應的所有方面的洞察。主要可測試眼睛注視的方向、固定件數的量、第一次固定的時間、眨眼率、眨眼持續的時間、瞳孔直徑。眼睛跟蹤已為虛擬現實（VR）和增強現實（AR）帶來潛在的研究能力[12]。

2.3 肢體動作識別

在人體姿態識別領域中,主要通過視頻圖像的序列進行視覺識別和運動捕捉識別。主要包括人體輪廓、多視角等特征信息構建三維骨架模型捕獲肢體節點的數據來對肢體動作進行識別。肢體捕捉的運動數據能很好反應人的姿態信息，并對運動的細節做很好記錄而不受人體其他因素的影響；可以克服視頻圖像的缺點，利用肢體動作識別可以改變人機交互的方式，分析出豐富的語義特征，了解用戶的目的意圖，可應用于人機交互、影視制作、運動分析、娛樂等領域。海洋之歌郵輪的公共空間應用肢體動作識別，主要應用于產生不同變化的LED娛樂效果。視覺跟蹤可以為設計和營銷提供更好地了解用戶及其情感興趣所在的機會；可以應用視覺跟蹤與肢體動作識別收集的目標數據，簡化工作流并提高可用性測試。

三、情感體驗與信息傳播設計方法

3.1 基于光流法的用戶行為動線體驗模型建構

情感識別是模型建構的算法依據，模型建構是對復雜信息系統化設計研究的前提和手段 （參見：https://baike.baidu.com/item/建 模/814831?fr=aladdin）。信息的體驗問題與空間體驗的質量呈正相關性[13]。本文主要研究如何解決信息系統設計服務體驗問題。用戶的行為動線影響空間布局，針對信息結構的無序性、視覺層次功能混亂，通過模型構建和設計，確定系統邊界和功能[14]，開發團隊溝通系統設計的思想，解決系統性信息設計問題；基于公共空間信息設計的理論界定、譜系研究、認知映射、情感識別，構建設計方法假設模型，為信息系統設計的科學性、實驗性、相關性研究提供方法依據。

用戶行為動線模型的建構。利用傳感器捕捉游客自然步行數據，識別描述導航行為的行人向量場，獲得流線向量場數據；應用角點檢測算法獲得用戶行為的追蹤特征，建立算法代碼，提取、獲得數據。通過連續使用LK算法即可求得從第一幀圖像到最后一幀圖像關鍵角點的位置變化，從而實現光流的跟蹤。

用戶行為動線圖直接反映空間布置關系，提高空間流線與用戶動線的契合度和真實性；用戶傾向于在靠近信息標記點時步行并調整運動方向，用戶的行為與其動機存在相關性；個人行為習慣在決定意圖中的顯著作用；用戶的情緒反應與行為流線存在強烈相關性，如圖2所示。

圖2 人流軌跡線的選擇

3.2 信息傳播的用戶體驗模型建構

此模型基于行為動線和感性語義的研究，對情感術語，開發更多數據集，建立術語庫，豐富情緒元素的測量，使信息傳播設計能準確地捕捉到用戶的情感反應，及時報告用戶經歷的情緒類型。通過8種基本的用戶的不同情緒，以循環的方式排列，如圖3所示?？蚣茏韵露希宰笙蛴业那榫w由負能量（消極情緒）到正能量（積極情緒）的變化，反應用戶積極情緒的變化，反之相反。8個維度分別是：有序舒適安全—混亂苦悶危險，激情四射—疲乏淡然，快樂幸福—悲觀失望，休閑寧靜—群情激憤，將 “有序的”感性語義設定為積極情緒、正能量體驗維度。循環狀態呈現用戶的情緒變化過程；本模型結合視覺眼動儀測試特點，可以捕捉用戶的視覺行為軌跡，也可檢測用戶攝影攝像圖片素材的質量，記錄眼動跟蹤分析的節點，鎖定位置測試情緒粒子，反應情緒類型。

圖3 情緒體驗模型

3.3 移動媒體的信息服務系統建立

在行為動線和體驗模型的基礎上建立一個合適的信息框架。從設計的角度對用戶體驗的要素進行模塊化處理，主要應用于信息服務語境中的智能平臺設計。該模型分為5個層次：即界面、框架、結構、范圍和策略。在另一個軸上，可以與功能、信息元素 相 關 （參 見： Garrett.2006：36，37）。

建立移動媒體服務平臺的用戶任務模型。該模型框架優化了傳統信息服務結構的不完善，增加和強化了系統性組織結構，增加游客的互動環節、咨詢服務與配送流程，在各個接觸點強調信息反饋和評價，體現用戶的參與性體驗，增強了視覺效果[15]。紅色區域為核心內容體驗的環節。根據用戶對移動端APP設計個性的需求、用戶對移動信息服務平臺的目標和服務藍圖，制定移動服務平臺的功能、交互流程，并依據用戶行為和認知的研究成果調整具體的功能架構。如圖4所示，主要包括用戶信息整合服務，服務特征及服務共建，個人服務線索（個人中心），將空間的有序性應用于時間布局、空間布局、信息設計、尋路系統（社區動態）和感官設計（幫助中心）5個功能板塊。

圖4 移動空間信息服務系統模型

3.4 信息傳播系統設計方法

信息傳播設計研究內容，如圖5所示。 （參見：Definition of the idX group，2007）所示。記錄信息，傳達意義，增加工作記憶力，方便查詢，方便發現，支持感知推理，加強檢測和識別，提供實際和理論世界的模式，提供數據操縱。為了使所有涉及到的用戶滿意，需要對給定系統的信息進行設想、規劃、創建、實施、服務、使用、更新以及最終修改或回收。

圖5 信息設計項目流程圖

3.4.1 移動終端服務平臺信息傳播設計針對現階段服務平臺所存在的一系列問題，參照2010年國際標準化組織認定的以人為本的交互設計準則，結合情感記憶的研究，建立移動終端個性化主題標識設計模式是十分必要的。通過以人為中心的評估方法，不斷完善與迭代設計方案，綜合交叉多學科知識背景，作為理論技術的支撐：

(1)原型設計：在任務模型基礎上，開發原型圖設計，為界面設計建立框架和結構，如圖6所示。

(2)交互設計：交互設計關注的是信息服務系統的可用性，特別是關注它們如何向用戶呈現信息以及如何響應來自用戶的命令和輸入。

將用戶體驗添加到交互式服務設計循環中：基于角色的方法。服務可以定義為通過為另一實體或實體本身的利益而采取的行動、流程和績效，應用專門知識和技能（Vargo和Lusch,2004）。服務業作為一個重要的經濟體已經存在了數百年。現代服務業是在現代科學、信息技術和現代管理的最新成果的基礎上發展起來的。

(3)應用平臺：可以采用微信小程序的形式。主要給企業、政府、媒體、其他組織或個人的開發者在微信平臺上提供服務。用戶可以在微信程序內使用“掃一掃”即可打開便捷應用程序，方便快捷，該特性與此次項目的需求十分貼合。

開發環境。此次開發的主要環境是Mac平臺的微信開發者工具，通過該開發者工具可以使用公眾號網頁調試，開發者可以調試微信網頁授權和微信JS-SDK；使用小程序調試，開發者可以完成小程序的API和頁面的開發調試、 代碼查看和編輯、小程序預覽和發布等功能，開發環境如圖6所示。

圖6 微信空間小程序開發環境

(4)編程語言：整個小程序框架系統分為兩部分:邏輯層(App Service)和視圖層 (View)。

(5)設計元素：視圖層使用微信自己的描述語言WXML和WXSS，邏輯層使用JavaScript。接口元素包括：輸入控件為復選框、單選按鈕、下拉列表、列表框、按鈕、切換、文本字段、日期字段；導航組件為滑塊、搜索字段、分頁、滑塊、標簽、標識；信息組件為：工具提示、圖標、進度條、通知、消息框、模式窗口。移動框架使用的工具包，如表1所示。

表1 移動框架使用的界面設計工具包

3.4.2 移動終端服務平臺的信息可視化設計信息可視化設計如下：

（1）色彩系統：各種顏色的特征和象征性會引起人們情緒反應及影響旅游行為。在不同的文化中，不同的顏色象征意義不同，如圖7所示。

圖7 郵輪信息服務平臺色彩設計系統

（2）字體系統：平臺界面的字體系統應注意編排的邏輯性和清晰度，信息才能更加易讀易懂。字體編排應遵循幾項原則:字距與行距保持合理的間隔比例，上下文對齊，字體清晰，盡可能用等線體；字體統一，不要羅列太多字體，可以用粗體強調作用；注意字距間隔勻稱，不要出現斷字斷句；字距永遠小于行距。標題統一采用12~18 px宋體 （粗），英文采用12~18 px Times New Roman；圖片格式標題文本統一采用宋體，字號不做絕對限制；文案如類目、正文、備注等，統一采用宋體，需醒目時可加粗，正文排版為宋體，采用8~10.5 px。文本格式如圖8所示。

圖8 信息服務平臺字體設計系統

（3）圖形設計：平臺界面中的圖形圖標是用戶行為情感化設計的重要內容元素，最終的設計元素是圖形，或者是用來建立或輔助視覺體驗的圖像。圖形可以用來補充外觀和感覺，或者作為與文本內聯顯示的內容。移動設計中最常見的圖形形式是圖標。圖像學有助于在有限的視覺空間中向用戶傳達想法和行動，這樣做是為了確保用戶清楚地看到圖標的含義。

設計實驗及高保真效果圖。將各系統設計元素整合，提取界面設計風格的整體調性有序、精致、安全及多元化，如圖9所示。

圖9 郵輪信息服務平臺界面設計的高保真效果圖

用戶在公共空間的感知，通過情緒體驗維度來識別，讓研究者了解游客的真實情感反應；空間是影響游客認知情感的重要因素[16]，不同環境、氣候、人文因素等對情緒體驗有重要影響，因此，影響情感識別的精準性。公共空間的體驗模型是不同層次空間的感知影響游客的行為研究，對社交媒體的信息設計提供認知方法。

四、可用性評價方法

基于情感識別及情緒反應模型構建，應用FAHP模糊層次法評價研究成果的有序性、安全性、有效性、可達性；測量分析情緒反應誘發腦電能力的變化，評價用戶滿意度。

4.1 生理指標測量是滿意度選取的方法

可用性測量過程中，被試者需要完成預先設定好的測量任務、調研問卷，還會表現出多種情緒反應，捕捉和記錄被試者的反應，如喜悅、驚訝、厭煩、緊張、鎖眉、瞪眼、握拳等;可以用同步視頻記錄快速行為，如臉部表情識別；眼睛無法判斷的生理狀態可以用儀器測量指標方法，如心率、血壓、呼吸、眼跳、眨眼、體溫等，在可用性測試中這些指標是很重要的分析數據。

用戶眼動所關注的數據表明：

（1）掃視路徑(Scan Path)是呈現眼球活動的軌跡與在節點位置停留的時長。掃視路徑長度(Scanpath Length)解釋為各關注點(Point of Regard，POR)間的總長度；掃視路徑時間(Scanpath Duration)是用戶在掃視過程中所持續的時間。運用視覺眼動儀等儀器設備捕捉用戶的眼球掃視軌跡，最小化掃視路徑，增強捕捉信息的效度；也可以獲得掃描路徑總長度的數據，來比較不同用戶界面的搜索效度。研究表明，掃視路徑的長度與用戶的搜索效度成反相關性，掃視路徑越長搜索效度越低；掃視時間與路徑長度成正比，掃視時間越短，搜索效度越高[17]。

（2）注視時間(Fixation Duration)是目光聚焦在某個點持續的時長。與用戶搜索信息難度成正相關性，當認知的內部表征匹配時間較長，說明認知信息特征搜索的難度較大，注視時間會較長，反之相反。因此，界面設計的視覺元素表達，直接影響認知行為，圖式化意象語義表達與注視時間成顯著的負相關性，圖式化語義表達越充分，學習效率越高，注視時長越短；文字表達效果要低于圖式化語義，因此，注視時長較長；注視時間越短，說明視覺元素的清晰度越高。

（3）注視次數(Post Target Fixation)是用戶在關注目標后需要反復求證的，呈現的注視次數過多，表明目標信息的界面設計可能存在一定問題，造成傳播路徑不暢。比如，標識隱喻不明確，過于抽象容易造成認知的歧義，識別度降低，造成反復注視。因此，注視次數的統計和計算可以對滿意度的可用性指標作出客觀評價。

4.2 用戶滿意度關系的實驗驗證眼動生理指標的準確性

4.2.1 實驗設計通過觀察眨眼間隔獲得眼動生理指標，分析相關性以及相關性的大小，求證眨眼間隔與用戶主觀滿意度之間的可用性關系。

將數據作以下分類： （A）用戶滿意度評價； （B）眨眼間隔最大值；（C）眨眼間隔最小值； （D）眨眼間隔平均值； （E）眨眼間隔標準差。

在實驗開始前，首先對眼動儀進行檢查與校正；其次，準備一張風景照片和背景音樂，讓被試者關注1 min，來放松他們的心情；第三，讓被試者了解測試的主要目標和過程，回答被試的問題，并進行快速完成測試任務。依次觀察圖片，每張觀察時間為30 s，順序隨機；第四，測試完成后，繼續完成李克特五點調研量表的滿意度評價。

4.2.2 腦電生理指標的用戶滿意度驗證該實驗采用機器學習的方法，評估情緒識別過程中腦電圖（EEG）隨時間的穩定模式，以研究情緒識別中腦電穩定性的識別。為了驗證本研究使用的機器學習算法的效率，使用DEAP數據集和一個新開發的數據集，系統地評估各種常用的特征提取、特征選擇、特征平滑和模式分類方法的性能。運用由上海交通大學開發的情緒腦電圖數據集SEED（SJTU Emotion EEG Dataset，“交大”情緒腦電圖數據集），以評估跨學科和課程的穩定模式和圖像。研究表明，利用腦電圖建立情緒識別計算模型是具有有效性和可行性的。

4.2.3 數據依據已有相關研究表明，腦電對情緒的表達具有穩定的模式[18]。實驗發現6種不同的特征和電極組合對于基于腦電圖的情緒識別是有效的：功率譜密度（PSD）、差分熵（DE）、差分不對稱（DASM）、理性不對稱（RASM）、不對稱（ASM），以及腦電圖的不同尾狀特征。根據5個頻段：Delta:δ（1~3 Hz）、Theta:θ（4~7 Hz）、Alpha:α（8~13 Hz）、Beta:β（14~30 Hz）和Gamma:γ（31~50 Hz），計算PSD特征。對于不同的腦電頻段，高頻段對于情緒具有清晰的表達模式。圖10[11]描述了積極、中立和消極情緒的平均神經模型。

圖10 不同情緒狀態下的大腦能量分布圖

五、結 語

腦電測試生理指標驗證眼動跟蹤實驗，首先主觀分析喜歡、效價、喚醒、支配和熟悉度評分的客觀性、科學性，驗證了主觀評價方法的真實有效性、可行性在界面設計作品的刺激背景下，它們可以作為情感狀態的有效指標。然后，將評分與腦電圖的相關性分析，運用不同情緒狀態下的大腦能量分布圖測試設計結果。實驗結果表明，與積極、中立和消極情緒相關的神經信號確實存在，正向情緒誘發類別中高頻段顳葉能量普遍較高，非正向情緒誘發類別中高頻段顳葉能量普遍較低，從而客觀判斷、評價界面設計素材的優劣性，驗證了設計方法的正確性。

通過對眼動技術評價方法和腦電技術評價方法的界面設計滿意度排序比較，證實了眼動技術和腦電技術運用在主觀評價界面設計的真實性、精準性，從而驗證了智能傳播信息服務平臺建立的有序性。正向情緒誘發的設計素材是信息圖形符號、圖片、3D動畫圖形；非正向情緒誘發的設計素材是混亂的排列次序、大篇幅文字、暗淡的色彩、過大的空間排列。

情感識別是判斷用戶行為的標準，用戶行為動線研究與空間信息傳播設計存在很強相關性，情緒反應對用戶的滿意度具有強烈影響。基于認知心理學理論和生理信號的實驗方法來測量用戶情感的信息傳播設計更具有效性。