基于生理信號的PAD多維情感預(yù)測方法研究

何佳樂 張建敏

摘?要：

針對人機交互中用戶認知模糊與表達不準確等問題，提出一種基于生理信號的PAD（Pleasure，Arousal，Dominance）多維情感預(yù)測方法對用戶情感進行預(yù)測。首先，確定眼動信號指標和PAD情感量表，以門戶網(wǎng)站為實驗樣本開展情感測量實驗，被試者需按要求完成瀏覽任務(wù)，并記錄眼動數(shù)據(jù)。其次，通過PAD情感量表獲取被試者在網(wǎng)頁界面中的多維情感值。最后，利用偏最小二乘回歸法建立關(guān)系模型，探索眼動數(shù)據(jù)與PAD多維情感值之間的關(guān)系，并驗證模型的有效性和適用性。研究結(jié)果表明，該情感預(yù)測模型的Sig.值均大于0.05，具有較高的預(yù)測能力，能準確預(yù)測用戶對網(wǎng)頁界面的情感偏好。

關(guān)鍵詞：生理信號；PAD情感；偏最小二乘回歸；情感預(yù)測

中圖分類號：TP39??文獻標志碼：A

0?引言（Introduction）

在當今的數(shù)字化時代，人們與各種網(wǎng)頁界面進行互動的頻率越來越高，而了解用戶對不同網(wǎng)頁的情感體驗對于提升用戶滿意度、優(yōu)化網(wǎng)頁功能及布局，進而增強用戶黏性和轉(zhuǎn)化率而言變得至關(guān)重要。情感是人類的一種復(fù)雜的心理生理狀態(tài)，?包含其各種感覺、想法和行為，是一系列主觀認知體驗的統(tǒng)稱［1］。目前，對于用戶情感狀態(tài)的捕捉主要采用用戶訪談、焦點小組等主觀評價法進行定量分析，再運用感性工學(xué)對獲取到的情感信息進行研究，該方法具有操作容易且便于分析的特點。然而，情緒是復(fù)雜的，取決于個人的偏好、情感傾向和人際態(tài)度，傳統(tǒng)的主觀評價已難以滿足網(wǎng)頁界面設(shè)計的需求。因此，網(wǎng)頁界面設(shè)計師不可避免地面臨了一個重要挑戰(zhàn)，即如何在網(wǎng)頁界面中準確捕捉用戶情感。當涉及復(fù)雜情感預(yù)測時，網(wǎng)頁界面設(shè)計師需要采用一些手段和方法得到與積極情感有關(guān)的生理心理信號，從而預(yù)測用戶的情感偏好。

1?相關(guān)研究現(xiàn)狀（Related?research）

在過去的研究中，情感預(yù)測一直是一個備受關(guān)注的領(lǐng)域，不僅在人機交互、心理健康等領(lǐng)域有著重要的應(yīng)用，而且在社交媒體分析、消費者行為研究等方面具有重要意義。孫利等［2］針對康養(yǎng)輔具產(chǎn)品多維設(shè)計要素與用戶情感滿意度的復(fù)雜映射問題，提出一種基于評論數(shù)據(jù)的產(chǎn)品情感預(yù)測模型，結(jié)果表明該情感預(yù)測模型能夠有效建立產(chǎn)品多維設(shè)計要素與情感滿意度間的匹配關(guān)系，能夠輔助設(shè)計師快速識別出用戶情感滿意度較高的多維設(shè)計要素組合。章逸凡［3］通過融合語音和文本特征對兒童進行情感識別，并在雙模態(tài)情感識別模型中融合了注意力機制，實驗結(jié)果表明該情感識別模型較傳統(tǒng)模型的識別精度提高了2百分點，對兒童情感的識別效果更好。然而，傳統(tǒng)的情感預(yù)測往往依賴于用戶的主觀報告或者行為數(shù)據(jù)，這些數(shù)據(jù)受到用戶主觀意識和記憶的影響，難以準確反映用戶真實的情感體驗。因此，除了用戶主觀的自我報告數(shù)據(jù)，還有必要結(jié)合其生理信號進行研究，例如眼動信號。眼動技術(shù)是一種非侵入式的技術(shù)，該技術(shù)可以準確獲取用戶行為的情緒數(shù)據(jù)源，其中包括眨眼、注視、瞳孔等多種指標［4］。JANG等［5］設(shè)計了一個使用注視長度、瞳孔大小、眨眼變化等數(shù)據(jù)的用戶意圖搜索監(jiān)測系統(tǒng)，該監(jiān)視系統(tǒng)提供適當?shù)男畔⒒蚍?wù)，主動響應(yīng)用戶的意圖。CUTRELL等［6］利用眼動追蹤方法，探索眼動信號對網(wǎng)頁搜索結(jié)果呈現(xiàn)變化的影響，能顯著提高信息檢索的性能。張寧寧等［7］在研究飛機座艙界面視覺信息中采用眼動追蹤技術(shù)確定不同飛行階段飛行員的注視熱區(qū)，從而對座艙顯示界面的性能進行評價。侯士江等［8］提出了一種基于深度學(xué)習(xí)的視點預(yù)測模型，導(dǎo)入顯著圖像模擬視覺注意力分配機制，并通過實驗證實了圖像的低層級屬性是影響視覺注意力的主要因素。沈竹琦等［9］探索眼動指標與不同界面的用戶情緒之間的關(guān)系，得出具有顯著差異的指標，有助于實現(xiàn)用戶體驗的定量化表達。因此，眼動追蹤技術(shù)已經(jīng)成為測量情感的主流方式，本文將眼動信號與PAD多維情感建立聯(lián)系，設(shè)計了一種新的情感預(yù)測模型。通過深入挖掘用戶情感認知，指導(dǎo)網(wǎng)頁界面情感化設(shè)計。

2?相關(guān)工作準備（Preparation?of?related?work）

2.1?眼動信號指標的選取

為了在與差異性網(wǎng)頁的交互過程中能通過定量方法評估用戶的情感，選擇具有比率性質(zhì)、均值性質(zhì)或極值性質(zhì)的統(tǒng)計指標進行分析［10］。借鑒前人的研究成果，選擇的主要眼動信號指標有眨眼類、注視類、掃視類及瞳孔直徑類。

2.2?PAD多維情感值的獲取

本實驗中的主觀多維情感值采用中文PAD情感量表工具獲取。中國科學(xué)院心理研究所對FALENDER等［11］編寫的PAD情感量表進行歸納、簡化及總結(jié)后，最終得出一套更加符合中文表達情景的中文版PAD情感量表［12］（圖1），該量表由12對情感形容詞構(gòu)成，其中包含愉悅度（Pleasure）、激活度（Arousal）、優(yōu)勢度（Dominance）3個情感維度，通過該量表獲得的多維情感得分，能更加精確地評定用戶的復(fù)雜情感狀態(tài)。

每個維度對應(yīng)4對情感形容詞，被試者根據(jù)情感強烈程度對目標情感進行打分，每個項目從左到右的得分記為“-4”到“4”，每個維度下4個項目的得分平均值即該維度情感值，其計算公式如下：

2.3?偏最小二乘回歸分析法

本文研究使用1983年由瑞典計量經(jīng)濟學(xué)研究者H.Wold等第一次提出的偏最小二乘回歸分析方法（Partial?Least?Squares，PLS）［13］構(gòu)建眼動信息指標和PAD多維情感值之間的關(guān)系模型。與傳統(tǒng)的回歸分析法相比，該方法提供了一種基于多變量相互關(guān)聯(lián)的建模方案，尤其適用于因變量和自變量的數(shù)量龐大且關(guān)聯(lián)度較高的情況。除此之外，PLS回歸還將主成分分析、典型相關(guān)和多元線性回歸分析的特點結(jié)合，不僅可以建立更精準、有效的關(guān)系模型，還可以對特征數(shù)據(jù)進行處理［14］。

2.4??眼動信息指標和PAD多維情感值之間的關(guān)系模型建立流程

眼動信息指標和PAD多維情感值之間的關(guān)系模型建立流程如圖2所示。由于眼動信息指標較多，因此需要篩選出有效指標，以提高實驗結(jié)果的準確性。在以往大部分研究中，研究人員通常直接使用單因素方差分析篩選指標，這可能導(dǎo)致方差不齊而影響分析結(jié)果。因此，本研究將首先利用SPSS（Statistical?Product?and?Service?Solutions）進行方差齊性檢驗，剔除p值小于0.05的指標，其次對余下的指標再使用單因素方差分析做篩選，最終得出一組具有顯著性差異的指標。本文研究開展補充實驗以驗證該關(guān)系模型預(yù)測用戶多維情感的準確性。

3?情感測量實驗（Emotion?measurement?experiment）

3.1?實驗被試與實驗材料

本次實驗招募的20名志愿者的年齡為20～27歲，他們都可以使用計算機完成基本操作。被試者均同意全部的研究方案并簽署了知情同意書。實驗儀器為由德國SMI公司生產(chǎn)的REDn?Scientific桌面型眼動儀。實驗材料選用2個在視覺設(shè)計元素方面具有最大差異性的門戶網(wǎng)站首頁的圖片，分別為鳳凰網(wǎng)與和訊網(wǎng)。

3.2?實驗任務(wù)

研究發(fā)現(xiàn)，與搜索任務(wù)相比，被試者在瀏覽任務(wù)中的認知負荷更低。楊強等［15］認為與搜索任務(wù)相比，網(wǎng)絡(luò)廣告在瀏覽任務(wù)中可以帶來更好的關(guān)注效果。因此，本實驗任務(wù)主要設(shè)定為瀏覽任務(wù)，使被試者在受到最小的認知負荷的情況下呈現(xiàn)最準確的情感狀態(tài)。

3.3?實驗流程

實驗流程已事先在Experiment?Center實驗設(shè)計軟件中設(shè)定好，主要任務(wù)為20名被試者不帶任何特定目的地瀏覽實驗頁面，瀏覽時間由被試者自行控制，瀏覽結(jié)束后針對刺激材料中的視覺設(shè)計元素感受填寫PAD情感量表，隨后休息5?min。休息時間結(jié)束后，被試者按照相同流程繼續(xù)完成第2張刺激材料的瀏覽任務(wù)，填寫PAD情感量表。實驗得出的鳳凰網(wǎng)與和訊網(wǎng)眼動熱點圖如圖3所示。

4??眼動信息指標和PAD多維情感值之間關(guān)系的模型建立與檢驗（Modelling?and?testing?the?relationship?between?eye?movement?indicators?and?PAD?multidimensional?emotional?values）

通過獲取20名被試者瀏覽鳳凰網(wǎng)與和訊網(wǎng)首頁的眼動信息指標和主觀PAD多維情感值，對數(shù)據(jù)進行處理并分析，可以得到兩者之間的關(guān)系模型。該模型能更科學(xué)地解釋眼動數(shù)據(jù)對PAD多維情感的影響。

4.1?情感分類表及眼動信號指標的篩選

將PAD情感八類別（表1）中的情感空間標注為“1、2、3、4、5、6、7、8”。根據(jù)所測實驗結(jié)果，可獲得20名被試者對于不同網(wǎng)頁的PAD情感值，根據(jù)表1中的8個情感空間，按照正、負狀態(tài)對情感值進行情感分類，分類結(jié)果如表2所示。

將異常的實驗數(shù)據(jù)去除，確保實驗結(jié)果的準確性。首先，進行眼動信息指標的方差齊性檢驗，以情感類別為因子，篩除顯著性p值小于0.05的變量，其余顯著性p值大于0.05的眼動信息指標可做進一步分析。其次，通過進一步的分析得到眼動信息指標在單因素方差分析下的結(jié)果，眼動信息指標單因素方差分析結(jié)果如表3所示。

通過表3可以看出，注視率、最短眨眼時間、平均掃視幅度等11個眼動信息指標的顯著性水平p值均小于0.05，可以將其用于建立情感預(yù)測模型。

4.2??眼動信息指標和PAD多維情感值之間關(guān)系的模型建立

通過應(yīng)用PLS方法，將回歸方程轉(zhuǎn)化為非標準化回歸方程，構(gòu)建眼動信息指標多變量值與PAD多維情感之間關(guān)系的數(shù)學(xué)模型：

選取表3中篩選出的眼動信息指標作為自變量xk，k=1，2，…，8，選擇PAD多維情感值作為因變量yj，j=1，2，…，8。A（xk）為第k個自變量xk的樣本均值；A（yj）為第j個因變量yj的樣本均值；Sxk[KG-1mm]為第k個自變量xk的樣本均方差；Syj[KG-1mm]為第j個因變量yj的樣本均方差。將變量系數(shù)標準化，并將其還原為原始數(shù)據(jù)的變量系數(shù)和常數(shù)項，最終得到還原后的3個因變量的回歸方程：

其中：x1為注視率；x2為平均注視時間；x3為最小注視點分散值；x4為掃視率；x5為平均掃視時間；x6為最短眨眼時間；x7為最短掃視時間；x8為平均掃視幅度；x9為平均眨眼時間；x10為最大掃視幅度；x11為最大掃視速度。

4.3??眼動信息指標和PAD多維情感值之間關(guān)系的模型檢驗

選取上述實驗中未選用的3組實驗數(shù)據(jù)進行補充實驗，以證明該關(guān)系模型預(yù)測能力的有效性。利用關(guān)系模型將3組眼動信號數(shù)據(jù)納入計算公式，可以得到3組PAD多維情感的預(yù)測值。利用SPSS分析軟件對這3組PAD多維情感的預(yù)測值與實際觀測值做配對樣本t檢驗，檢驗分析結(jié)果如表4所示。

從表4中的分析結(jié)果可以看出，3組數(shù)據(jù)的雙尾Sig.值均大于0.05，說明模型預(yù)測值與實際觀測值無明顯差異，能夠證明眼動信息指標和PAD多維情感值之間的關(guān)系模型預(yù)測能力的有效性，即該關(guān)系模型能夠通過眼動信息指標有效預(yù)測用戶與網(wǎng)頁界面交互時的多維情感。

為了驗證該關(guān)系模型的適用性，開展補充實驗，選取與上述實驗材料均具有差異性的騰訊網(wǎng)網(wǎng)站首頁的圖片為檢驗實驗材料，另選10名被試者按照上述相同的實驗步驟重復(fù)情感測量實驗，采集數(shù)據(jù)后對實驗數(shù)據(jù)進行處理，將眼動信號數(shù)據(jù)納入上述回歸方程進行計算，得出PAD的預(yù)測值，然后結(jié)合預(yù)測值和實際值繪制折線圖進行比較分析，若折線擬合具有一致性，則說明模型預(yù)測結(jié)果有效；若折線擬合不一致，則說明兩組數(shù)據(jù)不相關(guān)，模型預(yù)測結(jié)果無效。P值、A值、D值對比結(jié)果分別如圖4至圖6所示。

以上3個對比圖中，y軸分別表示P值、A值與D值，x軸代表10名被試者的樣本編號，對比圖中的實線表示預(yù)測值，虛線表示實際值。3個維度值的折線對比圖的分析結(jié)果顯示，P、A、D三個維度的模型預(yù)測值與實際值之間的差異較小，兩者的正負性相同，并且兩組數(shù)值折線的走向基本一致，可看出折線擬合具有一致性，表明該模型在情感預(yù)測方面取得了較好的效果，并且基本是有效的。

5?結(jié)論（Conclusion）

本文針對因用戶心理信息不足、情感認知模糊和表達不準確等錯誤信息誤導(dǎo)問題，提出了一種基于生理信號的主觀PAD多維情感預(yù)測方法。研究結(jié)果表明，該方法充分利用了被試者自身無法控制的高度可靠的生理信號，能夠?qū)τ脩羟楦袪顟B(tài)進行準確的識別與預(yù)測。本研究通過由單因素方差分析得出的眼動信號數(shù)據(jù)與采用PAD情感量表獲取的主觀PAD多維情感值相關(guān)聯(lián)，再利用偏最小二乘回歸分析構(gòu)建關(guān)系模型，經(jīng)對比實驗得出，該情感預(yù)測模型可根據(jù)用戶進行人機交互時產(chǎn)生的生理信號提供更科學(xué)、合理的情感推斷，可以為未來的網(wǎng)頁界面情感化設(shè)計工作提供可靠的實踐性方法。

參考文獻（References）

［1］?陳田，樊明焱，任福繼，等.?采用瞳孔位置實現(xiàn)情感識別的方案［J］.?計算機應(yīng)用研究，2021，38（6）：1765＼|1769.

［2］?孫利，張碩，覃忠志，等.?評論數(shù)據(jù)驅(qū)動的產(chǎn)品情感滿意度預(yù)測模型構(gòu)建［J］.?包裝工程，2023，44（6）：42＼|51.

［3］?章逸凡.?基于語音和文本雙模態(tài)融合的兒童情感識別研究［D］.?哈爾濱：哈爾濱理工大學(xué)，2023.

［4］?馬軍輝，王峰，王曄，等.?C＼|CapsNet：一種異構(gòu)腦電和眼動雙模態(tài)的情緒識別模型［J］.?重慶理工大學(xué)學(xué)報（自然科學(xué)），2022，36（11）：202＼|211.

［5］?JANG?Y?M，LEE?S，MALLIPEDDI?R，et?al.?Intent?probing?monitoring?system?based?on?eye?movement?analysis?and?probability［J］.?The?institute?of?electronics?and?information?engineers，2013，36（1）：1518＼|1521.

［6］?CUTRELL?E，GUAN?Z?.?What?are?you?looking?for？?an?eye＼|tracking?study?of?information?usage?in?web?search［A］∥San?jose.?California：association?for?computing?machinery，2007：407＼|416.

［7］?張寧寧，范思岑，王丹丹，等.?基于腦力負荷的通航飛機座艙顯示界面測評研究［J］.?工程設(shè)計學(xué)報，2019，26（4）：409＼|415.

［8］?侯士江，侯英，馮希，等.?圖像視點預(yù)測模型及設(shè)計圖的注意力影響因素研究［J］.?設(shè)計，2022，35（14）：134＼|136.

［9］?沈竹琦，薛澄岐，牛亞峰.?基于眼動追蹤的數(shù)字界面用戶情緒分析［J］.?設(shè)計，2018（5）：158＼|160.

［10］?李森，孫敏，許娜，等.?網(wǎng)頁瀏覽任務(wù)的用戶情感測量模型研究［J］.?工業(yè)工程與管理，2013，18（1）：106＼|110，128.

［11］?FALENDER?C?A，MEHRABIAN?A.?The?effects?of?day?care?on?young?children：an?environmental?psychology?approach［J］.?The?journal?of?psychology，1979，101（2）：241＼|255.

［12］?蔣旎，李然，劉春堯，等.?PAD情感模型在用戶情感體驗評估中的應(yīng)用［J］.?包裝工程，2021，42（22）：413＼|420.

［13］?孫敏.?基于眼動技術(shù)的情感測量方法研究［D］.?沈陽：東北大學(xué)，2012.

［14］?羅批，郭繼昌，李鏘，等.?基于偏最小二乘回歸建模的探討［J］.?天津大學(xué)學(xué)報，2002，35（6）：783＼|786.

［15］?楊強，謝其蓮，蔣玉石.?視覺顯著性、任務(wù)類型和內(nèi)容一致性對網(wǎng)絡(luò)廣告注意效果的聯(lián)合效應(yīng)研究［J］.?工業(yè)工程與管理，2019，24（3）：180＼|187.

作者簡介：

何佳樂（1999＼|），女，碩士生。研究領(lǐng)域：工業(yè)設(shè)計。

張建敏（1976＼|），女，碩士，副教授。研究領(lǐng)域：工業(yè)設(shè)計。本文通信作者。