VR語(yǔ)境下的用戶體驗(yàn)設(shè)計(jì)與情感計(jì)算

文/ 王海寧 (湖南大學(xué) 設(shè)計(jì)藝術(shù)學(xué)院)

今天非常榮幸能夠來到江南大學(xué)和各位老師、學(xué)生一起分享和交流。我來自湖南大學(xué)設(shè)計(jì)學(xué)院，我在學(xué)校主要是做情感計(jì)算，特別是多模態(tài)和多通道情感識(shí)別在人機(jī)交互領(lǐng)域的應(yīng)用。大家知道最近兩年VR技術(shù)特別火爆，在硬件、內(nèi)容和交互層面都有大量的應(yīng)用產(chǎn)生，所以隨之帶來的是很多用戶體驗(yàn)的問題。所以在VR環(huán)境下如何去度量用戶的情緒，是我們非常關(guān)注的一點(diǎn)。這就是我今天帶來的主題，也就是VR語(yǔ)境下的用戶體驗(yàn)設(shè)計(jì)與情感計(jì)算。首先情感計(jì)算這個(gè)概念，其實(shí)是來自信息學(xué)科，它是由MIT媒體實(shí)驗(yàn)室在1997年提出的，他認(rèn)為情感計(jì)算應(yīng)該是包含一切與情感相關(guān)，來源于情感或者是能夠?qū)η楦惺┮杂绊懙挠?jì)算。這個(gè)概念聽起來比較拗口，但是它的本質(zhì)是對(duì)情感的識(shí)別與測(cè)量。

經(jīng)過二十年的發(fā)展，這門學(xué)科已經(jīng)成為人工智能領(lǐng)域的重要方向，廣泛應(yīng)用于教育、醫(yī)療、交通、商業(yè)等各個(gè)方向。這其中包含了用戶體驗(yàn)、可用性、人機(jī)界面設(shè)計(jì)與人機(jī)工程等設(shè)計(jì)學(xué)問題方面。對(duì)用戶體驗(yàn)來說，我們從來沒有像今天這樣強(qiáng)調(diào)情緒的重要性，不論我們的設(shè)計(jì)焦點(diǎn)是一款造型、一個(gè)界面交互還是體驗(yàn)，我們都需要在設(shè)計(jì)過程中去感知用戶的情緒并做出有效的傳達(dá)和反饋。隨著情感計(jì)算的發(fā)展，使得我們?cè)趥鹘y(tǒng)的主觀用戶研究之外，可以尋求更多的技術(shù)選擇。

這就是用戶體驗(yàn)和情感計(jì)算的兩種研究體系，用戶體驗(yàn)和情感計(jì)算的共同點(diǎn)就是它們都非常關(guān)注用戶的心理狀態(tài)，尤其是情緒心理。這種情緒過程通常是與我們對(duì)一個(gè)體驗(yàn)的個(gè)人意義的評(píng)估，進(jìn)而反映在主觀體驗(yàn)、生理信號(hào)、行為指標(biāo)三個(gè)方面。這也恰好對(duì)應(yīng)用戶體驗(yàn)研究框架當(dāng)中的，諸如問卷訪談這樣的主觀方法，以及生理測(cè)量、行為學(xué)分析這種方法體系。而對(duì)情感計(jì)算來說，更多的是用客觀的方法，也就是用各種傳感器來采集人們由情感引起的語(yǔ)言、語(yǔ)音、面部表情、身體姿態(tài)以及各種生理信號(hào)。通過這種方式，利用情感模型進(jìn)行分析和識(shí)別，在理解人的情感的基礎(chǔ)上做出智能、友好的反饋。

情感的度量有很多方式，或者說有很多模態(tài)，其中情感視覺研究在用戶體驗(yàn)當(dāng)中主要是用行為學(xué)的方法，人臉表情是人機(jī)交互主要的情感傳達(dá)渠道。除此之外還包括語(yǔ)音情感，這方面主要是通過對(duì)說話人的音質(zhì)、音色、持續(xù)時(shí)間、音高等等一系列參數(shù)的提取和識(shí)別，來實(shí)現(xiàn)情感的度量。例如像Beyond Verbal這家公司，他們可以在超低延遲的情況下，實(shí)現(xiàn)對(duì)任何視頻和語(yǔ)音片段的情感識(shí)別，并給出一系列的情感詞匯。這種方法非常適合我們?cè)谟脩趔w驗(yàn)研究當(dāng)中，對(duì)口語(yǔ)分析、情感語(yǔ)義編碼等方法，進(jìn)行很好的輔助。

生理信號(hào)是一種難以偽造的測(cè)量，并且它與視覺、語(yǔ)音信號(hào)這種短時(shí)特性不同，它是非常長(zhǎng)時(shí)間的連續(xù)信號(hào)。所以它非常適合在豐富的復(fù)雜的情境下，包括VR情境下，進(jìn)行生理測(cè)量。這一點(diǎn)已經(jīng)在前兩年的，像智能腕表、智能手環(huán)等穿戴設(shè)備里面得到了證實(shí)和廣泛應(yīng)用。

生理指標(biāo)包含兩個(gè)方面，中樞生理和周圍生理指標(biāo)，不同的用戶體驗(yàn)研究目的不一樣，測(cè)量手段也不同。如果我們關(guān)注的更多的是情緒的喚醒度，也就是情緒的強(qiáng)烈與否，心率、皮膚阻抗、呼吸信號(hào)就是首選。如果我們關(guān)注的更多的是情緒的正負(fù)，這時(shí)候用表面肌電會(huì)是不錯(cuò)的選擇。

眼動(dòng)追蹤過去主要是關(guān)注用戶的認(rèn)知心理，而諸如瞳孔尺寸這樣的參數(shù)也在很多情緒研究中得到很多使用。2015年以來，隨著VR的火爆，國(guó)際一線的眼動(dòng)追蹤大廠也開始把眼動(dòng)追蹤技術(shù)由眼鏡式向頭盔內(nèi)嵌式轉(zhuǎn)型，來支持VR語(yǔ)境下的用戶研究。但這種VR語(yǔ)境下的眼動(dòng)頭盔造價(jià)比較昂貴，一般都是在20萬以上。大家知道現(xiàn)在VR的頭顯市場(chǎng)變數(shù)很快，所以這樣的做法并不科學(xué)也不環(huán)保，反倒是像日本今年發(fā)布的消費(fèi)級(jí)的眼控頭盔會(huì)是未來的趨勢(shì)。

我們除了可以進(jìn)行單一模態(tài)的情感識(shí)別之外，近年來使用多種情緒識(shí)別手段進(jìn)行綜合的情緒評(píng)估成為一種趨勢(shì)，可以得到更高的情緒識(shí)別率。也就是我們可以同時(shí)使用面部表情分析、各種生理指標(biāo)、眼動(dòng)追蹤，結(jié)合主觀的量表一起共同進(jìn)行情緒識(shí)別。具體的模態(tài)組合有非常多的方式，我們選擇的時(shí)候除了考慮我們的實(shí)驗(yàn)?zāi)康暮蛯?shí)驗(yàn)條件之外，這些選擇也會(huì)影響到情緒識(shí)別模型的復(fù)雜程度，需要我們?cè)诰唧w實(shí)驗(yàn)當(dāng)中進(jìn)行判斷。以上講的都是在常規(guī)情境下的用戶體驗(yàn)度量。

今年被稱為虛擬現(xiàn)實(shí)元年，表現(xiàn)在政商學(xué)術(shù)界對(duì)VR相關(guān)的技術(shù)探索和應(yīng)用都表現(xiàn)出了極大的熱情，出現(xiàn)了一大批的VR體驗(yàn)。這些體驗(yàn)帶給我們前所未有的沉浸感的同時(shí)，也帶來了很大的體驗(yàn)問題，對(duì)我們的設(shè)計(jì)提出了更新的要求。

體驗(yàn)過VR的人都知道，直到今天VR的一大問題仍然是暈動(dòng)癥，也就是眩暈。這里面除了個(gè)人因素和硬件因素之外，作為設(shè)計(jì)師完全可以通過科學(xué)的UI設(shè)計(jì)和交互設(shè)計(jì)，來改善和提升用戶體驗(yàn)的。看一下VR的典型場(chǎng)景里面有哪些需要注意的用戶體驗(yàn)要素。

首先，虛實(shí)相生游戲先行。從傳統(tǒng)游戲過渡到VR游戲之后，我們會(huì)拋棄掉過去傳統(tǒng)游戲所大量使用的對(duì)話框這種交互模式，我們需要在完全沉浸的情況下用一種新的方式告訴用戶他是誰(shuí)，他在哪，他要做什么。此外游戲需要用戶做大量的操作，視覺上過于華麗的界面會(huì)對(duì)用戶造成很大的負(fù)擔(dān)。這一點(diǎn)跟傳統(tǒng)的頁(yè)游、手游甚至端游都有很大的區(qū)別。因?yàn)槊芗男畔?huì)讓用戶在心理上無所適從，甚至?xí)觿⊙灨小?/p>

第二大主題是購(gòu)物，昨天是雙十一，業(yè)界有兩件大事發(fā)生，第一件是馬云的敗家VR正式上線，第二件事是HTC的中國(guó)區(qū)正式發(fā)布了無線版解決方案，標(biāo)志著主機(jī)VR正式走入無線時(shí)代。在新一代的VR購(gòu)物的環(huán)境當(dāng)中，我們要更加重視店家和商品信息的視覺呈現(xiàn)，避免文字的大量堆積。因?yàn)閂R購(gòu)物本身是一種重體驗(yàn)輕瀏覽甚至是輕效率的過程。如果只是一味的瀏覽文字信息或者只是看到了一些立體的商業(yè)產(chǎn)品的話，其實(shí)并沒有任何商業(yè)價(jià)值。如果我們只是追求下單的高效率的話，我們完全可以用手機(jī)或者是網(wǎng)頁(yè)來實(shí)現(xiàn)。VR的優(yōu)勢(shì)就是可以讓我們?cè)谫I廚具的時(shí)候體驗(yàn)一套完整的做菜過程，讓我們?cè)谫I車的時(shí)候可以看到汽車的動(dòng)力學(xué)，甚至還可以自由的搭配、拆裝、定制、模塊化，這些可操作的細(xì)節(jié)設(shè)計(jì)正是VR購(gòu)物情境下的特殊要求。

第三個(gè)方面是虛擬博物館，虛擬科技館，藝術(shù)館等等。在虛擬場(chǎng)館中不會(huì)再有人山人海，我們可以有更多的時(shí)間和想象力去考慮如何去進(jìn)行舒適的空間設(shè)計(jì)，讓用戶了解每一件作品背后的故事。

除此之外，為了讓用戶在一個(gè)相對(duì)空曠的博物館里面去了解所有的展品。我們需要對(duì)虛擬環(huán)境里面的展品的擺放，甚至是NPC的走位都有一個(gè)適當(dāng)?shù)囊龑?dǎo)和再設(shè)計(jì)，突出交互性。

情境體驗(yàn)是虛擬現(xiàn)實(shí)最大的魅力，在一個(gè)真實(shí)場(chǎng)館里面我們可以了解一件古代展品的紋路、佩飾和材質(zhì)，但是在VR世界里面，我們可以除了近距離把玩之外，還可以直接去到那個(gè)時(shí)代，去用另外一個(gè)身份感受展品本來的面貌。

最后我們還可以通過模擬最自然的交互，設(shè)計(jì)出非常多的有趣的互動(dòng)情節(jié)。比如目前在STEAM平臺(tái)上一個(gè)非常著名的VR，叫做梵高的一間咖啡館，在座的很多人都看過那幅名畫。國(guó)外有家公司把這個(gè)梵高的名畫從2D變到3D，但是同時(shí)保持了梵高的色調(diào)，保持了梵高的風(fēng)格。用戶可以戴上頭盔之后，自己走進(jìn)那間咖啡館，上下樓，然后看到原畫里面每張桌子每個(gè)人。我們可以去體會(huì)梵高當(dāng)時(shí)的創(chuàng)作過程，甚至我們可以去跟隨梵高的視野，向窗外看去，看到梵高的星空。這就是互動(dòng)體驗(yàn)的魅力。

主題公園，VR體驗(yàn)館和旅游，這是目前VR線下的主要火力點(diǎn)。廠家為了追求刺激的體驗(yàn)，不少的體驗(yàn)館或者主題公園，他們把過山車都配備了VR，可以讓用戶在游戲和現(xiàn)實(shí)當(dāng)中同時(shí)急速的下降和上升。這種體驗(yàn)有兩大優(yōu)點(diǎn)，第一是我們不需要耗費(fèi)巨資占用很大的場(chǎng)地去修建整個(gè)的軌道，而是可以通過像蛋像飛船這樣的設(shè)備去進(jìn)行模擬。而且玩家在頭盔中看到的也絕不是軌道，而是科幻的魔幻的甚至是二次元的世界。這就是最強(qiáng)的代入感。

此外，隨著現(xiàn)在光學(xué)定位，VR背包，還有像力反饋和震動(dòng)反饋的背心設(shè)備的發(fā)展，可以使得虛擬跟現(xiàn)實(shí)之間不再是割裂的世界。也就是我們可以用真實(shí)來增強(qiáng)虛擬。通過精準(zhǔn)的光學(xué)定位和慣性動(dòng)作，我們可以在真實(shí)的世界當(dāng)中，手里握著一根木棍，但是在虛擬世界當(dāng)中拿到的是一把劍等等。而且在這種情況下可以實(shí)現(xiàn)虛擬跟真實(shí)的完美同步。很多專業(yè)人士認(rèn)為，這才是VR線下娛樂的未來。

VR用戶體驗(yàn)是當(dāng)前一個(gè)熱門話題，每個(gè)團(tuán)隊(duì)都在路演的時(shí)候強(qiáng)調(diào)體驗(yàn)。但是其實(shí)很多人在一定程度上是概念的炒作。另外一方面也是把硬件的參數(shù)提升簡(jiǎn)單粗暴的和用戶體驗(yàn)之間劃了等號(hào)。我們圍繞VR語(yǔ)境下的用戶體驗(yàn)研究進(jìn)行了相關(guān)的論文搜索，主要瞄準(zhǔn)的是人機(jī)交互、人工智能相關(guān)的一些近三年的論文。相關(guān)的研究還是比較少的，比如這一篇，它是2015年的CHI雜志文章，它做的是面向博物館的VR體驗(yàn)研究，作者提出了一個(gè)由認(rèn)知度、激發(fā)度和喚醒度所構(gòu)成的一個(gè)興趣度模型，用戶在體驗(yàn)一個(gè)VR的博物館旅游的時(shí)候，會(huì)對(duì)相應(yīng)的這些元素進(jìn)行針對(duì)性的生理信號(hào)的探測(cè)，然后在體驗(yàn)結(jié)束之后會(huì)得到一個(gè)興趣度的模型，從而優(yōu)化用戶的參觀體驗(yàn)。比如我們可以在參觀中剔除一些他們不感興趣的東西，而強(qiáng)調(diào)他們感興趣的文化元素等等，可以使他們?cè)趨⒂^過程中始終保持印象深刻。

在這篇SCI論文里面，作者試圖研究沉浸式VR體驗(yàn)當(dāng)中用戶的情緒反應(yīng)與非VR的體驗(yàn)又何不同。研究方法是從情境圖片庫(kù)里面提取12張最積極和最消極的圖片，讓用戶在戴上設(shè)備之后有一個(gè)重新的體驗(yàn)，在體驗(yàn)過程中進(jìn)行皮膚電的測(cè)試，并進(jìn)行情緒打分。結(jié)果發(fā)現(xiàn)在VR情境下的所有圖片均誘發(fā)出更高的喚醒度，也就是說更強(qiáng)烈的情緒。其中包括像蜘蛛跟蛇這樣的恐怖圖片，更容易引起極端消極的情緒。也就是說VR會(huì)對(duì)情緒帶來顯著的增強(qiáng)。此外，用戶在VR里面的注意力也會(huì)更強(qiáng)更加集中，這在產(chǎn)品設(shè)計(jì)和評(píng)估上會(huì)有很好的應(yīng)用潛力。

這一篇是發(fā)表在計(jì)算機(jī)圖形學(xué)的頂級(jí)期刊上，是今年的文章，它主要在研究虛擬人物的外觀仿真度以及情緒和行為會(huì)在多大程度上影響用戶的情緒反饋。在這篇文章里面作者提供了三種不同層次的仿真度的虛擬人物外觀，分別是高仿真度低仿真度以及手繪風(fēng)格的仿真度。結(jié)果發(fā)現(xiàn)，在仿真度很高的虛擬環(huán)境當(dāng)中，用戶會(huì)更加關(guān)注比如虛擬人物的首飾以及說話的語(yǔ)氣等等。

除了國(guó)外研究之外，我們也做了一些相關(guān)的研究。這是一個(gè)國(guó)家科技支撐計(jì)劃，會(huì)在兩天之后在北京答辯。其中一個(gè)子課題是做了圍繞岳麓書院做的3D虛擬重建和虛擬漫游，我們基于這個(gè)實(shí)拍航拍以及大量的文獻(xiàn)資料，對(duì)岳麓書院進(jìn)行了還原。這個(gè)漫游效果也是在去年的意大利世博會(huì)上做了展示。

然后另外一個(gè)國(guó)家科技支撐計(jì)劃子課題是做服裝的虛擬展示，我們主要基于人體數(shù)據(jù)的快速獲取和人衣自適應(yīng)擬合的基礎(chǔ)上，來做這個(gè)服裝設(shè)計(jì)的評(píng)價(jià)。我們除了在做感性影響評(píng)估之外，還準(zhǔn)備做一些基于主客觀情感度量的研究，讓用戶在VR的環(huán)境下知道自己喜歡什么樣的衣服喜歡什么樣的搭配。

第三個(gè)課題是我們目前剛剛開始做的VR情境下的設(shè)計(jì)方案評(píng)審。就是說戴上頭盔之后，看到一輛1：1比例的真車，我們可以在虛擬環(huán)境下評(píng)估這輛車的概念草圖、結(jié)構(gòu)工藝、數(shù)字模型等等。然后在測(cè)試的同時(shí)，我們會(huì)戴上一些生理傳感，比如說表面肌電、心率、皮膚電等等，來判斷用戶的客觀特征值和主觀感性之間的關(guān)聯(lián)。此外還做了很多關(guān)于汽車虛擬展示、文物展示、虛擬家裝等等相關(guān)的橫向課題。

最后分享一個(gè)我們做的基礎(chǔ)研究的案例。這項(xiàng)研究的靈感來自于我們之前做的一款醫(yī)院題材的恐怖VR游戲，這個(gè)游戲我們當(dāng)中采用了慣性動(dòng)作捕獲進(jìn)行虛擬角色的動(dòng)畫采集，以及玩家的動(dòng)作模擬，以及交互事件的觸發(fā)等等。劇情設(shè)計(jì)和關(guān)卡設(shè)計(jì)是非常復(fù)雜的，玩家可以體會(huì)到虛擬人物的內(nèi)心的焦慮、恐懼、自責(zé)、釋然等等不同的情緒。這里截取了恐怖的那幾秒的視頻。在游戲體驗(yàn)過程中，我們一直在思考一個(gè)問題，就是我們一直想獲取到用戶的實(shí)時(shí)的情緒，來幫助我們優(yōu)化我們的游戲設(shè)計(jì)。比如說我們?cè)谟螒虻哪承﹫?chǎng)景希望可以誘發(fā)出我們所希望達(dá)到的效果，比如說自責(zé)、焦慮、悔恨等等。但是我們?nèi)绻ㄟ^像主觀問卷或者行為觀察的方法，效果非常差，因?yàn)橥婕彝荒苷_回憶起當(dāng)時(shí)經(jīng)歷的種種情感，而是被他最強(qiáng)烈的恐怖氣氛所帶動(dòng)，我們無法進(jìn)行非常實(shí)時(shí)和客觀的測(cè)量。

這次體驗(yàn)大概有一百多位學(xué)生進(jìn)行了體驗(yàn)，他們非常厲害，不僅可以把自己嚇個(gè)半死，還可以把周圍的人嚇個(gè)半死。所以正是通過這次展示，才讓我們決定嘗試研究用戶情緒的實(shí)時(shí)度量和生理信號(hào)測(cè)量之間的關(guān)系。這個(gè)視頻我不方便放出聲音來。

這位是我們的何院長(zhǎng)，這就是這款游戲的靈感。所以我們?cè)O(shè)計(jì)了這款游戲之后，針對(duì)這款游戲進(jìn)行了一個(gè)基礎(chǔ)研究，我們提出了一個(gè)研究思路，就是基于生理信號(hào)采集來獲取用戶的情感。我們?cè)谟螒虍?dāng)中采取了這些生理信號(hào)。戴上頭盔之后，測(cè)量腦電，測(cè)量表面肌電，表面肌電是放在人的臉部，是在皺眉肌和顴骨位置的兩塊肌肉，分別用來表現(xiàn)用戶的負(fù)面情緒和正面情緒。以及心率和血容量搏動(dòng)，是在手指的位置，一般是放在玩游戲的非優(yōu)勢(shì)手上面。這是情緒的測(cè)量方面，在情緒的識(shí)別階段是符合模式識(shí)別和機(jī)器學(xué)習(xí)的一般流程，包括了信號(hào)處理、模式分類以及結(jié)合錯(cuò)誤檢測(cè)的算法改進(jìn)等等。

我們?cè)谶@個(gè)基礎(chǔ)上，因?yàn)檫@個(gè)實(shí)驗(yàn)本身比較復(fù)雜，而且VR游戲體驗(yàn)時(shí)間比較長(zhǎng)，所以我們被試并不是很多，是經(jīng)過了身心健康的篩選和心理量表的填寫。我們?cè)趯?shí)驗(yàn)的過程中，除了對(duì)我們自己做的游戲進(jìn)行測(cè)試之外，我們還在STEAM平臺(tái)上挑選了目前VR領(lǐng)域最火的前一百個(gè)游戲當(dāng)中進(jìn)行篩選，挑出了二十段游戲，每段游戲找出120秒到200秒的我們認(rèn)為有代表性的情節(jié)，然后根據(jù)情緒劃分，劃分為從喚醒度和效價(jià)兩個(gè)維度，也就是情緒的強(qiáng)烈與否和正負(fù)與否，這兩個(gè)維度進(jìn)行劃分。然后這是實(shí)驗(yàn)的研究范式，我們嘗試把不同喚醒度的游戲片段進(jìn)行隨機(jī)打亂，但是要保證在每次游戲體驗(yàn)之前都有一次中性情緒的視頻進(jìn)行情緒的平復(fù)。用來所有中性的游戲體驗(yàn)的片段是來自于我們之前自己拍攝的一些風(fēng)光類的VR視頻。

這是信號(hào)測(cè)量的結(jié)果，來自腦電、血容量搏動(dòng)、表面肌電和皮膚阻抗，然后我們?cè)诖嘶A(chǔ)上提取了很多情緒特征，我們特別針對(duì)生理信號(hào)這種高度非穩(wěn)態(tài)和非線性的信號(hào)，所以我們提取了一些非線性特征。然后在此基礎(chǔ)上進(jìn)行特征的篩選、優(yōu)化，取得一個(gè)最優(yōu)的特征集。

這個(gè)就是我們?nèi)〉玫难芯砍晒簿褪俏覀冋业搅烁榫w不同維度之間關(guān)聯(lián)性為強(qiáng)的特征子集，這些特征有一些是可以直接解釋的，比如像腦電在CP6電極位置的α波的密度等等，還有一些特征是無法直接解釋的，因?yàn)榻?jīng)過了非線性的換算。此外我們還通過嘗試多種分類器的方法，來尋求一個(gè)最優(yōu)的識(shí)別率。這就是我們的最后的結(jié)果。最優(yōu)的分類結(jié)果是用隨機(jī)分鄰算法，取得了83.79%的喚醒識(shí)別率，這個(gè)算法還在不斷的優(yōu)化。這只是我們基礎(chǔ)研究的第一步，接下來我們會(huì)針對(duì)游戲設(shè)計(jì)的情節(jié)展開更多的研究。

因?yàn)樵赩R市場(chǎng)里面有非常多的變數(shù)，包括頭顯，包括情緒度量的方法，都在不斷的迭代。會(huì)發(fā)現(xiàn)有很多像頭盔加肌電、頭盔加人臉表情識(shí)別、頭盔加眼動(dòng)識(shí)別等等，那么正是由于這些無線、便攜、穩(wěn)定而且友好的設(shè)備出現(xiàn)，才能支持我們不斷的進(jìn)行實(shí)驗(yàn)優(yōu)化和改進(jìn)。

這就是我今天的分享，謝謝大家。