多模態交互方式的用戶接受度研究

郭夢瑤，徐進波，夏宇誠

（武漢理工大學 藝術學院，武漢 430070）

一、多模態交互概覽

“模態“俗稱為“感官”，即人類憑借感知和經驗獲得信息的渠道，“多模態”即將多種感官融合。多模態交互場景涉及用戶借助多種模態和通信渠道（如語音、姿勢、表情等等）與計算機實現溝通交流的信息輸入輸出系統。

得益于傳統單一模態技術（如計算機視覺、語音識別和音頻處理/傳感器等硬件技術）的發展，多模態交互技術的應用取得了重大進展。計算機計算與交互技術的有效匹配使越來越多的多模態交互設備問世。多模態交互設備有智能手機、筆記本電腦、屏幕墻、智能音箱等等，而且大數據、深度語義理解、AI感知模態的發展與變革不斷催生著包括手勢、眼動、表情在內的交互新途徑，具有觸覺反饋、視線跟蹤和眨眼檢測的點設備也逐漸投入商用，可感知用戶界面，有形用戶界面正在日趨成熟。而且隨著物聯網的發展，越來越多的智能家居、遠程協作和藝術創作等新的多模態交互場景應用到實際生活中來，在此類交互場景中交互指令并非總是顯性的，而且通常都包含多個用戶。（圖1）

圖1

種種新的多模態交互形式的產生，用戶參與多模態交互動態決策過程發生在不同的社會環境中，處于不同的交互階段，并沒有充分考慮到多模態接口要求用戶在現實情境中執行新的、可能令人尷尬的行為的問題。

二、研究過程與方法

手勢和語音被作為此次研究的重點，因為它在現下的交互場景中被廣泛應用，且具有高度可見性。本研究主要分為三個階段采集用戶對多模態交互場景可接受度。

首先，采用視頻和調查問卷的形式探究了影響交互技術接受度的因素。用視頻采集記錄研究員基于手勢交互的初始反應，收集一些用戶可能接受的互動技術的初始數據，將視頻整理剪輯形成互聯網調查問卷，在更廣的范圍內調查了這些交互技術能夠被感知的可能情況。

其次，將交互方式分類，如接觸設備和不接觸設備即為不同交互方式。設備抖動和按壓都涉及直接操作移動設備。眼動追蹤、手勢識別和語音控制是不接觸設備的交互方式。在街頭做隨機采訪，要求用戶在公共場合做一組手勢、身體動作，或者發出聲音等交互方式，并詢問用戶為什么喜歡或不喜歡這些交互方式。

最后，調查了特定多模態交互場景中的不同用戶對交互方式做出的反應。探討了更復雜的社會環境中不同因素是如何影響用戶可接受程度的。

三、研究發現

（一）用戶接受意愿的過程性

社會可接受性是用戶對于由接觸交互場景開始到獲得反饋為止連續收集信息并受過往經驗所影響的對交互場景的由圍觀到接納認同的過程或予以忽視、拒絕等行為反應。在整個過程中，社會可接受性不是一個簡單的可接受或不可接受的問題，而是一個隨著時間不斷發展的連續決策過程。用戶執行相關動作，對交互指令做出決策，收集來自當前或想象中的社會因素的反饋，并適當地調整決策。而過往經驗與個人所處的環境和過往決策密切相關，同時受更高層次的社會經驗影響。個人經驗受個人決策產生，而個人決策反過來又作用于更高層的次整體社會經驗變化。（圖2）

圖2

在多模態交互場景的交互執行過程中，單就用戶與交互裝置之間的性能交互來看，用戶可接受度來源于認知有用、工作適配、相對優勢以及成果期望，當用戶認為該交互方式的使用能提高效率，明顯感受到比其他工具更強烈的優越性時，他們對該交互方式接受程度較高。觀察用戶對交互設備的使用情況，通過屏幕上的交互指引，或者觀察其他用戶的操作過程而選擇是否采用此種交互方式。初次使用過后，對操作的熟識程度提高，進而進入深度使用階段，用戶會獨立完成操作，甚至會引導朋友學會使用該裝置，在該過程中體現的已經不限于“性能交互”，而是更廣泛的適用性?；拥耐暾^程的滿意度是評價其對該多模態交互場景接受程度的關鍵指標。

（二）本能動作一致性

當用戶接觸新的交互裝置或者接觸新的交互方式的時候會陷入思維困境，每個人都會以自己的一套思維模式去嘗試理解，而交互設計就是要用最簡單的方式打破思維困境。因此用戶接觸新的多模態交互方式時，為用戶提供熟悉的與之前習慣相符的交互模式可以滿足用戶的預期心理模型。

用戶接受或拒絕多模態交互技術，很大程度上取決于這類交互行為是否與日常行為相似。在實地調研中，用戶描述輕敲或者輕拍是高度可接受的，因為這是日常生活中已經發生的行為。例如搖動手機是可以被接受的，因為搖動手機就像搖動瓶子一樣自然。因此在采用新的多模態交互技術時，應該考慮交互模仿日常生活中用戶的生活習慣。

（三）交互動作的目的性

交互操作過程中交互動作目的性對接受意愿起著重要作用。交互動作應該具有明確的目的性，這需要交互裝置的圖形界面或者語音提示用戶執行該操作的時候所觸發的反應與操作意向一致。參與者描述不喜歡基于手勢交互的原因之一是可能引起不必要的注意或引起用戶的誤解。單純的滿足實現交互裝置的功能需求，還不足以促使用戶接受該交互方式，用戶還希望隱藏他們的交互行為。

在交互場景以外不具有明確意義的姿勢比日常生活中常用的象征性姿勢更加難以接受。因為不具有明確意義的姿勢容易使用戶產生誤解，容易被用戶遺忘，學習成本較高。在二次應用到新的交互場景中容易產生理解偏差，因此這些交互行為結合到其他交互裝置乃至日常生活中時更為困難。

這項研究表明用戶對不同手勢模式準確性的感知極大地影響他們的體驗，這些包括更大的控制感，隱藏交互的能力，或者僅僅是交互的新體驗。這些結果為設計者提供了鼓勵用戶采取新的互動的方法，否則這些互動會被認為是不可接受的。相較于身體協同動作而言簡單的上肢動作更容易被用戶所接受。此外在公眾場合 和認知負荷的狀態下用戶的交互意愿顯著降低。

（四）交互空間私密性

用戶置身于交互場景中與設備進行交互的時候，受到圍觀群眾的影響，而觀眾也會根據操作者對多模態交互技術做出的反應，而決定是否嘗試使用設備。在有圍觀群眾的情況下，操縱可見性則成為影響用戶接受意愿的主要因素。在公共場合類似“自言自語”的互動對用戶來說是不可以接受的。

隨著空間私密程度的降低，用戶操作意愿減弱。用戶最樂意接受的是獨自一人操作設備，最不愿意接受的是在陌生人面前操作設備。設計師在選用尤其是用于在陌生人面前的公共設備中使用的交互接口時必須考慮到這一點。本研究觀察用戶在同一交互場景下面對不同的觀眾是否會影響其交互方式的選擇。這些結果表明，熟悉他人的存在顯著地提高了進行手勢或基于語音的交互的可接受性。在互動過程中，用戶更傾向于多人互動。這表明在開發社交或協作界面，多個用戶一起參與交互，可以利用熟悉受眾的存在來鼓勵更有表現力的交互。

表1

以手勢交互接受程度為例，用戶最能接受的地方是家，最不能接受的地方是開車，緊接著是人行道。由此可以看出除了考慮其私密性的因素以外，還要考慮用戶同時進行多項任務時的認知負荷狀態。（表1）

（五）文化背景導致交互初始偏好的差異性

在潛在動機相同的情況下，不同的文化背景驅動用戶選擇不同的初始偏好。例如，在兩種文化中都存在交互而不引起不必要注意的動機，但是表達方式不同，導致不同的偏好。中國的受訪者，更傾向于渴望執行微妙或隱藏的動作，如用眼睛凝視或輕敲。在日本，這種動機被表達為不想用基于語音的交互偏好來打擾別人。對基于語音的交互拒絕率顯著較高，因為這些行為在文化交流中被認為對其他人有破壞性的。而中國地區參與者對象征性手勢的拒絕率明顯更高，因為這些手勢因其高度標志性、可識別性而難以秘密執行。然而，即使參與者具有不同的初始偏好，雖然文化背景存在差異，在考慮交互應該如何相對于設備工作、使用功能有多普遍時，他們表現出更多的相似性而不是差異性。

四、結論

隨著技術的變化和進步，創造新的互動方式，對用戶可接受性的評價從一個執行的角度將有助于將這些新的互動成功地融入日常生活中。多模態交互技術目前主要應用于圖像識別、信息檢索和人機對話方面。越來越多的研究成果顯示，多種模態相互配合的信息處理方法能夠給用戶帶來更高效更優質的用戶體驗。例如，采用語義表達配合視覺呈現要優于純文字的分布式語義表達，在愉悅度方面，文本模態的交互方式優于音頻傳遞給用戶的信息，激活度方面，音頻模態的喚醒速度和操作限制度又優于文本模態。在設計早期完成社會可接受性評估對多模態交互方式的選擇具有較強的指導意義，確定不同社會或文化群體中的用戶的初始偏好，僅選擇社會可接受的交互技術開發和部署以節省寶貴的設計和實現資源，并最終實現更可接受的接口，以提高這些交互技術的接受程度。