基于偽觸覺的多感官交互系統設計與研究

摘 要：隨著信息處理技術的提高，人機交互的需求轉向多感官交互，其中觸覺技術的應用具有一定挑戰性。本文基于偽觸覺反饋設計了多感官交互系統，包括振動觸覺反饋模塊、視覺感知模塊和聽覺感知模塊。為評估系統的有效性和可用性，進行了基于偽觸覺的感官模態對比試驗和系統可用性試驗。結果表明，基于偽觸覺的多感官交互系統比單感官或雙感官的感知效果好，系統具有較高的可用性，能夠給用戶帶來優良的交互體驗。

關鍵詞：偽觸覺；多感官交互；振動觸覺；絕對量值估計

中圖分類號：TP 39" " 文獻標志碼：A

科學信息的迅速發展提高了人與信息社會的接口能力，人們對信息交互的需求不再局限于基本的信息反饋，而是希望通過人的手勢、口令、感官或形體等方式與信息環境進行互動。單個感官的反饋已不能適應人機交互技術的發展需求，多感官系統的相關研究尤為迫切。

目前，人機交互接口的功能主要集中在視聽覺交互上，能提供的力觸覺功能有限[1]。傳統觸覺反饋方法通過控制機械運動的方式來呈現變形，設備使用的移動機構和電機導致設備過于笨重，極大限制了設備的外形和靈活性。偽觸覺，即通過觸覺或跨感覺通道信息使用戶產生與客觀情況不同的觸覺感知，通常采用簡單的裝置即可進行觸覺感知調控，具有成本低、體積小和靈活度高等優點，適用于多感官人機交互系統。

目前，基于偽觸覺的多感官研究主要集中在一維、二維的觸覺界面，對三維界面的研究較少。因此，本文基于PseudoBend三維觸覺反饋技術，設計并搭建了一個多感官交互系統。該系統包括振動觸覺反饋模塊、視覺感知模塊和聽覺感知模塊，并通過感官模態對比試驗和系統可用性試驗，驗證了系統的有效性和可用性。

1 系統設計

基于偽觸覺的多感官交互系統中的觸覺反饋模塊可模擬物體變形過程中由摩擦運動產生的顆粒振動，視覺感知模塊可輸出視覺交互信息，聽覺感知模塊可輸出聽覺信息以加強沉浸感。系統交互框圖如圖1所示。

在系統交互過程中，振動觸覺反饋模塊利用扭矩傳感器測量操作者的扭矩輸入，通過ADC將模擬信號轉化為數字信號，利用STM32單片機對數字信號進行處理。當扭矩輸入達到閾值時，單片機同時輸出視覺信號、聽覺信號和觸覺信號，分別通過顯示器、耳機和線性馬達與操作者進行感官交互。

1.1 振動觸覺反饋模塊

該模塊是整個交互系統的樞紐。在交互過程中，操作者對手柄施加扭矩，當扭矩差值達到設定的閾值時，系統觸發線性馬達并發出顆粒振動。該振動由一個14 ms內線性衰減到0的正弦波實現。研究表明，該振動能夠給人以剛性物體變形的觸覺錯覺。

手柄裝置如圖2（a）所示，中間為靜態扭矩傳感器，兩側為3D打印手柄。靜態扭矩傳感器用來測量2個手柄間的扭矩，將扭矩傳感器用螺絲連接到3D打印空心圓柱手柄上，如圖2（b）所示。手柄壁上有一個小孔，可穿過線性馬達的導線。手柄部分裝置重220 g，成年人可輕松取握。信號生成部分裝置搭建如圖2（c）所示，從左至右分別為STM32微控制器、HX711 A/D轉換器、TDA7297功率放大器和指示燈。

該裝置可對不同閾值下的感知剛度進行預測試，本文最終確定將3個閾值作為試驗樣本，分別為0.02 nm、0.1 nm和0.3 nm。其中，0.02 nm是最強的變形感覺，0.3 nm是最弱的變形感覺。

1.2 視覺感知模塊

該模塊由顯示器實時傳遞視覺信息。使用Adobe After Effect 2021進行視覺感知模塊模型動畫制作，通過手柄模型表面紋路的扭曲程度和手部的扭動動作呈現模型的扭曲變形，不同扭曲程度的模型效果如圖3所示。

1.3 聽覺感知模塊

該模塊通過一個頭戴式耳機進行音頻信息傳輸，以加深聽覺交互，同時起到隔音、降噪的作用。使用Adobe Audition CC 2019進行聽覺感知部分的聲效制作，控制單個材質變形的音效樣本的輸出頻率，可取得扭轉速度和程度不同的音頻效果。對不同頻率的聲效進行預測試，被試反應音效樣本的輸出頻率高，聽覺感知扭轉速度快，扭轉程度大；反之，音效樣本輸出頻率低，聽覺感知扭轉速度慢，扭轉程度低。

2 用戶試驗和數據分析

2.1 試驗設備與環境

在試驗過程中，被試坐在桌前的一張椅子上，桌上有一臺顯示器和一個用黑布覆蓋的箱子。觸覺感知設備放置在黑箱內，避免設備外觀對被試的視覺感知造成影響。被試全程佩戴降噪耳機，傳遞聽覺感知信息的同時消除振動噪聲對被試聽覺感知系統的影響。為了防止被試對觸覺感知設備如何變形形成假設和偏見，在試驗結束前不允許被試看到觸覺感知裝置。所有試驗結束后，向被試說明試驗的研究目的和具體內容。

2.2 基于偽觸覺的感官模態對比試驗

為驗證基于偽觸覺的多感官系統的有效性，本文設置了對比試驗，比較不同感官組合下被試對剛度感知評分的范圍。感知評分覆蓋的范圍越大，說明產生的偽觸覺感知越強烈，即對應感官組合對偽觸覺感知的影響程度越高，以此驗證基于偽觸覺的不同感官組合的交互效果。

本文設置1個試驗組和3個對照組。試驗組進行由視觸聽組成的多感官感知，對照組一進行觸覺感知，對照組二進行視觸感知，對照組三進行聽觸感知。對于觸覺感知，通過調節不同閾值來模擬不同剛度效果并呈現不同的變形程度；對于視覺感知，通過顯示器呈現不同的視覺效果和變形程度；對于聽覺感知，通過控制音效頻率來呈現不同的變形程度。為3個感官分別設置3個素材，如圖4所示。當試驗組或對照組進行2個及以上的感官感知時，分別采用同一素材編號下的感官素材組成對應組的試驗樣本。

試驗共招募被試12人，被試的平均年齡為22.2歲，其中1名為左撇子，所招募的被試無人有感覺運動障礙。共有4組試驗，每組被試按照隨機順序對3個樣本分別進行3次剛度感知并進行評分。第一部分剛度感知測試用于訓練，其結果被丟棄，因此每個閾值樣本有2次有效剛度評價試驗數據。組間試驗順序均隨機。

本文采用的絕對量值估計法（Absolute Magnitude Estimation）對被試的主觀感覺強度進行度量。首先，進行試驗數據收集，即被試在沒有參考刺激的情況下，用他們認為合適的正數對剛度感知強度進行評價。其次，進行試驗數據標準化與分析，即采用平均偏差法（Mean Deviation）[2]對試驗中收集的數據進行標準化處理，以消除不同被試產生的數據偏差。平均偏差法的數據標準化處理流程如公式（1）～公式（5）所示。

（1）

式中：GM為全部原始數據的平均值；Xijk為第i個被試、第j種刺激的第k次測量的原始數據；l 為一個被試對振動刺激的重復測量次數，本文中 l=2；m為刺激種類的數量，本文中m=12；n為被試的數量，本文中n=12。

（2）

MDi=Mi+GM （3）

式中： Mi為第i個被試的平均值；MDi為第i個被試與全部原始數據的平均差異。

（4）

SVij=Mij-MDi （5）

式中：Mij為第i個被試的第j種刺激的重復測量平均值；SVij為第i個被試的第j種刺激的標準化值。

對標準化數據進行Shapiro-Wilk正態性檢驗。由于數據不完全服從正態分布（P＜0.05），因此使用非參數檢驗方法Friedman檢驗進行數據分析。結果顯示，每個組內的3個樣本間均具有顯著差異（P＜0.05）。試驗組的剛度感知范圍顯著大于其他3個對照組，如圖5所示。試驗結果表明，基于偽觸覺的多感官系統比單感官或雙感官的感知效果更好。

2.3 系統可用性試驗

為評估本系統的可用性，即該系統是否能夠通過多感官方式給用戶帶來優良的交互體驗，本文采用系統可用性量表（System usability scale，SUS）對系統進行評估。該量表由10個陳述句構成，系統測試后要求用戶對這些句子的同意程度進行評分，并計算出用戶的SUS分數，分數區間為0～100。本文對SUS分數做出解釋：即x＜50表示不可接受；x為50～70為臨界值；x＞70表示可接受。

試驗共招募被試23人，被試的平均年齡為21.6歲，其中1名為左撇子，9名被試參與過前面的試驗。1名被試沒有完成試驗，有效被試22人。所招募的被試無人患有感覺運動障礙。將感官模態對比試驗中的多感官樣本作為試驗素材，被試自行使用系統，測試結束后，被試填寫系統可用性量表。被試對多感官交互系統的可用性評估情況如圖6所示。13人（59%）表示可接受該系統，9人（41%）的評分處于臨界值。系統的SUS評分均值為76.250（＞70）。結果表明，該系統能夠通過多感官方式給用戶帶來優良的交互體驗。

3 結論

本文基于偽觸覺技術進行了多感官系統的整體設計和系統各模塊設計，并完成了系統的原型搭建。在此基礎上，通過用戶試驗評估了基于偽觸覺的多感官系統的有效性和可用性。本文設計的多感官交互系統具有成本低、體積小和控制方法簡單等優點，能在較大程度上優化人機交互時的用戶體驗。本文對促進偽觸覺、多感官等應用技術和相關領域的研究與發展具有重要意義。

參考文獻

[1]宋愛國，田磊，倪得晶，等.多模態力觸覺交互技術及應用[J].中國科學：信息科學，2017，47（9）：1183-1197.

[2]HAN S H，SONG M，KWAHK J.A systematic method for analyzing

magnitude estimation data[J].International journal of industrial ergonomics，

1999，23（5-6）：513-524.

通信作者：王玫（1968-），女，四川成都市人，博士，教授，研究方向為交互設計和計算機輔助制造。

電子郵箱：wangmei@scu.edu.cn。