基于智能手機的三維交互技術探究

王象剛

（東營職業學院，山東東營，257091）

1 智能手機三維交互框架

智能手機，尤其是像蘋果，三星等配有高像素攝像頭、大尺寸多點觸摸屏幕、豐富傳感器的手機，給大屏幕交互帶來了新的希望.相比于鼠標等傳統設備，智能手機具有明顯優勢。智能手機有著不同于傳統交互設備特點：傳統交互設備專用性較強，如鼠標的發明是為了用于WIMP 界面交互，而智能手機的主要用途是通訊；鼠標輸入通道單一，其移動與按鍵構成全部輸入而智能手機集成了多個輸入通道，如攝像頭視頻輸入通道、話筒語音輸入通道、慣性傳感器運動輸入道、觸摸屏輸入通道等；傳統鼠標交互需要支撐面，因此其交互范圍受到限制，而智能手機采用無線方式在三維空間中進行交互.通過分析智能手機與大屏幕交互過程中的數據流動。

所示，它采用客戶端服務器架構，客戶端運行于手機上，服務器端運行于公共大屏幕等后端服務器，客戶端用Wi-Fi 或者藍牙與服務器進行通信客戶端按數據流動的方向劃分為交互層、應用邏輯層、網絡層.交互層監聽用戶的交互操作，將捕獲的觸屏輸入與傳感器輸入傳遞給應用邏輯層.應用邏輯層含觸屏輸入處理模塊、空間姿態解算模塊以及消息合成模塊.觸屏數據輸入模塊處理交互層發送過來的手指手勢信息并將其解釋成觸屏消息；空間姿態解算模塊處理交互層發送過來的傳感器原始數據并計算出設備的空間姿態；消息合成模塊將屏消息與空間姿態通過定義的交互消息格式合成為交互消息，交由網絡層負責發出.服務器端按數據流動的方向劃分為網絡層、交互映射層、界面層。

2 三維人際交互分類

2.1 基本交互任務

所謂的基本交互任務就是我們平常所使用的漫游技術，或則是系統控制任務，使用者操作技術時三維用戶界面的基礎，通常也是交互技術的基本組成部分，比如在系統控制技術中必須用到選擇技術來判定三維物體，而對于離散點的漫游技術中，同樣需要連續的選擇多個點組成運動軌跡來實現。

2.2 雙手交互技術

所謂的雙手交互技術憑借其在行為學上的優勢而受到較為廣泛的推廣，雙手交互技術不僅僅能夠提高工作效率和網速，還能將用戶在日常生活中的技能自然的反映到人機對話中，從而有效的降低用戶的學習壓力和使用難度，比如虛擬制造就是雙手交互技術比較典型的應用。

2.3 多通道交互技術

多通道交互技術時基于人具有多通道感知能力來發明的，為用戶提供形象逼真的感官體驗是虛擬環境研究的關鍵，從這個角度來說，虛擬環境就是研究多通道交互技術的最佳環境，比如語音、手勢都可以作為輸入通道，不難理解，各個通道之間的融合和用戶使用意圖的敏銳捕捉是多通道交互技術的關鍵。

2.4 二維設備的交互技術

基于二維設備的三維交互技術可以說是從CAD 領域發展而來的，現階段主流的CAD 軟件都支持鼠標進行二維變化，但是二維設備應用不夠靈活，三維界面中的自由度往往需要轉化為鼠標的操作序列，這就會降低用戶的操作效率和交互自然性，二維設備中最為合適的交互技術就是指點選擇。目前的三維交互設備還處于探索階段，還沒有一種比較完善的輸入裝置能夠像二維圖形界面一樣廣泛的流行開來，但是三維設備的發展特別快，目前已經由的三維交互設備主要有立體顯示、3D位置跟蹤設備等，立體顯示設備比如我們日常使用的可移動的顯示器等，立體眼鏡是一種特殊的眼鏡，使用者能夠從眼鏡上看到顯示器上的立體圖像，三維的顯示器能夠根據人眼的區別顯示兩種圖像。

3 基于慣性傳感器的姿態解算

對物體空間姿態與位置的研究主要來源于捷聯慣導系統，軍用系統中借助GPS、全站儀來輔助計算.由于設備的限制，本文只關注設備姿態的計算，而對于位置計算則不做過多探討.物體的空間姿態解算的經典算法有龍格－庫塔法以及卡爾曼濾波.龍格－庫塔法通過對陀螺儀的三軸角速度值進行積分，可以得出任一時刻的空間姿態；其缺點在于陀螺儀精度有限，長時間積分會發生誤差積累，使計算結果隨時間發生漂移.爾曼濾波用加速度計測量值作為觀測值去校正前一狀態通過陀螺儀積分計算出來的預測值，通過迭代過程預測值被更新并且逼近真實值；其缺點在于在運動比較平穩的情況下其預測效果很好，但是當運動較快等受慣性力情況下，因受加速度計值快速變化的影響，會出現抖動嚴重以及收斂較慢等情況，并且迭代過程計算量也較大，算法復雜度較高.針對上述問題，本文提出了一種輕量級、實時準確的多傳感器融合空間姿態解算算法.由于手機運動過程總是快速運動狀態與準靜止狀態（手機運動速度非常小，接近于靜止狀態）的相互轉換，當手機快速運動時運動幅度較大，加速度計值，因為無法消除重力分量而不可信，在此狀態下棄用加速度計值，用四階龍格－庫塔法對陀螺儀數值進行積分求得運動狀態下的空間姿態；而當手機在準靜止狀態時，即三軸加速度模值接近重力加速度g時，加速度計值結合磁力計值用重力分解法解算空間姿態，可達到消除當前姿態漂移誤差的目的.整個計算過程是基于四元數運算的，四元數相比于歐拉角來說，可以避免“萬向死鎖節”，并且相對于旋轉矩陣來說，四元數只需4 個數表示可以簡化計算過程。整個姿態解算過程步驟如圖1：

帶有慣性傳感器、觸摸屏、攝像頭智能手機，如目前出現的蘋果、安卓系統的手機，它們在具備通訊功能的同時，可以很方便地用于遠距離、大幕的交互.本文基于傳感器與觸屏信息融合的思想，提出2 種交互技術，分別用于二維交互場景與三維交互場景，達到用手機代替傳統二維交互設備在這些場景下交互的目的.本文進行了相關應用實例的開發與評估，從實驗的結果可以看出，在二維交互應用場景中，手機通過合適的交互映射技術，幾乎可以代替傳統的鼠標與鍵盤進行交互；而在三維應用場景中，在交互效率、自然性、易學習性以及用戶偏好方面，手機相比于鼠標鍵盤都有著不可比擬的優越性.開發者若基于智能手機的三維交互框架，能快速地開發出適應用戶需求的應用；整個框架可擴展性強，通過添加相應的模塊即可用于特定的交互場景.智能手持設備除了具有移動通訊功能外，也是一類具有輸入、輸出集成的多通道交互設備，在虛擬現實和普適計算等領域具有廣泛的應用前景。

4 三維交互映射

三維交互映射是將獲取的輸入信息映射成三維交互操作的技術三維交互技術可以分為虛擬手（virtual hand）與虛擬射線（virtual pointer）2 種，在“虛擬手”中，用戶主要通過“虛擬手”來觸摸與拾取物體；而在“虛擬射線”中，用戶主要通過指向物體來進行交互.本文中可以獲得手機的空間姿態［φ，θ，ψ］，但是手機空間運動的位移與位置由于傳感器的限制無法精確計算，而“虛擬射線”中的第九射線技術用指點設備的空間姿態就可以對物體進行控制，所以本文選擇用第九射線實現三維交互.經典第九射線通過空間姿態的映射達到對物體3DOF 的控制.具體來說，用ψ 角映射為三維空間x軸上移動物體，θ 角映射為y軸上移動物體，而φ 角映射z軸上旋轉物體.本文通過把空間姿態與觸屏信息相結合，對第九射線算法進行了改進，在實現了在x，y軸上移動物體以及z軸旋轉物體的同時，增加了對物體在z軸上移動以及放大縮小的控制。

圖形菜單的轉變是三維交互映射中的主要內容，將二維的圖形菜單變為三維的，是當下最為受歡迎的系統控制技術，這些菜單的原始功能與桌面環境下的基本相同，通常情況下，二維的菜單具有下拉式、浮動式以及彈出式菜單，將二維的菜單轉為三維技術，其中最為關鍵的就是將菜單選項對準相機，這樣的話用戶不管向哪看，都可以看到菜單顯示，這種三維的菜單最大的優勢就是對于交互技術能夠靈活的應用，并且便于用戶理解和使用，基本上所有的用戶都能立刻識別這些菜單的元素。智能手機的空間坐標分布（如圖2）：

菜單的位置直接影響著用戶對設計結果的接受程度，從這個角度來說，菜單最好是能夠便于用戶操作。任何操作技術都是由一定的適用范圍的，比如醫學中的操作技術不能夠在城市規劃中使用，因此在研究交互技術之前，我們必須要明確交互任務，要根據不同的操作華寧，采用不同的操縱方式，從而實現不同的交互技術應用。

5 結語

三維交互技術將是未來智能手機發展的一個重要方向，我們要基于現有的技術水平，不斷的改進和創新三維交互技術與智能手機的結合技術，不斷提升智能手機的性能和質量，更好的滿足用戶的日常需求，進一步豐富智能手機的功能，實現更為廣泛的應用和推廣。三維交互技術將是未來手機的一個重要的發展方向，因此我們要不斷的豐富和完善智能手機的三維交互技術，不斷的創新三維交互設備，充分利用二者的優勢和長處，徹底的實現優勢互補和資源共享。

圖2

[1] 董世海. 人機交互的進展及面臨的挑戰[J].計算機輔助設計與圖形學學報.2013

[2] 廖竹華. 裝配仿真的三維交互和用戶界面設計[J].系統仿真學報.2013

[3] 永剛.桌面環境下的三維用戶界面和三維交互技術[D].中國科學院研究生院博士學位論文.2013

[4] 邢衛東. 基于GVS 的城區漫游系統的開發[J]. 計算機應用.2011