基于混合現實的人機交互系統設計

丁德菊（作者單位：西藏廣播影視節目傳輸中心）

?

基于混合現實的人機交互系統設計

丁德菊
（作者單位：西藏廣播影視節目傳輸中心）

摘 要：本項目主要目標是摒棄傳統的人機交互模式，在項目中構思了混合現實的人機交互，即用戶可以用現實中真實的物理反應與虛擬環境作結合，以便展現出更有趣的互動功能。符合人們使用習慣，更加注重用戶體驗。該系統以EC5-1719CLDNA嵌入之星為硬件平臺，結合使用迷你投影系統及鐳射控制系統，在用戶輸入體驗上采用獨特的LRMT鐳射增強反射非確定表面的Multi-touch技術，在軟件上開發了無紙化辦公的交互引擎，并充分利用多線程及硬件平臺的強大計算性能。

關鍵詞：混合現實；非確定表面Multi-touch；圖像識別；交互引擎

“無紙化”辦公概念提出至今，已經經歷了超過20年的發展，然而，期間國內外普遍研究的重點都放在構建以PC機和網絡為平臺的一套在企業公司內部使用的辦公軟和郵件收發系統，因而整套系統存在移動性差、無法滿足人們的閱讀習慣等缺陷，同時由于打印機等電子產品的普遍使用，使得“無紙化”變成“多紙化”，與最初目標背道而馳。本項目關注用戶體驗，在無紙環境下為用戶提供習慣性的書寫功能，讓人們逐漸從紙制環境轉移到功能及感受較為相似的電子虛擬環境，為用戶提供更為豐富的、新的體驗感受。

1　系統方案

本系統以EC5-1719CLDNA嵌入之星為硬件平臺，結合使用迷你投影系統及鐳射控制系統，在用戶輸入體驗上采用獨特的LRMT鐳射增強反射非確定表面的Multi-touch技術，取代了傳統的鼠標和觸摸屏部件，在不需要任何標準配件的輔助下，在任何環境下，輕松實現家庭娛樂辦公的人機交互（圖1）。軟件交互系統采用JAVA語言實現，保證了整個軟件系統的可移植性，同時獨特的軟件架構設計，保證了功能的擴展性，在已完成的功能中，可以實現圖片瀏覽、記事辦公、多用戶參與、家居設計和多界面模式等功能。在未來版本中，將完成用戶與用戶間文件傳輸及共享等功能。

圖1　混合現實的人機交互系統

2　功能與指標

現實中，人們通常使用辦公桌進行書寫、編輯、演算和繪圖的工作。要想用計算機系統替代人們對于這些工作內容的傳統辦公模式，除了要在軟件系統上實現這些辦公功能以及提供良好的用戶界面外（表1），更應該考慮保留人們在水平桌面上辦公、討論的習慣，而不是構建一個垂直顯示的液晶屏幕或投影幕布來進行交互，想想人們圍繞在一張辦公桌上探討問題，那是多么高效而又愜意的一件事！

2.1 非確定表面的Multi-touch技術

為了實現用戶通過雙手及任意筆對虛擬對象的交互操作，特別設計了用戶輸入技術。2006年Siggraph的Emerging Technology單元上展出的Multi Touch技術記憶猶新。目前現有的Multi-touch技術都是基于物理硬件觸摸裝置實現，例如，LucidTouch技術，多點輸入觸摸屏-FTIR-受抑全內反射（Frustrated Total Internal Reflection）技術等，但這些技術都需要借助一個的固定物理觸摸裝置，攜帶及安裝不便。

創新特色技術—稱之為LRMT鐳射增強反射（Laser Reflection Multi-touch）的非確定表面的Multi-touch技術，即用戶可以在現實中任意的表面上進行多點觸摸（如桌面、地面、墻面等），觸摸范圍可以任意調節。

表1　基本的桌面交互功能

2.2 用戶體驗交互的界面

交互引擎：負責對虛擬對象的建立、顯示、特效渲染，用戶輸入反饋到可視區域，保證用戶所見即可操作，所點即所要。完成用戶所有的交互反饋操作及處理。同時引擎對交互的虛擬對象進行多線程的優化。

軟件功能：（1）照片的瀏覽，照片放大、縮小、旋轉、折疊（可以在背面留下一些信息，可以是手寫體也可以是打印體）；（2）A4紙及便筏條，任意書寫，通過虛擬鍵盤可以錄入標準字體等，紙的反面有功能菜單，可以實現清除、銷毀等操作；（3）虛擬鍵盤；（4）地圖瀏覽；（5）碎紙插槽。

2.3 軟件部分功能介紹

紙和便簽功能（圖2）：用戶可以如同真實的感覺實用紙張一樣，可以用筆也可以用手來進行書寫、折疊、旋轉、縮放等功能。

照片以及平面材料的瀏覽（圖3）：用戶可以像真實的紙質材料那樣處理它們，可以散開或合攏，放大縮小等，甚至折疊照片在反面記錄信息等。

板書書寫功能（圖4）：用筆在投射虛擬界面中進行書寫，讓任何物體表面上都能進行書寫。

2.4 硬件架構（Hardware Architecture）

如圖5所示，硬件上特別選用基于OLED技術的Toshiba產的DLP迷你投影儀，設備尺寸很小，大概只有一個巴掌大小，攜帶方便，亮度達到了400流明，也是本項目的首選。LRMT技術則需要依賴于鐳射控制系統、鐳射模組以及CMOS攝像頭，鐳射控制系統是由核心是AVR單片機控制，同時通過RS232與上位機通訊，并連接鐳射模組進行鐳射信號發送。

圖2　紙和便簽功能

圖3　照片以及平面材料的瀏覽

圖4　板書書寫功能

3　實現原理

3.1 LRMT鐳射增強反射（Laser Reflection Multi-touch）技術原理

LRMT是一整套多點虛擬觸摸的方案，由鐳射控制、鐳射發射裝置、圖像捕捉識別系統3個部分組成。

3.1.1 鐳射系統

鐳射模組發射出一字線650nm光譜的紅色激光（圖6），光線平面水平與觸摸表面。鐳射模組發射的激光具有一定角度，采用120°的鐳射鏡頭。鐳射模組擺放位置到具體探測表面的計算方式有：設L為探測表面的最大寬度，一般根據投影系統投射出的屏幕寬度來定，即L=Lp，Lp為投射區域最大寬度。鐳射擺放位置距離投射區域的距離為D=L/2·tg （FanAngle/2）（見圖7）

圖6　紅色激光

圖5　硬件架構圖

圖7　鐳射擺放示意圖

鐳射系統控制是由AVR MEGA8535單片機+鐳射專用控制芯片EG-NMLCd組成，控制鐳射發射器。同時通過RS232接口和Intel嵌入之星通訊。

3.1.2 圖像捕捉及識別

鑒于嵌入式之星強大的處理能力，CMOS攝像頭捕捉的圖交給嵌入之星處理。圖8中顯示了整個圖像識別的流程，在下面會詳細介紹圖像識別流程各個過程的技術細節。

3.2 虛擬交互軟件UMOT

用戶體驗是通過LRMT技術方式輸入，對交互界面呈現的虛擬對象進行操作，然后實時地將處理過程反饋到用戶的眼前，從而達到與真實一致的互動性。交互界面的核心是由一套完整的交互引擎在后臺提供各種算法級服務。此引擎提供了完整的虛擬對象的呈現，虛擬對象各種反應處理機制，交互圖形表達方式等。引擎的圖形渲染采用了GDI+與openGL技術相結合，讓虛擬對象的表達更接近與真實。所有的軟件功能都是基于引擎提供的API處理函數來實現的。引擎的代碼量在2萬行左右。此引擎代號為UMOT-ultra mobile office tabletop。

3.2.1 軟件架構

為了在嵌入之星上實現技術方案，在軟件上我們必須考慮程序以及算法的可行性，是否可以在設備穩定的運行。在整個項目的開展中我們確實遇到了很多困難，并且提出了自己的解決方案。我們充分考慮到Intel雙核多線程的處理效能，多虛擬對象的處理都是完全依賴多線程的處理。

由于大部分應用都需要基于軟件算法的支持，這里給出了軟件的基本架構（見圖9），軟件分成了兩個部分，一個是UMOT client部分，它運行在嵌入之星上中，另一個則是服務器端的軟件程序。

3.2.2 引擎類結構的關系

整個UMOT引擎中大概封裝了大約有60個Class，其中虛基類和interface

圖8　LMRT技術的圖像識別流程

圖9　軟件基本架構

（下轉第240頁）

class有20個，分別定義了引擎的基本框架及實現接口。其余的類是真正的實現代碼部分。

引擎的最底層的圖形效果是在DsjoglTabletoppane、DsTabletop和JDestopPane中實現，實現了旋轉、放大、縮小、陰影和折疊等渲染效果。在DsEngine的子類中實現了引擎中支持的桌面的各種效果，如四方桌模式、圓桌模式等。DSimage和DsFrame是中實現了對象的界面顯示效果，由于系統本身并不支持旋轉的窗體等對象，項目中幾乎要重寫窗體實現效果以及內部的處理消息。

4　系統測試

在系統實現過程中，由于整個系統分成鐳射增強反射子系統及人機交互軟件子系統并行開發，因而在每個模塊完成后，都編寫了相應的測試程序對其進行測試，各個模塊都取得了較好的效果。當所有模塊編寫完畢后，對兩個子系統分別進行了集成測試，子系統都能夠完成項目規劃所要求的功能。隨后，完整地搭建整個系統，并針對各項功能進行了最后的系統的測試，評定整個系統是否滿足各個功能性能及指標。測試表格及結果如表2。

表2　系統各項功能測試結果

5　總結

本系統以一種全新的設計理念去詮釋人機交互概念，顛覆傳統的單人、借助標準輸入設備、垂直性的人機交互模式，以一種更適合人們書寫、閱讀、辦公習慣的方式讓用戶獲得高效、親切的用戶體驗。系統在識別的準確性、交互的實時性、軟件功能的擴展性和界面交互的友好性方面都體現了較高的應用前景。

參考文獻：

[1]SD Scott, KD Grant, RL Mandryk. System Guidelines for Co-located, Collaborative Work on a Tabletop Display[A]//Proc. European Conf. Computer-Supported Cooperative Work （ECSCW）[C].2003.

[2]R Kruger, S Carpendale, SD Scott, et al. Roles of Orientation in Tabletop Collaboration： Comprehension, Coordination and Communication[J] Computer Supported Cooperative Work,2004（5-6）.

[3]DWigdor, RBalakrishnan. Empirical Investigation into the Effect of Orientation on Text Readability in Tabletop Displays[A]//Proc. 9th Euro. Conf. Computer-Supported Cooperative Work （ECSCW）[C].2005.