自然交互技術的發展與研究

金永寧

一、前言

我們經常在一些影視劇中看到這樣的場景：通過3D立體成像或投影，人可以在空氣中操作數字化內容。當前這類影片都是后期采用數字化方法把這類場景加入原始影片的，仔細回想一下，我們兒時很多的科幻場景現在都已經變成了現實，比如手機和互聯網等等。然而，通過處理人的行為，尤其是在沒有輸入或者穿戴設備的情況下對程序進行控制的技術已經悄然融入在人們的生活中，這種技術統稱為自然交互技術。

二、自然交互概論

下面先來簡要介紹一下計算機用戶界面發展的三個階段：

第一個階段是命令行界面（Command-line Interface，簡稱 CLI），通過使用命令行向機器發命令，完成相應的操作，如Microsoft的DOS操作系統，這種方式是需要用戶有編程能力（Codified）且思維邏輯嚴謹（Strict）；第二階段叫作圖形用戶界面（Graphical User Interface，簡稱GUI），即用圖形界面和計算機進行交互，如微軟的Windows操作系統，用戶需要了解哪種操作對應哪種指令（如單擊鼠標左鍵表明選中，雙擊鼠標表明打開程序），用戶也可以通過對輸入設備的探索來完成對指令的學習；第三階段即本文討論的自然用戶界面（NUI），通過更自然，更直接的方式來操作計算機，直觀的說，使用NUI的計算機不需要鍵盤或鼠標。

自然交互技術，是支持自然用戶界面的技術，包括硬件和軟件兩個方面，縱觀近10年來技術的發展，各種新型設備的出現，科研機構和軟件公司也在不停的進行用戶習慣和交互手勢的研究，蘋果和三星還為此進行了專利訴訟，用戶界面技術也在不停地發展。但是這些成果距離讓我們的操作變得更加“自然”還離得很遠，用戶要想順暢的使用這些設備也必須首先了解設備的使用方法，比如智能手機中的放大縮小操作，首先都必須進行訓練。

三、交互體感設備的發展及其比較

1.Microsoft Xbox Kinect

Kinect是微軟在2010年6月14日對XBOX360體感周邊外設正式發布的名字。Natal為開發代號。它是一種3D體感攝影機，同時導入了即時動態捕捉、影像辨識、麥克風輸入、語音辨識、社群互動等功能。玩家可以通過這項技術在游戲中開車、與其他玩家互動、通過互聯網與其他Xbox玩家分享圖片和信息等。

Kinect的組成結構如上圖所示，由3D深度傳感器，顏色攝像機，麥克風陣列和馬達云臺組成。3D深度傳感器由紅外激光結構光設備搭建，可以實時獲得場景的深度信息，進而可以對周圍環境進行三維重構；顏色攝像機可以進行圖像的采集，然后可以進行對采集的影像進行識別和檢測；麥克風輸入可以進行語音檢測；馬達云臺可以用來校正攝像機位置和仰角。

開發Kinect可以使用官方的SDK。該SDK主要針對 Windows7設計，內含驅動程序、原始感測數據流程式開發接口（Raw Sensor Stream sAPI）、自然用戶接口、安裝文件以及參考數據。可讓使用C++、C#或Visual Basic語言搭配Microsoft Visual Studio 2010工具開發使用。Kinect的開發也可以使用開源的自然交互庫OpenNI，其中包含了更多對手勢的識別和檢測的接口。

2.Asus Xtion PRO

Xtion PRO是華碩針對PC開發的一款體感設備，于2011年6月正式發布。Xtion PRO和Kinect一樣，使用PrimeSense公司的提供的方案，由3D深度傳感器和顏色攝像機來構成對世界的三維重構和對圖像的識別。Xtion PRO沒有馬達云臺，麥克風也比Kinect設計的要弱。

對于PC開發用戶來說，Kinect需要獨立的電源供電，Xtion PRO僅需要一條USB線。Xtion PRO的另一個特點是體積小，因此更適合小型家用計算機。OpenNI即Xtion Pro的原生開發工具，因此它比Kinect多了手勢檢測的功能。

3.Intel CREATIVE Camera

英特爾Intel公司新推出一款交互姿勢檢測攝像頭CREATIVE Camera，這種設備很小巧，只有一個普通攝像頭大小，可以方便的夾在筆記本上面，通過紅外結構光構建空間環境，對人的三維信息進行解算和處理，從而作為一種輸入設備對計算機進行控制。體積比Xtion更小，適合在筆記本上使用，且RGB 攝像頭達到720p的清晰度，要比Xtion和Kinect成像質量更好。目前此產品的SDK已經發布，但產品還沒有對外公布，因此并不知道實際測試的結果和性能，只能透過官方發布的參數信息來了解。

4.LEAP

LEAP是LEAP Motion公司于2012年年初發布的一款手勢控制設備，此款設備只有一包口香糖大小，通過USB連接電腦后可以創造出一個4立方英尺的工作空間。通過對此空間范圍內的物體進行精確的檢測生成高質量的點云信息，可以分析手的行為和動作來控制程序和操作系統。從已發布的操作視頻可以看到，LEAP性能很好，采集信息準確且實時解算速度很快。2013年9月，在惠普最新推出了最新款的Envy 17 Leap MotionSE超極本中，集成了Leap Motion的手勢操控模塊，用戶可以通過手勢的操作控制計算機，搭配指定的軟件，可以實現不少很有趣的功能，相比獨立的Leap Motion，整合在Envy 17掌托中的Leap Motion小了大約70%。

四、總結和展望未來交互技術的發展趨勢

縱觀交互技術的發展，人們趨向于更自然更酷更炫的交互體驗，廠商也在不遺余力的開發并對這些新技術進行推廣，例如三星最新的Galaxy S4手機中使用的眼球翻頁技術。這類交互體感設備的推出，使得科幻電影中的人機交互場景成為可能。國內的體感設備應用現在還處在起步的階段，未來有可能會成為一種行業標準，如果開發方式較容易且有趣，亦可以轉化為相關的交互設計課程。