空中手書幻想

不需要鼠標、鍵盤，甚至接觸，計算機會“看到”你想告訴它的一切——在微軟的“未來科技”布局里，識別空中手書是一幕關于人機互動的奇幻片段。

在2054年的華盛頓，湯姆-克魯斯飾演的安德頓戴著他有觸點的手套，邊打電話邊用雙手令人眼花繚亂地在透明顯示器上操作程序和窗口，酷勁十足。即使不是科幻迷和游戲迷，也會有很多人憧憬電影《少數派報告》里科幻般的生活。

事實上，你很有可能比湯姆-克魯斯更酷：當你在空中對著機器比劃的時候，已經不再是“對牛彈琴”。微軟亞洲研究院的識別空中手書技術使得計算機、智能家電、游戲機能夠認識我們所比劃的文字，識別內容包括了漢字、日文、韓文，數字和英文單字。就像“我來比劃你來猜”游戲，不同的是，猜測我們比劃內容的對方，現在變成了和人一樣“聰明”的機器。識別空中手書技術，只需要一臺普通的電腦、一個攝像頭、一個游戲機手柄，就可以實現，脫離鼠標、鍵盤，甚至代替像iPhone那樣觸控技術的人機互動。

如果說鍵盤鼠標輸入和手寫觸控分別代表人機交互的兩個階段，那么，識別空中手書可以說使這種交互進入了3.0時代。“對于這項基礎的創新技術，想到在上面開發出的無數最具有想象力的應用就令人激動。這也是作為研究員最值得期待的時刻。沒有人能預見，軟件開發商和應用微軟平臺的開發人員會在識別空中手書技術上面開發怎樣的應用。可以說，能想多遠就有多遠。”微軟亞洲研究院語音組主任研究員霍強在說這些話的時候，識別空中手書項目的主要負責人馬磊正在旁邊拿著一顆橘子給記者演示微軟的“軟”字。

IT的太極之舞

讓機器“懂得”人類的想法并“表達”出來，并不容易。傳統的使用鍵盤輸入和現在智能手機上流行的觸控輸入，把信息明確地“灌輸”給計算機。然而，空中手寫識別技術，更像是中國傳統的太極拳法，動作不僅像太極拳一樣行云流水，而且能夠“手隨心動”。

識別空中手書項目組設計了兩種解決方案來做演示：最廉價的方式是使用一個網絡攝像頭來觀察用戶手的運動；或者使用一種帶有被稱作“陀螺儀”和“加速度儀”的傳感器的設備來捕捉用戶手的運動。當用戶手的運動被捕捉到之后，對其進行補償，增強后，手寫識別模塊就能認出用戶在空中寫的文字。

“機器從捕捉、映射、識別到顯示，整個過程涉及兩方面的技術。一是動態運動物體捕捉；二是手寫識別。”馬磊向記者介紹道。選擇一個能夠與周圍環境的顏色區分開來的物體，放在視頻捕捉框的中心位置，按動游戲手柄的按鈕開始準備書寫。在這個對運動物體的捕捉過程中，就要教會計算機該捕捉的目標物體，計算機知道了所選擇的運動目標，周圍環境里其他物體的運動就不會產生干擾。

目標物體在空中運動的過程中，產生了一個三維的圖像軌跡，映射到二維的攝像機里的是一個平面化的軌跡圖形，這個平面化的運動軌跡要求對模糊、抖動都能很好的處理。而當計算機獲得了清晰的運動軌跡后，后臺的手寫識別就可以進行分析，從而得到用戶想要書寫的文字。“這個看似簡單的圖像分析和文字識別在相應的領域里都做了幾十年，絕對可以稱得上是高科技。”霍強對記者說，“比如數字3，會有像‘了’等相近的文字，這無疑增加了識別的難度。”最后的識別結果綜合了機器對書寫動作和圖像結果的分析，

“形狀信息很重要，首先要像；另一方面，動態信息也是個很重要的參考。”

馬磊對記者表示，空中手寫識別與在手寫板書寫不同在于，手寫板一筆一劃，折點尖銳。而空中寫字需要一筆完成，沒有虛實的概念，不會提筆。在空中書寫的過程中，“類似于中國的太極，相對圓滑，行云流水。在速度變成零的時候不可能出現相應的折點，需要對這種字體情況進行特殊處理。”

交互的未來

蓋茨曾說，人與計算機的交互將變得越來越像人與人之間的互動。蘋果公司的iPhone手機和任天堂的Wii游戲機，在用戶互動界面的出色表現獲得了消費者的青睞。而微軟的下一代操作系統Windows7，作為自然的用戶界面，也內置了觸摸支持功能；微軟智能觸控桌面電腦Microsoft Surface，看上去更像是一張多功能的桌面屏幕。

談到識別空中手書這項技術的最初想法，微軟亞洲研究院首席研究員兼語音組負責人宋平表示，“這個想法是為了解決在沒有鍵盤或手寫板的特定環境里如何用手勢輸入字符的問題。識別空中手書從技術和提升用戶體驗方面都是一項很杰出的創新。我相信這項創新將有可能被應用到微軟目前和未來的很多產品及服務中。”

而從研發的角度，脫離了鍵盤鼠標的識別空中手書技術將想象力更拉近一步，抑或是對未來主流交互式體驗的提前預演。而這，將為微軟在人機交互體驗上培養越來越多的“手語者”。

對于識別空中手書在未來應用的三個場景，馬磊向記者介紹道，在交互式游戲環境下，用戶在空中輸入一些文字，如名字，答案，甚至是解密類游戲的符號，以獲取不同的游戲體驗；而在可聯網設備上，比如網絡電視(IPTV)和Xbox，甚至還有智能家電，需要輸入文字信息時用遠距離“比劃”都很方便。比如在網絡電視上搜索視頻，在Xbox上搜索游戲動畫等等；而對于家長來說，采用手勢這種寓教于樂的方式，更適合好動且喜歡視覺沖擊的小孩。由于遠距離輸入更能體現脫離鍵盤鼠標輸入信息的優勢，未來，微軟亞洲研究院希望識別空中手書技術能夠為用戶解決更多的實際問題，能夠使能其他有趣有意義的事情發生。而且，將不限定只用一個跟蹤點，未來將會有多個跟蹤點來應用到微軟地圖搜索服務的查找、縮放等。

“我們做研發的目的是為了提升用戶體驗，微軟亞洲研究院在與產品部門的互動和溝通過程中，來共同探討把這些創新技術應用到產品里或者技術轉移出去的時間。但是，作為一個研究人員，能夠讓千家萬戶應用到自己的創新想法是最令我們激動的事情。”霍強對記者說。

霍強和馬磊最近剛從微軟雷德蒙總部回來，他們在微軟研究院一年一度的技術節上展示了識別空中手書技術，吸引了包括微軟產品部門，微軟全球其它研究院同事以及媒體的關注。著名博客人Chris Pirillo在他博客中寫道：“雖然這個軟件目前還只是個技術原型，沒有被應用，但是我很看好它，這是一項驚人的研究。你能想像這個軟件什么時候能被應用嗎?我們所有的Xbox迷都拭目以待吧!”

這些充滿無限可能性的基礎創新是最具能量的。它本身可能不是一個成熟的應用，但是一旦與現實生活中有趣的想法相結合，就可以催生出無數的精彩成果。微軟擅長于調動豐富的研發資源做些“打地基”的事情，識別空中手書就拓展了更多豐富應用的可能性。而這，或者就是微軟亞洲研究院“研發之美”的魅力所在。