計算機也會看手語

以手勢表現(xiàn)人的意圖是一個非常自然的方式，人類在數(shù)千年的發(fā)展中已經(jīng)形成了大量的、通用的手勢。一個簡單的手勢蘊涵著豐富的信息，人與人可以通過手勢傳達大量的信息。除了人們?nèi)粘Ｉ钪械囊恍┩ㄓ檬謩萃猓瑢τ谔囟I(lǐng)域還有一批相關(guān)手勢，包含不同領(lǐng)域的相關(guān)信息。比如聾啞人使用的手語就是一種系統(tǒng)化的特殊手勢，它是由手形動作輔之以表情姿勢而構(gòu)成的比較穩(wěn)定的表達系統(tǒng)，是一種靠動作／視覺進行交際的特殊語言。

在用常見的手勢進行交流時，人們很容易就能互相理解，在經(jīng)過學習之后，聾啞人或是正常人都可以運用手語進行交流。不過，想象一下，當你對計算機(或機器)做一個手勢，它就能領(lǐng)會你的意圖會是怎樣的情景呢?如果計算機(或機器)看得懂手語，又意味著什么呢?姑且不管實現(xiàn)這樣的人機交流有何深遠的意義，還是先讓我們來探究一下這樣的可行性吧，想想看得懂手語的計算機(或機器)能有什么用途。

人機交互：從呆板到員活

人類之間的交流往往聲情并茂，既采用自然語言(口語、書面語言)，還廣泛采用人體語言(表情、體勢、手勢)。與人類之間的交流相比，人機交互就顯得呆板多了。以計算機的輸入方式為例，人要向計算機下達指令，最常見的方式還是通過鍵盤輸入。當然，手寫輸入也正為許多人所接受和喜愛，語音輸入的研究也進行得熱火朝天，最初單一而呆板的輸入方式已經(jīng)得到了擴展。然而，科學研究是永無止境的，人體語言這種簡單快捷的信息交流方式得到了很多研究者的關(guān)注，他們想，能不能把這種靈活的信息交流方式也引進人機交互中呢?

于是研究人員展開了對人體語言理解的研究。人體語言的感知、人體語言與自然語言的信息融合對提高計算機的人類語言理解水平，加強人機接口的可實用性有著積極的意義。手語(手勢)是人體語言的一個非常重要的組成部分，它是包含信息量最多的一種人體語言，它與語言、書面語等自然語言的表達能力相同。因而完全可以把手語作為人機交互的一種手段，它具有很強的視覺效果，生動、形象、直觀。可見，將手勢運用于計算機能夠很好地改善人機交互的效率。

計算機怎樣識別手勢?

從不同的角度可以對手勢進行不同的分類。分為交互性手勢和操作性手勢，前者手的運動表示特定的信息(如樂隊指揮)，靠視覺來感知，后者不表達任何信息(如彈琴)；分為自主性手勢和非自主性手勢，后者需要與語音配合用來加強或補充某些信息(如演講者用手勢描述動作、空間結(jié)構(gòu)等信息)，分為離心手勢和向心手勢，前者直接針對說話人，有明確的交流意圖，后者只是反應(yīng)說話人的情緒和內(nèi)心的愿望。

手勢的各種組合、運動相當復雜，不過簡單來看，手勢主要有如下的特點：手是彈性物體，因此同一手勢之間差別很大，手有大量冗余信息，由于人識別手勢關(guān)鍵是識別手指特征，因此手掌特征是冗余的信息：手的位置是在三維空間，很難定位：手的表面是，非平滑的，容易產(chǎn)生陰影。

了解了手勢的這些特點，就可以在手勢研究中對手勢做適當?shù)姆指睢⒓僭O(shè)和約束。例如，可以給出如下約束：如果整個手處于運動狀態(tài)，那么手指的運動和狀態(tài)就不重要，如果手勢主要由各手指之間的相對運動構(gòu)成，那么手就應(yīng)該處于靜止狀態(tài)。比如鼠標和筆式交互設(shè)備就是通過識別手的整體運動來完成人與計算機的交互，但它們不能識別手指的動作，其優(yōu)點是僅利用軟件算法就能實現(xiàn)，適合于一般桌面系統(tǒng)。只有當用鼠標或筆式交互設(shè)備的運動或方向變化來傳達信息時，才可將鼠標或筆式交互設(shè)備看作手勢表達工具。筆式交互設(shè)備發(fā)展很快，它提供了充分的交互信息，如壓力、方向、旋轉(zhuǎn)和位置信息，但現(xiàn)有交互主要是簡單地替代鼠標。

計算機識別手勢的手段主要有兩種：

1．數(shù)據(jù)手套。數(shù)據(jù)手套是虛擬現(xiàn)實系統(tǒng)中廣泛使用的傳感設(shè)備，用戶通過數(shù)據(jù)手套，能做出各種手勢向系統(tǒng)發(fā)出命令，與虛擬世界進行各種交互操作：比如通過一只與數(shù)據(jù)手套對應(yīng)的在計算機屏幕上顯示的虛擬手，使用戶成為虛擬世界中的一員：抓取物體，如果手套有力反饋，還能讓用戶感覺到物體的重量和材質(zhì)等。美國在“洞穴”虛擬系統(tǒng)中就是利用數(shù)據(jù)手套來研制武器。數(shù)據(jù)手套的主要優(yōu)點是可以測定手指的姿勢和手勢，但是相對而言代價較為昂貴，并且有時會給用戶帶來不便(如出汗)。

2．計算機視覺。即利用攝像機輸人手勢，其優(yōu)點是不干擾用戶，這是一種很有前途的技術(shù)，目前有許多研究者致力于此項工作。但在技術(shù)上存在很多困難，目前的計算機視覺技術(shù)還難以勝任手勢識別和理解的任務(wù)。

目前較為實用的手勢識別是基于數(shù)據(jù)手套的，因為數(shù)據(jù)手套不僅可以輸入包括三維空間運動在內(nèi)的較為全面的手勢信息，而且比基于計算機視覺的手勢在技術(shù)上要容易得多。

更好地為人服務(wù)

日本三菱電子研究實驗室的研究人員已經(jīng)使用低成本的視覺系統(tǒng)，通過手勢就可以控制一臺電視機。由計算機控制的美國航空航天局虛擬太空站也是采用美國Cybernet公司開發(fā)的手語識別軟件，通過一部架設(shè)在頂部的攝像機來追蹤指揮者的手勢。當系統(tǒng)捕捉到揮手等手勢時，就會做出相應(yīng)的反應(yīng)，讓指揮者像航天員一樣在計算機虛擬的阿爾法國際太空站上移動(確切地說是飄動)。

Cybemet公司的軟件還能識別一系列的特定手勢，就像工地上的工人或交通警察經(jīng)常用的那種手語，通過這些手勢你能夠旋轉(zhuǎn)在虛擬旅行中看到的三維圖像，還可以向上或是向下改變你的視角。美國航空航天局正在考慮把這套系統(tǒng)用于真正的太空站，因為笨重的航天服和微重力環(huán)境使得鼠標和鍵盤都變得難以操縱。也許不久之后，航天員就能用簡單的手語來控制機器人在太空中抓取物體。

手語(手勢)識別系統(tǒng)的研究還有助于改善和提高聾啞人的生活學習和工作條件，為他們提供更好的服務(wù)。同時也可以應(yīng)用于計算機輔助啞語教學、電視節(jié)目雙語播放、虛擬人的研究、電影制作中的特技處理、動畫的制作、醫(yī)療研究、游戲娛樂等諸多方面。另外，手語識別系統(tǒng)的研究涉及到教學、計算機圖形學、機器人運動學、醫(yī)學等多學科。因此，手語識別系統(tǒng)的研究非常有意義。

在網(wǎng)絡(luò)通訊已經(jīng)成為一種重要的通訊手段的今天，研究手語通訊，能使聾啞人更好地融入網(wǎng)絡(luò)社會，感受科技的進步，更好地為他們服務(wù)并且方便其生活。手語作為一種動作語言，它的應(yīng)用不僅僅局限于聾啞人之間，聾啞人與非聾啞人之間，就是不同語種間正常人的交流都可能應(yīng)用到動作語言。日本北海道大學的青木由直教授是研究手語通訊的倡導者，他通過建立一個不同語言的手語翻譯字典，在Internet上實現(xiàn)丁日語和韓語的手語聊天系統(tǒng)，還研究了日本與中國的手語變換，手語合成的二維及三維動畫，以及帶有面部表情和嘴唇形狀的日語和韓語的手語聊天系統(tǒng)等。

手語(手勢)識別系統(tǒng)研究的內(nèi)容多，范圍廣，發(fā)展很快，是一個很有前景的研究方向。當然，手語研究較為復雜，而且涉及到多學科多領(lǐng)域，許多問題還有待于進一步的探索。

[責任編輯] 唐 宇