基于手勢動作識別的地圖瀏覽

姚 欣，陽夢珂，周小梅，高 然，何明濤，應(yīng) 申

（武漢大學(xué) 資源與環(huán)境科學(xué)學(xué)院，湖北 武漢430079）

傳統(tǒng)的地圖瀏覽方式通過對鼠標和鍵盤的操作來進行，通常是一個人講解，一個人通過電腦進行系統(tǒng)操作，對地圖的公眾講解有所限制。講解者和參觀者不能有效地與展品互動。新興的體感技術(shù)使得人們直接使用肢體動作，身臨其境地與機器或者環(huán)境互動。如果能夠建立一個使用體感系統(tǒng)操作的地圖平臺，解放鼠標與鍵盤輸入對人機交互的束縛，探尋體感姿態(tài)與動作對地圖瀏覽操作的適用性則會更加容易。

與傳統(tǒng)的鼠標、鍵盤等人機交互設(shè)備不同，用戶借助Kinect用身體動作就可以直接控制計算機，Kinect很可能和鍵盤鼠標成為新一代標準人機交互設(shè)備［1］。而Kinect與電子地圖的結(jié)合，將帶來全新的地圖瀏覽體驗。

1 技術(shù)路線

基于人體手勢動作的地圖瀏覽可以劃分為兩個模塊：地圖平臺和地圖瀏覽的內(nèi)核操作；人體手勢識別需要兩者的關(guān)聯(lián)和鏈接（見圖1）。第一步，同時進行地圖瀏覽系統(tǒng)的搭建與體感系統(tǒng)的姿態(tài)動作定義。地圖瀏覽系統(tǒng)，主要實現(xiàn)縮放與平移功能，并根據(jù)現(xiàn)有的鼠標或鍵盤操作方式，建立一個全屏地圖場景漫游系統(tǒng)；體感系統(tǒng)則是設(shè)計對應(yīng)的操作手勢，并提供識別功能，Kinect提供的 Windows SDK可實現(xiàn)在Windows平臺下獲取操作者肢體動作。第二步，將兩系統(tǒng)對接，結(jié)合人體行為和習(xí)慣認知，用手勢動作來實現(xiàn)對GIS地圖瀏覽的操作，整體技術(shù)路線如圖1所示。

圖1 技術(shù)路線

2 交互設(shè)計

2.1 手勢設(shè)計

手勢是指人手或者手臂結(jié)合產(chǎn)生的各種姿勢或者動作［2］，是一種表達思想或感情的肢體運動。手勢識別是通過計算機設(shè)備對人的手勢進行精確解釋，已成為當(dāng)前人機交互的一種重要手段，這種方式是非接觸性的、自然的交互，相比傳統(tǒng)的鍵盤鼠標等具有自然簡潔和豐富性等特點，是人機交互發(fā)展的趨勢［3］。

作為新一代的人機交互工具，Kinect提供了骨架跟蹤系統(tǒng)，通過偵測到的3D深度圖像，通過機器學(xué)習(xí)的方式，可以很好地識別人體的軀干、四肢以及手指等動作。其核心算法就是探測識別雙手在空間中的運動，如在Kinect里，為模擬鼠標點擊的下壓按鈕動作，使用手向前推的手勢來模擬［4］。按照這種思路，本文使用了全身6個骨骼點，包括頭、手、肘、肩、髖、膝，總共定義了8個基本的地圖瀏覽手勢，包括4個平移，2個縮放，以及圖層切換、縮放至全地圖4個平移手勢，兩個縮放手勢，以及圖層切換、縮放至全地圖等手勢（見圖2）。具體描述如下：

1）上移：兩手臂同時在胸前抬升；

2）下移：保持兩手臂豎直，同時向后擺動；

3）左移：右手臂向左揮動；

4）右移：左手臂向右揮動；

5）放大：兩手平推向肩外側(cè)；

6）縮小：兩手掌靠近；

7）圖層切換：任意一手抬升至頭頂；

8）縮放至全地圖：左或者右膝蓋抬高。

與鍵盤、鼠標相比，頻繁地使用肢體動作進行控制操作更易讓人感到疲憊，因此手勢設(shè)計充分考慮了簡單、高效的原則，盡量減小肢體運動距離，并且符合人的一般認知習(xí)慣。

2.2 手勢識別

由于Kinect可以利用它的景深攝像頭提供深度圖像，其中的像素記錄了場景中各點的校準深度，分辨率達到幾厘米。這種深度攝像機可以很好地消除背景噪音，提取出人的信息。本文利用Microsoft Kinect提供的 Windows SDK v1.8建立對應(yīng)的操作手勢來搭建體感系統(tǒng)，從而實現(xiàn)在 Windows平臺下獲取操作者肢體動作。

當(dāng)Kinect的位置確定后，人的肢體的每個關(guān)節(jié)便對應(yīng)有一個空間坐標（x，y，z），并隨關(guān)節(jié)位置的變化而改變。通過比較各個節(jié)點的3個方向的坐標值，便可以判斷它們的位置關(guān)系，從而對不同手勢進行判別。根據(jù)前述手勢設(shè)計，對其動作的判斷規(guī)則如下：

圖2 手勢的設(shè)計和約定

1）上移：右手在右肩前，并且左手臂高于左手手肘，右手臂高于右手手肘。

2）下移：右手低于右肩，并且左右手同時在臀部后。

3）左移：左手低于左肩，并且右手在髖部中心左側(cè)。

4）右移：右手低于右肩，并且左手在髖部中心右側(cè)。

5）放大：右手高于右手手肘，并且右手在右肩右側(cè)，左手在左肩左側(cè)。

6）縮小：右手高于右手手肘，并且左手高于左手手肘，左右手距離小于一定數(shù)值。

7）圖層切換：右手高于頭部，或者左手高于頭部。

8）縮放至全地圖：左膝高于右膝，或者右膝高于左膝。

對于每個手勢相應(yīng)設(shè)置了一個或多個位置參數(shù)，當(dāng)兩個關(guān)節(jié)的空間X，Y或Z方向上的距離在這個參數(shù)的限定范圍內(nèi)時，便會觸發(fā)相應(yīng)的事件。例如，在圖層切換手勢中，“右手高于頭部”對應(yīng)的條件語句為：

其中p為參數(shù)，值為0.2，是一個最佳測試值。

由于Kinect捕捉、處理的是肢體的瞬時位置信息，因此這種識別方式屬于靜態(tài)識別。

2.3 地圖搭建

OpenLayers是一個用于開發(fā)網(wǎng)絡(luò)地圖客戶端的JavaScript包，用于實現(xiàn)標準格式發(fā)布的地圖數(shù)據(jù)訪問，其實現(xiàn)訪問地理空間數(shù)據(jù)的方法符合OGC（開放地理信息系統(tǒng)協(xié)會）標準［5-7］。

首先是創(chuàng)建地圖并加載圖層。在HTML文檔的JavaScript模塊中利用web地圖服務(wù)請求返回相應(yīng)的地圖圖層進行加載，本文選用的地圖為必應(yīng)虛擬地球（Bing Virtual Earth），圖層包括衛(wèi)星圖層、道路圖層、混合圖層。

然后是實現(xiàn)對地圖的控制，主要是通過調(diào)用OpenLayers.Map下的相關(guān)函數(shù)完成。Kinect中根據(jù)關(guān)節(jié)的節(jié)點坐標進行動作的識別，之后向地圖瀏覽平臺傳遞一個信號，JavaScript根據(jù)信號來調(diào)用相應(yīng)的地圖瀏覽控制函數(shù)。

3 系統(tǒng)實現(xiàn)和測試

本系統(tǒng)Kinect開發(fā)使用CJHJ語言生成控制臺程序，地圖搭建基于 OpenLayers 2.10，使用JavaScript編寫html文檔，借助Windows平臺實現(xiàn)連接。通過基于手勢動作識別，可以不使用任何鼠標、鍵盤工具，直接從Kinect接入OpenLayers地圖，來實現(xiàn)地圖的瀏覽。本文搭建的體感控制地圖的平臺，通過反復(fù)測試并不斷改進代碼，手勢識別的正確率得以提高，用戶友好度也得以加強。已有多名人員測試過本系統(tǒng)實現(xiàn)的體感地圖控制，總體效果良好，能很快識別成功并進行地圖瀏覽。測試發(fā)現(xiàn)人體與Kinect的最近有效距離為2m，在2～6m的范圍內(nèi)能夠較好地完成地圖控制。圖3為部分測試照片，其中圖3（a）為每個測試的初始地圖狀態(tài)，通過動作可以實現(xiàn)對地圖的放大、左移和圖層切換。

通常地圖的瀏覽用鼠標和鍵盤交互實現(xiàn)；但是在基于手勢動作的識別時，由于人體動作的連續(xù)性和先后性，動作和所想的瀏覽結(jié)果可能產(chǎn)生沖突，如“放大”時有胳膊的舉起，人在執(zhí)行時會附帶有“上移”或“下移”的動作，引出在文中動作的設(shè)計和判斷時必須準確地分類，并規(guī)定相關(guān)的參數(shù)，才能實現(xiàn)有效的動作和地圖瀏覽的一致性。通常來說，對于這些動作需設(shè)置一個優(yōu)先級來降低動作的誤判，例如，要實現(xiàn)放大，首先必須滿足右手高于右手手肘，然后才是外推動作的識別。

圖3 實驗測試

4 結(jié) 論

本文實現(xiàn)基于Kinect手勢識別，搭建體感地圖平臺，以探索瀏覽地圖的交互方式，是利用自然用戶界面實現(xiàn)交互系統(tǒng)的初探。對手勢動作的識別，精度和自由度是一個難點，文章限定了識別的距離才獲得了比較良好的效果，在距離較近或者較遠的時候誤差就會很大。Kinect是下一代自然用戶界面的一個縮影，基于Kinect等自然用戶界面的人機交互設(shè)計可大幅度提高用戶工作的能力和效率，成為當(dāng)前桌面系統(tǒng)、移動終端后的另一種地圖瀏覽方式。

［1］孫樹森，馬文娟，桂江生，等.基于Kinect的《互動應(yīng)用開發(fā)》課 程 開 發(fā) 探 究 ［J］.中 國 校 外 教 育，2012（30）：161，165.

［2］江立，阮秋琦.基于神經(jīng)網(wǎng)絡(luò)的手勢識別技術(shù)研究［J］.北京交通大學(xué)學(xué)報，2006，30（5）：32-36.

［3］陶麗君，李翠華，張希婧，等.基于Kinect傳感器深度信息的動態(tài)手勢識別［J］.廈門大學(xué)學(xué)報：自然科學(xué)版，2013，52（4）：493-497.

［4］余濤.Kinect應(yīng)用開發(fā)實戰(zhàn)：用最自然的方式與機器對話［M］.北京：機械工業(yè)出版社，2013.249.

［5］陳德鑫.基于OpenLayers客戶端的網(wǎng)絡(luò)地圖實現(xiàn)技術(shù)框架［J］.現(xiàn)代測繪，2010，33（3）：48-49.

［6］馮駿，劉文兵，夏翔.Web2.0下網(wǎng)絡(luò)地圖的發(fā)展及存在問題探討［J］.測繪工程，2013，22（2）：37-41.

［7］張志軍，邱俊武，于忠海.通用地圖符號表達機制的研究［J］.測繪工程，2013，22（5）：5-8.