智能手勢識別技術下的景區導覽系統設計研究

楊麗

關鍵詞：導覽系統 RealSense 手勢識別 顏色空間 點云構建

引言

景區導覽裝置是幫助游客獲取景點詳細信息最重要的手段之一，對游客起著重要的導向作用，然而目前大部分景區的導覽系統都是基于平面導視圖或通過智能手機端進行景點信息推送的形式，由于景點信息復雜多變，大部分景區的導覽系統缺乏創新性、導覽裝置缺乏局限性和精確性，導致游客體驗感欠佳的問題。文章通過閱讀相關文獻后發現，并總結出國外的景區智能導覽裝置主要分為定位類型和講解類型。講解類型主要運用在語音系統軟件上的交互設計應用，游客通過系統的講解來獲取景點的各項信息;定位類型主要為游客在景區提供定位服務，給出合理的規劃路線，通過定位服務給游客提供更多的信息指示。國內的景區智能導覽裝置主要采用數字化技術進行導覽，其中包括多媒體影視技術、全息投影技術、增強現實技術（AR）、虛擬現實技術（VR）以及多點觸技術，其均可以結合智能手機運用。

經過系統性的文獻調研后發現，目前將智能手勢識別技術應用到景區導覽系統的設計研究中極少。文章提出將RealSense深度相機手勢識別技術運用在景區導覽系統的設計中，以YCbCr顏色空間膚色算法將獲取手勢圖像后進行邊緣修復，通過實驗得出該技術具有可行性的結論后，再結合空間三維環境點云系統的單目攝像機以及采集端信息傳感技術，掃描并重構景區中某景點的圖像，同時匹配景區數據信息管理平臺上的數據，在導覽裝置屏幕上輸出景點的各類信息和最終圖像結果，完成一套智能手勢識別技術下的景區導覽系統的設計方案。

一、景區智能導覽裝置

（一）景區智能導覽裝置簡單介紹

景區的導視系統最主要的功能是向游客提供各景點的相關信息，新型的交互技術使得導覽裝置向智能化方向發展，從單一的導覽圖文和人工講解，到逐漸興起的智能數字化導覽裝置，其中主要的智能化體現在以APP為主的線上入口、語音識別、增強現實技術（AR）、虛擬現實技術（VR）、多點觸摸、3D識別、人體捕捉等技術。如今導視系統的設計形式也越來越豐富和多元化，技術上的突破性進展不僅為游客帶來了更多優質的交互體驗，也逐漸改變了人機交互的方式。

（二）基于手勢識別技術的導覽裝置

手勢與語言一樣都屬于人類最自然的交流方式，手勢最重要的作用在于能夠將人的物理動作描述成無聲的語言交流，尤其是與語言不通或者是聾啞人群交流時，手勢就成為了他們最重要的交流方式，因此手勢識別技術不僅使普通人能輕松操作各類科技設備，還能給殘疾人、老年人等特殊群體帶來更多使用上的便利。隨著傳感器技術的發展，越來越多的場景選擇通過手勢識別的方法來獲取人們的動作數據，從而達到人機交互的目的。

手勢識別技術一般應用于人體的臉部及手部的運動，是計算機對人體手部運動進行的解釋，其利用感知的計算方式，通過傳感器和某種編程算法讓人們通過手勢識別對控制設備執行命令。文章提出將手勢識別技術運用在景區導覽系統的設計方案中，游客在景區中使用手部動作與導覽裝置設備進行人機交互行為，從而達到快速識別景區中各地點的精準信息的目的。

二、基于RealSense的手勢識別技術的運用

目前智能手勢識別技術在導覽裝置中的應用主要分為三種類別，分別為：二維手型識別技術、二維手勢識別技術、三維手勢識別技術。其中前兩種是基于二維平面的等級，主要應用于識別靜態手勢技術中，在應用過程中只需要使用單個攝像頭便能捕捉到圖像，通過計算機最終輸出結果來實現手勢識別過程，輸出的結果就如平時拍照所得的照片一樣。而三維手勢識別技術能捕捉到動態手勢，具有手勢跟蹤的技術，能捕捉到手勢的紋理、位置、運動軌跡等深度的信息，普遍應用于復雜的人機交互設計中，例如增強現實技術（AR）、虛擬現實技術（VR）等智能交互設計，給使用者帶來豐富的體驗，如表1。

1. RealSense的手勢識別技術

RealSense是Intel開發的一種3D實感技術，專門用于人和機器進行“溝通”的技術，它是一種為硬件設備添加和人類相似的感官系統進行的創新技術[1] 。作為一款采集環境深度信息的體感外設的3D攝像機，其具有與Kinect一樣的三維手勢識別技術。RealSense3D實感攝像頭是全球首款結合2D鏡頭模塊和3D深度的設備。文章使用的RealSense D415/D435的3D攝像頭組件主要包括左紅外相機、紅外點陣投射器、右紅外相機、RGB相機，如表2。

文章應用RealSense深度相機的傳感器技術獲取環境中人手部的深度圖像信息跟蹤人體骨骼，通過YCbCr的顏色空間過濾皮膚閾值的算法，提取景區中感應到的游客的手部信息并加以修復形成模型，再將采集的手勢圖像形態以及傳達的手勢信號進行特征分類，最后傳至景區導覽系統中。以無接觸、即時動態捕捉、影像辨識、麥克風輸入、語音辨識、社群互動等便捷的功能進行手勢識別達到人機交互的效果。

2.基于視覺感知的手勢識別導覽裝置

視覺是人們獲取外界信息最重要的感官之一，在導覽裝置中，視覺感知的程度直接影響游客使用導覽裝置的滿意度。因此文章提出利用手勢識別技術的導覽系統設計必須符合人體工程學的尺寸，還需充分考慮人眼可識別的導覽裝置和手勢識別設備的范圍與距離。并且在針對于視障、兒童、乘坐輪椅等特殊人群時，需考慮其視線范圍與正常站立的人群的距離之分。文章應用RealSense Depth CameraD415/D435設備的手勢識別技術提取游客的手勢圖像工作是由于其具有全局快門感應器，能同時采集到多人動態圖像。RealSense系列的攝像機能捕捉的最遠距離可達10m，并且在戶外的陽光下也可以利用，均支持輸出1280×720分辨率的深度畫面，視頻傳輸方面也可達90fps，還能識別X、Y、Z三軸中任意旋轉、偏移、滾動等動作。因此RealSense系列的攝像機在景區中能精準地識別人體的手部深度圖像信息。