幻影成像裝置的自然手勢識別系統設計

張蒙蒙,代 陽,楊鵬程,張 敏,肖 旭

(西安工程大學 機電工程學院,陜西 西安710048)

0 引 言

幻影成像因其成像逼真、極具立體感、色彩絢麗等優點,被廣泛地應用于各個領域。在博物館的展陳中幻影成像技術的應用,實現了新媒體技術由二維向三維的轉變,使公眾可以在物理空間感知到虛擬影像的空間尺度。目前博物館幻影成像平臺以播放固定影像這一展示形式為主,公眾易感到無趣或乏味。 將趣味十足的交互體驗應用于幻影成像系統中,能夠將博物館展示藝術拓展到與視覺、觸覺以及時間、空間等方面構成的新型藝術,從而多角度、多層面地詮釋文化藝術。其中自然、直觀和符合認知習慣的人性化交互方式無疑給公眾帶來較好的交互體驗。

目前博物館中幻影成像裝置交互方式主要是基于電容觸摸屏的多點觸控、鼠標、鍵盤,以及各種實體按鍵等。 傳統的觸摸式和按鍵式的人機交互不僅不自然，而且多人觸摸易引起疾病傳播[1-2]。手勢因其自然直觀的特點可以優化人機交互的過程。基于傳感器的手勢識別,可分為接觸式和非接觸式[3-4]。 接觸式的手勢識別有基于數據手套的手勢識別[5]、基于慣性傳感器的手勢識別[6]等,非接觸式手勢識別有基于視覺的手勢識別[7-9]、基于紅外傳感器的手勢識別[10]、基于超聲波的手勢識別[11]和基于電磁信號的手勢識別[12-14]。 接觸式的手勢識別方案精度高、穩定性好，但對手部的自然運動有一定的阻礙[15]。 博物館中參觀人數眾多,使用同一接觸式交互設備易引發擁擠且增加疾病傳染風險,故接觸式手勢識別方案不適用于博物館。 非接觸式的手勢識別以基于視覺的手勢識別研究最為廣泛，但容易受到光照遮擋、相機放置等環境因素的影響[16]。 博物館中幻影成像裝置受限于光學技術,只有在暗室環境中成像色彩絢麗,亮度飽滿。 基于超聲波、電磁信號手勢識別技術能夠在一定程度上克服環境光照的影響并擴大手勢操控的范圍,但由于其魯棒性較弱等問題還有待進一步研究和解決,所以將其應用于實際生活仍有一段距離[17]。

然而，基于紅外傳感器的手勢識別系統因其低成本,受環境光影響小等諸多優點可用于博物館中大多數幻影成像裝置的交互需求。 博物館中大多數幻影成像裝置展示的3D展品不僅需要旋轉縮放,還需要旋轉至合適的角度才能夠準確傳達展品信息。 目前基于紅外傳感器的手勢識別僅能識別出手勢方向[18-20],控制模型旋轉時,只能實現三維模型繞坐標軸轉動至固定角度,無法自由轉動,影響公眾觀覽體驗。本系統采用紅外傳感器陣列對手勢方向、手勢速度數據信息進行采集與處理,實現立體三維模型繞坐標軸自由轉動。

1 總體方案設計

幻影成像三維展示系統方案設計如圖1所示。鑒于下位機數據處理量小,選用低成本的STM32微處理器作為下位機采集并處理手勢特征信息,同時下位機與上位機中選用方便易行、應用廣泛的串口通信方式進行數據傳輸。 上位機中選用獨立于窗口系統和操作系統、易于移植的OpenGL三維圖形庫，在VS平臺構建三維模型。 依據正常人站立高度和觀覽角度,確定成像四面錐體的高度位置。 選擇相較于玻璃更為輕便、硬度高的透明亞克力板拼接四面錐體。 考慮到自由調節三維影像在四面錐體上的位置,摒棄傳統的顯示屏投影方式,選用投影儀投射三維影像至四面錐體上,依據佩珀爾幻像原理實現虛擬三維模型的空中顯像。

圖 1 幻影成像三維展示系統方案設計Fig.1 Design of phantom imaging 3D display system

2 系統設計

2.1 硬件設計

下位機采用意法半導體公司生產的STM32F103ZET6內核芯片作為傳感器信號的處理器。 STM32F103具有最高72 MHz的工作頻率,內置高達512 K 字節的閃存程序存儲器和64 K字節的SRAM,載有2個基本定時器,4個通用定時器和2個高級定時器,能夠滿足系統下位機要求。

手勢識別傳感器陣列包括手勢方向和手勢速度采集模塊。 在圖2中,為增加系統手勢識別方向的種類,在傳感器陣列中央布置原相科技生產的PAJ7620手勢識別傳感器。 PAJ7620手勢識別傳感器,可識別9種手勢,能滿足系統方案手勢識別方向采集模塊設計要求。 PAJ7620傳感器只能識別手勢方向信息,無法提取手勢速度信息,為此增加手勢速度采集模塊,在手勢傳感器周圍以正方形等距排布4組漫反射式紅外光電傳感器作為手勢速度采集模塊,根據在手勢傳感器同側的2個漫反射式紅外光電傳感器距離、響應時間差值獲取手勢速度信息。 漫反射式紅外光電傳感器選用E18-D80NK光電模塊,其發射光經過調制后發出,接收頭對反射光進行解調輸出,可有效避免可見光的干擾。 測試障礙物距離可通過尾部的電位器旋鈕進行調節。依據三維虛擬模型在四面錐體模型上成像位置高度范圍和亮度要求,投影距離應在成像位置高度范圍內,投影距離L=fl/φ。式中:f為投影儀鏡頭焦距,l為投影屏幕對角線尺寸,φ為液晶片尺寸。依據投影儀投影距離公式,光通量為2 700 Lm的索尼VPL-DX220型號投影儀符合系統要求。幻影成像硬件系統接線圖如圖3所示。

圖 2 傳感器陣列排布圖Fig.2 Sensor array arrangement

圖 3 硬件系統接線圖Fig.3 Wiring diagram of hardware system

2.2 軟件設計

系統在軟件設計時盡量保證邏輯的嚴密性和功能模塊之間的協同性,確保系統健壯性。借助于MDK的KEIL5平臺編寫程序,實現手勢識別傳感器與漫反射式紅外光電傳感器數據融合。系統以輪詢的方式查驗手勢方向。 以右揮手勢為例,手勢識別流程如圖4所示。

圖 4 手勢識別判定流程圖Fig.4 Flow chart of gesture recognition decision

當PAJ7620傳感器檢測到右揮手勢,則對應的寄存器手勢標志會置1,系統讀取標志清除對應的中斷標志位, PAJ7620傳感器右側的D3-1紅外光電傳感器觸發響應,開啟TIM3更新中斷,直至右側的D3-2紅外光電傳感器觸發響應,停止更新中斷,取出TIM3內部計數值,通過串口向VS平臺輸入手勢方向和相鄰2個光電開關響應時間差值。

為了防止TIM3在計數時產生溢出中斷,根據人手揮舞速度和相鄰紅外光電傳感器距離,設置合理的溢出時間。溢出時間為

Tout=(a+1)(p+1)/Tclk

式中：Tout為溢出時間;Tclk為定時器輸入時鐘頻率;a為自動重裝載寄存器周期的值;p為預分頻值;定時器3的時鐘頻率為72 MHz。 根據ν=L/t,求得手勢速度。 圖像旋轉角速度β=kν(k>0),則圖像旋轉角度X=βt1。其中v為手勢速度;L為在手勢識別傳感器同側相鄰2個紅外光電傳感器距離;t為獲取的同側相鄰2個紅外光電傳感器被手遮擋的時間差值;k為常數;t1為PC機接收一次串口數據后虛擬三維模型旋轉的固定時長。 依據手勢方向、速度信息實現實時控制虛擬三維模型縮放和繞坐標軸自由轉動。

3 結果與分析

為了驗證本文設計的自然手勢識別系統實時交互的有效性,利用搭建好的硬件和軟件平臺,對系統進行測試,在上位機建立地球三維模型,控制地球三維模型旋轉合適的角度,如圖5(a)所示。 由于搭建的幻影成像四面錐體表面未覆蓋全息膜,導致成像模糊,因此將電腦中虛擬三維模型投影在覆蓋有全息膜的小型四面錐體進行成像效果展示,如圖5(b)所示。

(a) 手勢識別硬件系統

(b) 成像效果展示圖 5 交互式幻影成像裝置Fig.5 Imaging device of interactive phantom

以手勢右揮為例,在手勢速度恒定情況下分析手勢距離對識別精度的影響。表1是手勢右揮在相同手勢速度不同距離情況下手勢識別結果,從表1可以得出:相同手勢速度情況下手勢與傳感器識別距離為5～20 cm內,識別精度較高；當手勢距離超過20 cm, 手勢識別距離受限于系統傳感器感知距離, 手勢識別精度呈現大幅下降。 同時針對旋轉手勢識別情況,進行了100次順時針旋轉手勢識別測試,其手勢識別精度為85%,手勢順時針旋轉時,手繞手腕運動,系統判定不精確,導致識別精度低。

表 1 手勢右揮的識別結果Tab.1 Gesture recognition results for right wave

4 結 語

本文設計了一種面向博物館中幻影成像裝置的手勢識別系統,綜合手勢方向、速度信息,實現了對虛擬三維模型實時控制。通過對系統進行實驗測試和現場調試,系統對手勢在5～20 cm范圍內時,識別精度較高,滿足博物館中幻影成像裝置中虛擬三維模型跟隨自然手勢實時變化的控制要求。