適用于GCS人因工程評(píng)估的低成本人手?jǐn)?shù)據(jù)捕獲技術(shù)研究

陳必然，曹建

（1.海裝重慶局，重慶，400042；2.海軍航空工程學(xué)院兵器科學(xué)與技術(shù)系，山東煙臺(tái)，264001）

1 可行性分析

LM利用物體對(duì)紅外照射不同特性而形成光場(chǎng)，在光場(chǎng)數(shù)據(jù)上，對(duì)手部特征進(jìn)行數(shù)據(jù)處理與分析，可以比較準(zhǔn)確的檢測(cè)反射光場(chǎng)中的極點(diǎn)（如手指和物體尖端）和特定形狀的較大范圍反射面（手掌）。然后采用雙攝像頭由雙目視覺原理獲得深度圖像，并形成深度場(chǎng)點(diǎn)云。通過(guò)驅(qū)動(dòng)內(nèi)部的分析軟件在可視范圍識(shí)別手、手勢(shì)和工具。

桌面部署時(shí)，LM放置于手部下方平面，從成像的角度來(lái)看，LM存在著先天性的不足，特別是當(dāng)手掌掌心的朝向發(fā)生突變時(shí)容易帶來(lái)圖像二義性問(wèn)題。比如，手掌掌心垂直向下和垂直向上時(shí)所成的深度圖像相近，法線方向由-90度快速變化到+90度時(shí)，會(huì)導(dǎo)致識(shí)別錯(cuò)誤。雖然從V2版驅(qū)動(dòng)開始，引入了骨骼追蹤結(jié)合機(jī)器學(xué)習(xí)的匹配算法，提高了跟蹤算法準(zhǔn)確性，但由手掌法線快速變化帶來(lái)的圖像二義性仍然存在。幸運(yùn)的是，對(duì)于GCS的操作控制而言，設(shè)備實(shí)操很少有快速翻轉(zhuǎn)手掌的情況。

2 關(guān)鍵技術(shù)

每一幀數(shù)據(jù)提供可視范圍內(nèi)追蹤數(shù)據(jù)、手勢(shì)和整體運(yùn)動(dòng)各種參數(shù)（以列表形式提供），包含所有手、手指、工具的各種參數(shù)。手參數(shù)包括了手掌坐標(biāo)（mm）、速率（mm/s）、法線方向等，手指又包含了每一關(guān)節(jié)的姿態(tài)參數(shù)。連續(xù)、實(shí)時(shí)保存如此巨大的數(shù)據(jù)是需要研究的關(guān)鍵。

為此，動(dòng)作捕獲從設(shè)計(jì)上著重考慮三點(diǎn)：一是采用單獨(dú)后臺(tái)程序，盡可能的節(jié)約硬件資源，避免丟幀；二是利用內(nèi)存映像文件技術(shù)，采用共享內(nèi)存存放截獲的數(shù)據(jù)，使數(shù)據(jù)對(duì)系統(tǒng)內(nèi)其它軟件可見，也為日后其他擴(kuò)展功能提供接口；三是建立數(shù)據(jù)讀寫緩沖區(qū)，并設(shè)置乒乓結(jié)構(gòu)提高數(shù)據(jù)吞吐量，最終以二進(jìn)制文件形式進(jìn)行存儲(chǔ)。

上述三點(diǎn)中，內(nèi)存映射文件起到核心作用。其不光要保存重要幀數(shù)據(jù)，還要記錄程序預(yù)處理后的特征數(shù)據(jù)，降低GCS評(píng)估時(shí)的運(yùn)算量。

按照人因工程學(xué)原則，人機(jī)之間的關(guān)系可歸納為人機(jī)功能、信息、位置以及人機(jī)力的關(guān)系，研究的重點(diǎn)見表1。其中，“人機(jī)界面交互”重點(diǎn)研究如何確保人機(jī)界面各種類型控件及操作單元的交互滿足地面操作人員高效、便捷、舒適的獲取信息、執(zhí)行操作控制的需求，是需要根據(jù)作業(yè)任務(wù)不斷優(yōu)化、完善的核心內(nèi)容。對(duì)于GCS而言，不論作業(yè)任務(wù)是何種類型（情報(bào)監(jiān)測(cè)類、指揮決策類、操作執(zhí)行類），均是按照一定時(shí)序的硬件操作子動(dòng)作序列。

在分析坐標(biāo)系基礎(chǔ)上， 基于指尖點(diǎn)、遠(yuǎn)指關(guān)節(jié)點(diǎn)、近指關(guān)節(jié)點(diǎn)和指掌關(guān)節(jié)點(diǎn)均處在同一平面內(nèi)的假設(shè)條件，提出了兩種基于關(guān)鍵點(diǎn)建模的手指模型：采用平面四邊形約束食指、中指、無(wú)名指和小指中各關(guān)節(jié)關(guān)系；采用平面三角形對(duì)拇指關(guān)節(jié)進(jìn)行建模，討論了通用型操作的單一手指空間約束關(guān)系。

對(duì)于存在大量設(shè)備手柄、面板、開關(guān)交互的無(wú)人機(jī)操作，更加關(guān)系手部動(dòng)作及設(shè)備交互的模型建立，為此建立多個(gè)手指的空間關(guān)系模型仍有大量問(wèn)題需要解決。

為了支撐GCS人因工程評(píng)價(jià)工作，需要量化設(shè)計(jì)階段“標(biāo)準(zhǔn)”操作動(dòng)作和運(yùn)行階段實(shí)際手部動(dòng)作差異。由于每一個(gè)人機(jī)交互操作過(guò)程，均可以按照時(shí)間序列分解成子動(dòng)作序列，兩個(gè)時(shí)序動(dòng)作的差異性數(shù)據(jù)可以由子動(dòng)作序列中若干“關(guān)鍵幀”的差異數(shù)據(jù)加權(quán)得到。上面的子動(dòng)作“關(guān)鍵幀”我們重點(diǎn)考慮那些導(dǎo)致交互設(shè)備狀態(tài)變化的起始和結(jié)束手部動(dòng)作。在存儲(chǔ)子動(dòng)作手部坐標(biāo)狀態(tài)基礎(chǔ)上，添加交互啟停時(shí)間戳數(shù)據(jù)，就構(gòu)成了交互過(guò)程序列化數(shù)據(jù)建模。

子動(dòng)作匹配算法用于匹配標(biāo)準(zhǔn)數(shù)據(jù)與操作數(shù)據(jù)，將輸出偏差值作為評(píng)估參數(shù)。其難點(diǎn)體現(xiàn)在兩方面，一是不同人手部姿態(tài)的差異性，二是具體的匹配算法的運(yùn)算強(qiáng)度。

為了對(duì)人手差異具有魯棒性，設(shè)計(jì)階段可以由多人操作，采集大量數(shù)據(jù)，歸一化后作為訓(xùn)練樣本集，通過(guò)分類算法生成“標(biāo)準(zhǔn)”值。

3 工作流程

按照GCS研制驗(yàn)證過(guò)程，利用LeapMotion實(shí)現(xiàn)低成本人手?jǐn)?shù)據(jù)捕獲分為如下三個(gè)步驟，設(shè)計(jì)階段捕獲研究人員及測(cè)試人員數(shù)據(jù)，結(jié)合交互界面空間分布，生成“標(biāo)準(zhǔn)手”數(shù)據(jù)→實(shí)戰(zhàn)環(huán)境中，捕獲無(wú)人機(jī)操作手部動(dòng)作數(shù)據(jù)→數(shù)據(jù)回收后利用評(píng)估系統(tǒng)進(jìn)行數(shù)據(jù)分析。

從數(shù)據(jù)流角度對(duì)上述過(guò)程進(jìn)行分析。設(shè)計(jì)階段采集大量數(shù)據(jù)，歸一化后作為訓(xùn)練樣本集，通過(guò)分類算法生成“標(biāo)準(zhǔn)手”值，并實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ) 。

4 實(shí)驗(yàn)結(jié)果

按照上文敘述的方法，由多人對(duì)測(cè)試設(shè)備旋鈕操作進(jìn)行了捕獲，通過(guò)訓(xùn)練建立了旋鈕操作的標(biāo)準(zhǔn)數(shù)據(jù)，并通過(guò)虛擬現(xiàn)實(shí)技術(shù)生成了“回放”數(shù)據(jù)的圖像序列。

經(jīng)過(guò)技術(shù)實(shí)驗(yàn)，文中的方法可以滿足人手捕捉準(zhǔn)確性與實(shí)時(shí)性的要求：從回放數(shù)據(jù)結(jié)果來(lái)看，準(zhǔn)確性上虛擬手在姿態(tài)、運(yùn)動(dòng)等方面與真實(shí)手一致，實(shí)時(shí)性方面，滿足ARAT標(biāo)準(zhǔn)。下一步的研究主要從三方面展開，一是通過(guò)實(shí)際使用，在捕獲更多數(shù)據(jù)，進(jìn)一步優(yōu)化“標(biāo)準(zhǔn)手”數(shù)據(jù)；二是不斷拓展采用空間約束的人機(jī)交互設(shè)備數(shù)據(jù)庫(kù)范圍，增大適用范圍；三是研究細(xì)化利用LeapMotion實(shí)現(xiàn)低成本人手?jǐn)?shù)據(jù)捕獲評(píng)估的具體方法。

參考文獻(xiàn)

[1]胡弘，晁建剛，林萬(wàn)洪等.Leap Motion 虛擬手構(gòu)建方法及其在航天訓(xùn)練中的應(yīng)用[J]．載人航天，2015，21(3):257-262．

[2]汪年結(jié)，劉宇，高浪等.基于機(jī)器視覺的抓握狀態(tài)模型及其適用性[J].計(jì)算機(jī)應(yīng)用與軟件，2015，32(8)：166-169．