基于動作捕捉的航空裝備虛擬維修訓練系統

楊俊超， 史　越， 楊達玲， 周宏偉

(空軍工程大學裝備管理與安全工程學院， 陜西 西安 710051)

?

基于動作捕捉的航空裝備虛擬維修訓練系統

楊俊超， 史越， 楊達玲， 周宏偉

(空軍工程大學裝備管理與安全工程學院， 陜西 西安 710051)

為滿足航空裝備維修訓練手段創新的需求，設計了一種基于動作捕捉技術的航空裝備虛擬維修訓練系統。該系統由動作捕捉系統、虛擬人軟件、場景及裝備維修模型、立體投影以及數據手套等模塊組成，具備航空維修流程、拆卸裝配、故障分析與排除等虛擬訓練功能。以某型飛機主機輪拆裝任務的虛擬維修訓練為例進行了應用分析，結果表明該系統能滿足設計功能要求。

航空裝備； 虛擬維修訓練； 動作捕捉

航空裝備系統結構復雜，作戰使用需求多變，對維修人員的專業技術水平與綜合能力要求很高。傳統“理論學習、帶教帶練、上崗操作”維修訓練方式的能力生成周期長、效費比低，已不能很好地適應未來航空裝備維修訓練的需求[1]。隨著虛擬現實(Visual Reality)技術的發展，虛擬維修訓練成為一種有效的輔助訓練手段，受到了廣泛關注[2]。但是，作為虛擬現實系統中最重要的交互體，虛擬人技術目前尚存在以下難點問題：一是虛擬人建模復雜，必須滿足人體外形、骨骼結構和運動特征等方面逼真性的要求，自主開發難度極大；二是現有商業虛擬人(如JACK等)實現虛擬人運動過程與真實人體運動的結合較難，只能通過預設路徑或頻繁人工控制進行運動狀態的改變，導致實時性不佳[3]。

上述問題由于動作捕捉(Motion Capture)技術的快速發展而獲得了一個很好的解決方案。基于動作捕捉的虛擬人運動控制以真實的人體運動參數為輸入，實時性好，精確度高，能有效反映維修人員的運動特征[4]。將動作捕捉技術引入虛擬維修訓練系統，可獲得更好的沉浸感和更自然的交互性，對提高虛擬維修訓練系統的使用效能具有重要的作用。

現實中，將動作捕捉技術應用于虛擬維修訓練的技術難點在于實現動作捕捉系統與虛擬人的交連。本文的解決思路是在成熟虛擬人軟件(JACK)的基礎上進行二次開發：1)開發接口程序，解決動作捕捉系統與JACK軟件通信與匹配的問題；2)基于RBA和Kinematics的虛擬人運動控制方法，實現利用動作捕捉數據驅動JACK虛擬人。最后通過應用分析對系統的性能及訓練效果進行驗證。

1　基于JACK的二次開發

1.1動作捕捉系統與JACK接口程序

JACK是目前非常優秀的人體建模仿真軟件(圖1)，擴充性、靈活性、開放性好，被廣泛應用于裝備及產品設計的可視化仿真驗證、虛擬訓練以及人機工效分析研究[5]。

圖1　JACK軟件

由于JACK只能在已編輯好的虛擬人動作庫中選取動作選項并編排使用，不能滿足實時交互的需求，且目前版本不能兼容動作捕捉系統，因此筆者開發了動作捕捉系統與JACK接口程序(OWL for Jack)，以實現二者的連接。

首先，通過設置JACK的API、SDK和DLLs實現通信操作，主要控制命令包括：1)Recap，提供簡明編輯、過濾和連接運動數據功能；2)Paint，顯示和記錄軌跡；3)Robot，按需要應用1個或2個機械臂及其他設備來表現虛擬現實/增強顯示景觀；4)Docking，形態設置(x，y，z，滾動，坡面，偏移)；5)Juggling，虛擬綜合運動訓練。然后，進行動作捕捉標記點與JACK虛擬人關節匹配，匹配效果如圖2所示。

圖2　標記點與JACK虛擬人匹配效果

1.2JACK虛擬人運動控制方法

標記點與JACK匹配之后，如需運用動作捕捉數據進行運動驅動，則必須解決虛擬人運動控制問題。剛體假設(Rigid Body Assumption，RBA)把人體各肢體假想成剛體，剛體之間用鉸鏈連接，相鄰剛體之間的自由度可以由設計者確定[6]，適合應用于基于實時數據的虛擬人運動控制。圖3為RBA剛體創建。

圖3　RBA剛體創建

設定剛體之后，以動作捕捉數據為輸入，通過運動學(Kinematics)方法，即可解算出其余剛體及末端的空間位置與運動狀態參數。以虛擬人手臂為例，將其定義為由一個旋轉關節S2(肘關節，1個自由度，旋轉角為θ4)連接2個受限球關節S1與S3(肩關節和腕關節，3個自由度，旋轉角分別為θ1、θ2、θ3和θ5、θ6、θ7)形成的開放運動鏈，稱為Human Arm Link(HAL)關節鏈[7]。手臂HAL關節鏈結構如圖4所示。

圖4　手臂HAL關節鏈結構

對于HAL，由于關節的旋轉角已知，而且關節之間的平移固定，因此易得到關節之間的變換矩陣。關節S3到關節S1的變換矩陣表示為

M=T1AT2BT3,

式中：

為S1的平移矩陣，其中，R1(θ1,θ2,θ3)為S1的旋轉矩陣，01×3為1×3的0矩陣；

為關節S2到關節S1的常變換矩陣；

為S2的平移矩陣，其中R2(θ4)為S2的旋轉矩陣；

為關節S3到關節S2的常變換矩陣；

為S3的平移矩陣，其中R3(θ5,θ6,θ7)為S3的旋轉矩陣。

對于關節S3局部坐標系中的任意一點p0(x0,y0,z0)，在S1局部坐標系中的對應坐標為(x,y,z)，則有

x=fx(θ1,θ2,θ3,θ4,θ5,θ6,θ7)，

y=fy(θ1,θ2,θ3,θ4,θ5,θ6,θ7)，

z=fz(θ1,θ2,θ3,θ4,θ5,θ6,θ7)。

式中：fx、 fy、 fz為連續函數。

經二次開發的JACK軟件順利兼容了動作捕捉系統，運行穩定流暢，實現了很好的運動控制效果，可用于虛擬維修訓練。OWLforJack接口測試效果如圖5所示。

圖5　OWL for Jack接口測試效果

2　系統設計

2.1系統功能與使用流程設計

根據對虛擬維修訓練系統的功能要求[8-9]，該系統主要功能包括：1)原理結構演示，受訓人員能夠通過視頻、音頻、文字等手段學習裝備的原理，展示裝備的外部結構和透視圖；2)拆裝訓練，訓練受訓人員對裝備分系統或者零部件的正確分解與結合，可細分為自動的分解與結合、帶有引導的分解與結合和考核性的分解與結合；3)故障排除，演示裝備常見的故障現象，指導受訓人員找到故障原因并排除故障；4)評估考核，對受訓人員的整個維修過程進行評估，記錄受訓人員的錯誤操作，并給出正確的指導，從而起到提高和考核受訓人員的作用。系統功能與使用流程如圖6所示。

圖6　系統功能與使用流程

2.2系統軟硬件組成

根據航空裝備維修訓練實際需求，采用成熟、先進的軟硬件技術與產品，基于動作捕捉技術建立起沉浸感強、交互控制便捷有效的仿真環境。系統組成如圖7所示，主要包括Phase space動作捕捉系統、Jack虛擬人系統、虛擬維修訓練場景及裝備維修模型、Vivitek立體投影系統以及數據手套(Data Glove)等。

圖7　系統組成

1)Phase space動作捕捉系統。包括數據服、高清攝像機、LED發光點、無線控制器(Controller)、無線連接基站和數據處理服務器，如圖8所示。

圖8　Phase space系統硬件組成

Phase space系統通過3D主動光學式動作捕捉技術與先進數據處理軟件能力來獲得很高的捕捉品質，攝像機分辨率為3 600×3 600像素，動作捕捉速度可達480幀/s。在動作捕捉過程中，調用8個攝像機(布置在半徑為4～8 m的圓環)，對空間中所有貼附在數據衣上的超亮紅LED發光點進行高速掃描，對標記點進行三角測量，獲得光標點相對于攝像機的具體位置信息(在10 m的范圍時，解析度可達0.1 mm)。攝像機對數據進行初步處理，通過高速網線將結果傳輸給數據處理服務器進行數據融合再分析，最終確定標記點的空間精確位置信息。對各LED發光點的空間信息進行綜合分析處理，從而獲得整個人體的運動數據。

2)虛擬維修訓練場景及裝備維修模型。虛擬場景及三維模型采用CATIA、Maya等軟件開發，建立維修對象、維修資源和維修過程等維修要素，以及訓練過程、訓練信息等數據模塊[10]。一個典型的虛擬維修訓練場景如圖9所示。

3)Vivitek立體投影系統。主要包括主動快門式3D眼鏡、立體投影儀和背投軟幕，實現沉浸感較強的虛擬維修訓練可視化環境。

3　系統應用與分析

以某型飛機主機輪拆裝任務的虛擬維修訓練為例進行應用分析，機輪拆裝訓練過程片段如圖10所示。

圖10　機輪拆裝訓練過程片段

3.1內容與步驟

1)實施準備。在訓練前，學員佩戴主動快門式3D眼鏡，穿上動作捕捉系統數據衣，戴上數據手套，開啟LED光源。

2)開啟動作捕捉系統捕捉人體運動信號。通過OWL for Jack接口程序，將采集到的光學信號與JACK人體模型相應的肢體活動點對應綁定，實現學員與虛擬人同步運動。

3)選擇訓練科目。登錄維修訓練系統，根據訓練科目，從故障特征數據庫中讀取故障數據并進行模型初始化。本次的訓練科目是某型飛機主機輪的拆裝，系統從數據庫中讀取“主機輪到壽”數據，并對機輪模型進行模擬實現。

4)工具選擇。判斷是否需要檢測儀器和維修工具，本科目需要使用專用扳手，系統從儀器工具數據庫中讀取數據模型并生成儀器工具供學員使用。

5)診斷。進行診斷操作，通過主機輪輪胎磨損情況判斷主機輪已到壽，必須進行更換。

6)維修訓練操作。學員通過沉浸式立體顯示系統，按照維修規程完成訓練任務。

7)訓練評估。訓練操作完成后，由系統判斷任務是否完成或故障是否排除，對學員操作表現、細節習慣和操作時間等因素進行評估打分，并上傳學員訓練檔案和教員數據庫。

3.2應用分析

3.2.1系統性能

應用過程中，系統運行流程穩定，交互性好，虛擬人運動較為自然真實，滿足設計功能要求。系統準備時間≤1 min，維修響應時間≤2 s，幀頻≥30幀/s，性能滿足虛擬維修訓練的實際需求。

3.2.2訓練效果

根據系統評估數據，并對學員進行問卷調查，對基于動作捕捉的航空裝備虛擬維修訓練系統進行訓練效果分析。結果表明：該系統在訓練消耗時間上具備明顯優勢(圖11)；在理解維修目的(訓練目標1)、熟悉裝備結構(訓練目標2)、了解維修要求(訓練目標3)、熟練維修流程(訓練目標4)和掌握維修方法(訓練目標5)等方面，學員具有更高的滿意度(圖12)。

圖11　不同時間內完成訓練的人數分布

圖12　訓練目標滿意度對比

4　結論

筆者綜合運用虛擬現實和動作捕捉等技術，開發了航空裝備虛擬維修訓練系統。通過沉浸式人機交互操作，向學員展示航空裝備的結構和組成原理，并對三維零部件模型實現拆裝、維修，從而指導學員完成維修訓練科目，達到維修訓練的良好效果。該系統的主要特點如下：

1)采用層次化、模塊化設計，對不同類型的航空裝備有較好的兼容性，增強了系統擴展性，降低了系統后期維護成本。

2)采用動作捕捉技術進行虛擬人驅動，實現了沉浸感較強的人機交互。動作捕捉技術避免了傳統虛擬人建模與運動控制的技術復雜性，降低了使用難度，提高了系統的易部署性。

3)開發接口軟件實現了Phase space系統與Jack的有效連接，解決了因Jack虛擬人系統不支持該動作捕捉系統而導致交互性不佳的問題。

4)可進一步對裝備的維修性和人機工效等特性進行驗證評估，為學員的科研探索與創新實踐提供了實驗平臺支持。

[1]辛文逵,常碩,趙彬.空軍飛機裝備維修訓練現狀、問題與對策[J].航空維修與工程,2010，(3):10-11.

[2]劉佳,劉毅.虛擬維修技術發展綜述[J].計算機輔助設計與圖形學學報,2009,21(11):6-12.

[3]周韜.動作捕捉技術在虛擬現實中的應用[D].西安：西安電子科技大學,2013.

[4]朱彥軍,姜國華.虛擬現實中虛擬人體模型概述[J].計算機仿真,2004,21(1):11-13.

[5]方傳磊,方傳磊,蘇群星,等.導彈裝備虛擬維修訓練系統通用平臺[J].計算機工程,2009,35(3):274-276.

[6]Liu Y, Badler N I. Real-time Reach Planning for Animated Characters Using Hardware Acceleration[C]∥Proceedings of the 16th International Conference on Computer Animation and Social Agents. NJ,USA:IEEE, 2003:86.

[7]Maurel W, Thalmann D. Human Shoulder Modeling Including Scapulothoracic Constraint and Joint Sinus Cones [J]. Compu-ters & Graphics, 2013, 24(2): 203-218.

[8]楊星星.民機虛擬維修訓練關鍵技術研究[D].南京:南京航空航天大學,2010.

[9]高玉水，周世海，郭英.某型導彈虛擬維修訓練系統設計與實現[J].研究與開發,2010,(12):66-69.

[10]蔣科藝,郝建平.沉浸式虛擬維修仿真系統及其實現[J].計算機輔助設計與圖形學學報,2005,17(5):1120-1123.

(責任編輯: 尚彩娟)

Aviation Equipment Virtual Maintenance Training System Based on Motion Capture

YANG Jun-chao, SHI Yue, YANG Da-ling, ZHOU Hong-wei

(Materiel Management and Safety Engineering Institute, Air Force Engineering University, Xi’an 710051, China)

To meet the needs of training instrument innovation for aviation equipment maintenance, an aviation equipment virtual maintenance training system based on motion capture is designed. The system is made up of the phase space motion capture system, JACK virtual human, virtual scene and equipment maintenance model, three-dimensional projector and data glove etc, has the virtual training functions including maintenance flow, teardown and fitting, failure analysis and removal. The virtual maintenance training of wheel disassembly and assembly is used as application example, and the results demonstrate that the system’s configuration is logical and can satisfy the requirements of design function.

aviation equipment; virtual maintenance training; motion capture

1672-1497(2016)04-0078-05

2016-03-04

軍隊科研計劃項目

楊俊超(1984-)，男，講師，博士。

E92; TP391.9

A

10.3969/j.issn.1672-1497.2016.04.015