基于Leap Motion體感控制器的*三維經絡輔助教學系統設計與實現

朱 琳 孔令聰 趙文華* 馬志慶 張明輝 劉 杰

Leap Motion是美國Leap公司發布的一款面向個人電腦(personal computer，PC)機及蘋果電腦Mac的體感控制器。Leap Motion體感控制器利用富有表現力的手勢使人從硬件設備的束縛中解脫出來，通過采集用戶手勢在空間運動數據，操作三維(threedimensional，3D)對象。雖然其目前應用較為廣泛，但在中醫領域目前尚無相關涉獵，而目前中醫經絡研究陷入瓶頸。因此，本研究利用Leap Motion體感控制器開發中醫經絡的相關應用平臺，以推動傳統中醫繼續深入發展。

1 經絡輔助教學系統設計與實現

1.1 設計人體3D模型

利用3ds Max建立仿真的3D人體模型。具體步驟為：①將人體正面、側面、背面的肌肉分布線稿，掃描后用Photoshop調整為長寬一致的圖片，將這些圖片導入3ds Max作為模型背景；②沿著背景的肌肉輪廓畫出Spline曲線，在畫出的區域內添加分割曲線，將其分成數個四邊形平面，在Edit Spline編輯器選擇“Create line”，畫出縱橫交錯的曲線[1]；③視圖形的曲面復雜程度增加Spline輪廓曲線密度(如人體鼻子、眼睛、嘴部等五官的輪廓曲線很密)參照人體前、側視圖，按投影關系拖動已制作出的曲線控制點，使形成的曲面形狀與線稿更接近；④制作好1/2身體模型后用作鏡像(mirror)[2]的辦法生成另外1/2，并對其稍加修整后完成兩部分的接合。

1.2 經脈穴位的抓取和建立

設計好人體模型后采集穴位。包括穴位位置采集和穴位信息采集兩部分：①穴位位置的采集主要運用Open GL的定位函數：glu Un Project()，此函數的具體用途是將一個Open GL視區內的二維坐標轉換為與其對應的場景中的3D坐標[3]；②穴位信息采集是依靠用戶手動輸入完成，輸入完成后再利用My SQL數據庫進行存儲。在3D可視化展示中，讀取數據庫存儲的信息，對人體12經絡中的全部309個穴位進行再繪制。完成后的3D模型如圖1所示。

圖1 穴位的信息建立示意圖

1.3 系統設計流程

調用Leap Motion相關函數采集雙目圖像，利用算法生成深度圖像，判斷手勢是否存在，如存在即對手勢進行持續追蹤[4-5]。手勢檢測的流程如圖2所示。

圖2 手勢檢測流程圖

1.4 系統具體實現

系統具體開發流程分為以下方面：①安裝Unity導入Leap Motion等關聯依賴包；②導入設計好的人體經絡3D模型；③設計場景以及對應的界面；④將資源包Core Assets中的LeapHandController、CapsuleHand、RigidRoundHand腳本導入場景中并配置其屬性；⑤編寫相應的C#腳本；⑥將開發好的應用進行測試[6-9]。

2 經絡輔助教學系統結果

(1)3D經絡輔助教學系統界面展示。打開醫宗實用經絡腧穴3D模型的使用界面，其中包括開始探索、設置、關于等選項，根據需求點擊其相關內容，經絡腧穴3D模型的使用界面如圖3所示。

(2)人體經絡與腧穴的3D展示。將Leap Motion通過通用串行總線(universal serial bus，USB)接入PC端，通過旋轉和縮放人體模型，從不同角度觀察人體的經絡與腧穴(如圖4所示)。

圖3 3D經絡輔助教學系統界面圖

圖4 手控制旋轉縮放模型示圖

(3)腧穴詳細信息展示。當通過手勢選定3D模型上的具體腧穴，使腧穴處于選定狀態，在系統界面的左側會顯示腧穴的詳細信息。經絡循行，后期能夠做到模擬經絡的循行路線，選中目標經絡，可展示經絡循行路線的信息，并顯示流經的所有腧穴的相關信息(如圖5所示)。

圖5 顯示穴位信息界面圖

3 結論

課堂演示是經絡教學過程中的主要環節，課堂演示技術在很大程度上限定了經絡教學課堂的教學形式。而現在經絡教學還處于傳統的平面教學模式，存在腧穴定位不夠直觀，教學信息無法精確獲取等問題[10]。

本研究針對經絡教學課堂演示存在的各種問題，采用人機交互的方式，根據交互需求，選取Leap Motion手勢識別控制器設備[11]。通過對Leap Motion技術和3D人體經脈模型的結合與創新，開展課堂演示手勢識別系統的研究與開發，得到一種全新的經絡教學平臺，教師可通過簡單的手勢控制3D人體模型更直觀、精確地全方位視角呈現經絡內容，清晰生動地展示和講解人體穴位，操作方式趨于簡易化、自然化[12-13]。在后期實現學生、教師自檢的功能，使用數據進行深度挖掘和分析，進一步提升教學模式和使用體驗，以大數據驅動教育的變革。

參考文獻

[1]張季，張宏如，董海艷，等.基于Unity3 D技術的數字人體腧穴教學信息系統的設計與實現[J].中國醫學教育技術，2014，12(2)：139-142.

[2]華子荀.Leap Motion支持下教育電視節目提高學生學習質量和效果的研究[J].教育信息技術，2015，9(5)：89-90.

[3]朱燕，王蕊，朱玲，等.基于三維虛擬技術的人體經絡腧穴可視化系統的構建研究[J].國際中醫中藥雜志，2015，37(12)：1121-1124.

[4]劉金磊.Leap Motion交互在民機上的應用[J].科技傳播，2015，7(18)：46-48.

[5]孫紅光.應用3D MAX制作人體器官模型[J].齊齊哈爾醫學院學報，2004(2)：27-29.

[6]黃俊紅.基于Leap Motion的手勢控制技術初探[J].計算機系統應用.2015(10)：101-102.

[7]張偉，張淑苗.基于Unity3D的三維模擬針刺訓練系統的設計與開發[J].衛生職業教育，2016，34(13)：28-29.

[8]張偉，張淑苗.Android平臺下三維模擬針刺訓練系統的設計與開發[J].甘肅科技縱橫，2016，45(4)：12-14.

[9]張硯，劉霞，王益民.虛擬針灸取穴實訓系統的設計與開發[J].天津中醫藥大學學報，2013，32(4)：234-236.

[10]蔣軼男.張縉教授針刺手法影音資料研究[D].哈爾濱：黑龍江省中醫研究院，2012.

[11]孟祥軍，趙文華，馬志慶，等.醫學移動軟件中虛擬現實人機交互方案的研究[J].中國醫學裝備，2017，14(8)：112-114.

[12]張晗.虛擬現實技術在醫學教育中的應用研究[D].濟南：山東師范大學，2011.

[13]孫杰.基于Web的虛擬三維人體經絡腧穴實驗設計研究[D].長春：吉林大學，2011.