數(shù) 據(jù) 手 套 在 醫(yī) 學(xué) 虛 擬 實 驗 中 的 應(yīng) 用

張 琦， 黃展鵬

(廣東藥科大學(xué) 醫(yī)藥信息工程學(xué)院，廣州 510006)

0 引 言

在目前的“互聯(lián)網(wǎng)+”的大背景下，高等教育信息化是促進高等教育改革創(chuàng)新和提高質(zhì)量的有效途徑，推進信息技術(shù)與高等教育的深度融合，利用先進的信息技術(shù)，建立高等教育資源共建共享機制[1]，來實現(xiàn)教育信息化可持續(xù)發(fā)展。以信息技術(shù)應(yīng)用為本質(zhì)特征的虛擬仿真實驗教學(xué)，適應(yīng)了信息時代高等教育開放辦學(xué)、資源共享的變革要求，為實驗教學(xué)改革和實驗室建設(shè)增添了活力[2]。通過虛擬實驗的真實感，使學(xué)生模擬實驗的全部操作過程，可加強學(xué)生的主觀能動性和對知識的理解，克服傳統(tǒng)教學(xué)方式呆板、師生間互動不足、趣味性不強的弊端，真正提升醫(yī)學(xué)實驗教學(xué)價值[3]。而數(shù)據(jù)手套是目前比較流行的虛擬現(xiàn)實交互設(shè)備之一，當(dāng)用戶穿戴設(shè)備之后，可以在虛擬的三維環(huán)境中實時操控虛擬手。因此，虛擬手模型的構(gòu)建，以及與真實手之間的運動匹配決定了虛擬交互中自然與否，同時也是進行虛擬醫(yī)學(xué)實驗平臺建設(shè)的首要任務(wù)。

近年來，國內(nèi)外對于虛擬手的三維構(gòu)建方法多數(shù)是以人手的解剖學(xué)特性為根據(jù)，利用三維軟件3DsMax進行幾何模型的構(gòu)建[4-7]， 再利用其他軟件或算法實現(xiàn)虛擬手的運動模型，最后實現(xiàn)與數(shù)據(jù)手套相關(guān)聯(lián)。而本文則選用三維動畫軟件Maya作為建模工具，因為它是世界頂級的三維動畫制作軟件，雖然在游戲工業(yè)領(lǐng)域，稍遜于3DsMax，但在動畫制作行業(yè)可以稱得上是絕對的創(chuàng)立者和領(lǐng)先者[8]。特別是在醫(yī)學(xué)虛擬仿真開發(fā)方面，Maya更為適合構(gòu)建醫(yī)學(xué)虛擬模型[9]。在實現(xiàn)交互方面，Unity3D是一款輕量級的開發(fā)引擎，在開發(fā)虛擬現(xiàn)實方面易于操作，且開發(fā)成本低，適合開發(fā)虛擬現(xiàn)實教育類的產(chǎn)品[10]。因此，本文提出一種基于數(shù)據(jù)手套進行虛擬現(xiàn)實交互過程的更簡便的解決方案，通過Maya建立逼真虛擬手的幾何模型，并利用其強大的動畫優(yōu)勢實現(xiàn)虛擬手的運動變形，最后在虛擬現(xiàn)實引擎Unity3D對虛擬手術(shù)訓(xùn)練的常用手勢進行測試，仿真效 果良好，手勢匹配度高。

1 虛擬手的三維模型構(gòu)建

1.1 數(shù)據(jù)手套簡介

本文采用的是新型數(shù)據(jù)手套WiseGlove，采用高質(zhì)量彈性料制作，在手指關(guān)節(jié)彎曲處設(shè)置傳感器，以測量每個手指關(guān)節(jié)的彎曲度及每相鄰兩個手指之間的夾角。WiseGlove系列手套的型號有5、14、18和19等傳感的數(shù)據(jù)手套。傳感器個數(shù)越多，采集手部各關(guān)節(jié)數(shù)據(jù)越多，則可以實現(xiàn)的手勢動作越復(fù)雜。而本文采用的是14傳感的右手數(shù)據(jù)手套，傳感器分布如圖1所示。可作每個手指的第1關(guān)節(jié)MP與第2關(guān)節(jié)PIP的屈伸，以及手指并攏分開的手勢動作。

1.2 人手的生理結(jié)構(gòu)及運動規(guī)律

建立虛擬手的運動模型，模擬人手的運動，首先要了解人手的生理結(jié)構(gòu)以及每個手指的運動特點，才能保證在手勢仿真過程中取得良好的效果。重點是針對五個手指的位置信息在空間上的變化進行研究。人手骨包括腕骨、掌骨和指骨共有27塊，腕骨8塊，掌骨5塊，指骨有14塊[11]。由于數(shù)據(jù)手套捕獲的是手部關(guān)節(jié)的運動數(shù)據(jù)，因此本文只對手指骨以及手指間關(guān)節(jié)的運動進行研究。如圖2所示為簡化的右手手部關(guān)節(jié)結(jié)構(gòu)圖，其中A、B、C分別代表第1關(guān)節(jié)MP、第2關(guān)節(jié)PIP和第3關(guān)節(jié)DIP。基于人手的這種呈樹狀關(guān)系的結(jié)構(gòu)，手指的運動主要分為屈伸，內(nèi)收和外展(簡稱為收展)。結(jié)合本文中數(shù)據(jù)手套的傳感器的角度定義范圍，各關(guān)節(jié)的運動形式及范圍如表1所示。由于傳感器個數(shù)的限制，食指、中指、無名指以及小姆指的第3個關(guān)節(jié)處沒有設(shè)置傳感器，因此無法實現(xiàn)彎曲。另外，數(shù)據(jù)手套規(guī)定中指不能作收展動作。

1.3 手部結(jié)構(gòu)與三維模型

文獻[12]中指出，三維化的人體結(jié)構(gòu)也就是一種拓撲結(jié)構(gòu)，研究掌握了人體的相關(guān)拓撲結(jié)構(gòu)，就能夠很容易地使用三維方法將該結(jié)構(gòu)描繪出來，圖3所示為手掌與手背的結(jié)構(gòu)。

圖1 14個傳感器的分布圖2 右手手部關(guān)節(jié)結(jié)構(gòu)圖

表1 數(shù)據(jù)手套中各傳感器的彎曲范圍值

圖3 手掌與手背的結(jié)構(gòu)

按照真實手部的結(jié)構(gòu)特征，所創(chuàng)建三維模型的布線必須與之相符合，才能達到仿真的目的。因此在對手部進行三維構(gòu)建時，布線合理與否直接影響到后續(xù)的變形效果。在構(gòu)建過程中，從最簡單的正方體開始，通過加環(huán)線和擠出先將手部的大致輪廓構(gòu)建出來，特別在可彎曲的關(guān)節(jié)處需要3條環(huán)線來保證彎曲的平滑，并且在每根手指指根處進行切分線保證虛擬手的正確拓撲結(jié)構(gòu)。在正確的基礎(chǔ)模型上，再進行細節(jié)刻畫，例如關(guān)節(jié)的細節(jié)以及指甲的結(jié)構(gòu)等。

最終創(chuàng)建出來的虛擬手是由949個四邊面組成的低多邊形模型，簡稱低模，經(jīng)過一級平滑效果之后為3 796個四邊面的高多邊形模型，簡稱高模，如圖4所示。低模與高模的主要區(qū)別為低面數(shù)的三維多邊形模型主要以互動操作為主，運行在游戲程序或虛擬現(xiàn)實設(shè)計中；而高面數(shù)的三維多邊形模型由于面數(shù)較多，多應(yīng)用在預(yù)設(shè)的演示動畫中[13],因此本文的后續(xù)實驗中將采用低模版本進行。

通過上述方法構(gòu)建虛擬手三維模型之后，為了將其最盡可能地做到逼真，必須為模型展UV繪制貼圖來達到。UV提供了一種模型表面與紋理圖像之間的連接關(guān)系，UV負責(zé)確定紋理圖像上的一個點(像素)應(yīng)該放置在模型表面的哪一個頂點上，由此可將整個紋理都鋪蓋到模型上[14]。特別需要注意的是，展UV時的分割線不要出現(xiàn)在虛擬手手背顯眼的地方，應(yīng)盡可能安排在手掌面。之后采用人類皮膚的素材圖片為其繪制手部紋理貼圖，如圖5所示。可以看出，虛擬手視覺仿真效果良好，具有一定的逼真性，從而達到增加用戶沉浸感的目的。

圖4 高模(右)與低模(左)圖5 手部貼圖效果

2 數(shù)據(jù)手套與虛擬手的關(guān)聯(lián)

2.1 實現(xiàn)虛擬手的運動方法

在目前虛擬交互技術(shù)中，使虛擬物體實現(xiàn)運動，大多是通過手動為其創(chuàng)建骨骼結(jié)構(gòu)，再與網(wǎng)格模型進行蒙皮關(guān)聯(lián)，最后調(diào)節(jié)網(wǎng)格模型的權(quán)重值而實現(xiàn)的。為了模擬虛擬手運動可以像真實手那樣，本文利用Maya中骨骼系統(tǒng)作為工具，為虛擬手進行骨骼綁定工作，包括創(chuàng)建手部骨骼，蒙皮以及權(quán)重的設(shè)定。

按照人手真實骨骼結(jié)構(gòu)為虛擬手創(chuàng)建骨骼，其中腕骨處用一個關(guān)節(jié)來代替多塊骨頭，其它關(guān)節(jié)按照真實手部各關(guān)節(jié)的位置進行創(chuàng)建。需要注意的是，虛擬手的每個關(guān)節(jié)都擁有獨立的局部坐標系，因此每個關(guān)節(jié)的坐標方向，必須是統(tǒng)一向上的，否則將影響虛擬手的運動變形效果，如圖6所示。

在計算機圖形學(xué)上，蒙皮網(wǎng)格技術(shù)的雛形就是模型皮膚完全包圍著骨骼模型，關(guān)節(jié)附近處的皮膚頂點同時被幾塊骨骼作用，而它們有著不同的權(quán)重，共同影響著這個頂點的位置，這種方法的關(guān)鍵就是頂點混合算法[15]。而目前的三維軟件會依照某種頂點混合算法自動為網(wǎng)格頂點分配的權(quán)重值，但效果并不會十分理想，需要用戶手動對頂點的權(quán)重值進行微調(diào)，以減少網(wǎng)格變形時的畸變現(xiàn)象，達到正確彎曲變形的效果。其原理是網(wǎng)格模型中的每個頂點受到某個骨骼變形約束的程度用0到1之間的數(shù)字表示，0表示不受約束，1表示受最大程度的約束，并且規(guī)定每個頂點所受到的所有骨骼控制的權(quán)重總和為1。圖7所示當(dāng)手指發(fā)生大角度彎曲時，通過調(diào)節(jié)權(quán)重值的前后皮膚變形情況的對比。為網(wǎng)格模型分配準確的權(quán)重值，力保虛擬手動作變形正確，才不會影響在后續(xù)虛擬實驗中的視覺效果。在完成權(quán)重值的調(diào)整之后，將虛擬手的頂點坐標，骨骼以及頂點權(quán)重值等完整信息，以FBX文件格式導(dǎo)出。

圖6 手部綁骨及各關(guān)節(jié)的局部坐標方向

圖7 調(diào)整權(quán)重值的前后對比

2.2 數(shù)據(jù)手套與虛擬手的運動映射

在創(chuàng)建好虛擬手網(wǎng)格模型之后，需要與數(shù)據(jù)手套實現(xiàn)關(guān)聯(lián)，將數(shù)據(jù)手套傳感器采集的數(shù)據(jù)值傳遞給虛擬手，并驅(qū)動虛擬手做出正確的相應(yīng)動作手勢。在本文中使用Unity 3D作為虛擬實驗平臺來完成這一過程。主要有以下幾個重要步驟：

(1) WiseGlove數(shù)據(jù)手套通過計算機RS-232串口采集到的傳感器原始數(shù)據(jù)范圍是0～255，通過公式將它們轉(zhuǎn)換為彎曲角度，即：

(1)

式中：θ為所求的彎曲角度；β和γ分別為傳感器的最大與最小值；Φ為當(dāng)前手套值；α為手指的活動角度。利用式(1)對手指進行歸一化活動范圍[0，1]：

當(dāng)(Φ-β)/(γ-β)<0.5時手指為展開動作；

當(dāng)(Φ-β)/(γ-β)>0.5時為手指收攏動作。

(2) 將14個傳感器的彎曲角度逐個分配給虛擬手與之相對應(yīng)骨骼關(guān)節(jié)，一一對應(yīng)。

(3) 由于每個用戶的手部尺寸大小各不相同，因此當(dāng)用戶帶上手套后，作握拳手勢為其進行標定，更新此用戶手指各關(guān)節(jié)的最大最小的彎曲范圍。

(4) 為防止各手指收展動作時發(fā)生穿插面的情況，可以乘上一個系數(shù)來控制手指收展過度的情況。

3 實驗及結(jié)果

實驗硬件包括臺式計算機一臺(采用Intel Core i7-4790 四核CPU，8GB內(nèi)存)和 14傳感的WiseGlove右手手套一個，軟件包括Maya 2012三維建模軟件，WiseGlove SDK開發(fā)包以及虛擬現(xiàn)實引擎Unity3D v5.0.1版本。在本實驗的驗證中，所使用的虛擬手為低模版本，進行了兩類測試，一類是對基本手勢進行驗證，另外一類是針對術(shù)者在手術(shù)中常用手勢來進行驗證。

(1) 圖8所示為握拳手勢效果，分別是實驗過程中實拍圖與Unity3D中正面與側(cè)面的實時效果截圖。

圖8 實拍(左)、握拳側(cè)面截圖(中)、握拳正面截圖(右)

(2) 國內(nèi)外醫(yī)務(wù)工作者形成并普遍地接受和遵循著一種手語，即術(shù)者以手勢向助手及器械護士表達意圖。為的是在手術(shù)時配合默契，保持肅靜，同時可以減少飛沫污染切口，防止語音訊息對患者的刺激。在本實驗中挑選幾個大家共同認可的手術(shù)中常用手語作為手勢進行驗證效果，圖9～11所示為模擬術(shù)者在手術(shù)過程中要手術(shù)刀、剪刀以及要鑷子時的開合動作。

圖9 要手術(shù)刀的手勢實拍與截圖

圖10 要剪刀的手勢實拍與截圖

實驗結(jié)果表明虛擬手在作各類動作時，彎曲平滑，沒有破面穿插的情況，且各手指彎曲流暢自然，沒有手指抖動或卡頓的情況，說明虛擬手運動與數(shù)據(jù)手套的匹配精度高，達到了視覺仿真的效果，增加了用戶的沉浸感。

圖11 要鑷子的開合手勢截圖

4 結(jié) 語

本文完成了虛擬手的三維幾何模型的構(gòu)建，實現(xiàn)了與數(shù)據(jù)手套進行關(guān)聯(lián)裝配的過程，實驗效果良好，虛擬手與人手的運動匹配精度高，達到了虛擬仿真的目的。特別是將數(shù)據(jù)手套應(yīng)用到醫(yī)學(xué)虛擬實驗方面，無疑增加了用戶的交互性與沉浸感，為未來的虛擬醫(yī)學(xué)實驗教學(xué)平臺建設(shè)打下良好的基礎(chǔ)。在日后進一步的研究里，可引入數(shù)據(jù)手套的定位器，使虛擬手可在虛擬環(huán)境中自由移動，并可以與場景中的物體發(fā)生交互碰撞，豐富用戶的體驗性，使數(shù)據(jù)手套在虛擬醫(yī)學(xué)仿真這方面的應(yīng)用更加廣泛且有意義。

參考文獻(References)：

[1] 摘編自教育部《教育信息化十年發(fā)展規(guī)劃 -年 》. 推動信息技術(shù)與高等教育深度融合,創(chuàng)新人才培養(yǎng)模式[J]. 中國信息技術(shù)教育, 2014(14):1.

[2] 王衛(wèi)國, 胡今鴻, 劉 宏. 國外高校虛擬仿真實驗教學(xué)現(xiàn)狀與發(fā)展[J]. 實驗室研究與探索, 2015, 34(5):214-219.

[3] 諶新興, 龔興牡, 石慧娟,等. 醫(yī)學(xué)虛擬實驗平臺在實驗教學(xué)中的應(yīng)用[J]. 衛(wèi)生職業(yè)教育, 2016, 34(2):45-46.

[4] 任 程, 戴樹嶺. 基于數(shù)據(jù)手套的逼真虛擬手的實現(xiàn)[J]. 系統(tǒng)仿真學(xué)報, 2008(22):6214-6217.

[5] 安 明, 陳善廣, 劉玉慶. 基于數(shù)據(jù)手套的虛擬手精確建模的研究與實現(xiàn)[J]. 計算機仿真, 2010, 27(1):241-244.

[6] 李 波, 王增輝, 曹福毅. 基于5點數(shù)據(jù)手套的虛擬手精確控制方法[J]. 沈陽工程學(xué)院學(xué)報(自然科學(xué)版), 2015(2):155-158.

[7] 胡 弘, 晁建剛, 林萬洪,等. 基于虛擬手交互的航天員虛擬裝配訓(xùn)練仿真方法[J]. 計算機應(yīng)用, 2015(s2):200-203.

[8] 鄭 直. MAYA三維技術(shù)在動漫領(lǐng)域立體造型中的應(yīng)用研究[D]. 北京：北京工業(yè)大學(xué), 2013.

[9] 劉文苗, 楊 雪, 王 麗,等. 基于Maya技術(shù)的醫(yī)學(xué)虛擬實驗?zāi)Ｐ蜆?gòu)建[J]. 實驗技術(shù)與管理, 2011, 28(4):76-79.

[10] 汪騰浪, 田 元. 基于Unity 3D的教育產(chǎn)品開發(fā)研究[J]. 軟件導(dǎo)刊·教育技術(shù), 2017, 16(5):83-85.

[11] 李 鋒, 葉 銘, 付增良,等. 人手部骨組織建模的B樣條擬合方法研究[J]. 計算機仿真, 2009, 26(9):184-186.

[12] 邱兆平. 人體解剖學(xué)在寫實三維游戲角色制作中的應(yīng)用研究[D]. 上海：東華大學(xué), 2009.

[13] 尹愛菊. 高職動漫專業(yè)三維建模教學(xué)研究[D]. 昆明：云南師范大學(xué), 2015.

[14] 鄭利平, 張 娟, 周乘龍,等. 人群仿真中角色紋理多樣化方法[J]. 圖學(xué)學(xué)報, 2014, 35(1):110-114.

[15] 陳志榮, 陳福民. 基于骨骼混合的蒙皮網(wǎng)格技術(shù)[J]. 計算機輔助工程, 2006, 15(4):57-60.