李戊星 桑宏強 王婧宇 尚永盛
摘要:針對現有顳骨手術術前培訓手段存在的問題,設計了一種基于Unity3D的顳骨手術虛擬培訓系統。首先,分析了觸感裝置的正運動學和推導了雅克比矩陣;其次,構建了基于Unity3D的手術鉆和顳骨模型組成的虛擬環境,利用觸感裝置獲取物理空間手術鉆的位姿數據,對虛擬環境中手術鉆和顳骨模型進行了碰撞檢測。最后,采用彈簧阻尼模型對碰撞后產生的反饋力進行了分析計算,將該反饋力通過力雅可比矩陣計算,得到觸感裝置的實際關節力矩,通過控制實現在末端執行器上產生力反饋。研究表明:該系統具有良好的可操作性,能夠提供較真切的觸覺感知,達到較好的術前培訓效果。
關鍵詞:觸感裝置;運動學;顳骨;Unity3D;碰撞檢測;力反饋
顳骨是人體最復雜的解剖部位之一,與大腦及顱內的許多重要神經血管關系密切[1]。為了安全有效地完成手術操作,耳外科醫生必須要進行大量的手術操作模擬練習,否則手術操作不當會導致聽力喪失、骨折和潛在死亡等危險。尸體顳骨標本無疑是醫生進行手術訓練最好的模型,但受尸體數量、成本和疾病傳播風險等限制,遠不能滿足醫生進行教學與訓練的需求[2]。目前國外的不少研究機構對虛擬現實技術在顳骨手術規劃和仿真方面進行了大量研究和實踐。哥本哈根大學Sorensen教授和奧爾胡斯 Alexandra研究所的Mikkelsen工程師等設計開發出一種顳骨解剖手術模擬器[3],其由人機交互接口鼠標和鍵盤等組成,它們可以提供虛擬的手術環境,然而其無法提供真實的觸覺感知。本文提出了一種基于Unity3D顳骨手術虛擬培訓系統,便于醫生進行良好的教學和培訓。
1 虛擬培訓系統總體方案
系統通過觸感裝置獲取手術鉆的位置和姿態數據,同時系統對虛擬手術環境(包含手術鉆和顳骨模型)進行三維建模,控制系統檢測現實環境中觸感裝置的位/姿,結合虛擬環境數據進行碰撞檢測,輸出反饋力,經過處理轉換得到期望力輸出到觸感裝置中,從而實現醫生對接觸力的真實感知,以達到教學和培訓的目的。
2虛擬環境的構建與碰撞檢測
采用旋量法[4],建立5自由度觸感裝置運動學模型,求解機構得到雅可比矩陣和位姿數據。
虛擬環境下手術鉆與顳骨模型的碰撞檢測功能是實現培訓者獲得良好觸覺感知的基礎。
由于Unity3D支持C#、Java和Boo這3種語言的編程,均是基于.NET 平臺開發運行[5]。因此系統采用C#語言進行程序設計,IDE(集成開發環境)選用 Microsoft Visual Studio 2017。碰撞檢測的具體實現過程為:
1) 在unity中導入.FBX格式的手術鉆模型和顳骨模型;
2) 分別為手術鉆和顳骨添加Sphere Collider和Box Collider,并修改屬性。將碰撞器設置為觸發(Is Trigger)類型;
3) 給手術鉆模型1添加剛體組件,并修改屬性。將Use Gravity設置為Ture,使其可以受到重力作用;
4) 當手術鉆和顳骨發生碰撞時,需要編寫碰撞觸發腳本程序,將事件腳本綁定到手術鉆模型上。
3 力反饋原理
由于建模簡單和計算量小的特點,虛擬手術中力反饋的計算采用彈簧阻尼模型[6],即根據彈簧的勁度系數和阻尼器的阻尼系數計算出末端反饋力的大小。反饋力由彈簧提供的彈性力
和阻尼器提供的阻尼力
兩部分來組成。計算的反饋力通過觸感裝置輸出給操作者。之后刷新模型,繼續根據新的位移和速度計算反饋力將其輸出。
環境中手術鉆和顳骨模型發生碰撞,程序中的碰撞檢測功能檢測到這個現象,在控制臺輸出反饋力。顳骨手術三維仿真分別如圖所示。
4 結論
本文克服現有培訓方式的不足,開發研究了基于Unity3D的顳骨手術虛擬培訓系統。推導了觸感裝置的運動學模型和雅克比矩陣。基于 Unity3D 搭建了一個虛擬手術場景,同時結合手術鉆與顳骨模型之間的關系,建立了相應的碰撞檢測模型,獲得了虛擬環境中的反饋力,經過力雅克比矩陣得到觸感裝置中的關節力矩,在觸感裝置末端執行器處實現力反饋,那能夠提供良好的觸覺感知,從而可以真實的反映手術鉆在手術操作中的特征和效果。
參考文獻:
[1]孫敬武,孫家強,侯曉燕.顳骨解剖技能培訓的作用和思考[J]. 聽力學及言語疾病雜志, 2015, 23(06): 635-637.
[2]胡瀾也,賈歡,楊軍. 3D打印顳骨模型制備方法及其在耳科中的應用展望[J].中華耳科學雜志,2016,14(03):420-426.
[3]黃孝文,余洋,周良強,等.可視耳模擬器在顳骨解剖虛擬訓練中的應用[J].聽力學及言語疾病雜志,2013,21(04):400-402.
[4]Saeed B. Niku.機器人學導論:分析、控制及應用[M].孫富春,朱紀洪,劉國棟等,譯.北京:電子工業出版社, 2013.
[5]高國雪,高輝,焦向東,等.基于Unity3D的焊接機器人虛擬現實仿真技術研究[J].組合機床與自動化加工技術,2018(03):19-22.
[6]邵巖.基于虛擬現實技術的力反饋手術平臺的研究[D].沈陽工業大學,2018.