支持力反饋的肝臟手術虛擬仿真及研究

范林龍，周新華，李 毅*

(1.溫州大學 計算機與人工智能學院，浙江 溫州 325035；2.寧波市醫療中心李惠利東部醫院，浙江 寧波 315000)

0 引 言

虛擬現實(Virtual Reality)利用計算機圖形學技術使用戶能夠真實地沉浸于虛擬構造的三維場景中，通過引入多模態感知，用戶可以在視覺、聽覺、觸覺、嗅覺等虛擬仿真技術所構造的業務場景中進行漫游，成為仿真交互的計算機前沿科技。結合如HTC Vive、Microsoft Hololens等頭盔式顯示設備(Helmet Device)，用戶能夠輕便地置身于虛擬場景，實現與虛擬場景物體的動態交互，感受虛擬世界所帶來的知識學習與視覺震撼。虛擬現實技術能夠有效地應用于醫學仿真、教育培訓、影音娛樂、軍事模擬等多個領域，為人類的生產生活提供智能化數字交互的便利，受到了研究人員的廣泛關注。特別是在醫療培訓仿真領域，引入虛擬現實技術能夠有效提高實習醫生的臨床的理論知識學習與臨床模擬手術的業務操作技能，避免了真實手術場景中技能不熟練所導致的醫療風險，縮短了培訓周期，感受虛擬手術仿真所帶來的可試錯的優勢。

1 相關工作

虛擬現實技術需要設計并重建逼近真實環境的應用場景，在實際的虛擬仿真應用中需要借助外部顯示設備來進行高沉浸感的漫游體驗。此外，由于硬件設備的視覺呈現處理效率與交互設備的制約，也直接關系到虛擬漫游的體驗與實時交互的正確率與刷新率。如何快速有效地構建三維空間漫游場景與模型的真實構建、并克服空間場景模型的自然交互所獲取的感官體驗成為研究人員對虛擬現實技術關注的熱點。為此，國內外相關學者對以上問題進行了深入的研究。由于虛擬現實應用場景非常廣泛，此處僅對醫學領域的仿真進行闡述。在醫學場景模型構建領域，為了使手術模型能夠真實地反映實際應用場景，研究人員早在二十世紀八十年代便提出了基于醫學CT影像的三維重建方法。為了提高CT影像的三維重建效率，借助GPU并行計算的加速手段取得了良好的效果。一些研究人員也通過使用當今熱門的深度神經網絡進行CT影像的多分辨率特征提取，保留了更多的病理元素及病灶細節。文獻[4]提出了一種基于局部線性變換的三維重建方法，能夠將X射線成像所得的光學影像分割成多個能量區塊，并在空間中對恒定的先驗知識區塊進行組合，其保留了大量的特征細節。在虛擬現實交互仿真領域，力反饋交互能夠為漫游體驗者帶來真實的觸覺反饋，因此廣泛應用于醫學虛擬仿真領域，如基于滲透深度計算的牙齒手術力觸覺仿真、柔性血管接入的手術仿真、多通道協同的觸覺交互手術仿真、觸覺交互系統中的模型切割仿真與支持力反饋的沉浸式環境學習評價等技術的發展對于深度沉浸的手術仿真提供了大量的技術實現手段。目前針對圖像的三維重建研究也逐漸趨向于采用機器學習提取圖像特征從而對圖像序列進行特征匹配的重建方法。基于力反饋的手術仿真系統及技術的研究成為廣大科研工作者所關注的領域。

以上基于醫學模型三維重建及觸覺交互仿真技術的提出，為構建虛擬現實場景的手術交互提供了理論基礎。為此，圍繞頭盔式虛擬手術漫游的應用場景，該文提出了一種基于力反饋的肝臟虛擬手術仿真系統，通過肝臟醫學CT影像的三維重建獲取人體肝臟模型，并引入頭盔式虛擬漫游設備，構建了人體肝臟手術的虛擬仿真應用實現，為醫學手術培訓仿真提供了一種有效的應用場景解決方案。

2 支持力反饋的肝臟虛擬手術仿真構建

2.1 主要實現流程

該文設計的支持力反饋的肝臟虛擬手術仿真實現流程主要包括CT影像的肝臟三維重建、空間場景構建、實時動態交互設計、反饋力的手術操作仿真。虛擬仿真環境搭建完成后，用戶能夠通過頭盔式顯示設備HTC Vive Pro及其所配備力反饋手柄在虛擬手術場景中進行肝臟手術切割的沉浸式知識學習及實際操作訓練，其總體框架如圖1所示。

圖1 總體框架流程

具體流程如下：

肝臟模型重建：為了增強虛擬手術的高度沉浸感，利用肝臟器官的CT影像進行手術模型的最大密度投影(MIP)三維重建，結合CT斷層掃描的二維圖像的預處理與特征匹配，獲取VR場景所支持的肝臟三維模型文件格式。

空間場景構建：構建頭盔式VR場景漫游的真實手術場景，包括場景環境、模型構建、紋理貼圖等，靈活的可擴展性為后續仿真交互提供便利。對于待展示的空間模型進行建模，可以通過使用Unity 3D內嵌幾何模型工具進行簡單模型的生成，或者利用3D MAX、MAYA、BLENDER等第三方建模工具進行模型創建。

手術動態交互設計：主要是設計不同手術器具的交互方式及碰撞響應結果、手術操作過程、信息提示等，方便用戶通過VR頭盔設備進行手術仿真操作。

支持力反饋的手術仿真：基于支持力反饋的手柄震動響應，針對手術過程中不同器官的虛擬剛度設計不同的震動頻率，以達到觸覺交互的目的。

最后，通過Unity 3D及Steam VR所對應設備的空間位置設定，打包生成所對應VR頭盔設備可運行的應用程序，實現支持力反饋的虛擬手術仿真系統。

2.2 肝臟CT影像三維重建

電子計算機斷層掃描(Computed Tomography，CT)是一種利用精確準直的X線束、γ射線、超聲波等，通過高靈敏度探測器圍繞人體某一器官所在外部表面進行斷面掃描的技術，具有掃描速度塊、圖像清晰等特點。醫生通過利用CT影像能夠準確地檢查有關病灶特征，根據人體組織器官和病變部位的圖像，為疾病的診斷提供依據。CT影像本質是一種平面結構，它通過每間隔1～2厘米，對器官部位進行每一個斷面掃描，而CT的三維重建是在掃描斷面的基礎上進行圖像處理，獲得器官準確的三維模型的過程。通常，CT影像三維重建會根據掃描層圖像的二維數據序列進行預處理，包括圖像的濾波、增強、復原、插值等方法，接下來對于關鍵特征區域進行分割，從而確保所要重建器官與其他不相關組織器官的完全分離。然后對所分割區域進行特征點匹配的可視化映射操作；最后通過三維模型的三角網格化處理機型面繪制和體繪制得到重建的器官三維模型，具體流程如圖2所示。

圖2 CT三維重建算法流程

為了滿足學習者能夠體驗真實手術沉浸感的要求，需要利用實際病例的CT三維重建肝臟模型進行仿真交互，臨床病例CT影像的肝臟病灶模型三維重建結果如圖3所示。

圖3 臨床肝臟病灶模型三維重建結果

2.3 空間場景構建與交互設計

構建頭盔式VR場景漫游的真實手術場景，為了盡量避免由于VR頭盔顯示設備長時間佩戴給用戶帶來的眩暈感，交互空間場景的設計采用定點漫游方式，用戶可以通過定點跳躍的方式進行交互場景的選擇，包括三個場景：肝臟臨床病例選擇與信息查看、肝臟各組成部分的知識學習、實時動態交互的手術操作。場景漫游設計采用視角小于270度的平面環繞及垂直視角小于180度的視野區域，此設計使用戶注意力集中于手術交互操作中，避免視角的大范圍變化所導致眩暈等癥狀的產生，適宜長時間佩戴頭盔進行手術仿真操作。場景設計可采用第三方三維軟件進行建模及貼圖設計，如Blender、3D Max、Maya等。本實驗場景采用Unity 3D構建，因此，場景模型及空間元素的增加也能夠為后續迭代設計提供靈活的可擴展性。

設計不同手術器具的交互方式及碰撞響應結果，針對不同的業務流程，選擇不同虛擬手術設備的響應方式與碰撞響應結果。此過程中，系統設計初學者模式與專家模式，其中初學者模式具有空間文字信息提示，便于用戶學習并熟練掌握手術的操作。具體手術場景操作構建如圖4所示。

圖4 構建的手術場景與手術交互信息提示

2.4 反饋力觸覺交互

對于復雜場景下虛擬交互模型的觸覺反饋系統，還存在諸多的技術難點和挑戰。首先，需要高效的碰撞檢測技術來滿足虛擬交互的實時性要求。高復雜度不規則幾何模型間的碰撞檢測運算非常耗時，對于觸覺渲染系統的高頻率響應很難完美地達到實時的一致性響應；其次，觸覺渲染系統包括圖形渲染和觸覺設備響應兩個處理周期，如何高效統一渲染過程的算法刷新率，對于提高觸覺反饋系統的穩定性至關重要。

設計動力學控制模型：根據數據特征采集并優化的結果，針對虛擬交互的動態特點，分析并設計具有自適應虛擬剛度、局部低速阻尼限制、加速沖量控制單元的動力學觸覺渲染系統。通過采用基于位置的阻尼狀態來構造局部接觸點的動態力輸出模型，以適應不同場景下觸覺交互的動力學控制需求，如下式：

其中，

n

為[1,2]之間的一個無單位常量，用于反映不同材料和接觸面的幾何特性。從模型所得到的系數

K

,

B

并不是模型中的相似量，可以認為

Kx

和

Bx

是基于位置的彈性剛度和阻尼常量。針對交互模型設計不同的虛擬剛度及阻尼，并結合HTC Vive Pro手柄通過計算接觸力以輸出不同的震動頻率。

3 實驗結果與分析

為了測試本算法的適用性和有效性，選取不同類型的圖片用文中算法進行處理，得到了目標圖像的動態增強現實實驗結果。除特別指出之外，該文涉及的全部實驗所用軟、硬件平臺如下所示：

軟件平臺：Windows 10，64位操作系統，Unity 3D，編程語言C#；

硬件平臺：Intel? Corei9-9900KS CPU @ 4.00 GHz，64 G內存，HTC Vive Pro。

支持力反饋的頭盔式VR虛擬手術操作應用實現過程中，利用Unity 3D進行空間三維模型的創建，針對肝臟模型不同部位的反饋力計算并設定震動頻率，結合Steam VR進行打包生成沉浸手術虛擬仿真應用。沉浸式手術交互的實際場景與手術實時交互場景如圖5所示。

圖5 實際場景與手術實時交互實驗場景

其他實驗場景如圖6所示。包括肝臟臨床病例選擇與信息查看；肝臟各組成部分的知識學習；實時動態交互的手術操作。場景漫游設計采用視角小于270度的平面環繞及垂直視角小于180度的視野區域，此設計使用戶注意力集中于手術交互操作中，避免視角的大范圍變化所導致眩暈等癥狀的產生，適宜長時間佩戴頭盔進行手術仿真操作。該算法的提出，為當下醫學培訓仿真提供了又一維度的信息呈現，在枯燥靜態信息獲取的同時，展示了其動態原理的展示結果，能夠增強用戶對于醫學理論原理的理解，增強學習的探究性與趣味性。

圖6 其他手術操作實驗場景

實驗結果與分析：實驗過程中，可以通過調節力反饋設備的Trigger控件的時間來控制震動的頻率，默認為0.5秒持續震動。實驗結果表明，在力反饋手柄綁定手術器具，并與人體器官模型交互的過程中，能夠感受真實的震動力反饋，使用戶在視覺和觸覺雙通道下感受真實的手術操作流程，便于空間定位并避免交互過程中的穿透現象發生。尤其是在震動頻率可調節的情況下，針對不同組織器官可以感受不同的震動頻率。本實驗在輕量的震動力反饋中提供了肝臟手術的虛擬仿真體驗，相對于采用昂貴的力反饋設備，該系統能夠在深度沉浸感的虛擬手術體驗的同時帶來良好的支持力反饋效果，不需要考慮虛擬剛度與阻尼等觸覺反饋設備所帶來的不穩定性影響。

4 結束語

該文提出了一種基于支持力反饋的肝臟虛擬手術仿真系統，針對臨床病例的病灶特征，通過肝臟醫學CT斷層掃描影像的獲取及處理，獲得基于VR虛擬現實漫游系統所需三維重建人體肝臟模型；通過真實手術場景的設計與手術操作的模擬仿真，設計了一套包括肝臟病理知識學習與實際手術切割縫合的仿真系統，并引入頭盔式虛擬漫游設備及力反饋的震動手柄，進行了人體肝臟手術的虛擬仿真應用系統實現，為醫學手術培訓仿真提供了一種有效的應用場景解決方案。實驗結果表明，該方法能夠有效應用于基于CT影像三維重建的虛擬漫游場景呈現，尤其是在醫學手術培訓仿真領域，具有很強的應用創新價值。然而，該方法還具有一定的局限性，未來將繼續此領域的應用創新與算法研究，包括引入基于補償力反饋的觸覺設備的手術仿真、基于柔性體虛擬復合剛度的觸覺交互算法。