多模態膝關節腔鏡微創手術虛擬仿真實訓系統的構建

摘要：目的：研究精準建模和碰撞檢測與力反饋技術構建多模態膝關節腔鏡微創手術虛擬仿真實訓系統的構建，滿足醫學人員實訓訓練。方法：以目前國內外相關研究的局限性為出發點，在符合工程實踐的假定條件下，進行VR、PC、WEB三端架構研究，并以關鍵技術3D打印膝關節模型與數字模型高精度匹配，讓骨骼模型起伏和紋理細節最大程度還原，在碰撞物體中增加標簽的方式及模糊算法有效解決物體穿面，增強力反饋，通過力反饋和電磁技術在精確實時定位方法的深入研究，可對關節視覺形態和物理屬性的精準模擬。結果：多模態膝關節腔鏡微創手術虛擬仿真實訓系統性能優良，仿真度高，能夠滿足實訓要求，達到設計目標。結論：系統為醫學手術演練實訓起到了重要的作用，提供了良好的平臺，這種構建模式和技術拓展虛擬仿真系統的應用范圍和受益人群，同時也為我國醫學教育技術創新與進步起到了拋磚引玉的作用。

關鍵詞：多模態；膝關節腔鏡微創手術；虛擬仿真技術；高精度匹配；力反饋

人類膝關節受到不同原因的影響會引起膝關節病變，目前最有效治療膝關節疾病的方法就是微創外科關節鏡手術，膝關節腔鏡微創手術的需求很大，此類醫生的培養時間和培養規模都受到很大局限。因此，大規模培養具有理論與技能于一身的高水平專業醫生非常迫切。

近年來，膝關節虛擬仿真訓練平臺應用非常廣泛，中國人民解放軍總醫院與國防科技大學開始手術仿真訓練系統研究，也有虛實結合通過操縱鍵盤和鼠標控制手術器械進行膝關節鏡手術中的半月板修復手術學習和模擬訓練。在基于網絡和虛擬現實的虛擬仿真醫學研究中，Davis、Matthew Christopher等創建了增強現實VIPAR平臺，允許外科醫生通過無線網絡查看3D合成影像，提供術中實時遠程虛擬協作［9］等。

通過信息技術的發展，基于VR、PC、WEB的架構，均有各自優勢和特點，但單一輸出方式不能符合當代人群的獲取知識方式，達不到多模式訓練的效果，網絡傳輸速率已經不是束縛多模態大規模輸出的阻礙，國內外膝關節仿真系統的應用模態能夠實現B/S應用架構，但是應用方式以PC機為主，終端單一受限。在使用過程中，應用數據需要下載到本地，并且要用高端計算機環境來支持渲染計算，其他終端無法承載，達不到數字化泛在學習的要求。另外，許多系統只適合一對一訓練，且實時交互效果差，卡頓情況嚴重，基于一種引擎的開發導致程序無法復用，這些弊端日趨突顯。因此，在數字化的今天，支持多模態應用在在校教育、手術實訓和終身學習等方面非常重要。

本研究提出多模態構建膝關節腔鏡微創手術虛擬仿真實訓系統，將交互數據視頻流作為服務器向終端呈現的創新計算的方案，再根據GPU并行加速的特性，提升網絡服務器部署中的資源優化性能和加速效率的算法和策略，優化硬件體系結構設計，通過改進資源調度策略，擺脫系統運行時對高端PC平臺支持的依賴，同步架構VR版、WEB版模式，進而將3D打印技術與數字模型進行高精度匹配，再以碰撞檢測技術與器械傳感器獲取標簽數據進行模糊算法，較好地解決碰撞穿面的問題，減少影響和碰撞錯誤率，實現較好的效果，最終搭建基于網絡的多模態膝關節虛擬仿真教學實訓平臺。實驗表明該模式優于單一訓練方式，有效解決平臺單一、多人訓練、價格昂貴等問題，真正用于國內醫學生教育與醫生的培訓，填補社會對醫生巨大需求的缺口，拓展虛擬仿真系統的應用范圍和受益人群。

1 方法

1.1 系統總體結構設計

本研究通過UE4、C++編寫程序三層架構兼顧視覺渲染、觸覺反饋、觸覺硬件、5G云開發的需求，研發膝關節腔鏡微創手術虛擬仿真實訓5G云在線系統。系統結構設計基礎模塊、實操模塊、展示模塊、模型庫/知識庫模塊、虛擬規范化培訓場景5個部分，其中基礎模塊主要包括集合建模、物理建模、碰撞檢測、形變計算、力反饋計算等單元；實操模塊主要包括模型（骨科）、手術器械等單元；展示模塊主要包括三維重建、可視化、聲音系統等單元，向受訓者提供一個直觀逼真的操作視野，提供一個“所見即所得”的操作環境；模型庫/知識庫模塊提供模型資源和知識幫助；虛擬規范化培訓場景模塊提供一個操作界面和平臺，包括開機登錄界面、用戶注冊、培訓（包括用戶登錄信息、病例信息、CT等影像資料、互動式操作，具備信息提示、操作過程錄制、評價等功能）、管理等功能，提供單機版和網絡版等多種輸出模態。

1.2 VR、PC、web輸出模態融合搭建

基于Wi-Fi6和萬兆交換機的高速局域網傳輸環境和5G的互聯網傳輸環境，將膝關節虛擬仿真系統中VR程序部署到局域網的服務器上，多終端供多用戶同時使用，突破基于VR技術的教育平臺實時培訓人數和時空限制；通過基于5G云的線上可視化和實時交互的Web版實現，構建Web交互服務器程序，其功能是將仿真程序部署在5G網絡環境下的云服務器上，優化終端功能，提供網絡連接、視頻解碼和人機交互，擺脫需要高端PC平臺支持的依賴，用戶通過HTML5瀏覽器訪問云端，利用不受時空限制的共享，實現膝關節仿真系統網絡化。多模態膝關節腔鏡微創手術虛擬仿真實訓系統支持VR版、PC版和Web版三種輸出方式。

采用平均請求等待時間等于服務器平均請求處理時間乘以并發用戶數的算法，通過多任務輪流使用系統資源的策略，提升服務器并發處理能力和GPU的并發計算能力。通過優化應用層接口API虛擬化重定向算法，采用編寫應用程序的方式在應用層攔截與GPU相關的應用程序編程接口API，利用重定向算法解決顯示卡時間片分配問題。通過對軟件底層代碼和算法的優化，使用Hook方式接管系統API調用，解決GPU分時同步運算，使單一顯卡虛擬化為供多用戶同時使用的數個虛擬顯卡，優化H.265編碼，提高GPU工作效率，降低服務器視頻編碼流計算量，解決因交互請求過多引起的高并發與因服務器響應延遲出現的卡頓等問題，非常具有挑戰性，實現GPU虛擬化，節省硬件開銷。通過硬件、引擎和驅動三個層面優化訪問并發數量的算法研究。

1.3 高精度匹配3D打印膝關節模型與數字模型

應用虛擬仿真技術了解病灶環境，研究人員先后嘗試開發虛擬關節軟件系統，應用3D MAX對人體膝關節腔建模，并以關鍵幀技術設計相關動態模型，有助于顯示解剖結構，模擬病變結構。首先，將重建的膝關節三維模型導入stl格式，匹配與人類1∶1比例。同時，對于仿真器械的3D打印通過Dadymesh實現高精度匹配，精度控制在±0.01mm。通過對CT和MR提取dicom影像數據，形成中高精度模型。其次，導入Zbrush中進行高精度模型的復原式雕刻，原因是提取出來的骨骼模型不包含粗隆、內外側髁、髁間隆起等起伏和紋理細節，在Zbrush中完善細節后，通過Zrebuild拓撲成標準的輸出模型，數量5000三角面一下，用以適應Web緩存量，并帶有UV分布信息。然后，將模型導入UE4中，將substance painter輸出的PBR材質貼圖給予引擎的shader，將燈光中的reallignts關閉（Web不支持實施光照），并將帶有動畫骨骼的fbx文件集成給骨骼模型，進行運動測試。將shader模式調整成H5模式，在此模式下進行視覺渲染。

根據3D建模數據，用3D打印機打印出手術器械和定制的假體，可精確和程序匹配，做到虛實同步，由此極大地提高了仿真度，這種方式不僅可以還原模型本身，并且讓骨骼模型起伏和紋理細節最大程度還原，在訓練手術過程更加精確。

1.4 驗證碰撞檢測與器械傳感器

在使用UE4構建膝關節三維模型與多功能手柄CLAW的交互場景，需要進行二者的碰撞檢測。通過控制手的位置和反饋力的大小，可以根據解剖或手術操作將手柄模擬成不同的物體，如內窺鏡鏡頭、探鉤等構建解剖或手術等場景。

通過在碰撞物體中增加tag及模糊算法的方式能夠較好地解決碰撞穿面問題。首先明確網絡數據接口，在用戶驗證時使用XJWT標準，此標準基于JSON Web Token（JWT）開發。XJWT包含三個參數：header，payload，signature。Token的組成結構是based64（raw header）+'.'+base64（raw payload）+'.'+base64（raw signature），使用base64解碼signature，通過secret key驗證，如果驗證失敗，則token失效。使用base64解碼header，將得到的過期時間（expiry）和當前時間進行比較，如果已過期，則token失效；如果沒有提供header type，則token失效；使用base64解碼，并使用aes key進行解密，得到的數據前8 byte和aes padding數據將被丟棄，返回剩余的數據json。各實驗教學訓練項目取得用戶數據后，能夠自行進行保存，其碰撞測試精度001mm。VR輸入設備能夠實時捕捉操作者的動作并通過傳感設備向計算機系統報告，計算機便會檢測虛擬手術器械與研究對象模型間的碰撞，并在符合切割的條件下進行模型分裂，計算柔性體的形變，通過反饋裝置將組織器官、血供等形變的反作用力實時反饋給操作者。

1.5 融入力反饋定位技術

在研究中，將該系統手術器械采用醫學真實設備，并在虛擬現實系統里真實還原設備的造型和運動。通過不同的電流大小來控制不同的力度，采用基于幾何意義的高斯分布模型，來模擬組織內部的力反饋形變，同時，通過電磁技術，實時獲取定位傳感器在磁場發生器的磁場空間內的電磁定位系統坐標系，從而獲取手術器械在電磁定位系統坐標系的位置，用戶操作設備手柄控制力觸覺渲染接口的6自由度空間位置姿態，包括x、y、z三個軸向的移動和旋轉，并能夠多向自由力輸出，通過坐標映射得到虛擬環境中代理點的同步位姿，代理點與虛擬模型之間進行碰撞檢測和反饋力計算，使虛擬場景中的物體根據需要實時交互，做到虛實同步，從而提高仿真度。

本研究基于高速的網絡傳輸，結合VR技術、電磁定位技術、力反饋技術，建構三維虛擬仿真模型，通過WebRTC技術實現實時視頻通信進行視頻解碼，采用VR視角匹配，多模態輸出，最終達到膝關節內組織的可視化、建立關節內組織的動態模型、組織的應力形變仿真、柔性體實現、模擬關節科微創手術案例展示、力反饋和定位系統應用、高速圖形顯示與圖像處理。

2 結果

基于VR、PC、WEB輸出模態，具有三維可視化和實時交互功能的網絡實訓平臺環境，將復雜的GPU渲染和編碼任務全部交由服務器端處理的算法和策略，通過優化硬件體系結構設計和改進資源調度，使學習者通過HTML5瀏覽器、筆記本、電腦、PAD和智能手機等設備直接與虛擬仿真程序進行實時交互，擺脫其對高端PC平臺支持的依賴。VR版可通過VR頭盔和手柄進行個性學習，PC版可在PC端進行可視化多人小組學習，Web端可通過瀏覽器線上可視化學習。VR版幀率達到60fHmhIr4WhtP4mL8hfJWAdNA==ps，PC版虛擬仿真系統的幀率達到120fps，WEB版幀率達到90fps。

3 討論

優化WebRTC（Web Real-Time Communication）的算法，突破實時發送視頻流時造成大量延時，且難以克服的瓶頸。通過優化CUDA編程模型和H.265幀內編碼算法，改進H.265預測算法，提高編碼效率。通過設計和優化硬件結構體系，改進資源調度策略強化終端通用性和使用效率，解決網絡中實時視頻傳輸容易引起的畫面失真問題，使兼容HTML5的瀏覽器可在無須安裝任何插件或者第三方軟件支持的情況下，實現音視頻交互實時傳輸功能。

多模態構建不同輸出系統設計方式，具有技術優勢，支持VR版（SDK輸出）、PC版（DX11輸出）和Web版（國際Web 3D標準輸出）三種模態輸出方式，能夠滿足不同應用范圍和受益人群。

3D打印數字模型的高精度匹配能夠最大限度還原手術案例模型，在手術仿真演練過程中，操作者可以手持力反饋設備的3D打印手柄控制虛擬手術器械的運動，通過高頻率的觸覺刷新線程來保證二者的空間位置和姿態達到同步。系統具備較好的人機交互設計流程，為更多的學生及醫生提供了訓練條件，有效提升手術專業度，有很高的應用和推廣價值。

力反饋利用機械表現出反作用力，提供真實的阻力，力觸覺交互設備為用戶提供了和虛擬環境進行觸覺交互的工具，則需要大激勵器和重結構，在手術器械里面植入高精度傳感器和電磁鐵。當虛擬環境遇到阻力的情況下，現實的器械也會有阻力反饋，用戶感覺到機械帶寬即力的頻率和轉矩的刷新率。

綜上所述，構建多模態膝關節虛擬仿真系統為醫學教學、新生規劃培訓、技能測試、技術學習、手術規劃等諸多方面提供了重要的平臺，降低學習成本，提升訓練效果，提高學習興趣，助力醫學創新型人才培養，系統也能夠為臨床手術提供更加科學的方案，為患者提供精準安全的手術。

參考文獻：

［1］朱曉俊，甄莉.對進行膝關節鏡手術的膝關節疾病患者實施臨床路徑護理的效果探析［J］.當代醫藥論叢，2019，17（17）：169-170.

［2］譚珂，郭光友，潘新華，等.膝關節鏡手術仿真訓練系統設計［J］.計算機仿真，2009，26（12）：290-293+324.

［3］韓雙景．交互式虛擬膝關節鏡手術中半月板修復術的研究與實現［C］.中國圖象圖形學學會.第十五屆全國圖象圖形學學術會議論文集.中國圖象圖形學學會：中國圖象圖形學學會，2010：471-474.

［4］Davis MC，Can DD，Pindrik J，et al.Virtual Interactive Presence in Global Surgical Education：International Collaboration Through Augmented Reality［J］.WORLD NEUROSURGERY，2016，86：103-111.

作者簡介：程巍（1983—），女，漢族，河南新鄉人，碩士，講師，研究方向：教育技術學。

通訊作者：婁巖（1961—），男，漢族，沈陽遼寧人，博士，教授，研究方向：計算機應用。