基于虛擬VR技術的心臟醫療輔助系統的設計與應用

唐　實，任淑霞，王佳欣，王澤宇，賈玉哲，武　帥，徐　昊，阮明哲

（天津工業大學 計算機科學與軟件學院，天津　300387）

0　引言

當前醫學實踐普遍存在高成本、高風險、低復用率等特點[1]。學生動手能力不強，課堂教學乏味枯燥。醫生無法短時間確定最優方案，患者對疾病預防特征或健康恢復的知識水平存在誤區，導致一些不必要的事故發生。虛擬現實技術可以用作醫學教學、新生培訓、技能測試、技術學習、手術計劃等多方面[2]。可以彌補心臟醫學教育和訓練的不足，大量減少有損健康、危險的、昂貴的診斷性操作。

1　系統簡介

1.1　主要功能

基于虛擬 VR技術的心臟醫療輔助系統（以下簡稱本系統），為一個為幫助醫生護士及醫學生的綜合訓練系統，提供從進入手術室到手術完成的一系列操作、指導、教學、以及突發情況的模擬處置。進入系統后，從手術前的消毒環節開始，再到之后的手術準備環節[3]。準備結束后開始醫生與護士的配合，使用手術刀，手術剪與紗布等器具與心臟手術的演示（為方便操作，胸腔已經打開），模擬心臟手術中各種可能發生的情況，如切口偏大和偏深引發的出血情況[4]。開始手術準備階段意圖讓醫學生盡快熟悉手術前的必要操作、加深手術前各種規定和操作的印象，其后是手術中醫生護士的具體配合聯系，在之后的具體心臟手術操作環節，考驗醫學生及醫生對手術突發情況的應急處理能力。從而指導醫學生并加深他們對于手術的了解與體會，讓醫生更加熟悉手術，提前為各種意想不到的突發情況做準備。

1.2　系統開發方法

本系統建模部分由 3dMax（基于 PC系統的三維動畫渲染和制作軟件）完成，3dMax具有較為成熟的模型構建與環境渲染能力，但在動畫方面稍有欠缺，所以在動畫方面我們使用3dMax與Maya（三維動畫制作軟件）結合的制作方式，Maya在動畫制作方面具有自己獨特的優勢，基于以上的努力，我們對模型及模型動畫爭取做到了模擬擬真效果[5]。

系統開發引擎方面我們選用 unity綜合游戲引擎來進行制作。首先，unity平臺具有非常好的移植性，可以發布項目到Windows，Linux，macOS，Android，iOS等多種平臺上，也可利用unity web player插件使項目得到網頁支持。其次，unity引擎是一個主要利用交互的圖形化環境來開發各種項目的平臺，項目開發的速度較快，具體細節更為清晰。最后，unity平臺對于項目的細節光照、像素渲染都有更好的輔助效果，也更容易自定義插件來輔助產生這些效果[6]。

編程語言部分選擇了 c#來協助開發，使用 c#更適合unity平臺的腳本開發。

VR實驗設備選擇了 HTC公司出品的 HTC Vive，它由HTC公司與Value公司聯合開發，也是當前市場較為成熟的幾款VR產品之一。

本系統基于天津市大學生創新創業計劃（201710058073）為依托，系統開發以學生為主老師為輔。開發結束后將該系統投入到實驗課中進行測試。

1.3　系統概述

根據本文研究的內容，所設計的基于虛擬VR技術的心臟醫療輔助系統的功能模塊可以用圖1所示：

圖1　心臟醫療輔助系統的功能模塊Fig. 1　Functional modules of cardiac medical assisted system

1.4　系統各部分的詳細介紹

本系統屬于基于虛擬 VR技術的心臟醫療輔助系統，目前系統具有以下的功能模塊：

（1）醫生模式

{基礎教學}

該模塊主要負責醫學生的手術室基礎操作教育[7]。眾所周知，當前手術教學枯燥無味，學生動手實踐能力較差，在進入手術之前，醫生需要進行很多細致的消毒準備工作，缺少一步很可能就會出現嚴重醫療事故，所以熟練謹慎操作之前的學校訓練顯得尤為重要。所以我們在場景中設計了進入手術室之后的手部消毒、穿戴無菌衣和手套的操作、以及關于其他手術細節的提示性UI[8]。

{心臟手術處理}

該部分同時針對醫生和醫學生。心臟手術環節較多，操作復雜且危險，且建模難度較大，手術中的環節盡量做到真實可靠，所以我們選擇了首先制作一個前期案例：心臟搭橋手術（非體外循環下心臟搭橋手術）的前期處理及手術操作。首先在醫生視角下，使用病人本身血管（場景中提供）將狹窄冠狀動脈的遠端和主動脈連接起來[9]。場景中設置了一個標本病例，同時給予了對應的標準操作動畫演示。使用者可以進行本地自主操作，與標準操作進行對應，并觀察相應的效果。

{應急情況處理}

在進行手術時，難免會發生緊急事故，該部分負責模擬一些突發緊急情況的發生，使用者需要首先確認病人情況并做出對應處置，可以增加醫學生進入手術室之前的經驗[10]。

（2）護士模式

{基礎教學}

該模塊與醫生模式中的基礎教學模塊相似，都作為手術室操作教育部分，在一場手術中，護士與醫生分工各有不同，醫生負責手術，而護士負責具體輔助。但同樣，術前的消毒、穿戴無菌衣的操作，手術細節等也是必不可少的，特別的是，我們加入了與醫生的配合操作訓練和對手術器械設備之間的操作訓練，可以讓護理學生快速熟悉了解手術室及手術規程[11]。

（3）保留模塊

隨著當今醫療水平、圖像處理技術及制作引擎的發展，該模塊作為整個系統的保留模塊，在今后的版本更新中不斷地拓展使用。

2　系統應用演示

現通過以下示例，向讀者進行本系統功能的展示。

2.1　系統選擇界面

該界面由選擇UI組成，通過各種UI進入到系統中的各個場景中，設置有主要的醫生選項、護士選項及退出按鈕，圖2為進入場景前的選擇界面。

圖2　系統選擇界面Fig. 2　System selection interface

2.2　醫生模式

該場景即由對應的基礎教學、心臟手術處理部分、應急情況處理部分組成。三個部分組合成從進入手術室到手術中出現緊急情況處理的完整流程。圖3為手術中畫面。

圖3　心臟手術中醫生視角進行心臟手術的動作Fig. 3　Cardiac Surgery Operation from Doctor’s Perspective during Cardiac Surgery

2.3　護士模式

護士模式前期操作與醫生模式相同，即進入手術室之后的手部消毒操作、穿戴無菌衣和手套，之后進入與醫生配合的模式中，練習為醫生遞送手術剪、手術刀和紗布等操作[12]。圖4為護士視角下的手術操作。

圖4　為手術中護士視角下的配合操作Fig. 4　Coordination Operation from Nurse’s Perspective

3　總結

本系統開發完成后使得醫學生到手術室的距離更近了一步，醫生對于手術中的各種緊急情況處理更加得當，患者也離危險多遠離一分。在接下來的開發計劃中，除了更精細的畫面，更細致的模型渲染，預計還會加入其它各種其它心臟手術操作，實現更多的手術操作教學[13]。在未來隨著VR技術的更新發展，勢必將會有更多VR醫療教育產品出現，將極大的提高未來醫療診斷的準確性及科學性，為更好的醫療環境增磚添瓦。