數(shù)字智能化診療技術(shù)資源庫的構(gòu)建與應(yīng)用
——以肝膽外科臨床教學(xué)為例

蔡霈霖,黃振駒,劉智豪,曾小軍,胡浩宇,周 翼,楊 劍,項 楠,彭文麗,方馳華,曾 寧

1.南方醫(yī)科大學(xué)珠江醫(yī)院肝膽一科, 廣州 510280;2.廣東省數(shù)字醫(yī)學(xué)臨床工程技術(shù)研究中心, 廣州 510282

在傳統(tǒng)教學(xué)模式中,由于肝動脈、肝靜脈及門靜脈系統(tǒng)空間解剖結(jié)構(gòu)復(fù)雜[1],CT、MRI等二維影像資料所提供的信息對于尚處于學(xué)習(xí)階段的年輕醫(yī)師及研究生來說是難以理解的,且交互性差,大大降低了學(xué)生學(xué)習(xí)的效率。因此,如何讓年輕醫(yī)師及研究生快速成長,成為一個亟待解決的問題。近年來,隨著虛擬仿真技術(shù)的普及,數(shù)字智能化技術(shù)已在臨床診療、教學(xué)上得到了廣泛推廣和應(yīng)用[2-4]。文章所涉及的研究基于三維可視化、AR、VR等數(shù)字智能化技術(shù)構(gòu)建肝膽一科臨床教學(xué)資源庫,并將其應(yīng)用于南方醫(yī)科大學(xué)珠海醫(yī)院肝膽外科年輕醫(yī)師及研究生教學(xué)實踐中,取得了較好的教學(xué)效果。

1 資源庫數(shù)據(jù)來源

該研究選取2018—2021年在南方醫(yī)科大學(xué)珠江醫(yī)院肝膽一科進行肝切除手術(shù)患者的臨床數(shù)據(jù)350例,包括肝動脈、門靜脈、肝靜脈典型結(jié)構(gòu)及變異類型。所有患者均簽署由醫(yī)院倫理委員會批準(zhǔn)的患者知情同意書,符合醫(yī)學(xué)倫理學(xué)規(guī)定。將患者一般信息(包括患者入院時的年齡、性別等人口統(tǒng)計學(xué)信息)以及患者的診斷、治療情況、隨訪信息等數(shù)據(jù)存儲在SPSS表格中,按照變異類型分類對應(yīng)病例并將其術(shù)前影像及三維數(shù)據(jù)整理歸檔。

2 數(shù)字智能化診療技術(shù)資源庫的建立

該資源庫的構(gòu)建以自主開發(fā)的醫(yī)學(xué)圖像三維可視化系統(tǒng)(MI-3DVS)、可視化仿真手術(shù)系統(tǒng)(VR)等數(shù)字智能化技術(shù)為基礎(chǔ),并于2018年加入增強現(xiàn)實導(dǎo)航系統(tǒng)(AR)而逐步完善。具體實施內(nèi)容如下:

2.1 肝臟三維解剖模型資源庫的構(gòu)建

該研究收集350例肝臟疾病患者薄層 CT 圖像數(shù)據(jù),并將其分類,包括典型分型100例、肝動脈變異型45例、門靜脈變異型65例、膽道變異型40例,以及其他類型肝臟疾病患者100例(包括肝門部膽管癌、多囊肝囊腫、膽囊癌轉(zhuǎn)移肝占位等);將其導(dǎo)入自主研發(fā)的腹部醫(yī)學(xué)圖像三維可視化軟件(MI-3DVS,軟件著作權(quán)登記號:2008SR18798)進行圖像的程序分割和三維重建[5-7];對所獲取的三維重建模型進行全方位觀察,并分析不同管道變異類型的肝臟、脈管的三維結(jié)構(gòu)特點及其與病灶的毗鄰關(guān)系,對相應(yīng)的重要解剖結(jié)構(gòu)進行標(biāo)記和注釋(如圖1所示),將重建好的模型按照變異類型分類存儲,并制作成視頻資源,構(gòu)成數(shù)字智能化診療技術(shù)資源庫的三維模型庫,以供后續(xù)的學(xué)習(xí)和工作使用。

圖1 以二維影像到三維模型轉(zhuǎn)變示例

2.2 VR虛擬手術(shù)系統(tǒng)幫助學(xué)生理解手術(shù)決策評估

從三維模型庫中選取100例具有代表性的三維模型,選取標(biāo)準(zhǔn)為:①在肝臟內(nèi)部存在肝動脈、門靜脈、肝靜脈變異;②腫瘤巨大壓迫導(dǎo)致肝內(nèi)脈管嚴(yán)重變形;③涉及肝臟第1段、第8段等需要進行復(fù)雜性肝切除術(shù)。以標(biāo)準(zhǔn)模板庫(Standard Template Library,STL)格式導(dǎo)入高質(zhì)量開發(fā)引擎(unreal engine 4,UE4),利用引擎提供的各種豐富工具渲染出包含燈光、材質(zhì)等虛擬場景,將患者數(shù)據(jù)進行VR建模,對三維模型各個臟器予以標(biāo)記、注釋及透明化,構(gòu)成VR手術(shù)系統(tǒng)。

邀請高年資醫(yī)生對患者的腫瘤及脈管結(jié)構(gòu)進行個體化分析,配合系統(tǒng)中的VR模型為學(xué)生講解不同變異類型對手術(shù)方式規(guī)劃的影響。以門靜脈變異為例,對于典型分支的門靜脈而言,術(shù)中沿門靜脈主干向肝內(nèi)游離門靜脈三個分支的處理較為簡單。但若出現(xiàn)工字型變異,則在進行右半肝切除時,容易誤判門靜脈右支而結(jié)扎,在離斷肝臟實質(zhì)時會增加出血的風(fēng)險[8]。綜合患者是否患乙肝及其他肝病、肝功能儲備等指標(biāo),對三維模型進行虛擬肝臟切除平面設(shè)計,模擬術(shù)中切除情景,模擬完畢后分別對全肝體積、預(yù)切除肝體積、殘余肝體積予以計算(如圖2所示)。以視頻形式輸出VR視頻,將教學(xué)講解過程與VR錄像進行剪輯,保存在數(shù)字智能化診療技術(shù)資源庫中。后續(xù)學(xué)生在復(fù)習(xí)過程中遇到尚未明晰的變異解剖結(jié)構(gòu),可自由使用操作手柄移動目標(biāo)模型,從而更加直觀地了解各結(jié)構(gòu)的解剖關(guān)系,探究可行術(shù)式的風(fēng)險及可行性[9]。

圖2 在虛擬手術(shù)平臺實施預(yù)切肝評估示意

2.3 增強現(xiàn)實導(dǎo)航技術(shù)讓學(xué)生盡早接觸手術(shù)

該資源庫收錄了3D腹腔鏡增強現(xiàn)實手術(shù)導(dǎo)航系統(tǒng)(軟件著作權(quán)號 2018SR840555)和以此技術(shù)為基礎(chǔ)制作的導(dǎo)航手術(shù)視頻。通過三維模型的投影融合,術(shù)中導(dǎo)航手術(shù),術(shù)后收集三維資料、術(shù)中超聲與熒光、手術(shù)視頻及配準(zhǔn)融合后的視頻,對相應(yīng)解剖結(jié)構(gòu)進行標(biāo)記及注釋,量化提取、構(gòu)建及術(shù)中映射,還原、配準(zhǔn)三維結(jié)構(gòu)的關(guān)鍵信息[10],針對不同變異結(jié)構(gòu)及手術(shù)方式,如左半肝、右半肝、右后葉等制作出對應(yīng)典型病例的增強現(xiàn)實融合導(dǎo)航手術(shù)視頻。

該系統(tǒng)通過3D腹腔鏡攝像頭采集實時手術(shù)影像,經(jīng)過視頻解析器(中國e院通3D嵌入式多媒體工作站GK310)解析視頻信號,再通過 Epiphan AV.io HD視頻采集卡輸入筆記本電腦,從而將三維模型投影融入手術(shù)視頻進行疊層顯示,實現(xiàn)術(shù)中肝臟與術(shù)前三維模型的實時融合導(dǎo)航(如圖3、圖4所示)。再以右半肝“工字型”變異為例，在學(xué)習(xí)右半肝切除術(shù)式時，遇上患者門脈存在“工字型”變異，對于資歷尚淺的醫(yī)師來說,門靜脈右支與右后支難以正確辨別,借助增強現(xiàn)實導(dǎo)航技術(shù),學(xué)生在帶教教師的指導(dǎo)下,通過術(shù)中參與導(dǎo)航及術(shù)后觀看帶教教師針對重點難點講解的手術(shù)方法和過程,進一步了解包括肝門部解剖特點、手術(shù)入路、操作技巧等[11-12]。

圖3 AR實時導(dǎo)航手術(shù)畫面示例

3 數(shù)字智能化診療技術(shù)資源庫在臨床教學(xué)的應(yīng)用及意義

3.1 相較于傳統(tǒng)臨床教學(xué)的優(yōu)勢

在既往的傳統(tǒng)教學(xué)模式中,肝門部及肝內(nèi)解剖復(fù)雜抽象,傳統(tǒng)的肝膽外科教學(xué)依靠超聲、CT及MRI等影像學(xué)資料進行教學(xué),學(xué)生理解相對困難,印象不深刻,在腦海難以形成三維立體概念。

近年來,虛擬現(xiàn)實技術(shù)蓬勃發(fā)展并得到廣泛應(yīng)用。李學(xué)超等[13]將需要精細(xì)設(shè)計的腎盂重建手術(shù)通過三維重建技術(shù)應(yīng)用于解剖和手術(shù)規(guī)劃的臨床教學(xué),通過動畫形式模擬手術(shù)切除范圍及重建縫合方式,虛擬手術(shù)操作過程,提高了泌尿外科的教學(xué)效率,縮短了年輕泌尿外科醫(yī)師的成長時間。范宏偉等[14]將虛擬現(xiàn)實技術(shù)應(yīng)用于骨髓穿刺教學(xué)中,有效實現(xiàn)了實習(xí)生可以反復(fù)練習(xí)的目的,提高了培訓(xùn)效率。

該研究所構(gòu)建的資源庫提供了融合數(shù)字智能化診療技術(shù)的新教學(xué)模式(如圖5所示),運用三維重建技術(shù)構(gòu)建細(xì)致的立體肝解剖模型,為學(xué)生提供了360°觀察肝內(nèi)解剖特點[15-16]的機會。學(xué)生也可在教師的指導(dǎo)下,自主使用三維建模軟件,構(gòu)建患者的上腹手術(shù)區(qū)域的器官及管道的模型,在數(shù)據(jù)從二維轉(zhuǎn)變?nèi)S的過程中,對于學(xué)生學(xué)習(xí)和理解解剖知識,尤其是血管變異、膽道變異等[9]難以在課本上學(xué)習(xí)的知識,會有更加具象和深刻的體會。

圖5 數(shù)字智能化診療技術(shù)資源庫教學(xué)模式

3.2 以寓教于樂的方式傳授知識

在前期的教學(xué)研究中[17],以2019年在南方醫(yī)科大學(xué)珠江醫(yī)院肝膽一科學(xué)習(xí)的40 名南方醫(yī)科大學(xué)2015級臨床醫(yī)學(xué)專業(yè)學(xué)生作為研究對象,選取20名學(xué)生采用數(shù)字智能化診療技術(shù)教學(xué)模式進行教學(xué),設(shè)為試驗組;另外20名學(xué)生采用傳統(tǒng)教學(xué)法進行教學(xué),設(shè)為對照組。在此次教學(xué)實驗中,以原發(fā)性肝癌為實驗授課內(nèi)容和考核內(nèi)容,兩組均由經(jīng)驗豐富的帶教教師進行授課,每組教學(xué)時間為2學(xué)時。在兩組學(xué)生結(jié)束為期2周的臨床教學(xué)后,進行教學(xué)效果考核評估,考核內(nèi)容包括理論考核和問卷調(diào)查。

理論考核包括選擇題(60 分)和問答題(40 分)。其內(nèi)容包括辨別腫瘤的位置、腫瘤的毗鄰與第一肝門、第二肝門的關(guān)系等臨床問題,問答題主要考核學(xué)生臨床思維能力,要求學(xué)生制定術(shù)中對策。課后問卷調(diào)查內(nèi)容包括對于教學(xué)內(nèi)容及效果的滿意度。

結(jié)果顯示,試驗組學(xué)生不僅是專業(yè)理論知識掌握得更加牢固,而且在教學(xué)滿意度、臨床思維能力、理論聯(lián)系臨床能力等方面也均優(yōu)于對照組,差異均具有統(tǒng)計學(xué)意義(P<0.05)。

3.3 提高醫(yī)學(xué)生學(xué)習(xí)積極性

肝切除等大型手術(shù)的流程往往是由經(jīng)驗豐富的肝膽外科醫(yī)師承擔(dān)術(shù)前和術(shù)中的主要操作,年輕醫(yī)師及研究生想要真正參與到手術(shù)流程中需要長年的積累和學(xué)習(xí),而傳統(tǒng)教學(xué)模式中缺乏利于其學(xué)習(xí)的途徑。數(shù)字智能化診療技術(shù)資源庫所提供的VR虛擬手術(shù)系統(tǒng)和AR導(dǎo)航系統(tǒng)可在及早培養(yǎng)學(xué)生臨床診療思維和積累臨床經(jīng)驗方面彌補空缺。

VR虛擬手術(shù)系統(tǒng)允許科室學(xué)生和年輕醫(yī)師通過佩戴VR設(shè)備,身臨其境地觀察肝內(nèi)管道的層次和毗鄰關(guān)系,回放高年資醫(yī)師的講解,理解手術(shù)方式設(shè)計的緣由,然后利用力覺、觸覺反饋系統(tǒng)聯(lián)合VR虛擬手術(shù)系統(tǒng),沉浸式體驗真實的場景,模擬手術(shù)器械切割器官組織,學(xué)習(xí)腹腔鏡手術(shù)操作。

AR導(dǎo)航系統(tǒng)允許科室安排年輕醫(yī)師或研究生,將基于CT-MRI融合圖像重建的三維模型和虛擬手術(shù)圖像帶入手術(shù)室,在帶教教師指導(dǎo)下配合術(shù)中關(guān)鍵部位的操作,引導(dǎo)手術(shù)醫(yī)師界定腫瘤邊界和辨別隱匿的微小病灶。在此學(xué)習(xí)過程中,最大限度地達(dá)到真實手術(shù)訓(xùn)練效果,縮短肝臟外科醫(yī)生的培訓(xùn)周期[18-19]。

3.4 為臨床科研夯實基礎(chǔ)

在臨床科研方面,資源庫儲存的典型患者信息可供臨床科研工作者回顧查看,為臨床科研工作打下堅實的基礎(chǔ)。資源庫基于變異類型、部位、手術(shù)方式分類對應(yīng)病例并將其術(shù)前影像及重建后的三維可視化模型、VR建模及增強現(xiàn)實導(dǎo)航資源歸檔存儲。如醫(yī)師想調(diào)研肝右側(cè)占位患者相關(guān)的三維模型特點和手術(shù)方式統(tǒng)計時,只須搜索肝右葉或者肝S6、S7段即可一鍵提取相關(guān)患者信息。如通過提取并分析資源庫所收集的患者資料,該研究團隊從患者的自身特性,手術(shù)入路、手術(shù)方式等方面為肝臟疾病診療提供了嶄新的思路[20-21],這體現(xiàn)了資源庫對于數(shù)據(jù)存儲、統(tǒng)計和分析的價值,拓寬了課題思路,在臨床研究中保駕護航。應(yīng)用驅(qū)動、資源共享,這也是最初建立該資源庫時的初衷。

4 問題與展望

珠江醫(yī)院肝膽一科利用肝膽外科專業(yè)的研究生開展了實踐教學(xué)和訓(xùn)練,并根據(jù)學(xué)生反饋持續(xù)優(yōu)化、不斷完善系統(tǒng)。通過對學(xué)生的使用情況調(diào)研和新技術(shù)的研發(fā),數(shù)字智能化技術(shù)引入了AI深度學(xué)習(xí)功能。目前,新功能尚處于試驗階段,但參與測試的學(xué)生初次體驗情況普遍良好,課后學(xué)生對AI協(xié)助所提供的便捷性印象深刻。

雖然數(shù)字智能化技術(shù)設(shè)備和軟件并未普及到所有基層醫(yī)院,數(shù)字智能化軟件目前還只能截取一定時間段的患者情況,不能實時獲取患者信息,但只要不斷地探索和改進,新技術(shù)教學(xué)資源就可得到更普遍的利用[22],教學(xué)質(zhì)量就會不斷提高。