增強現(xiàn)實導(dǎo)航下頜骨截骨術(shù)的實驗研究

侯 亦 康朱明 柴 崗 張 艷 許祐榮 沈聰聰 曲 淼

增強現(xiàn)實導(dǎo)航下頜骨截骨術(shù)的實驗研究

侯 亦 康朱明 柴 崗 張 艷 許祐榮 沈聰聰 曲 淼

目的在動物實驗中建立下頜骨截骨術(shù)的增強現(xiàn)實導(dǎo)航系統(tǒng)。方法隨機(jī)選取10只比格犬，經(jīng)CT掃描、牙模制作和激光三維掃描，分別建立CT三維數(shù)據(jù)來源的數(shù)字模型和激光三維數(shù)據(jù)來源的數(shù)字模型（簡稱CT模型和激光模型），將兩種數(shù)字模型在圖形工作站中打開，根據(jù)牙尖標(biāo)志點進(jìn)行擬合，將擬合信息疊加到比格犬的下頜骨上，進(jìn)行增強現(xiàn)實導(dǎo)航的下頜骨截骨手術(shù)。結(jié)果CT模型可重建骨組織，激光模型能迅速、精確地完成牙齒信息的三維重建，通過擬合可制作出截骨方案的增強現(xiàn)實模型，并能用于導(dǎo)航動物的下頜骨截骨術(shù)。結(jié)論通過CT掃描、牙模制作和激光三維掃描建立的下頜骨截骨術(shù)的增強現(xiàn)實導(dǎo)航系統(tǒng)，可以準(zhǔn)確應(yīng)用于動物實驗，對其臨床操作具有極好的指導(dǎo)價值。

增強現(xiàn)實導(dǎo)航下頜骨截骨術(shù)動物實驗

下頜角截骨術(shù)中，合適的截骨量、保證手術(shù)效果與術(shù)前設(shè)計一致是手術(shù)成功的關(guān)鍵。但在實際手術(shù)過程中，口角與下頜骨之間只存在一狹小的視野縫隙，且過度牽拉易造成面神經(jīng)下頜緣支損傷。手術(shù)效果很大程度上依賴于醫(yī)生的臨床經(jīng)驗，而醫(yī)生只能根據(jù)術(shù)前CT圖像的閱讀和認(rèn)識來進(jìn)行操作，無法實時地看到術(shù)中下頜骨的組織結(jié)構(gòu)和毗鄰關(guān)系，如下齒槽神經(jīng)血管束的走行等，因而增加了手術(shù)的風(fēng)險。近十年來，隨著增強現(xiàn)實技術(shù)的發(fā)展，給手術(shù)帶來了更直觀的方法。

基于增強現(xiàn)實技術(shù)的下頜角截骨導(dǎo)航技術(shù)，將下頜骨和術(shù)前設(shè)計的截骨平面的虛擬模型疊加到手術(shù)視野中，從而產(chǎn)生實時“透視”的效果。

本實驗擬建立一個基于增強現(xiàn)實的下頜角截骨導(dǎo)航系統(tǒng)。引入牙模配準(zhǔn)方法：術(shù)前采集動物的牙齒模型，通過牙模制作標(biāo)志物支架，掃描后得牙模和標(biāo)志物的三維數(shù)據(jù)用以與下頜骨三維CT進(jìn)行配準(zhǔn)。并使用模式識別技術(shù)識別視頻圖像中預(yù)先定義好的標(biāo)志物，在術(shù)前完成下頜骨虛擬影像與下頜骨實體的配準(zhǔn)。未來可以在實際手術(shù)中，通過視頻采集器實時將配準(zhǔn)結(jié)果疊加到手術(shù)視野中，給醫(yī)生提供參考。

1 材料與方法

1.1 實驗動物

隨機(jī)選取10只清潔級比格犬（上海交通大學(xué)附屬第九人民醫(yī)院動物實驗中心提供）。

1.2 主要實驗設(shè)備

Light speed 16排螺旋CT（GE公司，美國）、美能達(dá)三維掃描儀910、Zcorp快速成型打印機(jī)510、高清攝像頭、高性能電腦、MI 400 D骨刀（Silfradent公司，意大利）。

1.3 醫(yī)學(xué)圖像數(shù)據(jù)獲取

所選動物分別行三維頭顱螺旋CT掃描，均為自然咬牙合位（牙尖交錯位），應(yīng)用Light speed 16排螺旋CT進(jìn)行螺旋掃描（5 mm體積掃描），球管電流180 mA，電壓120 KV，矩陣512×512，1.25 mm厚度薄層三維重建，數(shù)據(jù)以DICOM格式刻盤保存。

1.4 三維建模

應(yīng)用九院整形外科圖形工作站，設(shè)立一定的閾值范圍，利用下齒槽神經(jīng)與下頜骨組織的閾值不同逐層分離出下齒槽神經(jīng)，分別三維重建。得到下頜骨的三維數(shù)字模型和左右兩條下齒槽神經(jīng)的數(shù)字模型，并可看清其在下頜骨中的走行。

依據(jù)神經(jīng)走行，設(shè)計出截骨平面。將截骨平面、神經(jīng)走行和下頜骨的三維信息，分別輸出STL文件。并用快速打印機(jī)打印出下頜骨三維模型，為術(shù)前配準(zhǔn)所用。

1.5 取動物牙模，制作標(biāo)志物支架

取比格犬下牙頜模型，用自凝塑料材料制作兩側(cè)尖牙及中間6顆牙齒的牙套，通過穩(wěn)固的咬牙合關(guān)系使牙套和牙模牢固結(jié)合在一起。通過牙模媒介，將牙套轉(zhuǎn)移至下頜骨模型上，由于咬牙合關(guān)系不變，牙套與模型也能牢固結(jié)合，并在模型移動時也能保持兩者位置的相對固定。在牙套基礎(chǔ)上延伸出支架以放置跟蹤標(biāo)志物。將牙套、支架和跟蹤標(biāo)志物粘在一起（下文稱標(biāo)志物復(fù)合體）。為保證術(shù)中標(biāo)志物與牙齒骨骼的位置關(guān)系不變，支架均采用硬質(zhì)材料。

1.6 掃描標(biāo)志物支架與牙模

本實驗使用美能達(dá)三維激光掃描儀，將標(biāo)志物復(fù)合體與牙模按咬牙合關(guān)系結(jié)合在一起掃描，將不同角度獲取的數(shù)據(jù)根據(jù)喙突點、骸點、突出的牙尖等標(biāo)志點進(jìn)行初始配準(zhǔn)，掃描儀配置Polygen Editing Tools優(yōu)化配準(zhǔn)，拼合得到一期掃描結(jié)果。之后作二期處理，填補缺失面，清除噪點，修除質(zhì)量不佳的面片。掃描后得到牙模和標(biāo)志物支架的三維數(shù)據(jù)，以STL格式輸出。

1.7 掃描數(shù)據(jù)與下頜骨數(shù)據(jù)擬合并注冊

將掃描所得的牙模和標(biāo)志物復(fù)合體結(jié)合的三維數(shù)據(jù)輸入圖形工作站，與CT斷層數(shù)據(jù)生成的下頜骨三維模型進(jìn)行擬合，選擇至少3個標(biāo)志點（一般選用特征突出的牙尖、牙凹點）擬合為一個圖像。并同時將截骨平面、下齒槽神經(jīng)的三維信息，與標(biāo)志物復(fù)合體以及下頜骨相擬合，以STL格式分別導(dǎo)出。并將這些三維信息一并導(dǎo)入3D MAX軟件，將中心點居中到標(biāo)志物并歸為原點，不同信息分別賦予不同材質(zhì)后，導(dǎo)出WRL格式文件。

1.8 術(shù)前配準(zhǔn)

將前面生成的WRL文件輸入AR Toolkit軟件包，運行，當(dāng)視頻捕捉器識別到標(biāo)志物后，呈現(xiàn)出虛擬影像。將標(biāo)志物復(fù)合體佩戴到下頜骨模型上，調(diào)整虛擬影像的位置與姿態(tài)使之達(dá)到與下頜骨的快速成型模型融合疊加，顯示在增強現(xiàn)實平臺上，實現(xiàn)虛擬影像與下頜骨快速成型實體模型的配準(zhǔn)。

1.9 動物手術(shù)

將比格犬靜脈麻醉后，備皮、消毒、鋪巾，手術(shù)逐層切開分離比格犬下頜緣皮膚及各層組織，直至完全暴露下頜角。將事先消毒過的標(biāo)志物復(fù)合體牢固佩戴到比格犬牙齒上，在AR Toolkit軟件增強現(xiàn)實技術(shù)導(dǎo)航下，沿設(shè)計好的截骨平面，用意大利Silfradent骨刀截骨，搜集截取骨塊并妥善保存，充分止血后逐層關(guān)閉手術(shù)切口。

2 結(jié)果

2.1 建立下頜骨的三維數(shù)字模型

實驗動物均行三維CT掃描，獲得Dicom數(shù)據(jù)，輸入到圖形工作站。根據(jù)骨組織和軟組織的灰度閾值不同，設(shè)置合適的數(shù)據(jù)選取閾值，過濾出骨組織。生成下頜骨的三維圖像（圖1）。

圖1 動物下頜骨數(shù)字化模型的建立Fig.1 The establishment of animal digital model of mandible

2.2 根據(jù)動物下牙石膏模型，制作標(biāo)志物支架

利用牙模模擬動物實際骨骼，制作的標(biāo)志物支架可與動物的牙齒精確匹配，使標(biāo)志物得到良好固定。基于標(biāo)識的AR系統(tǒng)是通過識別出標(biāo)識來進(jìn)行三維注冊的，因此標(biāo)識的放置位置相當(dāng)重要。在選取過程中，以能被攝像機(jī)清晰地采集到、易于識別以及辨認(rèn)為最佳（圖2）。

圖2 標(biāo)志物復(fù)合體與動物牙模牢固結(jié)合Fig.2 Markers complex combined with animal teeth model strongly

2.3 掃描數(shù)據(jù)與虛擬模型擬合

將掃描所得的牙模和標(biāo)志物復(fù)合體結(jié)合的三維數(shù)據(jù)輸入圖形工作站，與CT斷層數(shù)據(jù)生成的下頜骨三維模型進(jìn)行擬合，再通過3D MAX將中心點居中到標(biāo)志物并歸為原點，以WRL格式導(dǎo)出（圖3）。圖像跟蹤，視頻顯示。

圖3 掃描數(shù)據(jù)與虛擬模型擬合Fig.3 The fitting of scanning data and virtual model

運用AR Toolkit軟件識別標(biāo)志物呈現(xiàn)出虛擬影像，使之與下頜骨的快速成型模型重疊，達(dá)到虛實融合，實現(xiàn)術(shù)前配準(zhǔn)。并在動物手術(shù)中，實時精確顯示神經(jīng)走行和截骨平面，實現(xiàn)手術(shù)導(dǎo)航的目的（圖4）。

圖4 增強現(xiàn)實系統(tǒng)導(dǎo)航下頜骨截骨術(shù)（藍(lán)色為截骨平面，紅色為下齒槽神經(jīng)）Fig.4 Mandible osteotomy under augmented reality(AR) system(Blue:level of osteotomy;Red:inferior alveolar nerve)

3 結(jié)論

動物實驗中，建立了一個下頜角截骨術(shù)的增強現(xiàn)實導(dǎo)航系統(tǒng)。實驗者在動物手術(shù)過程中可以實時看到動物皮膚下面重要神經(jīng)和血管的信息。該信息是計算機(jī)虛擬生成的三維圖形，實驗者通過將虛擬信息與真實圖像結(jié)合觀察，能夠更好地了解手術(shù)位置附近的組織情況，降低了手術(shù)的風(fēng)險。這些對于臨床手術(shù)的實際操作提供了指導(dǎo)和經(jīng)驗，給手術(shù)安全提供了保障，更對手術(shù)效果提供了改進(jìn)的方法。

4 討論

手術(shù)導(dǎo)航IGS（Image guided surgery）于上世紀(jì)80年代末首先應(yīng)用于神經(jīng)外科，隨后逐漸推廣到脊柱外科、整形外科、骨科甚至普外科等手術(shù)中。IGS是指醫(yī)生在術(shù)前利用醫(yī)學(xué)影像設(shè)備和計算機(jī)圖形學(xué)的方法，對患者多模式的圖像數(shù)據(jù)進(jìn)行三維重建和可視化處理，獲得三維模型，制定合理、定量的手術(shù)計劃，開展術(shù)前模擬；在術(shù)中通過注冊操作，把三維模型與患者的實際體位、空間中手術(shù)器械的實時位置統(tǒng)一在一個坐標(biāo)系下，利用三維定位系統(tǒng)，對手術(shù)器械在空間中的位置實時采集并顯示，醫(yī)生通過觀察三維模型中手術(shù)器械與病變部位的相對位置關(guān)系，對患者進(jìn)行導(dǎo)航手術(shù)治療[1]。IGS的使用延伸了醫(yī)生有限的視覺范圍，更新了外科手術(shù)和外科手術(shù)器械的概念，通過在外科手術(shù)中引入圖像，能夠有效地提高手術(shù)精度、縮短手術(shù)時間、減少手術(shù)創(chuàng)傷以及并發(fā)癥的發(fā)生。

目前，經(jīng)典的手術(shù)導(dǎo)航過程如下，首先術(shù)前拍攝帶有定位標(biāo)記（多數(shù)為有創(chuàng)的配準(zhǔn)標(biāo)志物）的CT等影像數(shù)據(jù)，建立包括人體組織結(jié)構(gòu)及預(yù)設(shè)手術(shù)方案在內(nèi)的虛擬三維數(shù)字化模型，然后在實際人體的參考點上另加定位跟蹤裝置，采集人體的三維空間位置，兩種空間坐標(biāo)系在手術(shù)中進(jìn)行配準(zhǔn)，手術(shù)器械上同時安裝定位跟蹤裝置，共同顯示在另外的顯示器中，醫(yī)師通過顯示器中擬合的圖像來指導(dǎo)手術(shù)器械的運動。

但該技術(shù)存在以下不足：①所有的導(dǎo)航信息均顯示在另外的顯示器中，醫(yī)師在手術(shù)中不得不一邊看虛擬的導(dǎo)航圖，一邊將三維顯示與患者真實的解剖組織進(jìn)行對照，術(shù)者需要在不同視野中轉(zhuǎn)換；②由于顯示器是平面的，必須通過二維的圖像的景深來體現(xiàn)三維空間位置，實際上將三維的人體、三維數(shù)字化虛擬設(shè)計模型、手術(shù)器械都平面化，開放性的三維手術(shù)視野轉(zhuǎn)換為類似內(nèi)窺鏡的二維顯示，反而增加了實際導(dǎo)航下手術(shù)操作的難度；③所有的導(dǎo)航使用的手術(shù)器械必須安裝有定位和跟蹤裝置，為體現(xiàn)其空間位置必須要有3個以上的定位跟蹤裝置，并不是所有的手術(shù)器械都能符合安裝定位跟蹤裝置的要求，同時在下頜骨截骨手術(shù)中，手術(shù)視野狹小很容易遮擋定位跟蹤裝置，影響器械的定位，這種導(dǎo)航技術(shù)只適合應(yīng)用于特定手術(shù)和特定的手術(shù)器械。

增強現(xiàn)實（Augmented reality，AR）是在虛擬現(xiàn)實（Virtual reality，VR）技術(shù)基礎(chǔ)上發(fā)展起來的一項新技術(shù)，是通過計算機(jī)系統(tǒng)提供的信息來增加用戶對現(xiàn)實世界感知的技術(shù)。它將計算機(jī)生成的虛擬物體、場景或系統(tǒng)提示信息實時準(zhǔn)確疊加并顯示到真實場景中，做到虛實結(jié)合，增強使用者對真實世界的觀察。同樣，當(dāng)我們將此應(yīng)用于顱頜面手術(shù)中時，事先經(jīng)過三維虛擬設(shè)計，在頭盔上輸出虛擬模型，并與手術(shù)中患者的實體相結(jié)合，醫(yī)生便可獲得肉眼無法看到的器官內(nèi)部信息，做到虛實結(jié)合，實現(xiàn)對現(xiàn)實的“增強”。手術(shù)設(shè)計的結(jié)果也可反映在患者身上，因而術(shù)中術(shù)者可同時看到患者和術(shù)前設(shè)計方案的信息。

近年來，由于增強現(xiàn)實的交互性和簡便性，被廣泛應(yīng)用于手術(shù)培訓(xùn)和預(yù)演、臨床診斷、遠(yuǎn)程醫(yī)療等[2]。Robert等[3]將AR應(yīng)用于正頜手術(shù)中，施行Le FortⅠ型截骨術(shù)，對比術(shù)前術(shù)后骨塊移動的距離，證明與術(shù)前設(shè)計的誤差可控制在1 mm以內(nèi)，認(rèn)為AR對提高正頜手術(shù)中上頜骨塊移動位置的準(zhǔn)確性有幫助，并推斷該技術(shù)可用于其他顱頜面手術(shù)，如Le FortⅢ型截骨術(shù)、額眶前移、顱骨整形或修補術(shù)等。

AR的基本原理和大致步驟為：①獲取患者骨骼信息；②對標(biāo)志物與真實骨骼信息進(jìn)行分析；③生成虛擬圖像；④虛實配準(zhǔn)；⑤術(shù)中導(dǎo)航。其中虛實配準(zhǔn)是關(guān)鍵一步，決定著增強現(xiàn)實技術(shù)的精確性，從而決定了手術(shù)的準(zhǔn)確性。

要實現(xiàn)虛擬和現(xiàn)實物體的完美結(jié)合，必須將虛擬物體合并到現(xiàn)實世界中的準(zhǔn)確位置，這個過程被稱為配準(zhǔn)（Registration）。因此，AR跟蹤定位系統(tǒng)必須能夠?qū)崟r地跟蹤觀察者在場景中的位置、觀察者頭部的角度，甚至是運動的方向，以便用來幫助系統(tǒng)決定顯示何種虛擬物體。在AR應(yīng)用中，通常使用的跟蹤和定位技術(shù)有視頻檢測、光學(xué)系統(tǒng)檢測、全球衛(wèi)星定位系統(tǒng)（GPS）、超聲波定位系統(tǒng)、慣性導(dǎo)航裝置、陀螺儀、磁場導(dǎo)航和機(jī)械裝置導(dǎo)航等。由于用視頻檢測方法進(jìn)行定位對設(shè)備要求低、配準(zhǔn)較簡便且定位準(zhǔn)確，是AR系統(tǒng)中最常見的定位方法。

視頻檢測方法是通過匹配事先定義好的圖形模板來標(biāo)記各種物體及其基準(zhǔn)位置。簡單的模板匹配不僅可以提高圖像識別的效率，而且可以達(dá)到實時性的要求。視頻檢測中使用的標(biāo)記一般由黑色封閉的矩形框和內(nèi)部的各種圖形或文字這兩部分構(gòu)成，其中黑色封閉的矩形框可以使程序在視頻場景中快速識別是否存在標(biāo)記，內(nèi)部的圖形或文字可以表示標(biāo)記的具體信息，如表示何種目標(biāo)或在此應(yīng)顯示何種虛擬物體。這樣當(dāng)系統(tǒng)場景中的定位標(biāo)記被識別后，根據(jù)圖形的仿射不變性原理，就可以重建從預(yù)定義標(biāo)記到當(dāng)前場景中標(biāo)記的坐標(biāo)轉(zhuǎn)移矩陣；然后系統(tǒng)就可以根據(jù)這個轉(zhuǎn)移矩陣來繪制虛擬物體，并進(jìn)行渲染[4]。本實驗即采用視頻檢測的方法，用下頜骨的快速成型模型模仿術(shù)中的真實骨骼，使用標(biāo)志物支架固定標(biāo)志物與模型之間的空間位置關(guān)系，在術(shù)前進(jìn)行配準(zhǔn)。當(dāng)術(shù)中動物佩戴上標(biāo)志物支架后，標(biāo)志物被程序識別，虛擬圖像便與真實的下頜骨重疊，正如術(shù)前與下頜骨模型重疊一樣。這種方法的配準(zhǔn)過程在術(shù)前完成，無須等待到術(shù)中進(jìn)行配準(zhǔn)，大大縮減了手術(shù)的時間。

視頻檢測方法的關(guān)鍵是將標(biāo)志物與人體精確擬合，在術(shù)中精確地再現(xiàn)術(shù)前配置時的位置關(guān)系。2006年，Tsuji等[5]首先報道了牙模模型配準(zhǔn)法。利用牙齒模型數(shù)據(jù)做配準(zhǔn)，其配準(zhǔn)誤差無論以中切牙為標(biāo)準(zhǔn)還是以左右上第二磨牙為標(biāo)準(zhǔn)，都可控制在1 mm以下，最大值為1.02 mm，因此認(rèn)為用這種配準(zhǔn)方法可保證顱面手術(shù)的精確性。

本實驗建立了下頜骨截骨術(shù)的增強現(xiàn)實導(dǎo)航系統(tǒng)，為增強現(xiàn)實的應(yīng)用探索了簡便易實現(xiàn)的配準(zhǔn)技術(shù)，推動了增強現(xiàn)實在真實手術(shù)中的應(yīng)用進(jìn)程。

[1]Kalfas IH.Kalfas Image-guided spinal navigation：application to spinal metastases[J].2001,11(6)：e5.

[2]劉文霞,王樹杰,張繼偉,等.虛擬現(xiàn)實技術(shù)在醫(yī)學(xué)上的應(yīng)用[J].生物醫(yī)學(xué)工程雜志,2007,24(4)：946-949.

[3]Mischkowski RA,Zinser MJ,Kübler AC,et al.Application of an augmented reality tool for maxillary positioning in orthognathic surgery-A feasibility study[J].J Craniomaxillofac Surg,2006,34 (8)：478-483.

[4]朱淼良,姚遠(yuǎn),蔣云良.增強現(xiàn)實綜述[J].中國圖像圖形學(xué)報, 2004,7(9)：767-773.

[5]Tsuji M,Noguchi N,Shigematsu M,et al.A new navigation system based on cephalograms and dental casts for oral and maxillofacial surgery[J].Int J Oral Maxillofac Surg,2006,35(9)：828-836.

Experimental Study of Mandible Osteotomy Guided by Augmented Reality

HOU Yikang,ZHU Ming,CHAI Gang,ZHANG Yan,XU Yourong,SHEN Congcong,QU Miao.Department of Plastic＆Reconstructive Surgery,Shanghai Ninth People's Hospital,Shanghai Jiaotong University School of Medicine,Shanghai 200011,China.Corresponding author:CHAI Gang(E-mail:chai_gang@yahoo.com.cn).

ObjectiveTo establish an effective augmented reality(AR)systemfor mandible osteotomy in animal experiments.MethodsTen Beagle dogs were selected in random.The figure model was established by CT scan,dental mold making and laser passing.The two models were opened in the photo station at the same time and then fitting was done according to the dental landmark points.ResultsBy fitting,the precise 3D information can form augmented reality model and then guide mandible osteotomy in animal experiments.ConclusionThe augmented reality system established by the information from CT scan,dental mold making and laser passing could be applied to mandible osteotomy in animal experiments.It is more valuable in clinical operations.

Augmented reality;Guide;Mandible osteotomy;Animal experiments

R622

A

1673－0364（2013）02－0098－04

2012年12月21日；

2013年1月28日）

10.3969/j.issn.1673-0364.2013.02.009

200011上海市上海交通大學(xué)醫(yī)學(xué)院附屬第九人民醫(yī)院整復(fù)外科。

柴崗（E-mail：chai_gang@yahoo.com.cn）。