混合現實技術引導放療擺位

梁巨宏，王殊軼，胡忞仁，楊雙燕，孫雨萱，付小妮

（1.上海理工大學 健康科學與工程學院，上海 200093；2.同濟大學附屬上海市肺科醫院 放療中心，上海 200443）

0 引言

放射治療（以下簡稱放療）是臨床治療腫瘤的三大主要手段之一［1］，其目的是最大程度地殺滅腫瘤細胞，而使周圍的正常組織和器官免受或少受射線照射。研究表明，因患者擺位誤差導致放療劑量不準確會影響放療效果［2］，因此位置驗證是精準放療不可或缺的保障措施［3-4］。

隨著計算機技術的迅猛發展，放療精度得到大幅度提高。可視化技術是保障精準放療的重要手段，其中混合現實（Mixed Reality，MR）是繼虛擬現實（Virtual Reality，VR）和增強現實（Augmented Reality，AR）技術后出現的新興數字全息成像技術，打破了數字虛擬世界與物理現實世界的界限［5］。1994 年，Milgram 等［6］提出真實—虛擬連續統一體的概念，首次闡述了MR、AR、VR 三者之間的關系。在可視化醫學手術導航領域中，MR 具有以下基本特點：①現實與虛擬世界相結合；②虛擬對象與現實世界精準匹配；③現實世界與虛擬對象實時交互［7］；④多用戶共同操作同一個虛擬對象［8］。

傳統擺位中，放療技師在醫用直線加速器外置激光擺位系統的引導下，通過使激光十字線與畫在患者體表的十字線重合完成擺位［9］，擺位過程中患者的體位應盡可能與CT 模擬定位時的體位一致，但該種擺位方法準確度有待提高。目前，AR/MR 技術被廣泛應用于醫學領域，但在放療領域的應用研究并不多。例如，Talbot 等［10-11］研發出一種外照射治療模式下的患者擺位系統，首次提出通過CT 數據獲得患者外輪廓的三維模型，并利用AR 跟蹤軟件將輪廓疊加到正確治療位置的視頻圖像上，醫師通過觀察監視器將患者實際外輪廓與虛擬輪廓對齊，以實現精確擺位；Cosentino 等［12］基于HoloLens MR 頭戴式顯示器開發AR 軟件以輔助放療擺位，對患者CT 影像中的病灶和體表輪廓進行三維重建后將其呈現在HoloLens 中，擺位時根據虛擬影像的引導移動治療床和調整患者體位；Stanley 等［13］使用表面引導放射治療（Surface Guided Radiation Therapy，SGRT），即通過光學投影獲得患者體表信息，并與CT 影像進行匹配，可顯著降低乳腺癌治療中心的輻射劑量，有效保護心臟；Li 等［14］設計了一種移動端AR 視覺圖像引導放療擺位的裝置，通過AR 對象識別技術將虛擬模型的治療中心定位到加速器中心處，利用移動監視器的攝像頭獲取患者實時體表信息，使其與虛擬模型外輪廓吻合，進而完成精準擺位。

以上基于視頻的AR 放療擺位方法具有良好的實時性，在一定程度上降低了人體呼吸運動引起的擺位誤差，但其需基于單個或多個平面監視器進行，限制了技師的操作范圍，擺位時還需要校準攝像頭，設備之間連線繁瑣。HoloLens2 頭戴式顯示器具有佩戴方便、運行獨立、三維可視化的特性。基于此，本文開發適用于HoloLens2 的MR 軟件，研究體表無標記的MR 可視化技術引導放療擺位，不僅可以還原患者定位時的體位，而且方便技師操作，不受線材和網絡限制。

1 系統操作流程

基于MR 的放療擺位系統操作流程如圖1 所示（彩圖掃OSID 碼可見，下同），具體為：①患者CT 模擬定位；②定位CT圖像數據以DICOM 格式［15］導出至Eclipse 放射治療計劃系統；③臨床醫生勾畫靶區和危及器官，醫學物理劑量師依據臨床醫生開具的申請單制定放療計劃；④包含放療計劃信息的數據以DICOM 的格式導出；⑤使用3D Slicer 進行三維重建，以STL 格式導出；⑥將STL 格式轉換為FBX 格式，導入Unity 軟件計算虛擬模型的空間位置，打包程序，將其部署至HoloLens2；⑦MR 引導放療擺位，使虛擬體表標記對齊激光輔助擺位（Laser Assisted Positioning，LAP）系統；⑧采用錐形束CT（Cone Beam CT，CBCT）進行位置驗證。

Fig.1 Operation process of MR-based radiotherapy set-up system圖1 基于MR 的放療擺位系統操作流程

2 系統核心技術

2.1 系統主要組成

本文系統主要由3D Slicer、Unity 軟件、HoloLens2 設備組成。其中，3D Slicer 軟件是由哈佛大學和麻省理工學院聯合開發的一個免費開源圖像分析處理平臺，操作相對簡單，而且支持功能擴展和改進。其包含的Slicer RT 插件可以完整讀取并解析DICOM 中的放療計劃信息，根據重建模型準確測量腫瘤體積、相對位置，增強技師操作的真實感和精確性。

Unity 軟件是一款跨平臺虛擬開發引擎，廣泛應用于移動端、電腦端游戲，以及AR、VR、MR 相關產品的開發。Unity 為虛擬項目的開發提供了通用框架以及燈光渲染、場景編輯、物理仿真等強大功能，通過其開發的場景交互十分便捷。Unity 為VR 和MR 相關平臺提供了技術支持，使得在HoloLens 中建立一套MR 手術導航系統成為可能。

HoloLens2 是微軟發布的一款可穿戴式混合顯示設備，允許操作者頭部自由移動且不會損失空間定位的準確性。其擁有獨立計算和處理數據的能力，不受空間限制和線材束縛，佩戴者能透過屏幕看到真實世界和全息三維模型。目前，HoloLens2 已被應用于醫學教學、手術導航等領域，可以輔助解決許多醫學難題。

2.2 三維注冊跟蹤技術

在AR/MR 中，用戶改變自身位置和觀察角度時，被觀察的虛擬物體需實時融洽地與現實場景保持一致，因此必須聲明觀察者和虛擬物體在現實環境中的準確位姿。虛擬物體在現實環境中的位姿一般由設計者決定，因此只要獲得了觀察者的位姿，便可以根據觀察者的實時視角重建坐標系，計算出虛擬物體的顯示姿態，實現交互對象的虛實融合，這個過程就是三維注冊，反映的是真實與虛擬空間的坐標映射關系［16］。一個優秀的三維注冊關系能使虛擬物體準確無誤地疊加在真實場景中，其實現方法一般包括基于傳感器的注冊技術、基于視覺的注冊技術和混合注冊技術3 種［17］。Vuforia Engine 是高通公司推出的針對移動設備AR/MR 應用的軟件開發工具包，擁有全面的AR/MR 功能，可對虛擬與真實場景中的模型進行識別與追蹤［18］。本系統使用Vuforia Engine 進行圖片識別。

2.3 空間坐標系轉換

三維注冊過程中涉及多種坐標系之間的轉換，包括虛擬世界坐標系、世界坐標系、HoloLens2 坐標系、圖像坐標系、像素坐標系等。為確保虛擬模型能夠準確地與真實環境相疊加，需要獲取虛擬空間坐標系與投影坐標系（像素坐標系）之間的變換關系，具體如圖2 所示。

Fig.2 Coordinate system transformation圖2 坐標系轉換

三維注冊一般需要進行以下幾種坐標系轉換環節。

2.3.1 虛擬世界坐標系→世界坐標系

世界坐標系（OWXWYWZW）是現實世界中的坐標系，反映了客觀物體在現實世界坐標中的位置，通常可以任意指定。虛擬世界坐標系（OVXVYVZV）是描繪虛擬物體的坐標系，其到世界坐標系的轉換是為了確定虛擬物體在世界坐標系中的位姿。設OVXVYVZV中的點P(xV,yV,zV)為目標點，對應OWXWYWZW中的坐標為P(xW,yW,zW)，其轉換關系表示為：

式中，B表示虛擬世界坐標系到世界坐標系的轉換矩陣。一般來說，虛擬世界坐標系與世界坐標系的轉換關系在設計AR/MR 時便已確定，因此矩陣B是已知的。

2.3.2 世界坐標系→HoloLens2 坐標系

HoloLens2 坐標系（OCXCYCZC）以HoloLens2 攝像機為中心，從OWXWYWZW到OCXCYCZC需要經過剛體變換，即旋轉、平移變換。目標點P(xV,yV,zV)在OCXCYCZC中對應的點為P(xC,yC,zC)，其轉換關系表示為：

經齊次變換得出：

式中，T為平移矩陣，R為旋轉矩陣。

2.3.3 相機坐標系→圖像坐標系

圖像坐標系（OPXPYP）是圖像的物理坐標系，從OCXCYC?ZC到OPXPYP需要經過投影變換。點P(xC,yC,zC)經過小孔成像投射到OPXPYP中的點為P(x,y)，其轉換關系表示為：

式中，f為HoloLens2 攝像機的焦距。

2.3.4 圖像坐標系→像素坐標系

像素坐標系（OPUV）表示的是像素點在圖像中的位置，以像素為坐標單位，從OPXPYP到OPUV需要經過二次變換。假設圖像坐標系的原點為O1，其在像素坐標系中的坐標為(u0,v0)。點P(x,y)對應OPUV中的像素坐標為P(u,v)，其轉換關系表示為：

可轉化為齊次方程，表示為：

2.4 識別圖尺寸與位置選擇

識別圖的尺寸和位置與識別的精度和穩定性息息相關，設計如圖3（a）所示。識別圖自然特征點越多，識別越穩定、精準，具體如圖3（b）所示。參照Pérezpachón 等［19］對識別圖位置和大小的研究，使用Vuforia Engine 對8cm×8cm的識別圖進行識別并完成虛實環境中的配準和追蹤功能。如圖4 所示，將識別圖分別貼于治療床右上角、加速器機頭兩個位置并進行對比測試。經測量，以識別圖中心為參考坐標系的中心，將識別圖貼在治療床右上角時，肺模體定位中心點的空間坐標為（21.00，15.70，-23.50）cm；將識別圖貼在加速器機頭上時，肺模體定位中心點的空間坐標為（11.65，43.48，-7.38）cm。

Fig.3 Design of recognition image圖3 識別圖設計

Fig.4 Location of recognition image圖4 識別圖位置

2.5 MR 交互功能設計

MR 中人機交互的目的是使用戶盡可能高效自然地與虛實混合的內容進行交互。手勢識別技術能使用戶直接用手操作MR 環境中的3D 物體，是目前使用最廣泛的MR交互方式之一［20］，也有些研究者利用語音識別作為交互手段［21］。3D 交互技術支持用戶使用3D 輸入手段操作3D 物體及內容，是MR 中人機交互的主要組成部分，能在虛實環境下提供高效自然的交互方式。如圖5 所示，本文設計了適用于MR 的3D 人機交互界面，用于實現物體位置的實時調整、材質屬性調整，以及拍照、重新識別等基本功能，手勢、語音、3D 交互可同時使用。

Fig.5 3D user interface圖5 3D 人機交互界面

3 系統測試

3.1 測試環境

測試環境如圖6 所示。地點：上海市肺科醫院放療中心；設備：Varian TureBeam 醫用直線加速器，LAP 激光擺位系統，HoloLens2；測試對象：肺模體。

Fig.6 Testing environment圖6 測試環境

3.2 測試方法

3.2.1 測試準備

對肺模體進行CT 模擬定位，CT 掃描厚度為5mm，在Eclipse 上制定放療計劃并以DICOM 格式導入3D Slicer 軟件中，讀取DICOM 包含的放療計劃信息，三維重建后以STL 格式導出，然后將格式轉化為FBX 導入Unity 中進行模型渲染和空間位置計算，打包程序并將其部署到HoloLens2中。

3.2.2 對照組

將傳統三點式激光手動擺位作為對照組，記為Manu?al。擺位時，通過移動治療床使CT 模擬定位時所做的體表物理標記（身體兩側和體表十字標記線）分別對齊LAP 激光，完成擺位后進行CBCT 位置驗證，并做好數據記錄。

3.2.3 測試組

將識別圖貼在治療床右上角進行MR 引導擺位，記為MR.A；貼在加速器機頭進行MR 引導擺位，記為MR.B。擺位時，技師佩戴HoloLens2，運行MR 軟件，進行MR 引導放療擺位，擺位完成后進行CBCT 位置驗證，并做好數據記錄。

共測試15 組，每組測試順序為MR.A、MR.B、Manual。

3.3 測試結果

如圖7 所示，臨床上將左右方向定義為Lat，上下方向為Vrt，頭腳方向為Lng，分別對應Unity 中的X、Y、Z，Pitch、Rtn、Roll 分別為繞Lat、Vrt、Lng 方向旋轉。以CBCT 作為擺位驗證的金標準，測試結果如圖8 所示。誤差用-x±s表示，結果如表1 所示。

Fig.7 Direction of set-up圖7 擺位方向

Fig.8 Set-up errors test result圖8 擺位誤差測試結果

由表1 可知，MR.B 在Lng、Lat 平移方向及Rtn 旋轉方向上的誤差均低于MR.A 和Manual，在Roll 旋轉方向上的誤差高于MR.A，但低于Manual。MR.B 在Vrt 平移方向和Pitch 旋轉方向上的誤差均高于MR.A 和Manual。結合圖8可知，在Vrt、Lng、Lat 平移方向及Rtn、Pitch、Roll 旋轉方向上，MR.B（藍色）相較于MR.A（灰色）和Manual（橙色）曲線波動幅度更小、更穩定，即將識別圖貼在加速器機頭上的MR 引導放療擺位系統更穩定。

3.4 統計學分析

為進一步驗證MR 引導放療擺位的有效性，選擇Vrt、Lng、Lat 及Rtn、Pitch、Roll 方向的擺位誤差進行統計學分析。將MR.A、MR.B 分別與Manual 進行配對樣本t 檢驗，首先經過Kolmogorov-Smirnov 正態分布檢驗，Manual、MR.A和MR.B 在Vrt、Lng、Lat、Pitch、Rtn 和Roll 方向上的數據均符合正態分布；其次分別將MR.A、MR.B 與Manual 進行配對樣本t檢驗，記為MR.A-Manual 和MR.B-Manual，配對樣本t檢驗的結果如表2 所示。

Table 1 Average set-up errors表1 擺位誤差平均值

Table 2 Paired samplest test results表2 配對樣本t 檢驗結果

由表2 可知，識別圖貼在治療床右上角的MR 引導放療擺位與傳統擺位在Vrt 平移方向上無顯著性差異（t=0.021，P>0.05），在Lng 平移方向上無顯著性差異（t=-1.276，P>0.05），在Lat 平移方向上無顯著性差異（t=-0.218，P>0.05），在Pitch 旋轉方向上無顯著性差異（t=-1.848，P>0.05），在Rtn 旋轉方向上無顯著性差異（t=-0.718，P>0.05），在Roll旋轉方向上有顯著性差異（t=-2.779，P<0.05）。

識別圖貼在加速器機頭的MR 引導放療擺位與傳統擺位在Vrt 平移方向上有顯著性差異（t=3.878，P<0.05），在Lng 平移方向上有顯著性差異（t=-3.983，P<0.05），在Lat 平移方向上有顯著性差異（t=-6.377，P<0.05），在Pitch 旋轉方向上有顯著性差異（t=7.209，P<0.05），在Rtn 旋轉方向上無顯著性差異（t=-2.413，P>0.05），在Roll 旋轉方向上無顯著性差異（t=-0.292，P>0.05）。

MR.A-Manual配對t檢驗時，除Roll方向P值＜0.05，有顯著性差異外，其余方向的P值均＞0.05，無顯著性差異。而MR.B-Manual 配對檢驗時，Vrt、Lng、Lat、Picth 方向的P值均＜0.05，有顯著性差異，Rtn、Roll 方向的P值均＞0.05，無顯著性差異。表明這兩種MR 引導擺位方法均具有良好的適用性，可以輔助放療精準擺位。

4 討論

在肺模體實驗中，將識別圖貼在治療床上進行MR 引導擺位時，首先需微調虛擬模型的空間位置，使其與模體匹配；然后通過平移治療床使加速器外置激光燈對齊虛擬模型的體表標記。當識別圖貼在治療床上時，虛擬模型在空間中的坐標位置是參照識別圖中心建立的空間坐標，因此隨著治療床的移動，虛擬模型在空間中的位置也會發生改變。擺位過程中要時刻保持識別圖在HoloLens2 視野范圍內，操作繁瑣，限制了技師的操作范圍。將識別圖貼在加速器機頭上進行MR 引導擺位時，由于模體的定位點與加速器等中心重合，其空間坐標位置可由LAP 激光系統確定，又由于加速器的等中心位置是固定不變的，因此只需通過識別圖便可確定現實空間相對于加速器等中心虛擬模型的空間位置，然后再通過移動治療床和調整患者體位將患者與虛擬模型進行匹配即可。該過程耗時短、操作簡單，因此將識別圖貼在加速器機頭上的MR 引導放療擺位更具優勢。

然而，在實際治療過程中，放療周期一般較長，患者體型極易發生變化，實際治療體位與計劃體位存在不同程度的差異［22］。此外，胸肺部腫瘤患者在放療中的體位常受到呼吸運動、膈肌運動、食管蠕動、心臟搏動等因素的影響，可能會造成較大的擺位誤差［23-24］。本文實驗對象為肺模體，實驗數據是基于剛性模體的剛性配準獲得。實際患者的腫瘤和正常組織存在分次間和分次內的運動，會導致不確定的隨機擺位誤差。在后期研究中，可通過4D-CT 分時相進行重建，生成一個呼吸運動周期內連續的MR 全息動畫。技師通過觀察，在MR 全息動畫頻率與患者呼吸頻率保持一致時再進行MR 引導擺位，可降低由呼吸運動造成的擺位誤差。

5 結語

為解決傳統放療擺位過程中需要在患者體表進行物理標記以及擺位時無法準確還原患者在CT 模擬機定位的姿態等問題，本文利用MR圖像識別技術可視化引導放療擺位，還原患者在定位時的姿態，降低了重復擺位次數，提高了放療精度，改善了患者在治療過程中的舒適性。考慮到放療機房的特殊性，本文開發了便于床旁操作的MR 軟件，免受線材和網絡的影響。對比實驗結果表明，將識別圖貼在加速器機頭上操作更簡單，更適合輔助放療擺位。在推進臨床應用方面，在提高三維注冊精度的同時，還應重點研究如何改善實時檢測擺位過程中虛實配準的精度和呼吸運動造成的擺位誤差問題，以實現精確擺位、精準放療。