基于MR技術下的醫療混合現實技術手術室設計

黃 丹 朱 婷

（湖南環境生物職業技術學院，湖南 衡陽 421005）

隨著互聯網、計算機圖形處理技術和人工智能技術發展，混合現實（Mixed Reality，MR）技術在各行業受到重視[1]，成為信息模擬化和形象化呈現的關鍵技術，具備技術跨度大、應用頻率高、使用效率高以及未來發展潛能大等特點[2]。目前，MR 技術與產業的發展路徑需要進一步結合[3]。從MR 技術方面來看，該技術在感知交互、渲染處理以及影像處理等方向發展較快。

1 MR技術下的醫療混合現實技術

MR 技術的應用實例如下：1）輔助診療。例如實現超聲成像與人的視域內真實圖像的融合顯示。2）心理健康疾病的輔助治療[4]，心理健康疾病包括抑郁、焦慮、毒癮以及恐懼（恐高、恐飛等），有大量的游戲專門用來治療各種心理疾病[5]。以恐高癥為例，可以專門設置一個虛擬的環境，不斷刺激大腦，逐漸適應這樣一個高度，當佩戴該頭盔時，沉浸式的感覺是非常強的。3）疼痛管理。通過注意力分散療法來降低嚴重皮膚燒傷患者的疼痛感知等。

2.MR 技術的算法以及設計

2.1 三維掃描系統

三維掃描技術在國外研究起步較早，并取得了一定的研究成果。利用激光掃描儀和高分辨率的彩色相機，IBM 的H.Rushmeier 和F.Bernardini 領導的團隊精確掃描了米切朗基羅佛羅倫薩圣母憐子雕像，結合模型的幾何數據與彩色相機的色彩信息，重建了較好的三維效果。Debevoc、Taylor 等構建了Facade 建筑物重建系統，并利用RGB-D 進行三維重建，即Shahram Izadi 等利用微軟公司發布的Kinect 傳感器研發出的KinectFusion 算法[5]。與國外相比，國內的三維掃描技術研究起步較晚，在技術手段等方面涉獵不深，對模型的重建效果也未能達到理想地步，因此具有很大的進步空間。

2.2 醫學斷層圖像三維重建算法

2.2.1 坐標系的建立

醫學斷層圖像三維重建需要建立坐標系，通過攝像機定位實現與現實三維世界映射的關系，即通過坐標系的形成使之與人體層映射關系，從而建立三維圖形，在整個理論推導過程中，醫學斷層圖像三維重建需要利用各項坐標系，包括攝像機坐標系、圖像坐標系、世界坐標系以及成像平面坐標系，4種坐標系相互結合。

2.2.1.1 圖像坐標系U-O-V

圖像坐標系中灰度圖像可以將圖畫看作為數字圖像，可以組成的二維數字矩陣，由多數矩陣形成成像平面，既每個矩陣元素值不同，其亮度信息也不相同，可以表達一副圖像所含的數據，如圖1所示，圖像平面坐標系建立在數字矩陣基礎上，以此類推，從而組合成與世界坐標系相對應具體圖像。

圖1 圖像平面坐標系

2.2.1.2 成像平面坐標系XI-OI-YI

如圖2所示，通過矩陣像素的坐標形成成像平面坐標系，簡單來說，成像平面上涵蓋成像平面坐標系，像機CCD 感應元件平面就是數字攝像機成像平面，原點為成像平面與光軸的交點，記作OI，其單位設定為mm。

圖2 成像平面坐標系

成像平面是根據攝像機感應元件形成的光束，按照一定比例與坐標系對應，從而形成圖像矩陣。其中，坐標系各個點之間相互關聯，因此U-O-V中的點（u，v）與成像平面坐標系XI-OI-YI中的點（xI，yI）的關系如公式（1）所示。

式中：（u0，v0）為XI-OI-YI原點OI在U-O-V中對應的坐標；dx和dy為每個圖像中像素在成像平面上對應的物理尺寸（dx·dy（單位為mm2）為每個成像平面坐標系的面積，為圖像中小單元表現的一個像素）；u為點（u，v）的橫坐標；v為點（u，v）縱坐標；xI為成像平面坐標系的橫坐標；yI為成像平面坐標系的縱坐標。

結合成像平面坐標計算，將公式（1）與矩陣進行轉換，如公式（2）所示。

2.2.1.3 攝像機坐標系OC-XC-YC-ZC

基于成像平面坐標系的原理，攝像機將攝像物品映射在攝像機坐標系OC-XC-YC-ZC上，形成有效攝像機成像，如圖3所示。坐標原點OC與投影中心重合，類似于原點平移，XC和YC軸平行于成像平面坐標系XI-OI-YI的XI和YI軸，但是會等比放大或縮小。其中，ZC軸與光軸重合，可以看到攝像機與成像平面具有對應的關系，OC與OI的距離即為攝像機焦距f，在一定距離的焦距下可以進行呈像。

圖3 是基于圖2 進行的轉化，利用公式（1）可以確定呈像關系，可以得到攝像機坐標系OC-XC-YC-ZC中的物點P（xC，yC，zC）與成像平面坐標系XI-OI-YI中的像點p（xI，yI）之間的關系，如公式（3）所示。

圖3 攝像機坐標系與成像平面坐標系的關系

可以將公式（3）轉化為矩陣，如公式（4）所示。

2.2.2 三維重建原理

該文基于上述呈像原理，采用線性標定方法進行三維重建，即了解圖像坐標與世界坐標的關系，利用攝像機標定其映射關系，通過事物的圖像坐標進行立體匹配，從而確定2 幅圖像的對應關系，進而計算事物在世界坐標中的坐標。

三維重建可以劃分為點、直線、平面、曲線以及曲面的三維重建，可以通過不同處理基元進行區分，該文主要對醫學影像進行三維重建，要確定其匹配基元，就需要對其線性標定方法的三維重建原理進行研究，才能建立三維立體形狀。

三維重建原理如下：（xW，yW，zW）作為物點坐標系坐標，為未知數，設定圖像坐標，（uL，vL）、（uR，vR）為物點在左、右2 個攝像機的圖像坐標系中投影點的圖像坐標，ML、MR為2 個攝像機的投影矩陣，主要描述其圖像呈現情況，由攝像機投影矩陣式可以得到公式（5）、公式（6）。

在公式（5）中消去zCL，在公式（6）中消去zCR，可以得到公式（7）。

可以采用最小二乘法求出（xW，yW，zW），過程為將公式（7）寫成矩陣形式，如公式（8）所示。

將公式（8）簡寫為公式（9）。

式中：A為矩陣；X為向量；B為向量。

A、X和B分別如公式（10）～公式（12）所示。

由最小二乘法可以得到公式（13）。

通過最小二乘法可以對醫學成像中的立體圖像匹配物點坐標進行計算，從而求出世界坐標信息。

2.3 三維重建試驗與結果分析

在醫學影像三維重建試驗中，可以根據雙目邊緣測試抓取工件，這樣機器會對其進行工件幾何中心立體信息進行獲取，得到相應數據，從而得到相應工件幾何中心點的世界坐標，進而獲得相匹配的中心點。

試驗步驟如下：1）讀入匹配出的特征點。醫學影像中，使用M=dlmread（‘…\Row1.txt’）；Row1=M（2：size（M），2）；等命令獲取特殊點的行列值，該系統可以采用相應軟件錄入特征點，可以結合命令讀入MATLAB 文件Calibration.m 中，在醫學影像中，可以為三維重建提供對應匹配點。三維重建試驗數據見表1。2）獲取各匹配點世界坐標值。在讀入匹配特征點后，還需要獲取相應的世界坐標值，因此，當運用三維重建原理時，需要對其實現函數進行利用，例如公式（2）等，從而獲得匹配點的三維世界坐標值并結合相應命令存儲到指定文件，進而將其保存到相應程序中，世界坐標見表1。

表1 三維重建試驗數據

3 基于MR技術下醫療混合現實技術手術室設計結果分析

3.1 平面圖像

如圖4所示，平面圖像經由醫學影像相關器件，可以呈現其CT 圖像，顯示位圖功能，其特點如下：

大多數醫學影像器材都支持高分辨率的數據，在工具欄中，紅色為描繪邊界，能夠清楚看清人腦的CT 成像，大多數CT 圖像具備存儲數據有12 bit，僅表示1 個像素，在這里，CT圖像所采用的顯示卡顯示256 級灰度圖像，在工具欄中可以設置不同窗框寬和位置，能夠對一個灰度范圍進行顯示（范圍為0～4 096）。

紅色的邊界為自動生成的輪廓線，在醫學影像中可以直接對齊輪廓線進行編輯（如圖4（b）所示），可以對其進行刪除點、隱藏輪廓線以及增加點斗進行操作，Command 設計模式可以對輪廓線進行編輯，對CT 圖像進行查看和分析。

圖4 手術室CT 圖像以及三維模型圖像呈現的運行窗口

3.2 三維模型

圖4（b）為三維模型圖像呈現的運行窗口，利用其類圖相關的命令進行功能變換，在呈現的圖像中，為了從不同角度查看三維模型的位置，可以設置移動、旋轉以及縮放等功能，采用渲染流程，RenderWindow 可以進行繪制，CMy3dView 可以進行參數調用，這樣就可以在窗口中可查看醫學影像三維立體模型，采用鼠標就可以進行模擬操作，拖動其圖示進行變換，以便醫生更好地了解影像。同時，三維模型還可以進行動態演示，從而實現醫學影像的動態形式。

4 結語

該文基于MR技術下的醫療混合現實技術手術室設計，結合醫學影像三維重建軟件My3d，My3d 接受符合DICOM3.0 的數據作為輸入，可以進行三維重建，該文主要采用坐標系計算和三維重建原理形成醫學影像示意圖，在程序設定中，可以進行分割，二維圖像自動組成重建三維模型。因此，在實際應用中，醫生可以根據重建結果查看醫學影像內容，包括對相關器官進行觀察。同時，醫生還可以對各種參數進行調用，以便幫助醫生了解病人情況，判斷病灶。