基于手術醫生頭位姿的三維人體部位顯示技術

趙 全，馮喬生，張亞萍

?

基于手術醫生頭位姿的三維人體部位顯示技術

趙 全，馮喬生*，張亞萍

（云南師范大學，云南 昆明 650500）

虛擬手術技術是訓練實習醫生或醫生進行新手術規劃的重要技術，其中人機交互方式是決定虛擬手術是否具有真實感的重要因素。本文主要研究基于醫生手術頭位姿的人體部位顯示技術，對于VTK世界坐標系、VTK相機坐標系以及PATRIOTTM追蹤設備世界坐標系進行了描述，并分析了三者坐標系之間的轉換過程。然后通過對PATRIOTTM追蹤設備坐標數據的編碼與解碼，結合對人體器官追蹤人體視角位置及角度的閾值控制，實現了基于手術醫生頭位姿的三維人體部位顯示技術的研究。同時，為了進一步精確的我們的實驗結果，對相機坐標系與PATRIOTTM追蹤設備世界坐標系的差值測量進行了標定。最終實驗結果表明我們所創建的基于手術醫生頭位姿的三維部位顯示技術可以滿足高真實感虛擬手術的仿真需求。

虛擬手術系統；人機交互技術；人體器官；動態顯示

0 引言

虛擬手術仿真是虛擬現實技術與臨床醫學結合產生的新方向，是虛擬現實技術在臨床醫學的重要應用。如何創建一個真實感更強的手術訓練系統，一直是虛擬手術仿真研究的核心問題。隨著計算機硬件和虛擬現實技術的發展，高真實感的虛擬手術系統為手術醫生提供了一種低風險、低成本的醫學手術訓練方案，因此這方面的研究工作越來越受到國內外學者的重視[1]。

在手術操作過程中，醫生的手是持手術刀進行手術操作，對手術部位的觀察，主要依靠改變頭的位姿以及視線來實現的。因此，為了表達醫生真實的手術環境，虛擬手術系統應具有除手以外的人機交互方式來驅動人體部位的顯示。

在日常生活中人們常用人頭姿態的變化來進行有效交流，是一種重要的交互方式。Andre Gaschler等人分析了人類如何在人與人、人與機器人之間使用頭部姿勢進行交流互動，并在歐洲JAMES項目的人機交互系統上進行了實現[2]。Guozheng XU等人研究了利用殘疾人頭部運動來控制機器人輪椅運動的交互技術，提出了一種基于隨機森林和迭代最近點（ICP）算法組合來估計頭部姿態并用于控制機器人輪椅[3]，Farid Abedan Kondori等人基于Kinect捕獲頭位姿，用于控制殘疾人所坐的電動輪椅的運動[4]。A Agrawal等人研究了頭部姿態與手勢多模態的人機交互方式，用于控制計算機應用程序的運行[5]。Hyunduk Kim等人從彩色圖像和深度圖估計并跟蹤頭部區域，利用隨機森林分類器估算頭部的位置和方向，最后通過確定用戶的注視位置來識別用戶關注的焦點[6]。Qingjie Zhao等人開發了一種基于頭部姿態識別技術的游戲系統，來控制虛擬機器人走在使用Microsoft Robotics Developer Studio構建的虛擬迷宮環境中[7]。Micha Livne等人通過基于視頻的3D人體跟蹤算法的輸出結果，以推斷出追蹤目標的物理屬性如性別和體重，以及精神狀態的方面如快樂或悲傷等信息，研究結果已應用于視頻當中[8]。Pranoti Meshram等人提出在具備照明條件下連續監控駕駛員的頭部姿態，用于檢測駕駛員在駕駛期間的駕駛情況，避免發生交通事故的風險[9]。所以，基于人頭位姿的人機交互方式得到了一定的重視，根據醫生視角或頭部姿態的變化來進行手術部位的顯示調整是一種可行的人機交互方式，用于方便醫生對手術部位進行觀察與實施手術，因此本文研究在VTK可視化環境下基于手術醫生頭部位置和姿態變化來控制人體器官顯示的人機交互技術。

1 人體器官VTK三維建模

1.1 VTK坐標體系

VTK可視化開發工具包是我們研究虛擬手術系統圖形建模所使用的工具。VTK中主要包含模型（Model），世界（World），視圖（View），以及顯示（Display）四種坐標系統[10]。

世界坐標系是演員所處的坐標系，也就是我們研究的虛擬仿真手術器官模型所在的坐標系，器官模型的坐標以及角度變換，都是相對于此坐標系的變換。而視圖坐標系，即相機坐標系，是我們觀察演員對象的坐標系。我們要從不同的視角或距離觀察演員對象，就是調整相機坐標系相對應世界坐標系的位置和姿態。

VTK世界坐標系坐標軸的規定沿顯示器屏幕的右方向為軸正方向，沿顯示器屏幕向上為軸正方向，軸的正方向使用右手螺旋法則確定，即垂直屏幕向外方向為Z軸正方向，如圖1所示。

圖1 世界坐標體系

相機坐標s系沿像平面的右方向為x軸正方向，沿像平面的向下為軸正方向，垂直于像平面即沿相機光軸方向為軸正方向。相機的位置由相機坐標系原點在世界坐標系的位置(co,co,co)確定；相機的姿態由相機坐標系繞世界坐標系旋轉（α，，）確定，即繞軸旋轉角，再繞軸旋轉β角，最后繞軸旋轉角，如圖2所示。則世界坐標系與相機坐標系的轉換關系如下：

其中：

（2）

1.2 基于MC算法的人體器官建模

人體器官的建模方法有有兩大類，一類是使用計算機圖形學方法創建人體器官三維模型，另一類是通過斷層圖像序列來重構人體器官三維模型。針對虛擬手術仿真的臨床應用，計算機圖形學建模方法不能很好的適應病人個體的特征，而通過斷層圖像序列來重構的建模方法能很好的適應病人個體的特征，符合臨床應用要求。所以，本文采用基于移動立方體（MC）算法來進行人體器官的三維建模[11]。

MC算法是W.E.lorenson和H.E.Cline等人于1987年提出來的一種三維表面重構方法，是公認的解決從體數據中抽取等值面問題的標準算法。在醫學應用上，采用MC算法可以重建人體外部輪廓、內部組織器官，使醫生能夠直接以三維的方法觀察感興趣的器官與周圍組織的空間關系。使用MC算法對心臟CT圖像集重構結果如圖3所示。圖像的初始坐標=0,=0,=400,= 0;= 0;= 0。

圖3 MC算法重構心臟血管

2 手術醫生頭位姿下的人體部位觀察顯示

2.1 PATRIOTTM的世界坐標體系

PATRIOTTM追蹤設備在自己定義的世界坐標系中來跟蹤目標的位姿。那么該世界坐標系的坐標軸方向規定為，X軸的正方向沿接收器正面底邊向左，Y軸正方向沿接收器正面側邊向上，Z軸的正方向按右手螺旋法則確定。如圖4所示。所跟蹤到的目標姿態R(,,)的規定為，目標先繞P軸旋轉角，再繞X軸旋轉角，最后繞Z軸旋轉角。目標位置是裝在其上的發射器坐標系原點在世界坐標系X-Y-Z的坐標（ps,ps,ps）。

圖4 PATRIOTTM的世界坐標體系

2.2 PATRIOTTM的醫生頭位姿的獲取

我們將PATRIOTTM設備發射器佩戴在用戶額頭中間偏上的位置，使得發射器發射的信號可以較好的模擬人的視。PATRIOTTM設備接收器位置放在顯示器正后方，如圖5所示。

圖5 PATRIOTTM接收器位置

手術醫生頭位姿數據的獲取是使用PATRIOTTM設備提供的PDI（Polhemus Developer Interface）應用接口通過編程來實現的。本研究使用了其所提供的BOOL ReadSinglePnoBuf（PBYTE & pBuf, DWORD & dwSize）; 其中函數的第一個參數是一個PBYTE類型的指針，用來指向存放從接收器接收到的單幀數據的存儲單元，第二個參數存儲單元的大小。接收到的單幀數據的存儲格式如圖6所示。

圖6 幀坐標數據

根據上述編碼格式，我們可以獲取到虛擬醫生頭的位置坐標與姿態角。

2.3 頭位姿驅動的人體部位動態觀察顯示

為使用由PATRIOTTM跟蹤系統所跟蹤到的手術醫生頭的位姿來改變人體部位的顯示以對應醫生的觀察，需要建立VTK世界坐標系與PATRIOTTM世界坐標系之間的轉換關系。

設虛擬手術醫生頭相對于VTK世界坐標系的位置為(,,)，姿態為R(,,)；頭在跟蹤器世界坐標系中的位置為p(x,y,z)，姿態為R(,,)；PATRIOTTM跟蹤系統接收器相對于VTK世界坐標系的位置為t(X,Y,Z)，姿態為R(co,β,)，如圖7所示。則有下列關系：

其中

于是有：

角度值的計算分別如下，其中右上角的角標代表矩陣中第幾行第幾列的參數：

于是有：

圖7 三者坐標系位置關系圖

（13）

由公式（13）、（14）可知，在虛擬醫生頭姿態變化時，位置坐標的變化量與姿態角度的變化量均需要接收器相對于VTK世界坐標系的位姿矩陣R已知才能確定，因此需要對其進行標定。

2.4 相機的標定

為了可以方便的標定出接收器相對于VTK世界坐標系的位姿矩陣R，本研究選定一個如圖5所示的發射器特殊姿態來實現R的標定，即特殊姿態取法為=180°，=0°，=0°。因而該特殊姿態下的發射器相對于VTK世界坐標系的位姿矩陣按公式（3）得：

于是由公式（7）得到：

若在使用過程中改變了接收器的姿態，則需要按公式（16）進行重新標定。

2.5 閾值控制下的顯示

當獲取到的追蹤設備的三維坐標數據后，我們開始著手將已經建立的三維心臟模型與追蹤設備相結合。由于坐標數據是在極小范圍內不停上下浮動的，所以當圖像和追蹤設備鏈接后，我們所建立的三維醫學心臟圖像會發生顫動的情況。為了避免這種情況的發生，我們設定一個閾值來決定圖像的實時坐標及角度是否隨人體頭位姿的變化而發生變化。同時，閾值的設定，也可以增加系統的響應速度，降低圖像的重構頻率。我們知道，圖像的每一次重構，都要占用大量的系統內存，而有時，我們頭部的細微偏動，并不是想要變換視角或轉動畫面。閾值的設定，就可以幫助我們避免無效的重構，降低了我們無意識動作對于圖像變換以及頭位姿追蹤的干擾，同時也變相的提高了人體器官圖像重構的有效頻率。

通過公式（13）的計算，我們已經可以得到坐標和角度的偏移量，那么判斷是兩幀空間坐標位移差是否達到圖像變換閾值d的具體公式為：

由虛擬手術醫生頭位姿變化驅動顯示的算法描述如下：

While（設定的到時事件發生）{

步驟1，按公式（12）、（13）計算位姿變化，按（14）計算；

{

步驟2.1，按公式（18）計算當前位置計算相機的位姿：

(,,)和（,,）是到時事件發生前相機的位置坐標與姿態角，

步驟2.2，設置相機位置與姿態：

Camera.setposition(￠,￠,￠);

Camera.yaw(￠);

Camera.Azmith(￠);

Camera.rall(￠);

步驟2.3，重新繪制人體器官：

Render.render();

步驟2.4，更新相機的位置坐標與姿態角:

=￠;=￠;=￠;=￠;=￠;=￠;

}

}

3 實驗結果

本文基于VTK研究出了從CT圖像序列重構心臟三維模型的實驗原型系統，該系統以PATRIOTTM追蹤設備來實現虛擬手術醫生頭的位姿跟蹤，利用所跟蹤到的頭位姿信息，控制心臟的三維模型的動態顯示，以反應三維心臟模型對虛擬手術醫生頭和視線的顯示調整。動態顯示的幾個“快照”如圖8-10所示。圖8(a)左側是我們模擬手術醫生進行手術操作的初始頭部位姿，(b)是人體器官模型的初始圖像，也是我們用來測試追蹤效果的參考圖像。我們圖9(a)是頭部的位置和姿態進行改變后的頭部圖像，(b)是人體器官追隨人體頭部位置姿態進行改變后的圖像，當手術醫生的頭部向左偏轉時，我們可以明顯發現人體器官追隨手術醫生的視角進行了向左偏轉，改變了人體器官在三維空間的位置與角度。圖10我們模擬手術醫生將頭部姿態向右進行改變，與此同時我們的人體器官模型也跟隨手術醫生的視角進行了變化。通過上述實驗測量結果，證明了我們基于手術醫生頭位姿的顯示技術具有較高的穩定性和準確度，符合高真實感虛擬手術的應用要求。

圖8 虛擬手術醫生正視“快照”

圖9 虛擬手術醫生左視“快照”

圖10 虛擬手術醫生右視“快照”

4 結論

在當今的虛擬手術仿真中，研究人員往往忽略了醫生與人體器官交互方式的重要性，在虛擬手術的仿真中，發現手術醫生的視線焦點，將會對針對什么創建真實感強的虛擬手術環境產生重要的影響。依靠以往使用鼠標來對圖像進行位置或角度變化的仿真方法，是無法實現真實感強的虛擬手術環境的，這種方法所創建的虛擬手術通常是教學意義勝過勝過臨床意義，對醫生的手術訓練效果更是微乎其微。基于以上原因，本文研究了基于手術醫生頭位姿的三維人體部位顯示技術，深入分析了VTK與追蹤設備之間坐標系的轉換過程，解碼了追蹤設備的編碼格式，獲取到手術醫生頭位姿的坐標數據，并根據醫生頭部位置及姿態的變化，實現圖像追隨人體頭位姿的實時變化。最后，對于圖像的變化頻率以及效率通過設置閾值，來避免圖像的抖動，降低圖像變換次數并提升了有效變換的效率。最終實驗結果證明，本研究所創建的基于手術醫生頭位姿的三維部位顯示技術可以有效的實現手術器官實時追蹤醫生頭部位置及姿態的變化，可以滿足高真實感虛擬手術的仿真需求。

[1] 王宜龍. 基于VTK的醫學圖像三維重建的研究與應用[D]. 安徽大學. 2013.

[2] Andre Gaschler, Kerstin Huth, Manuel Giuliani. Modelling State of Interaction from Head Poses for Social Human-Robot Interaction[J]. Intelligent Systems Application to Power Sys-tems Proceedings of International Confer, 2012, 22: 226-227.

[3] Guozheng XU, Lei XU, Cheng LV. An improved head pose estimation method for the robotic wheelchair interaction control[J]. International Conference on Robotics and Biomimetics, December 5-8, 2017, Macau SAR, China.

[4] Farid Abedan Kondori, Shahrouz Youse?, Li Liu. HEAD OPERATED ELECTRIC WHEELCHAIR[J]. Image Analysis & Interpretation, 2014: 53-56.

[5] A Agrawal, R Raj, S Porwal. Vision-based multimodal human- computer interaction using hand and head[J]. Information & Communication Technologies. 2013: 1288- 1292

[6] Hyunduk Kim, Myoung-Kyu Sohn, Dong-Ju Kim, Nuri Ryu. User’ Gaze Tracking System and Its Application using Head Pose Estimation[J]. International Conference on Artificial Intellig., 2015, 73(2): 166-171

[7] Qingjie Zhao n, Weicun Xu, Yuxia Wang, Using head poses to control a virtual robot walking in a virtual maze[J], 《Optics Communications》, 2013, 295 (295): 84-91.

[8] Micha Livne, Leonid Sigal, Nikolaus F. Troje，Human attributes from 3D pose tracking[J], 《Computer Vision & Image Understandig》, 2012, 116(5): 648-660.

[9] Pranoti Meshram, Nisha Auti, Himanshu Agrawal, Moni-toring Driver Head Postures to Control risks of Accidents[J], 《Procedia Computer Science》, 2015, 50: 617-622.

[10] Will Schroeder, Ken Martin, Bill Lorensen. The Visualization Toolkit Third Edition[M]. Kitware Inc. 2004(8): 49-58.

[11] 盧朝峰. CT圖像三維重建的研究與實現[D]. 復旦大學. 2013.

Three-Dimensional Body Part Display Technology Based on Surgeon's Head Posture

ZHAO Quan, FENG Qiao-sheng*, ZHANG Ya-ping

(College of Information, YunNan Normal University, KunMing YunNan 650500, China)

Virtual surgery technology is an important technique for training an intern or doctor in planning new surgeries. The human-computer interaction method is an important factor in determining whether or not virtual surgery is realistic.This article mainly studies on the human body part display technology based on the doctor's head posture, describes the VTK world coordinate system, the VTK camera coordinate system and the world coordinate system of the PATRIOTTMtracking device, and analyzes the conversion process among the three coordinate systems.Finally.Then,through the encoding and decoding of the coordinate data of the PATRIOTTM tracking device, combined with the threshold control of the position and angle of the human body tracking the human perspective, the three-dimensional human body part display technology based on the surgeon's head pose is achieved.At the same time, in order to further refine our experimental results, the difference between the camera coordinate system and the world coordinate system of the PATRIOTTMtracking device was calibrated.The final experimental results show that the 3D part display technology based on the surgeon's head pose created by us can meet the simulation needs of high-reality virtual surgery.

Virtual surgical system; Human-computer interaction technology; Human organs; Dynamic display

TP3

A

10.3969/j.issn.1003-6970.2018.09.013

國家自然基金項目“基于表面分割的大型三維網格模型多分辨率表示并行構建與繪制”(61262070)資助

趙全(1992-)，男，碩士研究生，主要研究領域為虛擬現實技術；張亞萍(1979-)，女，博士，副教授，主要研究領域為虛擬現實技術。

馮喬生(1961-)，男，碩士，教授，主要研究領域為虛擬現實技術。

本文著錄格式：趙全，馮喬生，張亞萍. 基于手術醫生頭位姿的三維人體部位顯示技術[J]. 軟件，2018，39（9）：58-63