基于拓?fù)浞治龅慕换ナ襟w繪制系統(tǒng)

郭 全，王 雷，楊利素，張勝男

(山東理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 山東 淄博 255049)

基于光學(xué)特性的體繪制是三維重建的主流實(shí)現(xiàn)技術(shù)。體繪制通過模擬光線在體數(shù)據(jù)中的傳輸過程，借助傳遞函數(shù)，計(jì)算光線傳輸路徑上的體素為最終呈現(xiàn)圖像所做的貢獻(xiàn)[1]。傳遞函數(shù)用來指定體素的顏色值和透明度，其設(shè)計(jì)的好壞決定了重建圖像的質(zhì)量。

目前，已經(jīng)有很多學(xué)者在傳統(tǒng)的一維和二維傳遞函數(shù)基礎(chǔ)上，結(jié)合梯度、曲率、紋理等諸多圖像特征來指導(dǎo)傳遞函數(shù)的設(shè)計(jì)，而且取得頗為有效的成果[2-5]。 然而，體數(shù)據(jù)的不同特征通常有相同的標(biāo)量值，空間分布并不相同。已有的方法很難區(qū)分這些特征所屬的區(qū)域，只能模糊體數(shù)據(jù)各部分的邊界。拓?fù)浞治瞿軌蛱峁﹨^(qū)分物質(zhì)邊界的方法，常見的拓?fù)浞治龇椒ㄓ蠷eeb圖、Morse-Smale復(fù)形、輪廓樹[6-8]。輪廓樹相對(duì)其他幾種方法更具有實(shí)用性。而且，在現(xiàn)有的體繪制系統(tǒng)中，一旦傳遞函數(shù)設(shè)定之后，就只能對(duì)繪制的圖像進(jìn)行旋轉(zhuǎn)、平移操作，無法實(shí)時(shí)動(dòng)態(tài)改變顯示效果[9]。

針對(duì)這些問題，本文借助輪廓樹拓?fù)浣Y(jié)構(gòu)，采用新的渲染模式，以實(shí)現(xiàn)可實(shí)時(shí)交互的體繪制系統(tǒng)。輪廓樹拓?fù)淠軌驅(qū)w數(shù)據(jù)各部分進(jìn)行區(qū)域劃分，同時(shí)，對(duì)劃分后的分段進(jìn)行處理，動(dòng)態(tài)顯示全局或局部的圖像，這對(duì)醫(yī)學(xué)診斷、監(jiān)控等有很大的幫助。

1 交互式體繪制系統(tǒng)

本文的體繪制系統(tǒng)是基于光線投射的體繪制[10]。其體繪制的過程如下，首先，對(duì)預(yù)處理后的體數(shù)據(jù)進(jìn)行分類，然后對(duì)分類后的數(shù)據(jù)指定適當(dāng)?shù)膫鬟f函數(shù)，傳遞函數(shù)賦予體素不同的顏色和透明度，最后從視點(diǎn)發(fā)射射線進(jìn)行重采樣，得到投影圖像[11]。

1.1 總體流程

圖1描述了系統(tǒng)總體流程。首先將獲取到的體數(shù)據(jù)進(jìn)行預(yù)處理，通過輪廓樹構(gòu)建算法，可以得到一棵完整的輪廓樹。體數(shù)據(jù)的數(shù)據(jù)集通常很大，得到的輪廓樹會(huì)含有較多分支。使用拓?fù)浜喕椒ǎ瑢⑤喞獦浜喕揭欢ǖ拈撝担粌H能夠去除不必要的分支，還能夠方便后續(xù)尋找有意義的輪廓樹分支。然后進(jìn)行常規(guī)的體渲染。為每個(gè)輪廓樹分支指定單獨(dú)的傳遞函數(shù)，利用基于GPU的光線投射算法，得到理想的渲染效果。指定傳遞函數(shù)是可重復(fù)操作，通過手動(dòng)選取合適分段，可以得到預(yù)期的效果。

圖1 系統(tǒng)總體流程Fig.1 The overall flow of the system

1.2 圖像預(yù)處理

為了減少噪聲對(duì)最終圖像的干擾，通常需要對(duì)體數(shù)據(jù)進(jìn)行圖像三維濾波處理。高斯濾波是常見的平滑濾波方法，由于邊緣信息對(duì)體繪制很重要，本文采用的圖像預(yù)處理方法是在高斯濾波的基礎(chǔ)上，加入各向異性擴(kuò)散算法[12]來增強(qiáng)邊緣信息。

各向異性擴(kuò)散是一種非線性濾波算法，其公式為

?tf=div[g(|fσ|2)f]

(1)

式中：f代表圖像的像素；(·)代表圖像梯度操作；g(·)代表邊緣函數(shù)，其形式為

(2)

式中：k代表g(·)的下降速率，當(dāng)|f|→時(shí)，g(|f|)→0。

高斯函數(shù)是一種正態(tài)分布函數(shù)，常用來表示概率分布，其形式為

(3)

1.3 輪廓樹構(gòu)建

1.3.1 輪廓樹的定義

令d維實(shí)數(shù)域的連續(xù)標(biāo)量數(shù)據(jù)場為F，即f∶Rd->R。不失一般性，在本文的討論中假定d=3。F的函數(shù)范圍是f的最小值和最大值的間隔[fmin,fmax]。對(duì)于一個(gè)標(biāo)量值h∈[fmin,fmax]，水平集L表示數(shù)據(jù)場中函數(shù)值相等的集合，L(h) = {(x)|f(x)=h}。x是臨界點(diǎn)的充分必要條件是df(x) = 0。當(dāng)h沿著fmin到fmax不段增加，水平集的拓?fù)浣Y(jié)構(gòu)體只會(huì)在F的臨界點(diǎn)處改變[13]。同一個(gè)水平集上的點(diǎn)連接起來構(gòu)成一個(gè)輪廓。用節(jié)點(diǎn)表示輪廓，水平集在臨界點(diǎn)處不斷改變而形成的一個(gè)輪廓集合，就是輪廓樹，它代表了輪廓之間的內(nèi)在聯(lián)系[14]。

輪廓樹是由一系列節(jié)點(diǎn)連接而成。圖2表示水平集隨標(biāo)量值h變化的演變和對(duì)應(yīng)的輪廓樹。(a)闡釋了隨著標(biāo)量值的增加，水平集從一個(gè)實(shí)心立方體到四個(gè)小碎塊的演變過程。(b)是對(duì)應(yīng)的輪廓樹，從上到下，(9, 10)合并形成一個(gè)耳環(huán)狀物體(6)，(7, 8)亦同，(5, 6)連接成(4)，(4)到(3)形成一個(gè)封閉的立方體，(3)分裂成內(nèi)層邊界(1)和外層邊界(2)。

(a)演變過程 (b)輪廓村圖2 水平集的演變及其對(duì)應(yīng)的輪廓樹Fig.2 The evolution of the level set and its corresponding contour tree

1.3.2 輪廓樹的構(gòu)建算法

輪廓樹的構(gòu)建算法包含以下幾個(gè)步驟[15]。

1) 對(duì)標(biāo)量場F的所有頂點(diǎn)按照標(biāo)量值大小排序, 并存儲(chǔ)到堆棧；

2) 掃描兩次數(shù)據(jù)集, 一次從大到小掃描創(chuàng)建連接樹, 一次從小到大掃描創(chuàng)建分裂樹；

3) 合并連接樹和分裂樹, 形成輪廓樹。

1.4 渲染模式

目前，基于GPU的體繪制的輸入通常是一個(gè)完整的數(shù)據(jù)集。隨著醫(yī)學(xué)設(shè)備的升級(jí)，產(chǎn)生的數(shù)據(jù)分辨率越來越高，而且體渲染的交互過程中需要CPU和GPU之間的通信。 這加重了CPU的負(fù)擔(dān)。在Deferred Contexts模式(以下簡稱DCRM)產(chǎn)生之前，GPU一直使用Immediate Context渲染模式(以下簡稱ICRM)，DCRM可以將調(diào)用顯卡的繪圖操作分散到多個(gè)CPU核當(dāng)中，因而會(huì)有較好的性能提升。結(jié)合快速輪廓樹算法，得到一棵完整的輪廓樹，輪廓樹的每個(gè)分支對(duì)應(yīng)數(shù)據(jù)的一個(gè)分段。當(dāng)前基于輪廓樹的體繪制，使用的是ICRM進(jìn)行體渲染，對(duì)于體積較大的數(shù)據(jù)來說，實(shí)時(shí)交互渲染效率低下。為了達(dá)到較為理想的渲染效率，本文結(jié)合輪廓樹分段以及DCRM的優(yōu)勢(shì)，設(shè)計(jì)了可實(shí)時(shí)交互的渲染方法。這兩種方式的對(duì)比如圖3所示。從圖3可以看出，ICRM方法將整個(gè)體數(shù)據(jù)作為輸入，交給CPU的一個(gè)核去處理，處理結(jié)束后，數(shù)據(jù)傳給GPU渲染顯示。DCRM方法將數(shù)據(jù)分成若干個(gè)段，然后每個(gè)分段交由獨(dú)立的CPU核處理，每個(gè)CPU處理的數(shù)據(jù)再傳給GPU顯示，這樣能夠減輕CPU的負(fù)擔(dān)，加快處理速度。分段處理的另一個(gè)優(yōu)點(diǎn)是，可以選擇性地指定某個(gè)分段顯示或不顯示，這樣能夠更方便地找到感興趣的區(qū)域，利于醫(yī)學(xué)診斷。

圖3 ICRM和DCRM方式對(duì)比Fig.3 The comparison between ICRM and DCRM

值得注意的是，由于改進(jìn)后的渲染獨(dú)立計(jì)算分段體數(shù)據(jù)，光線投射算法需要對(duì)投射光線路徑上的所有顏色點(diǎn)進(jìn)行合成，因此，需要對(duì)原有的顏色合成方式進(jìn)行修改。在新的分段渲染方式下，對(duì)需要渲染的分段，顏色合成方式為

(4)

(5)

同理可得出最終的透明度。

2 系統(tǒng)實(shí)現(xiàn)與分析

本文程序使用QT和DirectX11實(shí)現(xiàn)，系統(tǒng)平臺(tái)是Dell M4800，處理器為I7 4810m，16G內(nèi)存，Quadro k2100m顯卡。實(shí)驗(yàn)使用的數(shù)據(jù)集來自The Volume Library。使用可視化的用戶界面驗(yàn)證基于拓?fù)浣Y(jié)構(gòu)的體繪制方法的有效性。

本文實(shí)現(xiàn)的系統(tǒng)界面如圖4所示，整體界面分為左中右三個(gè)部分。左邊面板上部為數(shù)據(jù)源的信息，中部為傳遞函數(shù)設(shè)計(jì)界面，下部為拓?fù)浞治龅脑O(shè)置。中間面板上部為最終圖像的顯示區(qū)域，下部為輪廓樹的展示區(qū)域，可手動(dòng)選取節(jié)點(diǎn)之間的連線。右邊面板上部是光照設(shè)定部分，下部是顯卡的運(yùn)行信息。

圖4 本文系統(tǒng)界面Fig.4 The system interface

為了驗(yàn)證本文實(shí)現(xiàn)系統(tǒng)的有效性，從實(shí)時(shí)性、交互性兩個(gè)方面進(jìn)行分析。

1)實(shí)時(shí)性，使用Foot、Tooth、Head、Nucleon 4組數(shù)據(jù)，測試本文方法和傳統(tǒng)方法的渲染幀頻。

作為對(duì)比，傳統(tǒng)的方法選用廣泛使用的基于GPU的光線投射算法。 表1是4組數(shù)據(jù)的幀頻對(duì)比結(jié)果。由表1可知，使用本文基于拓?fù)涞腄CRM比傳統(tǒng)的ICRM方法有60%的提升，幀數(shù)略有波動(dòng)，但是基本維持在一個(gè)小范圍內(nèi)。通常人眼可接受的刷新頻率為24 fps，本文采用的方法基本能夠達(dá)到要求。

表1 幀頻結(jié)果比較
Tab.1 The result comparison

數(shù)據(jù)集數(shù)據(jù)體積/px運(yùn)行幀頻/fps傳統(tǒng)方法本文方法Foot256x256x25613～1522～24Tooth256x256x16120～2232～35Head256x256x22518～1929～33Nucleon41x41x4170～74108～110

2)交互性，動(dòng)態(tài)選取輪廓樹分支，并對(duì)渲染的結(jié)果進(jìn)行詳細(xì)分析，以Foot、Nucleon數(shù)據(jù)集為例。

Foot的分析如圖5所示。(a)分別顯示了未采用分段(左)、采用不同分段(左中和右中)以及背景噪聲(右)的渲染結(jié)果。可以看出，未經(jīng)分段繪制的圖很難區(qū)分?jǐn)?shù)據(jù)的不同部分和物理內(nèi)部的結(jié)構(gòu)。由于數(shù)據(jù)會(huì)有噪聲影響而且不同結(jié)構(gòu)可能會(huì)有相同標(biāo)量值，導(dǎo)致各個(gè)部分很難界定邊界。通過輪廓樹渲染，可以得到不同分段的繪制結(jié)果。選取不同分段進(jìn)行組合設(shè)定不同傳遞函數(shù)，就能夠構(gòu)造出理想的效果。 (b)給出了不同組合得到的結(jié)果。

Nucleon的分析如圖6所示。從圖6(a)得知，分段可以很明顯地區(qū)分出各個(gè)部分，通過一系列分段和傳遞函數(shù)的組合就能夠得出圖6(b)中的結(jié)果。

(a) 不同分支的體繪制結(jié)果

(b) 分支組合的渲染結(jié)果

圖5Foot的渲染分析

Fig.5RenderinganalysisofFoot

(a)不同分支的體繪制結(jié)果

(b) 分支組合的渲染結(jié)果

圖6Nucleon的渲染分析

Fig.6RenderinganalysisofNucleon

3 結(jié)束語

本文實(shí)現(xiàn)了基于拓?fù)浣Y(jié)構(gòu)的交互式體繪制系統(tǒng)，其優(yōu)勢(shì)在于輪廓樹拓?fù)浜虳CRM渲染模式的結(jié)合使用。輪廓樹拓?fù)浣Y(jié)構(gòu)能夠?qū)w數(shù)據(jù)進(jìn)行區(qū)域劃分，并結(jié)合多核處理器計(jì)算子區(qū)域的分裂樹和連接樹，進(jìn)而合成輪廓樹。在輪廓樹分段的基礎(chǔ)上，采用DCRM可以有效地加速輪廓樹分支的渲染，靈活操作輪廓樹，交互性強(qiáng)。實(shí)驗(yàn)證明，相比傳統(tǒng)的體繪制系統(tǒng)，本文實(shí)現(xiàn)的系統(tǒng)較大程度地改善了渲染圖像的質(zhì)量，而且系統(tǒng)實(shí)時(shí)性、交互性強(qiáng)， 簡單易用。未來研究方向?qū)⒗^續(xù)優(yōu)化系統(tǒng)的時(shí)間和空間效率，同時(shí)在現(xiàn)有的體繪制系統(tǒng)基礎(chǔ)上，設(shè)計(jì)自動(dòng)化傳遞函數(shù)，盡可能地減少不精確的人為操作。