大縱深醫學圖像裸眼真三維顯示

夏妍，張欣然，廖洪恩

清華大學 醫學院 生物醫學工程系，北京 100084

引言

在醫學圖像可視化領域的研究中，相比傳統二維顯示方式，三維顯示技術具有更加逼真的觀看體驗和豐富的空間三維位置信息。同時，計算機斷層掃描（Computed Tomography，CT）、核磁共振成像（Magnetic Resonance Imaging，MRI）等醫學影像技術的快速發展，醫學圖像技術能夠為醫生呈現質量更高的解剖結構用于輔助診療。傳統二維醫用電子顯示設備由于缺乏空間信息顯示效果，僅能為醫生提供單一視角下的病灶圖像信息，帶來臨床診療的不便，限制診療效率的提高；同時，在部分醫療場景演示過程中，二維圖像無法直觀地呈現具有三維空間位置關系的解剖結構信息，例如會診、醫療教學、遠程醫療等場景中，實現可裸眼觀看三維醫學結構的顯示效果能大大提高效率及信息顯示的有效性，裸眼三維顯示的效果將能夠代替用于分析、診斷的實物模型，減小醫療成本，精準的立體空間醫學圖像信息三維顯示能夠在臨床診療及醫學會診等領域中發揮重要作用[1]。

隨著計算機圖形學和電子顯示設備的不斷發展，包括多媒體、醫療、教育、娛樂等在內的各領域對高性能電子顯示設備的需求推動了裸眼三維顯示的發展，裸眼三維顯示系統的性能逐漸提升[2-4]，基于分辨率、視角、顯示縱深等性能的提升，立體全像技術（Integral Photography，IP）在臨床診療中逐漸具有較好適用性[5-7]。

對立體全像顯示性能的優化方法包括建立更加精確的顯示和渲染模型[8-9]，減少理論和實際操作的誤差；以及硬件光學設置的優化，改進成像模型的精確度等，理論渲染模型越逼近顯示模型，則越能充分利用三維顯示系統能提供的圖像顯示性能[10]。目前醫用的裸眼三維顯示的需求主要體現在醫學圖像演示、會診、手術導航、微創手術圖像引導[11-12]等對實時影像引導精度要求較高的診療領域（圖1），裸眼三維顯示能夠提高醫生診斷的準確性及效率，避免平面圖像引起的空間深度感問題。在醫療教學演示、集體會診中，自由觀察角度的醫學解剖結構存在對于顯示縱深要求較高的橫截面軸向延伸方向。傳統三維顯示方法下，由于成像模式的精確度不足導致實際顯示過程中像素彌散程度遠大于理論分析值，因而空間中縱深較大的范圍內像素彌散嚴重影響可視縱深；另一方面，由于對大縱深三維數據的像素點采樣渲染信息不足，三維表面的重建點密度稀疏，重點組織及邊緣細節部分顯示像素密度不足，因而具有大縱深的三維圖像顯示質量較差。傳統顯示方法的問題導致切換視角觀看的過程中，圖像顯示質量下降，影響組織結構的觀看。因而實現具有較大可視縱深的裸眼三維顯示，對于呈現醫學三維結構的全部可視角度十分重要[13-14]。

圖1 大縱深三維圖像輔助臨床診療

1 大縱深裸眼三維自由立體顯示系統

三維顯示縱深的增加會放大顯示過程中理論模型與實際模型匹配的誤差，因而實現大縱深三維顯示效果，需要建立與渲染模型精準匹配的顯示硬件，減小由于光學硬件偏差帶來的像素彌散及圖像畸變等問題。此外，為解決大縱深三維成像過程中的像素點采樣渲染信息量不足的問題，需要針對醫學數據的特點進行重點結構及邊緣細節的高精度渲染處理，將重點部位進行預先分割，并于渲染過程主動超采樣重點結構部位，以提高顯示的醫學圖像重點結構及紋理細節質量。

1.1 立體全像精準三維成像校準

為實現高精度大縱深的裸眼三維醫學圖像顯示，需要精準控制立體全像的成像模式，高精度的成像模式校準方法是實現大縱深立體全像醫學圖像顯示的基礎。立體全像顯示系統的系統組成與三維圖像顯示方式，見圖2。系統由電子顯示器、介質及透鏡陣列組成，其中，電子顯示器應具有較高的像素密度性能以提供高角分辨率的三維醫學圖像；介質位于顯示器與透鏡陣列之間，用于調整立體全像的光學模型，精準匹配物距與透鏡陣列焦距參數；透鏡陣列由多個微透鏡元組成，將顯示器發出的二維光場調制為原始的三維光場。

圖2 大縱深立體全像裸眼三維顯示

立體全像成像模式可根據凸透鏡成像特性，分為分辨率優先與縱深優先的兩種不同理想成像模式[15]。由透鏡成像的原理可知，透鏡陣列物距與焦距的關系決定空間中成像面的位置。理想情況下，當物距與焦距大小相等時，物體將在空間中無窮遠處成像，在此顯示模式下，立體全像三維顯示系統在空間中具有較大的三維成像縱深范圍。

目前的二維醫用LCD電子顯示器多基于RGB通道模式進行真彩色混色顯示，RGB亞像素單元具有一定的物理尺寸，精準大縱深立體全像成像模型下，當基元圖像被放置在焦平面上時，將會出現亞像素顏色干擾偽影偽影[16]：從特定空間位置Px到無窮遠處的區域內，單個透鏡將被一個或最多兩個亞像素單元點亮。成像模式校準可通過相機捕獲透鏡陣列對亞像素的放大情況，用于評估物距與焦距的匹配關系，見圖3(a)所示。

圖3 精確聚焦模型的校準原理示意圖（a）與校準流程圖（b）

根據幾何光學分析，當基元圖像的成像物距與焦距完全匹配時，亞像素顏色干擾偽影發生的空間位置最前端Px可通過式(1)計算：

其中d為單透鏡元的直徑；dx為亞像素單元的尺寸；gap為基元圖像和透鏡陣列之間的距離。如果當基元圖像遠離焦平面，則將會出現兩種情況：當基元圖像與透鏡陣列之間的距離大于焦距，則出現亞像素顏色干擾的空間位置小于Px；當基元圖像與透鏡陣列之間的距離小于焦距，則出現亞像素顏色干擾的空間位置大于Px。因此，校準方法具有負反饋過程，并且可以按照圖3(b)進行。

（1）粗校準。將圖像采集設備遠離平面P放置，如果沒有出現亞像素顏色干擾，調整基元圖像與透鏡陣列之間的距離，直到采集到亞像素顏色干擾現象。

（2）精校準。將圖像采集裝置從當前位置移動到靠近臨界平面P，如果沒有亞像素顏色干擾現象消失，增大基元圖像與透鏡陣列間的距離直到發生亞像素顏色干擾；重復移動采集設備至足夠逼近臨界平面P。

1.2 高精度醫學圖像渲染

立體全像進行裸眼三維顯示的過程，對醫學數據重要組織結構的采樣及重建顯示至關重要。基于二維平面電子顯示器及透鏡陣列調制的裸眼三維顯示方式，受限于二維顯示器能提供的像素信息量及像素密度情況，目前無法實現完整重現原始二維醫學數據精度的效果。由于大縱深三維成像需要呈現的三維醫學信息量遠超過二維顯示平面所能提供的像素信息，因此需要對顯示的數據進行重要結構的選擇處理及濾波，實現較為精準優化的顯示效果[17]。

三維醫學數據到二維顯示平面的壓縮過程被稱為圖像渲染，通過計算模擬透鏡陣列在顯示過程中對二維基元圖像平面像素光線的折射關系，得到顯示過程的光線模型。根據光路可逆原理，三維圖像到二維圖像的壓縮采樣過程與顯示過程的光線路徑相同，故而采樣渲染的圖像部分將在顯示過程被重建顯示。

在此模式下的醫學圖像采樣，需要考慮有限的采樣信息量，將手術重要的病灶組織結構信息進行主動的局部超采樣。傳統方法的采樣渲染過程通過空間中模擬從基元圖像平面出射的光線經過透鏡后的軌跡，得到在三維物體表面的交點作為采樣點信息；對于大縱深顯示的醫學圖像，我們將采樣光線由預先分割醫學圖像重要的組織病灶結構表面三維像素點發出，經過透鏡后達到基元圖像上。

基于分割表面的采樣方法，能夠將單個像素大小對應的較大范圍采樣區域進行重點區域的主動采樣，將分割出來的重點結構表面渲染到基元圖像上。預先分割的三維醫學圖像表面信息可通過手動分割提取或邊緣檢測算法進行分割，提取出重要組織結構的三維空間點坐標。對三維物體表面的分割精度應根據渲染及顯示的三維像素點密度進行，保證分割精度不小于系統當前縱深位置下的像素密度。立體全像技術在空間中重建的像素點由來自不同透鏡的多條光線在空間中會聚到同一位置重建，會聚到同一位點的光線滿足：

其中，nx為第n個透鏡距離第一個透鏡間隔數；pitch為相鄰透鏡中心間隔距離大小；px為發射光線的像素，其中心偏離對應的第x個透鏡中心的距離；n2為發射另一條光線的像素，其中心偏離第二個透鏡中心的距離。上述公式闡述了理想大縱深立體全像顯示過程中，來自不同像素發出的光線經過透鏡調制后，與空間中重建三維點的關系。由上述公式，可得重建的三維空間點密度及光線密度與顯示深度滿足關系：

其中，dk為三維空間點的深度坐標；ρ3Dmax為當前深度范圍下三維空間點密度的最大值；ρ2D為二維基元圖像的像素密度；nlight為重建單個三維空間點的光線數量。根據上述公式分析，可將空間中不同縱深范圍劃分為gap的各整數倍范圍進行重建的像素密度分析，對于不同顯示縱深下的醫學圖像分割密度應大于理論顯示像素密度值。在分割點附近采樣區域大小范圍內進行區域濾波，將像素區域濾波的結果賦值給基元圖像上對應的光線交點位置，此采樣過程遍歷空間中所有分割出的醫學圖像三維物體表面點，即可實現全部分割區域的采樣渲染。

2 結果

醫學演示等過程中，由于不同組織結構具有三維空間的不同縱深顯示效果，需要對各個方向解剖結構的三維空間信息進行準確的重現。對于具有較大縱深的組織結構顯示角度，進行裸眼三維顯示的過程中，經常出現由于系統顯示縱深范圍不足導致的像素彌散過重，因為產生圖像前端模糊，結構不可分辨等問題，影響對于整個組織結構的觀看效果。

我們搭建了大縱深立體全像裸眼三維顯示系統，并根據醫學圖像特性進行了顯示系統的優化，系統需要保證三維顯示對于原始病灶結構信息等的高清晰三維重建顯示效果，顯示的效果應對醫學圖像的高精度要求具有較好的適應性，能夠在較大的空間縱深范圍內呈現準確的醫學解剖結構。

顯示系統由高清電子顯示器（Sony，Xperia Z5 Premium，分辨率3840×2160）、高透光有機玻璃介質及高分辨率微透鏡陣列（分辨率110×60）組成，透鏡微元的直徑尺寸為1 mm。我們采用了腿骨模型的CT結構掃描數據進行橫截面軸向延伸方向的三維顯示效果測試，腿骨模型，見圖4(a)。腿骨模型CT數據中的三維表面部分通過醫學圖像分割方法進行了預分割處理，得到精準的腿骨表面點云信息用于圖像超采樣渲染。在不同視角下拍攝的三維顯示效果，見圖4(b)。

通過大縱深立體全像顯示系統的呈現，三維醫學腿骨數據能夠以較高的還原度重現，腿骨的解剖結構及骨質紋理細節信息能夠以較高的重建顯示精度呈現。圖中所示的腿骨結構原始軸向尺寸約30 cm，顯示系統能夠在此空間縱深內較為準確地呈現原始腿骨模型。

圖4 腿骨模型的CT結構掃描數據三維顯示效果

在我們搭建的系統測試中，具有較長可視深度的腿骨橫截面結構由于顯示像素彌散產生的圖像干擾效果極輕，幾乎不會干擾正常結構數據顯示效果，因而可以保證系統對三維醫學結構在冠狀、矢狀面尤其是橫截面延伸方向等其他的自由觀察角度下，都具有良好的三維結構顯示性能。

3 討論

我們提出了精準立體全像成像模型校準方法及針對醫學圖像的顯示渲染優化方法，以優化醫學圖像裸眼三維顯示的縱深效果同時保持較高的圖像清晰度。實驗結果證明系統具有呈現較高精度三維組織解剖結構的能力，圖像在至少數十厘米顯示縱深的范圍內，三維圖像的彌散程度較輕，將能夠保證醫學三維結構在各個觀察方向的準確顯示效果。

大縱深醫學圖像顯示將為真三維醫學顯示提供新的顯示模型，然而，受到系統硬件及技術限制，大縱深醫學圖像三維顯示仍具有一定的局限性，例如受到光學透鏡精度以及加工尺寸等影響，雖然系統能夠提供具有較大景深的醫學三維圖像，圖像顯示的平面分辨率性能仍有待提升；顯示縱深的增加也會帶來可視角度的減小，提高三維顯示的可視角度能夠有效提升物體的三維空間感[17]。此外，為實現對于三維醫學數據模型的實時采集及渲染顯示，需要更高性能的處理器及完善高效的算法[18]。同時，對于醫學圖像的顯示效果需要臨床應用過程中根據應用場景不斷進行圖像分辨率及視角等參數的優化。

4 結論

裸眼三維顯示是未來顯示發展方向，其在醫學應用中已逐漸發揮優勢，例如手術導航、醫學演示系統等，高性能的裸眼三維顯示將推動未來精準醫學的呈現。

本文的研究以提升裸眼三維顯示的醫學應用效果為研究的出發點，從提升裸眼三維顯示能夠提供的醫學圖像縱深方面進行優化。通過設計高精度成像模型的大縱深立體全像顯示系統，提升立體全像裸眼三維顯示模型的精準程度，優化系統顯示性能；并根據醫學圖像的精度要求特點進行渲染方法的優化，以提供符合醫學圖像特點的三維顯示效果，系統能夠呈現清晰度較高的組織結構三維影像。同時，大縱深裸眼三維顯示能提供在各個解剖方向上的精準三維顯示，避免顯示過程中，由于橫截面結構的縱深范圍過大導致部分觀察視角下顯示的圖像質量降低。同時，本文研究提出的顯示系統對于遠程醫療等對于顯示醫療場景縱深性能要求較高的情況下，也能夠進行有效的裸眼三維成像。未來，在高性能平面顯示器的輔助下，裸眼三維顯示系統將具有更高的呈現醫學三維圖像能力。

[參考文獻]

[1] Liao H.Integrated diagnostic and therapeutic techniques:Toward an intelligent medical system.[J].Comp Med Imag Grap,2014,38(5):421-422.

[2] Javidi B,Okano F,Son JY.Three-dimensional imaging,visualization, and display[J].Proc SPIE Int Soc Opt Eng,2009,7329:732901-732908.

[3] Okoshi T.Three-dimensional imaging techniques[M].Pittsburgh:Academic Press,1976.

[4] Zhang A,Wang J,Zhou Y,et al.Illumination optics in emerging naked-eye 3D display[J].Pro Electrom Res,2017,159:93-124.

[5] Park S,Yeom J,Jeong Y,et al.Recent issues on integral imaging and its applications[J].J Inform Dis,2014,15(1):37-46.

[6] Igarashi Y,Murata H,Ueda M.3-D display sSystem using a computer generated integral photograph[J].Jpn J Appl Phys,1978,17(9):1683-1684.

[7] Wang J,Liao H.Real-time 3D medical imaging using GPU-based integral videography[J].Med Imag Tech,2013,31:159-166.

[8] Zhang X,Chen G,Liao H.High quality see-through surgical guidance system using enhanced 3D autostereoscopic augmented reality[J].IEEE Trans Biomed Eng,2017,64(8):1815-1825.

[9] Liao H,Tamura D,Hata N,et al.High quality medical integral videography using anti-aliasing image processing based on sampling theorem[J].Jscas,2005,6(4):457-466.

[10] Fan Z,Chen G,Xia Y,et al.Accurate 3D autostereoscopic display using optimized parameters through quantitative calibration[J].J Opt Soc Am A Opt Image Sci Vis,2017,34(5):804.

[11] Fan Z,Chen G,Wang J,et al.Spatial position measurement system for surgical navigation using 3-D image marker-based tracking tools with compact volume[J].IEEE Trans Biomed Eng,2018,65(2):378-389.

[12] Fan Z,Weng Y,Chen G,et al.3D interactive surgical visualization system using mobile spatial information aAcquisition and autostereoscopic display[J].J Biomed Inform,2017,71:154-164.

[13] Liao H,Dohi T,Nomura K.Autostereoscopic 3D display with long visualization depth using referential viewing area based integral photography[J].IEEE Trans Vis Comput Graph,2011,17(11):1690-1701.

[14] Liao H,Iwahara M,Katayama Y,et al.Three-dimensional display with a long viewing distance by use of integral photography[J].Opt Lett,2005,30(6):613-615.

[15] Navarro H,Martinez-Cuenca R,Molina-Martian A,et al.Method to remedy image degradations due to facet braiding in 3D integral-imaging monitors[J].J Dis Tech, 2010,6(10):404-411.

[16] Jang JY, Cho M.Color artifact-free three-dimensional integral imaging display with large depth using a lens array based on sublens structure[J].J Dis Tech,2016,12(6):610-615.

[17] Liao H,Inomata T,Sakuma I,et al.An accuracy certified augmented reality guidance system with optimized image rendering for open MRI-guided neurosurgery[J].J Jap Soc Comput Aid Surg J Jsc,2005,7(2):158-162.

[18] Chen G,Ma C,Fan Z,et al.Real-time lens based rendering algorithm for super-multiview integral photography without image resampling[J].IEEE Trans Vis Comput Graph,2017,2756634.