基于Web醫學影像三維可視化技術研究進展

陳慧娟 陳傳劍 張琦 丁偉丹 陸佳偉 楊天化 朱姬瑩

作者單位： 310053 杭州醫學院（陳慧娟 陳傳劍 張琦 丁偉丹 陸佳偉 楊天化）

310006 杭州第一人民醫院（朱姬瑩）

醫學影像三維可視化是利用圖形學技術和計算機技術，將二維醫學圖像重建出立體的三維圖像，使之能清晰、全面的展現病灶及內部信息，有助于提高醫師在臨床診斷或治療中的準確性，已經廣泛應用于臨床［1］。由于基于C/S架構的系統必須在用戶終端安裝客戶端軟件，其封閉性、安裝繁瑣、不易擴展等局限性，已經不能適應遠程會診、區域醫療等現代醫療發展的新需求［2］。全球廣域網（Web）是一種基于超文本和HTTP、全球性、動態交互、跨平臺的分布式圖形信息系統［3］。基于Web的可視化具有無需安裝插件、簡化軟件維護、跨平臺、異構性、分布式部署等特點，已成為醫學影像可視化研究的主流趨勢［4］。本文將對基于Web的醫學影像三維可視化技術發展進行介紹，并從醫學影像可視化的數據壓縮和傳輸、數據預處理、三維可視化以及Web可視化技術等4個方面進行綜述。

1 基于Web的醫學影像可視化技術路線發展

早期，在Web客戶端實現簡單的三維動畫及交互操作主要是利用Java Applet和VRML（Virtual Reality Modeling Language）技術，另外還集成Java、JavaScript和Flash等，均需要依賴于特定的平臺或安裝相關的瀏覽器插件，并受限于傳輸帶寬和網絡延遲，用戶體驗一般［5］。基于Web的醫學影像可視化主要采用在服務器進行渲染。如張艷等［6］采用Java Applet完成了WebPACS分布式工作站。

近年來，隨著Web技術的迅速發展，特別是HTML5、Ajax和WebGL（Web Graphics Library）等技術的應用，基于Web的可視化可以在Web終端的GPU（Graphics Processing Unit）加速渲染，不需要在用戶終端安裝任何插件，已成為醫學三維影像可視化研究的主流趨勢［7］。在用戶端進行渲染的優點是避免用戶終端頻繁與服務器進行參數交互和結果渲染，減少網絡延遲，提高用戶體驗。雷輝等［8］應用WebGL+HTML5技術實現了面向Web的醫學影像可視化，前后端異步操作提供漸進式可視化。MASOUD等［9］使用HTML5和WebGL技術實現醫學圖像數據讀取、影像瀏覽等交互顯示。劉兆明等［10］設計的可視化系統，通過HTTP協議從服務器端獲取影像數據，在用戶Web終端進行影像數據的三維渲染，提高三維圖像的實時性及流暢性。

目前，主流的解決方案有基于Web服務端三維重建和基于Web客戶端可視化［11］。基于服務端三維重建是在服務器端對醫學影像原始圖像進行處理及渲染，在Web客戶端顯示出渲染后的結果。基于客戶端的三維可視化是從服務器端獲取醫學原始數據，在客戶端進行三維重建。另外，對于復雜的三維圖像渲染，部分渲染計算在服務器端進行預處理或渲染，有助于提高瀏覽器渲染的速度，將是不錯的選擇。基于Web的醫學院三維可視化研究處于初級階段，尚未有成熟穩定的產品，將有廣闊的發展空間。

2 醫學影像可視化技術

2.1 醫學影像數據壓縮和傳輸技術 快速從服務器端獲取高質量的醫學影像數據，是實現醫學影像三維可視化的第一步。DICOM（Digital Imaging and Communications in Medicine）為適應B/S架構，在DICOM 3.0中加入能夠實現多點通信傳輸WADO（Web Access to DICOM Persistent Object）協議，采用http/https協議，由Web終端向Web服務器發出http請求，Web服務器接收到請求后，進行解析請求，通過用戶身份標識向PACS（Picture Archiving and Communication Systems）服務器查詢數據，再返回相應的信息（包括患者信息和圖像信息）給瀏覽器端［12-13］。趙緩緩等［14］應用視頻壓縮、流媒體傳輸和Web技術開發基于DICOM動態圖像的Web瀏覽器系統。

數據傳輸管線包括數據的編碼、傳輸、解碼和渲染等環節，每個環節都非常重要，而基于Web的交互可視化主要瓶頸是在客戶端執行解碼和渲染。已經建立的流線型和漸進式網格格式方法，利用隱藏延遲來改進交互性，提升用戶體驗。目前有基于CPU（Central Processing Unit）的高效解碼和使用GPU友好格式，使用GPU友好格式通過減少客戶端的解碼時間和更少的CPU-GPU帶寬來提高性能。LAVOUE等［15］應用基于CPU的解碼技術，通過解碼線程與主線程解耦，使渲染和用戶交互性能不受解碼時間的影響。WEN等［16］提出一種漸進式網格壓縮技術，基于識別模型中的相似部分，并用單個實例替換冗余部分，通過創建每個部分（輕量級漸進網格）的連續細節級別（CLODs）獲得一個漸進網格，最后使用WebGL在瀏覽器中逐步渲染。PONCHIO等［17］在WebGL中提出一種網格渲染技術，從不同客戶端設備和網絡帶寬出發，進行優化壓縮比，提高解碼和渲染。

2.2 影像數據預處理技術 Dicom圖像在壓縮、傳輸和轉換等過程中，由于受到多種因素的影響，會產生噪音和失真，導致在Web傳輸形成的數據成像質量下降，需在成像前做相應的數據處理，以提高影像圖像的重建質量和速度。目前主要的數據預處理方法：插值、平滑和濾波、增強等［18］。對原始數據進行插值運算處理增加數據量，進一步進行平滑和濾波處理，從而達到消除噪聲，增強圖像的效果。

2.3 三維可視化技術 醫學影像三維可視化是將影像數據通過信息技術直接呈現三維圖像，并可以進行人機交互。當前醫學影像可視化的常見方法有面繪制和體繪制兩大類［19］。另外，還有一些醫學影像處理工具：VTK、MITK、ITK、DCMTK等。

面繪制是提取物體平面元信息逼近顯示物體表面，通過渲染后得到三維圖像，并利用特定的圖形加速器進行繪制和渲染的過程，有體素級重建和切片級重建兩種［20］。面繪制的速度較快，計算量小，算法效率高，交互性強，但由于面繪制只能顯示一個等值面的信息而忽略了細節，顯示效果較差。

體繪制的方法是基于體素與體數據場的關系，直接由三維數據場產生三維圖像的技術［21］。體繪制在不進行分割的情況下而直接進行繪制，不需要構建中間幾何圖元，將三維體數據的內外部特征及結構展現在屏幕上。體繪制的圖像清晰度高，細節逼真，但計算量大，算法復雜，繪制速度相對面繪制慢。體繪制的主要算法包括光線投射算法、足跡表算法、錯切-變形算法、紋理映射算法、最大密度投影法等［22］。

目前，醫學影像三維可視化技術的研究方向是改進和優化重建算法，提高圖像質量和交互速度。在醫學臨床輔助診斷和治療的過程中，要求繪制的圖像必須高性能和高質量，因此光線投射算法在基于Web醫學影像可視化應用中較為廣泛，但其運算量大、重建速度緩慢等問題也較為突出。國內外學者開始一些改進算法的研究，提出多種基于WebGL的光線投射改進算法，來解決傳統體繪制的缺陷，基于GPU的光線投射是目前最先進的體繪制方法［23-25］。

2.4 Web可視化技術 按照應用程序所采用的基礎架構進行劃分，主要有基于Web服務的可視化、基于網格的可視化、基于云的可視化和瀏覽器中的本地渲染等Web可視化技術。 Web服務是一中用來支持通過網絡實現機器間信息交互的軟件系統，由于Web服務是基于標準化的接口進行交互，不同編程語言或工具不需要考慮細節就可以順利進行通訊和協作。Web服務有基于RESTful（Representational State Transfer）架構和基于SOAP（Simple Object Access Protocol）架構兩種，基于RESTful的服務更為簡單，更易與其他Web標準集成，是當前的主流趨勢，但在醫學影像三維可視化服務方面未得到足夠關注［26］。

基于網格的可視化源于高性能和復雜仿真的高需求，利用網格資源計算和仿真結果。由于網格資源是分布式部署的，因此如何有效的使用分布式基礎設施實現可視化渲染的同時，處理好帶寬和交換延遲問題，將面臨巨大挑戰。大多數的網格可視化均是充分應用Web服務來解決此問題，Koulouzis等［27］應用Web服務的方法，實現醫學圖像的可視化。

基于云計算的可視化是一種新的分布式模型，是虛擬化、Web技術和網絡技術進步的結果。由于云服務通常需要接入計算或存儲資源有限的訪問設備（如筆記本、PAD、手機等設備），因此基于云計算的可視化最大的挑戰是如何在云端和接入設備之間有效的傳輸數據，同時減少用戶端對計算資源的需求。為解決這一問題，一般將要求高、計算量大的預處理任務放在云端完成，在客戶端只提取和傳輸可視化所需的數據。段婷婷等［28］應用HTML5和VTK實現零足跡、跨平臺、瘦客戶端的面向瀏覽器的醫學影像三維可視化。

基于瀏覽器的本地渲染主要是為了解決在服務器端渲染所帶來的網絡延遲，提高可視化過程中的交互速度。隨著WebGL技術的發展和JavaScript性能提高，使得在瀏覽器中實現高性能渲染成為可能。HTML5綜合HTML4.0和XHMTL1.0的標準，結合CSS3.0和JavaScript技術，其canvas元素使得Web瀏覽器不需要安裝插件直接顯示三維圖像和動畫，讓Web的應用開發更為高效。

WebGL是一種基于OpenGL ES 2.0，利用JavaScript API呈現3D計算機圖形的技術，提供跨平臺的、標準的、統一的API接口規范，為HTML5 Canvas提供硬件3D加速渲染，無需安裝插件［29］。WebGL技術解決了現有的Web三維動畫交互式的個難題：難以支持Web端的GPU硬件加速和對瀏覽器插件的依賴。為了便于開發人員理解和應用，提供較多框架和類庫，如Three.js、Babylon.js等類庫，通過瀏覽器訪問GPU實現3D渲染的頂層封裝庫，如X3DOM和XML3D等框架，將3D圖形與HTML5的DOM（document object model，文檔對象模型）集成。但WebGL也存在一些不足，如易因JavaScript的計算瓶頸而受到不同程度的限制，需要將大量的醫學影像數據傳輸至Web用戶端，占用較多的帶寬資源，交互響應效率不高等。

3 小結

基于Web架構的醫學影像可視化系統具有跨平臺、不需要安裝插件，有利于遠程協作和資源共享，必將成為醫學影像可視化的首選平臺。充分利用各端資源，將復雜的可視化預處理放在服務器或云端（如云計算）進行，在瀏覽器端執行渲染的混合可視化解決方案將更有發展。目前，基于Web的醫學影像三維可視化主要問題仍然是帶寬和延遲。在遠程可視化的兩個主要挑戰中，雖然較多研究人員在保證圖像質量的前提下，通過各種技術和算法來提高傳輸速度和交互延遲，但延遲問題尚無成熟的解決方案。這使得提高圖像質量和減少延遲成為基于Web的醫學影像三維可視化領域中最具有挑戰性的問題。