Eclipse放療系統混合云平臺應用研究

鄒煉，謝朝，劉湘鄉，胡金有，張薇莎，謝耀欽

1.中國科學院深圳先進技術研究院 醫療機器人與微創手術器械研究中心，廣東 深圳 518055；2.四川省人民醫院 腫瘤中心，四川 成都 610072

引言

在放療中，容積旋轉調強技術（Vesicular Monoamine Transporter，VMAT）作為放療領域的高端技術，適用于各種腫瘤的治療[1-2]。它與靜態調強技術（Intensity Modulated Radiation Therapy，IMRT）相比較，治療時間大大縮短，使得患者治療時的舒適度大大提高，有效減少治療過程中患者體位變化幾率，提高了治療準確度。但是VMAT計劃設計比IMRT更加復雜，具有更多的可調變量，包括準直器角度、劑量率、直線加速器多葉光柵的位置和大機角，這樣VMAT計劃優化和劑量計算耗時都比IMRT長，為了解決出現的優化和計算瓶頸，已出現并行計算與分布式計算技術的應用[3-7]。治療計劃廠商也提供了強大產品。比如瓦里安的解決方案是基于分布式計算框架整合多臺Eclipse工作站來提高計算速度[8]。在大的腫瘤中心，瓦里安同樣提供基于Citrix軟件平臺[9]的解決方案來提供高性能計算和靈活訪問性。但是瓦里安提供次方案成本非常高，對大多數醫院都不適合，并且臨床Eclipse醫療軟件安裝在固定的電腦上，不能隨處訪問，而且這臺電腦也不能安裝其他軟件，不能改變臨床環境進行二次軟件開發。

綜上所述，本研究提出了創建單獨的OpenStack[10]私有云并與臨床放療系統組成一個放射治療系統混合云解決方案，OpenStack已應用于多種醫療領域，包括遠程醫療、醫學成像、公共衛生和醫院管理等[11-14]。OpenStack是基礎設施即服務組件，讓任何人都可以自行建立和提供云端運算服務。所有資源都可以按需求動態分配。用戶通過網絡可以利用云計算獲得高利用率和可擴展服務。本研究將所有的Eclipse軟件移植到OpenStack私有云創建的虛擬機上，解決訪問Eclipse醫療軟件的位置局限性，在OpenStack私有云上創建多個分布式計算節點虛擬機提供強大計算資源縮短治療計劃設計周期，在私有云上創建研究教學虛擬機，不影響臨床環境的基礎上進行科研教學。

1 材料與方法

1.1 臨床現狀

1.1.1 臨床設備配置

我中心有3臺Eclipse物理師工作站，4臺Eclipse醫生工作站和3臺Aria客戶端。瓦里安為我們提供一個集成的環境，所有的工作站共享中心數據服務。Eclispe物理師工作站擁有強大的計算能力，安裝有所有的模塊，包括醫學影像處理、圖像分割和治療計劃設計。Eclipse醫生工作站有基礎模塊，不提供優化和劑量計算模塊。Aria客戶端專門用于管理放療工作流程和醫療信息。

1.1.2 浮動授權

瓦里安軟件授權模式是浮動授權，每個模塊都有各自的授權，模塊授權個數與所配工作站數量相同，當用戶調用某個模塊，相應的權限才會被調用，并消耗相應授權。當用戶使用一臺工作站的一個模塊時，只消耗掉使用的當前模塊的授權，此工作站所安裝的其他模塊沒有被使用，存在授權閑置的情況，此外工作站位于不同樓層不同房間。如果有工作站閑置，用戶不能在其他任意電腦上使用Eclipse軟件。另外瓦里安Eclipse計劃優化和劑量計算采用了分布式計算框架（Distributed Calculation Framework，DCF），3臺Eclipse計算工作站提供的計算能力有限。

綜上所述，需要找到一種有效的、成本低的解決方案，能充分利用軟件的浮動授權的特性和增加分布式計算節點的數量，本研究提出用OpenStack創建單獨的私有云，并與XenServer和英偉達GPU硬件的配合使用讓多個用戶實現硬件加速[15-16]，并與臨床放療系統組成放射治療計劃混合云解決方案。

1.2 OpenStack私有云平臺搭建

OpenStack是一個完全開源的云計算平臺，可以支持用戶實現類似于Amazon EC2和S3的云基礎架構服務（Infrastructure as a Service，IaaS）[17]。OpenStack 能夠將不用資源整合起來，為用戶按需分配資源，實現了資源的集約化，提高資源使用效率，同時方便了運維人員的管理。本文基于OpenStack搭建了腫瘤放射治療學科定制的私有云基礎設施，我們把它命名為數據科學云（Data Science Cloud，DSCloud）。

放療相關軟件需要處理各種模態的醫學影像，需要通過三維渲染來渲染出人體的各種解剖結構，對計算機硬件的GPU有一定的要求。放療軟件中對三維或四維的影像處理和圖像配準，以及對于容積調強放療計劃的逆向優化過程和劑量計算等都是高計算強度的任務，對計算機硬件的CPU性能要求較高?；谶@些特征考慮，私有云建設的主要目標是：① 具備虛擬GPU的支持；② CPU主頻和核數滿足高計算強度要求；③ 內存配置足夠支持多種應用場景的虛擬計算機集群；④ 具備一定的存儲容量。

DSCloud所采用的硬件包括：① 戴爾PowerEdge R730機架式服務器（2臺）：分別配有支持GPU虛擬化的Nvidia Grid K1顯卡，2顆英特爾至強 E5-2660 v4 CPU，192 G內存，2 T硬盤；② 戴爾PowerEdge R910（1臺）：4顆英特爾至強E7-4809 v4 CPU，256 G內存，8 T硬盤；③ 戴爾PowerEdge R630（1臺）：1顆英特爾至強E5-2609v3 CPU，16 G內存，1 T硬盤。虛擬化技術采用Citrix的XenServer企業版本，OpenStack通過Xen API驅動管理支持虛擬化GPU的虛擬機。網絡配置上劃分為OpenStack組件間通信網絡和用戶網絡。OpenStack采用Liberty版本，基于Ubuntu部署，只部署了認證組件、鏡像服務、計算服務、用戶界面、對象存儲、塊存儲和網絡服務等主要組件。DSCloud建設完成之后的框架，見圖1。用戶可以根據應用需求動態創建計算機資源，并且能夠滿足對GPU有要求的應用。

圖1 OpenStack私有云基礎架構

本文OpenStack基礎架構（圖1），在機架式服務器上搭建OpenStack云計算平臺，管理創建虛擬機，研究創建了3種類型虛擬機：科研教學虛擬機、Eclipse工作站虛擬機和Eclipse計劃系統分布式計算虛擬機，科研教學虛擬機安裝開發工具，Eclipse工作站虛擬機安裝有Eclispse醫療軟件所有模塊，Eclispe計劃系統分布式計算虛擬機安裝了Eclipse計算模塊提供計算資源。

1.3 放射治療計劃混合云平臺建設

放療系統混合云平臺環境，見圖2，DSCloud與臨床放療系統組成混合云。左邊是臨床放療系統環境，由Aria中心數據服務器統一管理醫生工作站、物理師工作站、Aria客戶端、CT模擬機、模擬機和加速器。右邊是DSCloud，DSCloud云平臺下有Eclipse工作站虛擬機、科研教學虛擬機和DCF計算集群，Eclipse工作站虛擬機上安裝有Eclipse醫療軟件，提供所有的模塊，包括醫學影像處理、圖像分割和治療計劃設計等?？蒲薪逃摂M機上可以安裝各種開發工具，比如C++、Phython、Office等軟件，方便科研和教學用。DCF計算集群為Eclipse計劃優化和劑量計算提供計算資源，縮短優化和劑量計算時間。其他電腦使用NoMachine遠程桌面軟件通過局域網啟動DSCloud云平臺創建的虛擬機，并獲得Eclipse軟件服務，在通過網絡訪問Arica中心服務器。

圖2 放療系統混合云平臺環境

2 結果和討論

Eclipse放療系統混合云平臺中DSCloud由OpenStack和XenServer相結合組成，能按需分配計算機，提高醫療軟件利用率，同樣DSCloud實現了科研教學的目的，并且對于容積旋轉調強技術，實現DCF計算集群，實現高性能計算。

2.1 混合云醫療軟件功能驗收

任何工具在應用于臨床之前都需要做大量的驗證過程，確保準確無誤，方能使用。本文對混合云平臺進行了詳細驗收測試，見圖3，包括：病人信息、處方信息、工作流程、基本操作、模體、病人實例、計劃優化和劑量計算測試等，這些都符合臨床使用要求。

2.2 科研教育平臺的應用

混合云為我們提供獨立的虛擬機，單獨的配置環境，擺脫臨床電腦不能安裝其他軟件的局限，可以安裝開發工具，比如AutoHotKey、C++、Phython等程序，實現臨床工作的自動化處理，具備科研和教學的條件。

圖3 混合云治療計劃調試驗收

基于混合云我們已實現了一些自動化工作[18]，見圖4，它就是一個自動完成計劃輔助結構生成的軟件，運行軟件后，自動生成了PTV2、PGTVnd、Ring4000、Ring5000和SpinalCordPRV。

圖4 輪廓的自動生成

2.3 Eclipse軟件隨處可得

首先安裝有NoMachine和獲得遠程訪問授權的電腦接入云平臺局域網都能輕松訪問Eclipse軟件，其次基于瓦里安軟件模塊浮動授權的特性，在混合云平臺上，能讓這種特性利用率最大化，不受地域限制（圖5），只要連入局域網的電腦都能訪問Eclipse軟件，由于一臺工作站不能完成使用完此臺工作站安裝的模塊權限，其他電腦就能使用剩下來的模塊權限，讓Eclipse閑置模塊權限得到充分使用。

2.4 強大計算集群

在DSCloud上的創建多個DCF計算節點，能有效提升VMAT計算速度，降低計劃優化和劑量計算時間，見圖6～7。黑色表示未增加DCF計算節點前情況，灰色表示增加DCF計算節點后的情況。在增加多個DCF計算節點的基礎上，VMAT優化時間平均減少了一分多鐘，劑量計算時間大幅度降低，平均減少了10 min。

圖5 軟件模塊浮動授權

圖6 容積旋轉調強優化時間對比

圖7 容積旋轉調強計算時間對比

3 結論

本研究構建了Eclipse放療系統混合云平臺，創建了3種類型虛擬機：Eclipse工作站虛擬機、科研教育虛擬機和DCF計算集群。此系統具有以下4個特點：① 保持銷售商原有的分布方式，提高軟件模塊的浮動授權利用率；② 提供獨立開發軟件和運行自動化工具的環境；③ 提供可增減的具有Eclipse分布式框架的計算資源實例，來解決劑量計算資源不足的情況；④ 支持多平臺的虛擬桌面通過網絡訪問Eclipse治療計劃系統軟件。

[參考文獻]

[1] Teoh M,Clark CH,Wood K,et al.Volumetric modulated arc therapy: a review of current literature and clinical use in practice[J].Br J Radiol,2011,84(1007):967.

[2] Popescu CC,Olivotto IA,Beckham WA,et al.Volumetric modulated arc therapy improves dosimetry and reduces treatment time compared to conventional intensity-modulated radiotherapy for locoregional radiotherapy of left-sided breast cancer and internal mammary nodes[J].Int J Radiat Oncol Biol Phys,2010,76(1):287-295.

[3] Gu X,Jelen U,Li J,et al.MO-F-BRB-03: A GPU-based finitesize pencil beam (FSPB) algorithm with 3D-density correction for radiotherapy dose calculation[J].Phys Med Biol,2011,56(11):3337-3350.

[4] Jia X,Gu X,Graves YJ,et al.GPU-based fast monte carlo simulation for radiotherapy dose calculation[J].Phys Med Biol,2011,56(22):7017-7031.

[5] Jia X,Ziegenhein P,Jiang SB.GPU-based high-performance computing for radiation therapy[J].Phys Med Biol,2014,59(4):151-182.

[6] Men C,Jia X,Jiang SB.GPU-based ultra-fast direct aperture optimization for online adaptive radiation therapy[J].Phys Med Biol,2010,55(15):4309.

[7] Ziegenhein P,Kamerling CP,Bangert M,et al.Performanceoptimized clinical IMRT planning on modern CPUs[J].Phys Med Biol,2013,58(11):3705-3715.

[8] EclipseTMTreatment Planning System[EB/OL].https://www.varian.com/oncology/products/software/treatment-planning/eclipse?cat=overview.

[9] Surksum KV.Release: Citrix Receiver for iPad and iPhone5.0[J].2011.

[10] OpenStack Official Site[EB/OL].http://www.openstack.org/.

[11] Griebel L,Prokosch HU,K?pcke F,et al.A scoping review of cloud computing in healthcare[J].BMC Med Inform Decis Mak,2015,15(1):17.

[12] Miras H,Jiménez R,Miras C,et al.CloudMC: a cloud computing application for Monte Carlo simulation[J].Phys Med Biol,2013,58(8):125-133.

[13] Wang H,Ma Y,Pratx G,et al.Toward real-time monte carlo simulation using a commercial cloud computing infrastructure[J].Phys Med Biol,2011,56(17):175-181.

[14] Na YH,Suh TS,Kapp DS,et al.Toward a web-based real-time radiation treatment planning system in a cloud computing environment[J].Phys Med Biol,2013,58(18):6525-6540.

[15] NVIDIA GRIDTM virtual GPU technology[EB/OL].http://www.nvidia.com/object/grid-technology.html.

[16] HPC Cloud enablement using XenServer, OpenStack and NVIDIA GRID GPUs-XLcloud[EB/OL].https://www.citrix.com/blogs/2014/03/06/hpc-cloud-enablement-using-xenserveropenstack-and-nvidia-grid-gpus-xlcloud/.

[17] OpenStack Compute Administration Manual[EB/OL].[2016-11-29]. http://docs.openstack.org/cactus/openstack-compute/admin/content.

[18] 謝朝,胡金有,鄒煉,等.Eclipse計劃系統輪廓自動生成軟件開發[J].中國醫療器械雜志,2015,39(3):225-227.