下肢骨畸形在線輔助診斷仿真系統①

欒吉山,趙相偉,崔維頂,馮 康,吳 博

1(山東科技大學 山東省基礎地理信息與數字化技術重點實驗室,青島 266590)

2(南京醫科大學第一附屬醫院 骨科,南京 210029)

隨著互聯網的發展和時代的進步,計算機技術被廣泛應用于醫學,因為網絡的便捷和普及,以瀏覽器為基礎的網絡技術得到了發展,在大量軟件應用設計中,客戶端/服務器(Client/Server,C/S)逐漸不再滿足需要,瀏覽器/服務器(Browser/Server,B/S)結構得到了人們的青睞[1].現有的Mimics 等醫療軟件不僅需要安裝應用程序,而且操作也十分麻煩.Web 應用因為其無需安裝并且更新維護方便的特點,吸引了越來越多的學者的注意,設計了許多基于Web的醫學可視化系統.如李偉波等人開發了醫學圖像處理系統,實現在線提交、在線閱覽[2];李煒等人為醫療措施不完善地區開發了一對一遠程醫療系統,實現病患遠程會診[3];黃志峰等人基于Node.js 技術開發了病理對照檢索系統[4];陳哲等人開發了醫學圖像半自動標注系統,解決了手工標注勞動強度大的問題[5];湯超、王常坤等人開發了閱片系統[6,7];Jong 等人開發了收集血壓和心臟病例的Web 系統用于跟蹤用戶的健康狀況[8];陳欣等人開發了具有三維可視化功能的電子書簽系統,輔助影像診斷[9];聶澤花等人開發了影像存儲共享系統,實現臨床示教過程中影像的快速共享[10];Rybarczyk 等人開發了動作矯正平臺用來指導髖關節置換術后患者的康復訓練[11];萬兵等人開發了醫療影像共享平臺[12];何滋魚、董默、劉兆明等人開發了三維重建系統,實現模型的三維重建[13-15];Popescu 等人開發了骨科協作平臺用于為用戶提供指南和信息共享[16].但這些系統并不是專門針對于下肢骨畸形問題,無法滿足下肢骨畸形手術輔助診斷的需要.

為了達到對下肢骨畸形手術提供輔助作用的目的,設計了一種基于開源架構的下肢骨畸形在線輔助診斷仿真系統.該系統主要由3 部分構成,包括瀏覽器、服務器和后臺處理程序.

1 需求分析

當前醫生診斷時所采用的輔助系統大多數是一些二維影像瀏覽平臺,輔助功能極其有限.首先,二維影像無法讓我們從整體上觀察和分析雙下肢各骨骼的相對空間關系;其次,從圖像上無法實現多角度觀察和分析畸形部位的特征和空間位置關系;最后,圖像中包含的細節信息醫生也無法完全掌握.

為了滿足輔助醫生診斷的需要,本文設計的基于開源架構的下肢骨畸形在線輔助診斷仿真系統,需要構建下肢骨三維重建模塊,以取代Mimics 等繁瑣、費時的商業軟件,為醫生提供用于三維分析的股骨、脛骨和腓骨精細模型;需要構建人工關節模塊,以滿足關節置換等手術的需要;需要構建包括測量工具、細節查看、精確定位等在內的多種影像觀察與輔助診斷工具,以滿足畸形部位定性定量需要;需要建立信息管理模塊,以完成DICOM 影像和三維模型信息的存儲,便于醫生隨時在線查看病例資料,便于病情的追蹤.

2 系統設計

2.1 總體設計

本系統以為下肢骨畸形診斷與手術規劃提供輔助支持為重點,總體框架如圖1所示,包括用戶層、前端表現層、數據層與業務邏輯層4 個部分.用戶層包括各大瀏覽器,無需下載插件,任何一部電腦都可以快速實現操作;前端表現層包括登錄注冊、數據可視化、下肢骨三維重建、人工關節和信息管理等5 個功能模塊;業務邏輯層完成了客戶端和服務器的規則制定;數據層包括BMP、DICOM 圖像、OBJ 模型、套圖壓縮文件等.

圖1 系統框架圖

2.2 系統詳細設計

Web 客戶端是進行數據可視化和人機交互操作的界面,功能設計方面必須滿足用戶的需求.主界面主要分為4 個區域,分別是目錄樹區域、工具欄區域、可視化窗口和信息顯示窗口.

二維可視化:為了方便用戶通過瀏覽圖像,尋找畸形部位.系統需要實現二維圖像的可視化,包括BMP、DICOM 等格式單張或批量圖像的加載顯示.并且需要在前端平臺編制各種輔助性功能的工具,實現對圖像的標注、測量、播放等交互操作,以達到手術輔助效果.二維可視化主要在Cornerstone.js的基礎上開發,二維交互工具主要基于CornerstoneTools.js 完成.

三維可視化:由于二維圖像并不能充分的顯示畸形部位的特征和位置關系,難以使用戶對畸形有準確的認知,這就需要系統實現三維模型的重建與可視化,這里主要包括3 個模塊:OBJ 模型可視化、下肢骨三維重建和人工關節重建.分別實現了:三維OBJ 模型的可視化;股骨、脛骨和腓骨的三維重建及可視化;人工關節和缺損骨骼的三維重建及可視化,如圖2所示.其中模型在前端的顯示、交互工具的編寫主要基于Three.js庫,后臺的三維重建程序主要基于VTK 實現.

圖2 系統功能框架

3 系統實現

3.1 開發環境

(1)Django 框架

Django是使用Python 語言開發的、采用了MTV框架模式的Web 開源框架.即M (Model):代表數據層,通過編寫算法,從數據庫中獲取數據;T (Template):代表前端表現層,負責頁面的展示;V (View):代表業務邏輯層,負責完成前后端邏輯的制定,如圖3所示.

圖3 Django MTV 框架

Django 工具多、框架大、要素已集成且全面,使用簡單方便.結合Python 語言成為快速開發網站的最優組合.借此開發人員可以輕松地完成網站的編寫.

(2)Three.js 與VTK 開源庫

3D 技術具有十分明顯的優點,它可以使用戶更加直觀的瀏覽所需內容.但Mimic 等3D 軟件需要安裝,不易于操作.實現網頁三維模型可視化也面臨著諸多困境.WebGL的出現解決了這個問題,WebGL是一種符合HTML5 規范的3D 圖像繪制標準,它為Canvas標簽提供了渲染服務,開發人員可以通過JS 語言實現三維圖形的繪制,自由展示模型.原生WebGL 開發困難,Three.js是基于原生WebGL 封裝的3D 引擎庫,使接口更簡單.封裝了調整對象展示所需的場景、相機、決定繪制方式的渲染器等要素.無需專業的學習就可以讓用戶簡單的制作三維模型.

VTK (Visualization ToolKit)是一個基于C++開發的、以OpenGL為基礎發展起來的開源跨平臺庫.其具有面向Python的接口,滿足Python 編程的需要;通過將一些常用的算法封裝好,使我們無需重復編寫,如MC 面繪制算法;具有強大的圖形處理和三維可視化功能.后臺三維重建程序主要基于VTK 開源架構實現.三維可視化的實現主要依靠于后臺處理程序,客戶端只返回顯示程序最終結果.

(3)Cornerstone.js 與CornerstoneTools.js 開源庫

3.2 功能實現

3.2.1 三維模型構建

(1)下肢骨三維模型構建

下肢骨三維重建是本系統中研發的最重要的兩個功能模塊之一,通過JS 撰寫瀏覽功能上傳文件,前端的請求會以字符串形式提交至后臺,由Web 服務器接收并置于JSON 中,調用OpenCV、Skimage、VTK 等開源架構編寫后臺去床程序、分離程序、補洞程序和三維重建程序,調用Three.js、jQuery.js 等開源架構編寫前端模型射線點拾取、畫板工具,逐步對套圖進行處理,將渲染后的結果以二維形式與JSON 字符串傳至客戶端并且顯示.

下肢骨三維重建模塊實現了下肢骨的高度自動化精細三維重建,步驟流程如算法1.

?

此下肢骨三維重建模塊的好處在于后臺程序自動完成CT 掃描床去除、噪聲去除;剔除了盆骨、腳骨;并且將下肢骨分為股骨、腓骨和脛骨3 個獨立模型,如圖4所示,減少對象間的干擾,方便單個模型畸變識別觀察,并實現了孔洞修補,生成精細模型,為以后研究的模擬矯正打下堅實基礎.全過程除少量人工干預,基本實現自動化,傻瓜式、流水式的操作,使用戶無需過多學習專業知識就能完成下肢骨三維重建,操作步驟的簡易性使得軟件更容易推廣.

圖4 三維可視化界面

(2)人工關節三維模型構建

人工關節模塊是系統最重要的兩個模塊之一,人工關節模塊主要用于人工關節置換等手術后復查,對人工關節和相鄰骨骼進行三維重建,通過前端上傳壓縮文件,后臺接收解壓,調動人工關節重建程序,分別完成人工關節和骨骼的三維重建,如圖5所示,并在前端窗口顯示.該模塊實現了一鍵自動重建,用戶無需人工干預.前端窗口可以顯示多個三維模型,各模型可以控制顯示或隱藏,在Three.js的支持下實現旋轉、放大、縮小等三維交互操作,便于用戶觀察細節,分析手術情況.

圖5 人工關節界面

該模塊在術后復查或者多年以后人工關節磨損替換中,具有較高的作用.用戶能夠根據相關影像建立人工關節和下肢骨的三維模型,便于手術前計劃的制定和人工關節磨損情況的定期復查,使用戶更好的掌握病情及術后康復情況.

3.2.2 影像觀察與輔助診斷工具

對于牛羊養殖而言，只需要做好四方面的工作即可，其一是疫病防控，其二是圈舍修建，其三是草料，其四就是糞污處理。

(1)影像對比觀察

系統實現了雙視圖對比查看,通過分窗顯示功能,在不同的窗口顯示不同的影像,既可以是同一期不同位置的影像,也可以是不同時期拍攝的影像.通過雙視圖對比,我們可以清楚的發現畸形區域,不同時期的圖像對比也方便醫生追蹤術前畸形的變化情況和術后畸形的康復情況.

(2)DICOM 動態展示

實現DICOM 文件的動態展示.在cornerstone.js的支持下,客戶端上傳壓縮文件,調用后臺解壓處理程序完成解壓處理,指定加載列表,進入DICOM 套圖可視化界面.通過手動或自動模式的播放,實現DICOM動態展示功能.便于醫生快速掌握下肢骨整體情況和快速定位畸形位置.

(3)輔助診斷工具

在cornerstoneTools.js的基礎上完成工具欄的建設,實現測量工具、灰度變換、細節查看、精確定位和影像瀏覽5 個二維交互功能模塊,如圖6所示.

圖6 輔助診斷工具

1)測量工具

在診斷中,為了對畸形區域進行定性和定量的表示.系統設計了角度測量、灰度測量、直線測量和面積測量4 種測量工具,其中面積測量分為:橢圓面積測量、長方形面積測量和自由測區測量以及相應的清除、擴展、保存、恢復上次保存等功能,如圖7所示.

圖7 二維交互界面

2)灰度變換

在診斷中,為了更好的觀察畸形部位和下肢骨組織,改善圖像畫質.設置鼠標點擊事件,通過按住鼠標上下拖動實現調整窗位/窗寬或進行反色顯示.使圖像層次更加豐富,不同組織更容易分辨.

3)細節觀察

在診斷中,為了使醫生更加方便觀察畸形部位的細節.通過調整Canvas 坐標和圖像坐標之間的變換矩陣實現放大、縮小、位移等功能.

4)精確定位

在診斷中,為了使醫生能夠快速定位顯示可疑切片.通過在主窗口左側批量顯示縮略圖,實現縮略圖點擊可視化的功能.醫生通過瀏覽縮略圖,實現診斷過程中的畸形精準定位.

3.2.3 信息管理

信息管理模塊用于管理記錄病人的基本信息.包括:Patient Tag:患者姓名、出生日期、性別、身高體重等;Study Tag:檢查日期、檢查部位、檢查時年齡等;Seriesm Tag:圖像方位、層厚等;Image Tag:總行數、總列數、像素間距等信息,還包括儀器型號、所在單位等信息,還管理了DICOM 影像和三維模型存儲信息,可供醫生隨時在線查看病例資料,便于病情在線診斷與跟蹤.

4 系統測試

系統以Pycharm2019為開發平臺進行設計,整體架構為B/S 結構,客戶端采用Chrome 瀏覽器;Web 服務器采用Django 框架;數據庫使用MySQL;后臺程序采用Python 語言.以AJAX 通訊;數據通信采用JSON 格式.數據采用大小為512×512的患者下半身DICOM 影像.

測試機型為筆記本電腦,配置為CPU:酷睿i74510U處理器,內存:4 GB,顯卡:英特爾HD Graphics Family.使用Win10 系統的IE 瀏覽器、Chrome 瀏覽器、Google瀏覽器和360 瀏覽器進行測試.運行結果表明4 種瀏覽器都能很好地顯示圖像,工具欄工具均能實現,系統運行速度也能滿足實際需要.具體運行結果以Google瀏覽器為例說明.

系統主界面如圖8所示,圖8(a)左側為菜單目錄樹區域,中間窗口為DICOM 加載可視化,右下側為工具欄區域.圖8(b)為下肢骨三維重建后,返回結果三維可視化,模型成功剔除盆骨、腳骨,完成股骨、脛骨和腓骨的分離,生成的模型光滑無洞,細節處理較好,可以控制每個骨頭顯示或者隱藏,對于畸變識別非常有利.圖8(c)為人工關節重建后的人工關節可視化,可以通過按鈕控制人工關節和骨骼的顯示.圖8(d)為DICOM套圖批量可視化子窗口,窗口左側為縮略圖窗口,上方為工具欄,可實現多種交互操作.

圖8 主界面及各子界面

5 結論

本系統基于下肢骨畸形手術的需要,開發了一種基于開源架構的下肢骨畸形在線輔助診斷仿真系統,用于幫助用戶尋找畸形.實驗結果顯示,該系統可視化清晰、功能全面并且基本實現自動化、操作簡單無需較多的專業知識、基于B/S 架構無需下載插件,能夠滿足早期軟件設計的需要.其實用價值較高,既能在前期從二維和三維方向輔助醫生快速的找到畸形問題,又能為后期人工關節置換等手術復查中提供確切資料,所存儲的病例信息也可以被用戶隨時查閱比較,便于掌握病情進展狀況.該系統具有很大的潛力,下一步將要研究如何在系統上實現畸形的自動識別與矯正.