MPR 在人工智能肺炎輔助診斷系統中的研究與實現?

左其群

（江蘇科技大學計算機學院 鎮江 212003）

1 引言

今年以來，隨著新冠病毒的突然爆發，肺炎的致死率逐漸上升，肺部疾病的早期篩查顯得尤為重要。2020 年1 月國家衛生健康委員會將新型冠狀病毒感染引起的肺炎納入乙類傳染病，并按甲類傳染病管理［1~2］。各省市隨即啟動重大衛生事件一級響應，實行嚴格的防控措施，當前新冠肺炎已經形成全球性衛生事件。2 月，世界衛生組織將新型冠狀病毒引發的疾病正式命名為新型冠狀病毒肺炎（Coronavirus Disease 2019，COVID-19）［3］。目前國內疫情主要以輸入性病例為主，病例多見輕度和中度，因此需要快速準確地定位早期肺炎病灶。

2 MPR 在肺炎輔助診斷系統的必要性及其優勢

臨床中常用的醫學影像模態有多種［4］，包括電子計算機斷層掃描（Computed Tomography，CT）、正電子發射計算機斷層顯像（PET-CT）等，不同模態的醫學影像適合觀察不同類型的生理病理信息，其中CT 影像作為計算機輔助醫療的重要媒介，承載了豐富的診療信息，在疾病診斷中不可或缺，是以非侵入式的方式取得內部組織成像［5］，結構清晰，成為閱片醫生診斷疾病、評估診療的重要工具。從胸部CT圖像中將病灶精準地分離出來對于實現肺炎患者的早發現、早隔離、早治療有著重要的意義和價值。隨著科學技術的發展和醫學影像應用的推廣，例如PACS系統，有越來越多的醫學影像需要醫生去解讀［6］，醫學影像閱片逐漸成為一個挑戰性的工作［7］，在此形勢下，基于人工智能的輔助診斷系統應運而生，但如何將三維重建影像和病灶篩查合理的匹配醫生的需求是一個值得研究的問題。

目前國內常用的重建方法有多平面重建（Multi-Planar Reconstruction，MPR）、最大密度投影（MIP）、表面陰影遮蓋（SSD）［8］等。多層面重建是最基本的“三維”重建成像方法，是二維的圖像序列，和我們最熟悉的軸位圖像是一個“家族”的。MPR把體素重新排列，在二維屏幕上顯示任意方向上的斷面［9］。對于胸部1mm 至1.5mm 薄層圖像，多平面后重建提高了圖像分辨率和清晰度，更精確的辨識血管、胸膜、胸壁與病灶的關系。在胸部疾病的診斷中，應用MPR 技術能夠拓寬診斷視角，從冠狀位、軸狀位與矢狀位多角度分析判斷病灶的邊緣特征是否與疑似病灶相吻合，從而方便閱片醫生快速定位病灶，比對病灶形態和征象，提高診斷的準確性。

3 肺炎輔助診斷系統及MPR 閱片診療流程

由于醫院對醫療數據和系統安全性要求，目前AI 肺炎輔助診斷系統主要以兩種方式出現在閱片醫生的診療流程中。第一種方式是在CT技師拍攝完CT影像后，PACS系統［10］自動將放射影像DICOM（Digital Imaging and Communications in Medicine）數據經局域網傳輸至AI 肺炎輔助診斷系統，影像收取完畢后，系統服務調用卷積核按隊列依次處理DICOM 數據，并將計算結果展示在肺炎輔助診斷系統的前端界面，供醫生調閱，如圖1步驟1.1、1.2、1.3。另一種是在CT 設備上為肺炎輔助診斷系統獨立開放一個接口，主要的參數是AE_Title、IP，和Port，CT 機同時向PACS 和AI 肺炎輔助診斷系統自動傳輸DICOM 影像，省略了PACS 或RIS 的傳輸過程，為閱片醫生調閱肺炎輔助診斷系統和MPR 影像信息節省時間，提高閱片診斷效率，有效降低假陽性和假陰性。如圖1步驟2.1、2.2。

圖1 閱片診療流程

4 MPR 在肺炎輔助診斷系統中的關鍵技術研究

AI 肺炎輔助診斷系統要廣泛投入應用，除了培養閱片醫生的使用習慣外，還要為醫生建立完善的診療流程，形成一個閉環。而MPR 作為其中或不可缺的一環，主要涉及的關鍵技術如下。

4.1 嗅探RIS窗口的控件信息

據調查，醫生對于操作系統圖形界面要求較高，醫院為了方便醫生日常閱片，閱片工作站均裝載微軟旗下的Windows 系列。嗅探技術基于win?dows直接與窗口的“控件”交互，幫助閱片醫生自動識別RIS窗口目標患者ID信息，為打開肺炎輔助診斷系統做鋪墊。AutoIt 作為一門腳本語言發揮了至關重要的作用［11］，能夠比較自如地操控Windows系統中的控件，模擬Windows用戶的操作，根據Au?toIt 所識別到的控件信息打開編輯器，修改配置文件，建立閱片工作站與肺炎診斷系統連接的通道，完善閱片流程，如圖2。

圖2 配置文件

4.2 仿射變換創建NII格式

計算機斷層掃描輸出的為醫學數字成像和通信DICOM 格式，是醫學圖像傳輸和通信的國際標準（ISO 12052）［12］。在數以萬計的在用醫學成像設備中，DICOM是部署最為廣泛的醫療信息標準之一。它定義了質量能滿足臨床需要且可用于處理、存儲、打印和傳輸醫學影像信息。DICOM 可以便捷地交換于兩個滿足DICOM3.0 標準的工作站之間，目前該協議被廣泛應用于放射醫療、放射診療診斷設備（CT，核磁共振等）［13］。

越來越多的DICOM 應用程序和分析軟件被運用于臨床醫學，促使越來越多的編程語言支持DI?COM API 的框架。Python 語言支持DICOM 模塊，能夠完成基本DICOM 信息分析和處理的編程方法。應用開源、跨平臺框架SimpleITK、Nibabel 讀取完整的DICOM 序列，返回圖像數組信息，簡化圖像處理流程和方法。其中SimpleITK 讀取數據是（X，Y，Z）顯示，Nibabel 讀取圖像是（Z，Y，X）顯示。使用Numpy庫下的方法transpose實現仿射變換，將CT 的坐標信息由（X，Y，Z）轉置成（Z，Y，X），再通過Nifti1Image 方法輸入每個體素的取值信息和位置信息得到一個標準的參考空間，如下方代碼所示：

圖3 代碼示例1

在醫學圖像處理技術領域，最重要的坐標體系是解剖學空間坐標體系（右手坐標體系），由三個位面組成，包括冠狀面、橫斷面、矢狀面，用來描述標準的人體在解剖學上的位置［14］。常用的兩種坐標軸 有LPS（Left，Posterior，Superior）和RAS（Right，Anterior，Superior），如圖5，將CT 圖像由圖像坐標系旋轉到RAS 方向，統一所有數據方向，從而得到NIFITI 文 件 的 元 數 據 信 息。 aff2axcodes、ax?codes2ornt、ornt_transform、apply_orientation 為Nib?abel下的庫函數，下面的代碼實現該功能：

圖4 代碼示例2

圖5 RAS坐標軸

4.3 仿射變換讀取NII文件

在處理醫學影像數據時，常用的Python數據讀取命令無法讀取NII 和NII.GZ 文件，所以需要應用Nibabel庫，將NII或NII.GZ 格式的數據變成一般的數組數據，方便做數據處理。同理使用Numpy庫下的方法transpose 實現仿射變換，將NII 或NII.GZ 的數組數據轉置為RAS 坐標系下的DICOM 影像數據，獲取頭文件信息，如下代碼所示，邏輯上如果為真，則重定向到RAS坐標體系，或者直接獲取列表，不能簡單的假設形狀X等于形狀Y。

圖6 代碼示例3

4.4 WEB前端開啟MPR模式

人工智能肺炎輔助診斷系統基于谷歌內核［15］（chrome），當閱片醫生登錄PACS 報告系統書寫某患者的影像報告時，閱片助手自動捕獲患者ID 且向AI服務器發送一個HTTP 請求，建立一個TCP 連接，默認端口是80，以GET 請求方法獲取請求頭里的token 值，在瀏覽器中自動打開含有該token 值的URL，如圖7，在請求攔截器位置向請求頭中添加認證字段攜帶token 信息，服務器端就可以通過token信息查找用戶登錄狀態。Nginx 服務器［16］在80 端口監聽客戶端發送過來的請求，一旦收到客戶端請求，服務器發送一個狀態行消息，客戶端瀏覽器收到反饋信息將診斷結果顯示在屏幕上。以某患者影像數據為例，單擊MPR按鈕進入MPR模式，醫生根據AI 篩查出的病灶定位到該病灶位于胸部薄層橫斷面、冠狀面和矢狀面的最大徑層面，在橫斷面滑動鼠標滾輪查看病灶輪廓、密度、體積、直徑等信息，經對比該病灶為左肺上葉實性結節，直徑為3mm，醫生即可在RIS 內添加該病灶信息，完成報告，如圖8所示病灶信息，以箭頭標識。

圖7 HTTP請求

圖8 左肺上葉實性結節

5 結語

一款面向固定受眾的肺炎輔助診斷系統的推出需要不斷的嘗試，前期的臨床實驗加上后期的試用階段均需要長期投入，調查發現，MPR 在系統中能夠對醫院的閱片醫生形成一定的粘合度，幫助醫生快速定位病灶、顯示病灶輪廓，為進一步判斷病灶良惡性和病灶類型做建設性的貢獻，因此MPR在肺炎輔助診斷系統上的研究與實現對于閱片醫生具有重要意義。

本文首先表明MPR 在人工智能肺炎輔助診斷系統中的必要性和優勢，隨后介紹了MPR 及肺炎輔助診斷系統在醫院診療流程中的應用場景，表明了MPR 在肺炎篩查中應用的價值，之后詳細總結了MPR 在肺炎輔助診斷系統中應用的關鍵技術，包括嗅探技術、NII 文件的轉換與讀取編碼實現、WEB 前端技術等，強調了閱片助手在診療流程中的核心作用。

平臺內的MPR 模塊仍需改進，渲染效果、調取速度、DICOM 數據的優劣性、NII 文件的完整性，必將成為模塊優化的制約因素。肺炎輔助診斷系統中的MPR 模塊在醫院更加復雜的應用場景和更多醫療影像設備接入的趨勢下，呈現出愈發明顯的優勢，其強大的重建能力可以在較短時間內幫助閱片醫生完成病灶的篩查，在未來的放射診療領域的研究中十分具有競爭力。