基于API 的疾病預(yù)測(cè)系統(tǒng)數(shù)據(jù)導(dǎo)入研究

邵榮強(qiáng)，陳 燕，龔慶悅

（1.南京中醫(yī)藥大學(xué)人工智能與信息技術(shù)學(xué)院，江蘇南京 210023；2.宜興市第二人民醫(yī)院信息科，江蘇宜興 214221）

0 引言

自現(xiàn)代醫(yī)學(xué)誕生以來(lái)，由于醫(yī)學(xué)的發(fā)展極大地延長(zhǎng)了人類(lèi)的平均壽命，其研究一直吸引著大家的廣泛關(guān)注，研究者希望通過(guò)研究揭示人體的運(yùn)行規(guī)律，對(duì)其發(fā)病趨勢(shì)進(jìn)行預(yù)測(cè)。但是人體是一個(gè)十分復(fù)雜的系統(tǒng)，生理、心理和社會(huì)因素綜合交織在一起使對(duì)疾病的預(yù)測(cè)研究變得非常困難。

機(jī)器學(xué)習(xí)可以通過(guò)從歷史的行為和數(shù)據(jù)中分析、學(xué)習(xí)并找到更好的設(shè)計(jì)模式，可以解放很多復(fù)雜的工作。因此，機(jī)器學(xué)習(xí)已被廣泛運(yùn)用于各生產(chǎn)和科研領(lǐng)域［1-2］。隨著大數(shù)據(jù)時(shí)代的到來(lái)，醫(yī)學(xué)領(lǐng)域中的海量數(shù)據(jù)引起了許多學(xué)者的關(guān)注。機(jī)器學(xué)習(xí)方法，如：神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、決策樹(shù)等方法被廣泛應(yīng)用于疾病預(yù)測(cè)領(lǐng)域［3-6］，它們處理復(fù)雜及其大量數(shù)據(jù)上表現(xiàn)出的優(yōu)勢(shì)，解決了許多傳統(tǒng)方法的局限性［7-10］。隨著新的算法不斷出現(xiàn)及各類(lèi)超參數(shù)、業(yè)務(wù)參數(shù)的不斷改進(jìn)，疾病預(yù)測(cè)模型的準(zhǔn)確率和召回率等指標(biāo)也越來(lái)越高［11-13］。因此，相應(yīng)的疾病預(yù)測(cè)模型也需要重新訓(xùn)練，模型重建周期也變得越來(lái)越短，需要通過(guò)提高訓(xùn)練效率以適應(yīng)模型重建的快節(jié)奏。

1 相關(guān)工作

為提高疾病預(yù)測(cè)模型重建效率，近年來(lái)一些學(xué)者［14-18］針對(duì)算法和超參數(shù)選擇進(jìn)行研究，但隨著研究的深入，訓(xùn)練效率改進(jìn)越來(lái)越逼近天花板；也有學(xué)者［19-20］通過(guò)研究機(jī)器學(xué)習(xí)的云服務(wù)提高訓(xùn)練效率，但醫(yī)學(xué)數(shù)據(jù)傳到外部服務(wù)器則不可避免地面臨患者隱私泄露問(wèn)題；還有學(xué)者［21］通過(guò)海杜普分布式文件系統(tǒng)（Hadoop Distributed File System HDFS）等提升硬件性能的方式提高機(jī)器學(xué)習(xí)效率，但這種方式受到了投入上的限制。

以上方法均未針對(duì)數(shù)據(jù)導(dǎo)入這一環(huán)節(jié)進(jìn)行效率提升研究，而數(shù)據(jù)導(dǎo)入在模型訓(xùn)練過(guò)程中不僅是不可避免的流程，而且過(guò)程復(fù)雜而繁瑣，極容易出錯(cuò)。許多研究人員［22-24］采用手工方式導(dǎo)入數(shù)據(jù)，首先從數(shù)據(jù)庫(kù)查詢(xún)?cè)坚t(yī)療數(shù)據(jù)，再通過(guò)數(shù)據(jù)庫(kù)管理軟件將數(shù)據(jù)導(dǎo)出為csv 和txt 文件，然后將文件拷貝或通過(guò)網(wǎng)絡(luò)傳輸?shù)綑C(jī)器學(xué)習(xí)的服務(wù)器。本文采用了程序接口（Application Programming Inter?face，API）方式導(dǎo)入數(shù)據(jù)，優(yōu)勢(shì)如下：

（1）API 方式導(dǎo)入數(shù)據(jù)不受記錄數(shù)的限制，效率更高。隨著醫(yī)療信息化的發(fā)展，醫(yī)療數(shù)據(jù)也越來(lái)越大，通過(guò)txt 或csv 文件導(dǎo)入醫(yī)療數(shù)據(jù)讓每次操作的數(shù)據(jù)量受到限制，當(dāng)數(shù)據(jù)的記錄數(shù)超過(guò)1 048 576 時(shí)，這兩種文件類(lèi)型都無(wú)法支持。如果數(shù)據(jù)集通過(guò)人工多次以文件為載體導(dǎo)入，則進(jìn)一步降低了導(dǎo)出效率。API 方式導(dǎo)入數(shù)據(jù)不受記錄數(shù)限制，當(dāng)收到數(shù)據(jù)請(qǐng)求，API 服務(wù)器可以根據(jù)數(shù)據(jù)量的大小自動(dòng)分批封裝和傳送，整個(gè)過(guò)程無(wú)需人工介入，效率更高。

（2）API 導(dǎo)入方式采用輕量級(jí)的JSON 格式，出錯(cuò)概率更低。數(shù)據(jù)集通過(guò)文件導(dǎo)入時(shí)，受到不同字符編碼方式、數(shù)據(jù)類(lèi)型等環(huán)境因素的影響，導(dǎo)入過(guò)程時(shí)有失敗，同時(shí)操作人員對(duì)數(shù)據(jù)集采用人工方式進(jìn)行文件的復(fù)制與傳輸也進(jìn)一步加大了數(shù)據(jù)出錯(cuò)概率。API 導(dǎo)入方式采用輕量級(jí)的JSON 格式，JSON 使用完全獨(dú)立于編程語(yǔ)言的文本格式存儲(chǔ)和表示數(shù)據(jù)，導(dǎo)入時(shí)出錯(cuò)概率更低。

（3）API 導(dǎo)入方式降低了審計(jì)復(fù)雜性。直接通過(guò)數(shù)據(jù)庫(kù)查詢(xún)輸出為txt 或csv 文件，雖然可以通過(guò)數(shù)據(jù)庫(kù)日志對(duì)操作的動(dòng)作和導(dǎo)出數(shù)據(jù)的范圍進(jìn)行審計(jì)，但操作過(guò)程復(fù)雜。API 導(dǎo)入方式可以自動(dòng)在其服務(wù)器中保存調(diào)用信息，如：調(diào)用數(shù)據(jù)的人員、時(shí)間和所調(diào)用數(shù)據(jù)的范圍等，結(jié)構(gòu)化的調(diào)用信息更有利于調(diào)用的審計(jì)。

本研究的創(chuàng)新之處：使用API 的方式導(dǎo)入數(shù)據(jù)，而不是傳統(tǒng)的txt 或csv 等文件導(dǎo)入方式，以提高數(shù)據(jù)導(dǎo)入效率，突破文件格式對(duì)數(shù)據(jù)量的限制，避免因字符編碼方式或數(shù)據(jù)類(lèi)型等因素引起的意外錯(cuò)誤，降低審計(jì)復(fù)雜性并提高數(shù)據(jù)安全性。

2 API 數(shù)據(jù)導(dǎo)入設(shè)計(jì)

為提高數(shù)據(jù)獲取效率，本研究的臨床數(shù)據(jù)集不再以文件為載體進(jìn)行導(dǎo)入導(dǎo)出，而是以API 接口的方式進(jìn)行數(shù)據(jù)傳輸。試點(diǎn)醫(yī)院的臨床信息系統(tǒng)（Clinical Information Sys?tem，CIS）是通過(guò)C#開(kāi)發(fā)的，而疾病預(yù)測(cè)服務(wù)器所用的語(yǔ)言是Python，因此它們之間的數(shù)據(jù)交互需要跨編程語(yǔ)言。而目前最常用的跨編程語(yǔ)言的遠(yuǎn)程調(diào)用技術(shù)是WebSer?vice［25］。根據(jù)應(yīng)用場(chǎng)景不同又可分為安全性要求較高的簡(jiǎn)單對(duì)象訪(fǎng)問(wèn)協(xié)議（Simple Object Access Protocol，SOAP）服務(wù)［26］和輕量級(jí)、易訪(fǎng)問(wèn)、可擴(kuò)展性為特征的表述性狀態(tài)轉(zhuǎn)移（Representational State Transfer，RESTful）服務(wù)［27］。

本文研究中對(duì)數(shù)據(jù)庫(kù)的訪(fǎng)問(wèn)需要有權(quán)限控制及審計(jì)，因此數(shù)據(jù)庫(kù)前置機(jī)則采用了SOAP WebService 架構(gòu)。SOAP 是交換數(shù)據(jù)的一種協(xié)議規(guī)范，是一種基于可擴(kuò)展標(biāo)記語(yǔ)言（Extensible Markup Language，XML）的協(xié)議，它用于在Web 上交換固化和結(jié)構(gòu)化信息［28］。從網(wǎng)絡(luò)和安全角度看，它有著隔離數(shù)據(jù)庫(kù)服務(wù)器的作用，同時(shí)可以在前置機(jī)上記錄詳細(xì)的訪(fǎng)問(wèn)日志并用于審計(jì)。

布置在隔離區(qū)（Demilitarized Zone，DMZ）的微服務(wù)RESTful 服務(wù)器用于對(duì)外發(fā)布細(xì)顆粒度JSON 數(shù)據(jù)，需要達(dá)到輕便、簡(jiǎn)單的效果，故此服務(wù)器采用了基于RESTful WebService 的微服務(wù)架構(gòu)。RESTful 是一種網(wǎng)絡(luò)應(yīng)用程序的設(shè)計(jì)風(fēng)格和開(kāi)發(fā)方式，可以使用XML 格式定義或JSON格式定義。RESTful 適用于業(yè)務(wù)數(shù)據(jù)交互接口的場(chǎng)景，實(shí)現(xiàn)第三方調(diào)用移動(dòng)網(wǎng)絡(luò)資源的功能，動(dòng)作類(lèi)型為新增、變更、刪除所調(diào)用資源。如圖1 所示，由客戶(hù)端向疾病預(yù)測(cè)服務(wù)器發(fā)起疾病預(yù)測(cè)模型請(qǐng)求，數(shù)據(jù)申請(qǐng)路徑是：疾病預(yù)測(cè)服務(wù)器、RESTful API 服務(wù)器、SOAP API 前置機(jī)、訓(xùn)練/預(yù)測(cè)Data 集，數(shù)據(jù)返回路徑則是從訓(xùn)練/預(yù)測(cè)Data、SOAP API前置機(jī)、RESTful API 服務(wù)器、疾病預(yù)測(cè)服務(wù)器，后者完成訓(xùn)練后保存疾病預(yù)測(cè)模型。

Fig.1 Disease prediction data flow Diagram圖1 疾病預(yù)測(cè)數(shù)據(jù)流圖

3 系統(tǒng)開(kāi)發(fā)與實(shí)現(xiàn)

根據(jù)API 數(shù)據(jù)導(dǎo)入設(shè)計(jì)，疾病預(yù)測(cè)系統(tǒng)的API 數(shù)據(jù)導(dǎo)入涉及SOAP API 服務(wù)和RESTful API 服務(wù)實(shí)現(xiàn)。

3.1 SOAP API 服務(wù)實(shí)現(xiàn)

醫(yī)療數(shù)據(jù)涉及患者隱私，從安全角度而言，第三方應(yīng)用不能直接對(duì)數(shù)據(jù)庫(kù)進(jìn)行操作，而且調(diào)用數(shù)據(jù)的條件受到嚴(yán)格限制，同時(shí)調(diào)用的動(dòng)作需要記錄在日志中，以備將來(lái)審計(jì)。因此，數(shù)據(jù)庫(kù)前置機(jī)采用了SOAP WebService 架構(gòu)。

通過(guò)SOAP 這個(gè)嚴(yán)格定義的信息交換協(xié)議，在Web Service 中將遠(yuǎn)程調(diào)用與返回封裝成機(jī)器可讀的格式化數(shù)據(jù)［29］。SOAP 數(shù)據(jù)使用XML 數(shù)據(jù)格式并定義了一整套適合醫(yī)學(xué)的標(biāo)簽，以描述調(diào)用的出錯(cuò)信息、返回值、參數(shù)和遠(yuǎn)程過(guò)程等［30］，所有數(shù)據(jù)均需按照發(fā)布的參數(shù)要求進(jìn)行調(diào)用，從而保障醫(yī)療數(shù)據(jù)調(diào)用的權(quán)限與數(shù)據(jù)范圍。考慮到數(shù)據(jù)安全性需求增長(zhǎng)，本研究增加了對(duì)Web 服務(wù)描述語(yǔ)言（Web Service Description Language，WSDL）的支持。WSDL也遵循XML 格式，用來(lái)描述哪個(gè)服務(wù)器提供什么服務(wù)，如何找到它，以及該服務(wù)使用怎樣的接口規(guī)范［31］。因此，使用Web Service 的過(guò)程可轉(zhuǎn)換成獲得該服務(wù)的WSDL 描述，根據(jù)WSDL 構(gòu)造一條格式化的SOAP 請(qǐng)求并發(fā)送給服務(wù)器，然后接收一條同樣SOAP 格式的應(yīng)答，最后根據(jù)先前的WSDL 解碼數(shù)據(jù)。請(qǐng)求和應(yīng)答使用HTTP 或HTTPS 協(xié)議傳輸，發(fā)送請(qǐng)求使用POST 方法［32］。

SOAP WebService 的整個(gè)實(shí)現(xiàn)流程如圖2 所示。①RESTful API 服務(wù)器需要調(diào)用一個(gè)數(shù)據(jù)服務(wù)，以通用描述發(fā)現(xiàn)和集成注冊(cè)服務(wù)器（Universal Description Discovery and Integration Registry，UDDI Registry）詢(xún)問(wèn)哪個(gè)服務(wù)器可以提供該服務(wù)；②UDDI Registry 返回了一個(gè)消息，提示SOAP API 服務(wù)器能提供這樣的數(shù)據(jù)服務(wù)；③RESTful API服務(wù)器訪(fǎng)問(wèn)SOAP API 服務(wù)器，詢(xún)問(wèn)確切的調(diào)用方法；④SOAP API 服務(wù)器得到RESTful API 服務(wù)器提出的請(qǐng)求后，將一個(gè)WSDL 描述的XML 文檔返回給RESTful API 服務(wù)器，在文檔中記錄其能提供的各類(lèi)方法接口；⑤RESTful API 服務(wù)器了解到這些后，將這些XML 的接口方法封裝成為HTTP 請(qǐng)求，發(fā)給SOAP API 服務(wù)器，這些封裝方式采用標(biāo)準(zhǔn)的SOAP 方式，實(shí)質(zhì)是滿(mǎn)足HTTP/HTTPS 協(xié)議的一些SOAP 的報(bào)文消息［33］；⑥SOAP API 服務(wù)器回應(yīng)的也是HTTP/HTTPS 協(xié)議的SOAP 包，這樣雙方的請(qǐng)求—響應(yīng)完全暢通。

Fig.2 SOAP WebService圖2 SOAP WebService

3.2 RESTful API 服務(wù)實(shí)現(xiàn)

考慮到疾病預(yù)測(cè)系統(tǒng)將來(lái)可能推廣到各病種預(yù)測(cè)，為保障RESTful API 是一個(gè)通用的、可重用的架構(gòu)模式，本文RESTful API 研究遵循模型—視圖—控制器模式（Model View Controller，MVC），如圖3 所示。它是用一種業(yè)務(wù)數(shù)據(jù)、邏輯、界面顯示分離的方法組織代碼，將疾病預(yù)測(cè)業(yè)務(wù)邏輯封裝到一個(gè)部件里，在改進(jìn)和個(gè)性化定制界面及用戶(hù)交互的同時(shí)，業(yè)務(wù)邏輯不需要重新編寫(xiě)［34］。它將軟件系統(tǒng)分為3 個(gè)基本部分［34］：

（1）模型（Model）。負(fù)責(zé)存儲(chǔ)醫(yī)院信息系統(tǒng)的醫(yī)療數(shù)據(jù)、封裝應(yīng)用程序狀態(tài)和應(yīng)用程序功能、響應(yīng)狀態(tài)查詢(xún)和通知視圖改變。

（2）視圖（View）。將醫(yī)療信息輸出給用戶(hù)，用于模型解釋、模型請(qǐng)求更新、給控制器發(fā)送用戶(hù)輸入，以及允許控制器選擇視圖。在研究中輸出為JSON 格式的數(shù)據(jù)，經(jīng)解析和格式化后可以視圖形式呈現(xiàn)。

（3）控制器（Controller）。處理用戶(hù)輸入信息，負(fù)責(zé)定義應(yīng)用程序行為、用戶(hù)動(dòng)作映射或模型更新和選擇響應(yīng)的視圖。從url 讀取相關(guān)參數(shù)，控制用戶(hù)輸入，并向模型發(fā)送數(shù)據(jù)，是RESTful API 中處理用戶(hù)交互的部分。

Fig.3 MVC architecture of RESTful API圖3 RESTful API 的MVC 體系結(jié)構(gòu)

MVC 在具體開(kāi)發(fā)時(shí)的應(yīng)用如下：

（1）本研究項(xiàng)目對(duì)應(yīng)一個(gè)application 文件夾，RESTful API 對(duì)應(yīng)application 下的一個(gè)api 目錄，其包含MVC 架構(gòu)，API 有多個(gè)controller 和model，controller 保存疾病預(yù)測(cè)業(yè)務(wù)的邏輯，將疾病預(yù)測(cè)數(shù)據(jù)保存在model 中。

（2）為做好版本控制，在controller 中建v1 目錄，用于控制疾病預(yù)測(cè)系統(tǒng)的各版本，在v1 下創(chuàng)建UserPermission.php 控制器，負(fù)責(zé)管理與用戶(hù)交互控制。

（3）在model 下創(chuàng)建DataService.php，與醫(yī)療數(shù)據(jù)增刪改查相關(guān)操作均通過(guò)model 完成。

（4）控制層和model 層建好后，就可以建立路由規(guī)則。在目錄route 下進(jìn)行配置，配置的url 及相關(guān)參數(shù)即是客戶(hù)端調(diào)用數(shù)據(jù)的規(guī)范。

疾病預(yù)測(cè)服務(wù)器在調(diào)用醫(yī)療數(shù)據(jù)時(shí)，通過(guò)url 進(jìn)行訪(fǎng)問(wèn)，route 解析配置中的參數(shù)，產(chǎn)生input events 事件，通過(guò)View 調(diào)用相應(yīng)controller 中的方法，后者使用對(duì)應(yīng)model 中的統(tǒng)一數(shù)據(jù)調(diào)用函數(shù)訪(fǎng)問(wèn)SOAP 的服務(wù)，獲取數(shù)據(jù)后將XML 格式轉(zhuǎn)換成JSON 格式并返回給url 調(diào)用方。

4 系統(tǒng)測(cè)試與結(jié)果分析

本文通過(guò)多個(gè)不同記錄數(shù)的數(shù)據(jù)集測(cè)試API 接口從數(shù)據(jù)庫(kù)向疾病預(yù)測(cè)服務(wù)器導(dǎo)入數(shù)據(jù)的速度。SOAP API 服務(wù)器和RESTful API 服務(wù)器的硬件配置均為16 核的雙處理器和16G 內(nèi)存的虛擬機(jī)。測(cè)試用的數(shù)據(jù)集均是16 個(gè)字段，一個(gè)循環(huán)共做100 個(gè)數(shù)據(jù)集導(dǎo)入測(cè)試。第一個(gè)數(shù)據(jù)集有1 000 條記錄，第二個(gè)數(shù)據(jù)集有2 000 條記錄，以1 000條遞增，循環(huán)100 次，最后一次導(dǎo)入數(shù)據(jù)集為100 000 條記錄。根據(jù)數(shù)據(jù)集的記錄數(shù)與耗時(shí)畫(huà)成散點(diǎn)圖，如圖4 所示，耗時(shí)從1.214 0s 到40.431 5s 不等。在導(dǎo)出并導(dǎo)入第42 個(gè)數(shù)據(jù)集時(shí)，服務(wù)器自動(dòng)啟動(dòng)CPU 四核運(yùn)行，CPU 會(huì)將處理任務(wù)分成4 份分別交給4 個(gè)核心處理，處理速度也大幅提高；在導(dǎo)出并導(dǎo)入第62 個(gè)數(shù)據(jù)集時(shí)，服務(wù)器自動(dòng)啟動(dòng)CPU 十六核運(yùn)行，處理速度是最初的近16 倍；為保證實(shí)驗(yàn)的可重復(fù)性，循環(huán)測(cè)試實(shí)驗(yàn)共做了10 次，繪制的圖形大體一致?？梢钥闯觯ㄟ^(guò)API 導(dǎo)入醫(yī)療數(shù)據(jù)，在10 萬(wàn)條數(shù)據(jù)以?xún)?nèi)，隨著數(shù)據(jù)量的增大，所耗時(shí)間并不是線(xiàn)性增長(zhǎng)，系統(tǒng)會(huì)根據(jù)任務(wù)量自動(dòng)分配硬件資源以保障導(dǎo)入速率。取每次循環(huán)中最后一個(gè)數(shù)據(jù)集（100 000 條記錄的數(shù)據(jù)集）的導(dǎo)入時(shí)間，10 次平均耗時(shí)6.705s。對(duì)比文件導(dǎo)入方式，數(shù)據(jù)庫(kù)僅將100 000 條記錄的數(shù)據(jù)集導(dǎo)出到csv 文件，10 次測(cè)試平均用時(shí)358.213s。經(jīng)計(jì)算，前者速度是后者的53 倍以上。10 次實(shí)驗(yàn)通過(guò)API 接口共導(dǎo)入1 000 個(gè)數(shù)據(jù)集，無(wú)一出錯(cuò)，也體現(xiàn)了API 導(dǎo)入數(shù)據(jù)的穩(wěn)定性。通過(guò)API 調(diào)用1 000 個(gè)數(shù)據(jù)集的動(dòng)作與調(diào)用數(shù)據(jù)的范圍均可自動(dòng)記錄于數(shù)據(jù)庫(kù)中。

Fig.4 Time consuming scatter diagram of API importing dataset圖4 API 導(dǎo)入數(shù)據(jù)集耗時(shí)散點(diǎn)圖

5 結(jié)語(yǔ)

隨著信息技術(shù)在醫(yī)療領(lǐng)域的廣泛應(yīng)用，醫(yī)療數(shù)據(jù)的質(zhì)與量將不斷提升，疾病預(yù)測(cè)模型也需要用更多、更新、質(zhì)量更高的數(shù)據(jù)進(jìn)行不斷優(yōu)化。為簡(jiǎn)化醫(yī)療數(shù)據(jù)導(dǎo)入步驟并提高導(dǎo)入效率，本文使用API 的方式導(dǎo)入數(shù)據(jù)，而不是傳統(tǒng)的txt 或csv 等文件導(dǎo)入方式。研究結(jié)果表明，基于SOAP 和RESTful API 微服務(wù)的數(shù)據(jù)導(dǎo)入方式，提高了數(shù)據(jù)導(dǎo)入速度，避免了因字符編碼方式引起的意外錯(cuò)誤，降低了審計(jì)的復(fù)雜度，并提高了數(shù)據(jù)安全性。

同時(shí)，本文還存在一些不足：整個(gè)研究尚未經(jīng)過(guò)上百萬(wàn)條數(shù)據(jù)的考驗(yàn)，隨著數(shù)據(jù)量的進(jìn)一步增大，通過(guò)API 接口方式導(dǎo)入數(shù)據(jù)的優(yōu)勢(shì)是進(jìn)一步擴(kuò)大還是減小，有待驗(yàn)證；隨著應(yīng)用的推廣，業(yè)務(wù)的多并發(fā)也是一項(xiàng)新的挑戰(zhàn)。本研究實(shí)施周期偏短，希望通過(guò)系統(tǒng)的持續(xù)性改進(jìn)，以促進(jìn)機(jī)器學(xué)習(xí)在疾病預(yù)測(cè)中發(fā)揮更大作用。