基于Hadoop的醫療健康非結構化大數據分析研究

趙俊+孫亞丹

【摘 要】隨云計算、物聯網、虛擬化技術、互聯網技術的發展和應用，Watson算法等人工智能技術引入醫療領域，醫院為了更好地服務患者、醫護人員和醫療管理人員，構建了以電子病歷為核心的人口健康信息集成平臺和臨床數據中心CDR。醫療過程中產生數以萬計的醫療數據，針對醫療領域的大數據的特點，海量的醫療健康非結構化數據蘊含著信息價值多樣，本文設計了一種基于Hadoop的非結構化數據處理與決策流程，對其進行有效存儲、處理、查詢和分析，進而輔助某個臨床醫生做出更為科學和準確的診斷和用藥決策，幫助醫院根據患者潛在需求制定個性化服務。

【關鍵詞】非結構化；Hadoop；大數據分析；虛擬化

Research on Unstructured Big Data Analysis for Healthcare Based on Hadoop

SUN Yadan ZHAO Jun

（Shanghai Ruanzhong Information Technology Co.， Ltd， Shanghai 200235）

【Abstract】With the development and application of cloud computing ，Internet of things， virtualization technology， the hospital has built the information integration platform and Clinical Data Repository， which is the core of the electronic medical record and produces tens of thousands of medical health big data. In allusion to the characteristics of big data in the medical field， massive healthcare unstructured data contains diverse information value. The paper designs unstructured data processing and decision making process based on Hadoop ， which is effective in storing， processing， querying and analyzing， and thus assisting a clinician to make more scientific and accurate diagnosis and medication decisions and to help hospitals to develop personalized service according to the potential needs of patients.

【Key words】Unstructured； Hadoop； Big data analytics； Virtualization

1 大數據的時代背景

二十一世紀以來，隨云計算、物聯網、虛擬化技術和互聯網技術的急速成長及“三網融合”、Web2.0時代的到來，網絡的迅猛發展引發了應用數據的種類和數量的快速增長。為了更好地為病人服務，進一步緩解醫患關系；利于醫護人員，提高工作效率，減輕人力成本；支撐管理者運營決策，宏觀把控醫院發展和醫療進步，構建以電子病歷（Electronic Medical Record，EMR）為核心的醫院信息集成平臺和臨床數據中心（Clinical Data Repository，CDR），提升了信息化標準水平，以病人為核心，以電子病歷為基準，把醫療的全流程行為中的環節和鏈條有機鏈接在一起，形成醫療管理的閉環，包括醫囑、藥品、檢驗、物資耗材、手術麻醉、醫療評價等環節的閉環管理。同時為保證系統的安全性，按照等級保護三級水平建設。信息平臺和CDR建設應用，醫院如何將CDR中的數據通過技術的工具發揮出最大價值，實現對醫生工作實時進行決策，給醫院運營進行實時的決策分析，最大化醫院數據價值應用，引起了許多醫院的管理者、行業專家廣泛關注和資金投入。同時隨著醫療信息化技術、EMR信息化的發展，人口健康大數據信息迅猛增長。對于浩瀚的醫療大數據信息海洋，如何高效地、有效地、有序地收集、分析、挖掘出信息之間的相關關系，將數據集合化多為精。在實際應用中，大數據和分析技術已成功應用于許多領域，如醫療信息、互聯網金融、社會化媒體中的用戶行為分析、電子商務等。信息風暴帶來了大數據的出現大數據不僅導致了人們的生活、事業和思維方式的改變，同時引發了巨大的變革，因此大數據分析技術順勢而生，成為非常重要的研究領域，同時也逐步在醫療領域使用。

2 醫療健康大數據的特征與非結構性

大數據分析是對結構類型多樣、迅猛增長、內容真實的數據進行分析、預測，會使決策更為精確，釋放出更多數據的隱藏信息、未知的相關關系以及其他有用信息的過程。醫療健康大數據除了具有大數據5V特征外，還具備自身典型特征：階段性，時效性和冗余性。隨著人口健康信息化和健康醫療大數據的推進和發展，醫療信息數據的來源正在逐步轉換，其中有相當一大部分的醫療信息資源是非結構化數據和半結構化數據，如一些影像數據、電子病歷數據等。醫療信息資源數據主要是圍繞患者的疾病周期過程中進行相關的醫療活動產生的文字、編碼、影像等醫療資料，這些數據對于患者的治療過程至關重要，同時對于醫院的臨床路徑的制定等其他醫療活動具有指導意義。海量的醫療健康非結構化數據包含著巨大的醫學價值，通過對其有效處理，輔助臨床醫師進行診斷和用藥決策，基于大數據技術，挖掘醫療信息數據之間價值，幫助臨床醫生在患者治療過程中提供制定個性化服務，也為醫護工作者提供強有力的支撐，是目前醫療領域探討的主要問題。

3 基于Hadoop的非結構化大數據分析模型構建

3.1 基于Hadoop的非結構化醫療數據處理與決策流程

醫療健康大數據具有數據量大、復雜性、多源異質性的特征，同時現實應用中產生了數以PB計的大規模數據，主要是由醫療數據庫（如電子健康檔案數據庫和健康體檢記錄數據庫）與互聯網數據庫（如健康咨詢服務網站和移動醫療應用程序）生成[3]。為了保證對非結構化大數據有效、有用價值的挖掘，要求醫院應具備對數以萬計的非結構化醫療健康大數據進行分布式批處理、實時計算和即時分析的能力，并支持循環數據流和內存分布式計算的能力。基于醫療大數據環境和非結構化數據的特點，本文設計了一種基于Hadoop的非結構化數據處理與決策流程，如圖1所示[4]：

圖3-1 非結構化醫療健康大數據處理和決策分析流程

該系統主要是由非結構化數據集合、醫療健康大數據并行計算流程、并行分析過程以及非結構化大數據決策過程模塊構成。非結構化數據集合模塊具有多類型終端、實時采集、動態處理和遠程傳輸的特點，主要是負責非結構化數據的采集、初級處理和向醫療數據中心遠程傳輸數據的任務。醫療健康非結構化大數據并行計算模塊主要完成非結構化數據的存儲、索引、計算分析和Hadoop計算管理操作，實現非結構化醫療健康大數據的快速并行計算。醫療健康非結構化大數據并行分析過程通過對非結構化數據維度與度量的自定義，由Hadoop分析集群完成對非結構化數據的并行分析，同時將分析產生的結果上報至報表展示中心進行可視化表現。醫療健康非結構化大數據決策過程基于大數據的分析結果，綜合醫院決策層和醫技人員的經驗與判斷力，為醫院的戰略選擇與制定、醫療服務質量保障提供有力的數據決策支持，為醫技人員提供臨床診療智能決策輔助支持。

3.2 醫療非結構化健康數據分析與決策

3.2.1 構建統一數據模型

非結構化醫療健康大數據主要是醫療診治流程中形成的文字、符號編碼、圖表、PACS、CT、等數據資料，大數據類型多樣和標準不統一。為了方便識別、處理、存儲和快速讀取，醫院必須采用統一的數據模型對非結構化醫療健康大數據進行刻畫，才能提高非結構化數據存儲、查詢、處理、管理和關聯分析的效率。

圖3-2 醫療健康非結構化大數據模型

由圖3-2所示，醫療健康非結構化大數據的特征集合U=？琢，？茁，？字，？酌，其中，？琢表示醫療健康非結構化數據的基本屬性，主要包括數據的名稱、類型、作者、時間；？茁表示語義特征，指在特定的情境環境中，非結構化數據用文字方式表達的專屬語義，主要包括數據表現的情境、底層特征含義等語義要素；？字表示底層特征，指通過各種專用處理技術（如圖像、語音、視頻等處理技術等）而獲得的非結構化數據特性；？酌表示原始數據，指醫院所采集的非結構化數據的原生態文件。該四面體模型能夠真實表現所采集的非結構化原始數據，支持語義特征與底層特征可隨著服務情境變化而動態擴展，支持計算機的快速識別、處理、查詢、深度處理和知識管理，是醫院非結構化數據關系發現和價值挖掘的可靠保證。

3.2.2 虛擬化技術的使用

非結構化數據具有海量、數據環境復雜、類型多樣和指數遞增的特點，傳統的醫療數據管理平臺無法準確描述和高效管理非結構化數據，因此，必須構建面向大數據的非結構化數據管理平臺，才能確保醫療非結構化數據管理安全、高效。目前很多醫院為保證數據的安全性、數據存儲的高效性、靈活性、可用性、可擴展性以及降低醫院的管理成本，采用虛擬化技術。在醫療應用過程中，虛擬化技術主要用來解決高性能的物理硬件產能過剩和老的舊的硬件產能過低的重組重用，透明化底層物理硬件，從而最大化的利用物理硬件。

3.2.3 確保數據安全性和可用性

隨著大數據時代的來臨，國家層面、相關管理部門以及用戶本人都對個人隱私信息越來越關注，2017年6月1日《網絡安全法》正式實施，信息安全尤其是個人的隱私問題發生了質變，醫療行業、管理部門、醫院層面逐步加強患者隱私保護問題。醫院信息系統是具有高科技、高風險、實時性的特點，對于醫療活動不間斷支持，同時規避發生故障以及故障發生后縮短恢復時間，必須確保信息系統的高度穩定性和安全性。隨著大數據時代的快速發展，保證醫療非結構化健康數據的安全性和可用性是醫院首要面臨的任務。目前在醫療信息系統建設過程中，部分三級綜合性醫院要求達到國家信息安全等級保護制度第三級，二級醫院以及專科醫院達國家信息安全等級保護制度第二級。

4 結束語

目前，很多醫院在醫療大數據治理收集和使用的標準不統一，從而導致在數據共享和患者隱私保護存在一定問題。患者隱私保護是數據收集和使用過程中的具有挑戰性的難題，也將是未來醫院信息系統使用過程中的重點建設內容。為保證醫院非結構化大數據的分析與決策過程科學性和高效性，醫院應以患者為中心，以“數據驅動”作為醫療非結構化健康大數據分析和決策依據，不斷加強醫療非結構化健康大數據在采集、噪音過濾、價值提取和存儲中的可用性與可控性管理，努力提升非結構化數據的實時分析、人機互動、科學評估和反饋優化水平，才能有效提升大數據決策的科學性和可用性水平。

【參考文獻】

[1]官思發，孟璽，李宗潔，等.大數據分析研究現狀、問題與對策[J].情報雜志，2015，34（5）：98-104.

[2]夏新，劉博，王玨，等.大數據分析在醫院醫保管理中的應用研究[J].中國數字醫學，2017，12（1）：9-11.

[3]Rui Zhao，Yiyun Liu，Ning Zhang，et al.An optimization model for green supply chain management by using a big data analytic approach[J].Journal of Cleaner Production， 2017 （142）：1085-1097.

[4]陳臣.基于Hadoop 的圖書館非結構化大數據分析與決策系統研究[J].情報科學，2017，35（1）：24-28.

[5]Sreekanth Rallapalli，R.R. Gondkar，Uma Pavan Kumar Ketavarapu. Impact of Processing and Analyzing Healthcare Big Data on Cloud Computing Environment by Implementing Hadoop Cluster [J]. Procedia Computer Science，2016（85）：16-22.

[6]Jorge L. Reyes-Ortiz， Luca Oneto，Dvide Anguita. Big Data Analytics in the Cloud： Spark on Hadoop vs MPI/OpenMP on Beowulf [J]. Procedia Computer Science，2015（53）：121-130.