醫(yī)學(xué)人工智能產(chǎn)品的網(wǎng)絡(luò)安全探討

王晨希，王浩，王權(quán)，任海萍

中國食品藥品檢定研究院 光機電室，北京 102629

引言

近年來，醫(yī)學(xué)人工智能發(fā)展迅速，產(chǎn)業(yè)格局風(fēng)起云涌。人工智能在醫(yī)療領(lǐng)域中的應(yīng)用已非常廣泛，包括醫(yī)學(xué)影像、臨床決策支持、語音識別、藥物挖掘、健康管理、病理學(xué)等眾多領(lǐng)域。人工智能技術(shù)呈現(xiàn)與醫(yī)療領(lǐng)域不斷融合的趨勢，其中數(shù)據(jù)資源、計算能力、算法模型等基礎(chǔ)條件的日臻成熟成為行業(yè)技術(shù)發(fā)展的重要力量[1-2]。醫(yī)學(xué)人工智能技術(shù)的飛速發(fā)展的背后，醫(yī)療網(wǎng)絡(luò)安全問題如影隨形。針對醫(yī)學(xué)人工智能產(chǎn)品的勒索病毒（一種新型的病毒，主要通過文件加密的方式以程序木馬、網(wǎng)頁掛馬等形式傳播）、挖礦病毒（一種新型的病毒，通過的網(wǎng)絡(luò)傳播，會導(dǎo)致電腦CPU占用率高，系統(tǒng)盤可使用空間驟降，電腦溫度升高，風(fēng)扇噪聲增大等問題）、醫(yī)療信息泄露等醫(yī)療行業(yè)的網(wǎng)絡(luò)安全事件受到廣泛關(guān)注，醫(yī)學(xué)人工智能的發(fā)展必然需要有效防范網(wǎng)絡(luò)攻擊。

《中華人民共和國網(wǎng)絡(luò)安全法》自2017年6月1日起施行，這是中國建立嚴格的網(wǎng)絡(luò)治理指導(dǎo)方針的一個重要里程碑。原國家食品藥品管理總局已經(jīng)發(fā)布《醫(yī)療器械網(wǎng)絡(luò)安全的注冊技術(shù)審查指導(dǎo)原則》并于2018年1月1日實施，該指導(dǎo)原則目的是醫(yī)療器械全生命周期過程中保證醫(yī)療器械產(chǎn)品自身的網(wǎng)絡(luò)安全，從而保證其安全性和有效性。但是目前針對醫(yī)療器械產(chǎn)品的網(wǎng)絡(luò)安全標(biāo)準(zhǔn)尚屬空白，對于網(wǎng)絡(luò)安全的質(zhì)量評價方法和措施也尚無定論。

醫(yī)學(xué)人工智能產(chǎn)品作為醫(yī)療器械產(chǎn)品新的業(yè)態(tài)，除具有醫(yī)療器械軟件產(chǎn)品本身特性外，在產(chǎn)品設(shè)計、代碼實現(xiàn)、產(chǎn)品測試、部署運行模式上都不同于一般的醫(yī)療器械產(chǎn)品，同時醫(yī)學(xué)人工智能產(chǎn)品又有數(shù)據(jù)集構(gòu)建、算法調(diào)優(yōu)等神經(jīng)網(wǎng)絡(luò)的自身特性[3]，由此考慮此類產(chǎn)品的網(wǎng)絡(luò)安全風(fēng)險需要這些要素，本文將針對醫(yī)學(xué)人工智能產(chǎn)品研發(fā)階段和產(chǎn)品上市后面臨的網(wǎng)絡(luò)安全問題，從產(chǎn)品的通用安全和專用安全角度結(jié)合各自防御措施展開進行介紹。

1 醫(yī)學(xué)人工智能產(chǎn)品通用安全及防御措施

醫(yī)學(xué)人工智能產(chǎn)品作為一種特殊的醫(yī)療器械軟件產(chǎn)品，在其運行過程中會遇到一般的網(wǎng)絡(luò)安全威脅。例如，由于產(chǎn)品設(shè)計缺陷導(dǎo)致用戶輸入特定的用戶名和密碼能夠訪問非授權(quán)數(shù)據(jù)；由于未使用產(chǎn)品用戶名和密碼的加密，從而被利用，導(dǎo)致身份認證失效；由于產(chǎn)品依賴的軟件和組件未及時升級和更新，從而漏洞被利用，產(chǎn)品數(shù)據(jù)丟失；以及產(chǎn)品數(shù)據(jù)明文傳輸而導(dǎo)致數(shù)據(jù)被截取[4]。這些威脅都會影響產(chǎn)品的安全，通常包括注入攻擊漏洞、失效的身份認證和會話管理關(guān)注等，我們稱之為通用安全威脅。

1.1 注入攻擊漏洞

這些攻擊發(fā)生在當(dāng)不可信的數(shù)據(jù)作為命令或者查詢語句的一部分，被發(fā)送給解釋器的時候。攻擊者發(fā)送的惡意數(shù)據(jù)可以欺騙解釋器，以執(zhí)行計劃外的命令或者在未被恰當(dāng)授權(quán)時訪問數(shù)據(jù)[5]。醫(yī)學(xué)人工智能產(chǎn)品大部分采用B/S架構(gòu)，舉例來說，填好正確的用戶名（test）和密碼（001）后，點擊提交，將會返回給歡迎的界面，其實執(zhí)行的 語 句 是 select * from users where username=test′and password=md5(′001′)，但是對于有 SQL 注入漏洞的地址來說，只要構(gòu)造個特殊的“字符串”，照樣能夠成功登錄。比如：在用戶名輸入框中輸入:′or′1=1#，密碼隨便輸入，這時候合成后的SQL查詢語句為：select * from users where username=′′ or 1=1#′ and password=md5(′′)，可以繞開產(chǎn)品登錄界面，直接進入系統(tǒng)訪問數(shù)據(jù)，完成了注入攻擊。注入能導(dǎo)致患者影像數(shù)據(jù)丟失或破壞、缺乏可審計性或是拒絕服務(wù)。注入漏洞有時甚至能導(dǎo)致完全主機接管。

針對注入漏洞這類攻擊，通常的防御措施是審查代碼，但是這類攻擊卻不容易在測試中發(fā)現(xiàn)。掃描器和模糊測試工具可以幫助攻擊者找到這些漏洞。檢查應(yīng)用程序是否安全使用解釋器的最快最有效的方法是代碼審查[6]。代碼分析工具能幫助安全分析者找到使用解釋器的代碼并追蹤應(yīng)用的數(shù)據(jù)流。滲透測試者通過創(chuàng)建攻擊的方法來確認這些漏洞[7]。可以執(zhí)行應(yīng)用程序的自動動態(tài)掃描器能夠提供一些信息，幫助確認一些可利用的注入漏洞是否存在。

1.2 失效的身份認證和會話管理

與身份認證和會話管理相關(guān)的醫(yī)學(xué)人工智能應(yīng)用程序篩查和診斷等功能往往得不到正確的實現(xiàn)，這就導(dǎo)致了攻擊者破壞密碼、密鑰、會話令牌或攻擊其他的漏洞去冒充其他用戶的身份（暫時或永久的）[8]。這些漏洞可能導(dǎo)致部分甚至全部帳戶遭受攻擊。一旦成功，攻擊者能執(zhí)行受害用戶的任何操作，因此系統(tǒng)管理員帳戶是常見的攻擊對象。用戶身份驗證憑證沒有使用加密保護、用戶名暴露在URL（統(tǒng)一資源定位符）里、會話用戶名沒有超時限制，或者用戶會話或身份驗證令牌特別是單點登錄令牌在用戶注銷時沒有失效、密碼、會話用戶名和其他認證憑據(jù)使用未加密連接傳輸?shù)葢?yīng)用場景下都會產(chǎn)生失效的身份認證和會話管理威脅[9]。

針對失效的身份認證和會話管理，通常的防御措施是建議醫(yī)學(xué)人工智能產(chǎn)品設(shè)計時采用認證和會話管理控制系統(tǒng)，按照特定的應(yīng)用程序安全驗證標(biāo)準(zhǔn)中制定的所有認證和會話管理的要求[10]。同樣也要做出努力來避免跨站漏洞。

1.3 安全配置錯誤

需要對產(chǎn)品應(yīng)用程序、框架（算法）、應(yīng)用程序服務(wù)器、Web服務(wù)器、數(shù)據(jù)庫服務(wù)器和平臺定義和執(zhí)行安全配置。由于許多設(shè)置的默認值并不是安全的，因此，必須定義、實施和維護這些設(shè)置[11]。此外，所有的軟件應(yīng)該保持及時更新。包括操作系統(tǒng)、Web/應(yīng)用服務(wù)器、數(shù)據(jù)庫管理系統(tǒng)、應(yīng)用程序、API（Application Programming Interface）和其它所有的組件和庫文件應(yīng)保持及時更新，減少使用或安裝不必要的功能（例如端口、服務(wù)、網(wǎng)頁、帳戶、權(quán)限），錯誤處理機制要防止含有大量的錯誤信息被泄露，對應(yīng)用服務(wù)器和應(yīng)用框架進行安全配置（如TensorFlow、Caffe、MXNet、PyTorch）和庫文件、數(shù)據(jù)庫等[12]。

要避免安全配置錯誤，防御措施是確保開發(fā)、質(zhì)量保證和生產(chǎn)環(huán)境都應(yīng)該配置相同（每個環(huán)境中使用不同的密碼），了解每個已部署環(huán)境的所有最新軟件更新和補丁，在所有環(huán)境中正確安全配置和設(shè)置應(yīng)當(dāng)是自動化的[13]。

1.4 敏感信息泄露

醫(yī)療人工智能產(chǎn)品的應(yīng)用程序和API沒有正確保護敏感數(shù)據(jù)，攻擊者可能會竊取或篡改此類弱保護的數(shù)據(jù)，進行數(shù)據(jù)欺騙、身份竊取或其他攻擊行為[14]。敏感數(shù)據(jù)應(yīng)該具有額外的保護，例如在存放或在傳輸過程中的加密，以及與瀏覽器交換時進行特殊的預(yù)防措施。在這個領(lǐng)域最常見的漏洞是應(yīng)該加密的數(shù)據(jù)不進行加密。在使用加密的情況下，常見的問題是不安全的密鑰生成和管理和使用弱算法是很普遍的，特別是使用弱的哈希算法來保護密碼。

此類安全威脅可以通過預(yù)測和模擬威脅（比如內(nèi)部攻擊和外部用戶）、重要的敏感數(shù)據(jù)盡快清除、使用合適的強大的標(biāo)準(zhǔn)算法和強大的密匙，并且密匙管理到位、確保使用密碼專用算法存儲密碼、禁用自動完成防止敏感數(shù)據(jù)收集，禁用包含敏感數(shù)據(jù)的緩存頁面等方式避免敏感信息泄露[15]。

2 醫(yī)學(xué)人工智能產(chǎn)品專用安全及防御措施

醫(yī)學(xué)人工智能產(chǎn)品既有醫(yī)療器械軟件的通用性，又有其專業(yè)性，比如對數(shù)據(jù)的高度依賴性，這就意味著產(chǎn)品的安全特性受制于數(shù)據(jù)，對數(shù)據(jù)的攻擊可能成為影響產(chǎn)品安全的渠道，對于醫(yī)學(xué)人工智能產(chǎn)品專用安全及其防御策略將從對抗性輸入、數(shù)據(jù)污染和模型竊取等方面展開介紹[16]。

2.1 對抗性輸入

這是專門設(shè)計的輸入，旨在確保被誤分類，以躲避檢測。對抗性輸入包含專門用來躲避防病毒程序的惡意數(shù)據(jù)和試圖逃避數(shù)據(jù)過濾器的患者數(shù)據(jù)和影像信息[17]。對手不斷用新的輸入/有效載荷來探測分類器，試圖逃避探測。這種有效載荷被稱為對抗性輸入，因為它們被明確設(shè)計成繞過分類器。一般來說對抗性輸入包括變異輸入和零日輸入。

2.1.1 變異輸入

這是為避開分類器而專門設(shè)計的已知攻擊的變體，在過去的幾年里，我們看到地下服務(wù)爆炸式增長，這種服務(wù)旨在幫助網(wǎng)絡(luò)攻擊者制造不可探測的有效載荷，在秘密世界中最有名的是FUD（完全不可探測的）有效載荷。這些服務(wù)從允許針對所有防病毒軟件測試有效負載的測試服務(wù)，到旨在以使惡意文檔不可檢測的方式混淆惡意文檔的自動打包程序[18]。

對于變異輸入，通常可以通過限制信息泄露、限制探測、集成學(xué)習(xí)等設(shè)計策略防御[19]。

（1）限制信息泄露。這里的目標(biāo)是確保攻擊者在探查你的系統(tǒng)時獲得盡可能少的收獲。保持反饋最小化并盡可能延遲反饋是很重要的，例如避免返回詳細的錯誤代碼或置信度值。

（2）限制探測。此策略的目標(biāo)是通過限制攻擊者針對你的系統(tǒng)測試有效負載的頻率來降低攻擊者的速度。通過限制攻擊者對你的系統(tǒng)執(zhí)行測試的頻率可以有效降低他們設(shè)計有害有效負載的速度。這一策略主要是通過對稀缺資源（如IP和帳戶）實施速率限制來實現(xiàn)的。這種速率限制的典型例子是要求用戶解決驗證碼，驗證他是否發(fā)布的太頻繁。

（3）集成學(xué)習(xí)。結(jié)合各種檢測機制，使攻擊者更難繞過整個系統(tǒng)[20]。使用集成學(xué)習(xí)將基于信譽的機制、人工智能分類器、檢測規(guī)則和異常檢測等不同類型的檢測方法結(jié)合起來，提高了系統(tǒng)的魯棒性，因為不良行為者不得不同時制作避免所有這些機制的有效載荷。

2.1.2 零日輸入

零日輸入指的是輸入全新的數(shù)據(jù)，一種可以完全拋棄分類器的明顯的對抗性輸入。盡管出現(xiàn)新攻擊有許多不可預(yù)測的潛在原因，但根據(jù)以下兩種事件可能會觸發(fā)新攻擊的出現(xiàn)：一是新產(chǎn)品或功能推出，本質(zhì)上，增加功能會為攻擊者打開新攻擊面，有利于它們快速進行探查；二是增加獎勵，雖然很少討論，但許多新的攻擊激增是由攻擊媒介推動的，變得非常有利可圖。

可以通過制定事件響應(yīng)流程、使用遷移學(xué)習(xí)來保護新產(chǎn)品和利用異常檢測方式避免零日輸入。

（1）制定事件響應(yīng)流程。首先要做的是開發(fā)和測試事件恢復(fù)過程，以確保在措手不及時做出適當(dāng)反應(yīng)。這包括但不限于：在調(diào)試分類器時，有必要的控件來延遲或停止處理，并知道調(diào)用哪個。

（2）遷移學(xué)習(xí)。明顯的關(guān)鍵困難是沒有過去的數(shù)據(jù)來訓(xùn)練分類器。緩解這一問題的一種方法是利用遷移學(xué)習(xí)，它允許你重用一個域中已經(jīng)存在的數(shù)據(jù)，并將其應(yīng)用到另一個域。如果處理圖像，可以利用現(xiàn)有的預(yù)先訓(xùn)練好的模型，而如果處理文本，可以使用公共數(shù)據(jù)集。

（3） 利用異常檢測。異常檢測算法可以用作第一道防線，因為從本質(zhì)上說，新的攻擊將產(chǎn)生一組從未遇到過的異常，這些異常與它們?nèi)绾问褂媚愕南到y(tǒng)有關(guān)。

2.2 數(shù)據(jù)污染

數(shù)據(jù)污染是指一種由人們故意的或偶然的行為造成的對原始數(shù)據(jù)的完整性和真實性的損害，是對真實數(shù)據(jù)的扭曲，數(shù)據(jù)污染會產(chǎn)生異常值、隱蔽性和擴散性等特點，醫(yī)學(xué)人工智能產(chǎn)品具有對數(shù)據(jù)的高度依賴性，并且對于模型的訓(xùn)練有可能在云端進行，這樣不可避免會帶來數(shù)據(jù)污染問題，對于數(shù)據(jù)污染，攻擊者主要通過模型偏斜、反饋武器化和模型竊取等方式進行。

2.2.1 模型偏斜

攻擊者試圖污染訓(xùn)練數(shù)據(jù)，以移動分類器對好、壞輸入歸類的學(xué)習(xí)邊界。例如，模型偏斜可以用來試圖污染訓(xùn)練數(shù)據(jù)，欺騙分類器將特定的惡意二進制文件標(biāo)記為良性。攻擊者積極地試圖將學(xué)到的濫用和合理使用之間的界限轉(zhuǎn)移到對他們有利的位置。

緩解策略包括使用合理的數(shù)據(jù)采樣、分類器變化、構(gòu)建標(biāo)準(zhǔn)數(shù)據(jù)集方式。

（1）需要確保一小部分實體（包括IP或用戶）不能占模型訓(xùn)練數(shù)據(jù)的大部分。特別是要注意不要過分重視用戶報告的假陽性和假陰性。這可能通過限制每個用戶可以貢獻的示例數(shù)量，或者基于報告的示例數(shù)量使用衰減權(quán)重來實現(xiàn)。

（2）將新訓(xùn)練的分類器與前一個分類器進行比較以估計發(fā)生了多大變化。例如，可以執(zhí)行dark launch（灰度發(fā)布），并在相同流量上比較兩個輸出。備選方案包括對一小部分流量進行A/B測試和回溯測試。

（3）構(gòu)建標(biāo)準(zhǔn)數(shù)據(jù)集，分類器必須準(zhǔn)確預(yù)測才能投入生產(chǎn)。此數(shù)據(jù)集理想地包含一組精心策劃的攻擊和代表系統(tǒng)的正常內(nèi)容。這一過程將確保能夠在武器化攻擊對用戶產(chǎn)生負面影響之前，檢測出該攻擊何時能夠在模型中產(chǎn)生顯著的回歸。

2.2.2 反饋武器化

將用戶反饋系統(tǒng)武器化，以攻擊合法用戶和內(nèi)容。一旦攻擊者意識到你正在出于懲罰的目的以某種方式使用用戶反饋，他們就會試圖利用這一事實為自己謀利。反饋武器化之所以被攻擊者積極利用，有很多原因，包括：試圖壓制競爭、進行報復(fù)、掩蓋自己的行蹤。

任何反饋機制都將被武器化以攻擊合法用戶和內(nèi)容，緩解策略包括：

（1）不要在反饋和懲罰之間建立直接循環(huán)。相反，在做出決定之前，確保評估反饋真實性，并與其他信號結(jié)合起來。

（2）不要以為受益于濫用內(nèi)容的所有者對此負有責(zé)任。

2.2.3 模型竊取襲擊

主要是指訓(xùn)練期間使用的模型或數(shù)據(jù)信息的攻擊，這種攻擊是一個關(guān)鍵問題，因為模型代表了有價值的算法，這些算法是根據(jù)患者的一些最有價值的數(shù)據(jù)進行訓(xùn)練的，確保接受過用戶敏感數(shù)據(jù)（如癌癥相關(guān)數(shù)據(jù)等）訓(xùn)練的模型的安全性至關(guān)重要，因為這些模型可能被濫用，泄露敏感用戶信息。模型竊取襲擊包括模型重建和成員泄露：

（1）模型重建。這里的關(guān)鍵思想是攻擊者能夠通過探測公共API來重新創(chuàng)建模型，并通過將其用作Oracle數(shù)據(jù)庫來逐步完善自己的模型。這種攻擊似乎對大多數(shù)人工智能算法有效，包括支持向量機、隨機森林和深度神經(jīng)網(wǎng)絡(luò)。

（2）成員泄露。在這里攻擊者構(gòu)建影子模型，使他能夠確定給定的記錄是否用于訓(xùn)練模型。雖然此類攻擊無法恢復(fù)模型，但可能會泄露敏感信息。

最著名的防御模型竊取攻擊的方法是PATE（一種私有框架，https://arxiv.org/abs/1802.08908），這是一個由Ian Goodfellow等人開發(fā)的隱私框架。PATE背后的關(guān)鍵思想是對數(shù)據(jù)進行劃分，并訓(xùn)練多個組合在一起的模型來做出決策。這一決策隨后被其他不同隱私系統(tǒng)的噪聲所掩蓋。

3 其他類的攻擊和防御措施

醫(yī)學(xué)人工智能產(chǎn)品的核心算法往往是依賴于跨國高科技企業(yè)的發(fā)布的公開算法框架模型，比如TensorFlow、Caffe、MXNet等。這類模型的特點是受關(guān)注度高，使用率高，新的框架一旦發(fā)布，由于其在效率和性能的提升，會被廣泛使用。但這也給框架的使用帶來了安全的風(fēng)險，攻擊者可以生成惡意模型文件，對模型使用者進行攻擊，對模型的應(yīng)用進行竊取或篡改、破壞[21]。該風(fēng)險危害面非常大，一方面攻擊成本低，普通攻擊者即可實施攻擊；另一方面迷惑性強，大部分模型使用者可能毫無防備；同時因為利用了模型自身的機制，其在PC端和移動端的最新版本均會受到影響。模型被竊取，損失的是開發(fā)者的心血。而一旦被篡改，造成產(chǎn)品失控，后果更難以想象。

對于開源框架的安全問題，只能是關(guān)注框架的更新，及時做好補丁。

4 總結(jié)

本文考慮到醫(yī)學(xué)人工智能產(chǎn)品本身的特性，分別從通用網(wǎng)絡(luò)安全和專用網(wǎng)絡(luò)安全角度進行了安全的闡述，針對每一種攻擊的討論中都加入了分析及防御策略，旨在為醫(yī)學(xué)人工智能產(chǎn)品在產(chǎn)品設(shè)計、研發(fā)和使用過程中需要考慮的網(wǎng)絡(luò)安全風(fēng)險提供幫助，相關(guān)部門也應(yīng)當(dāng)根據(jù)當(dāng)前醫(yī)學(xué)人工智能產(chǎn)品面臨的網(wǎng)絡(luò)安全風(fēng)險制定標(biāo)準(zhǔn)[22]，從產(chǎn)品的設(shè)計和使用風(fēng)險角度，確保產(chǎn)品質(zhì)量，從而進一步保證產(chǎn)品全生命周期的安全和有效，降低網(wǎng)絡(luò)安全風(fēng)險。