基于強化學習的醫院網絡入侵檢測模型性能試驗

引言

隨著信息技術在醫療領域的廣泛應用，醫院網絡承載著海量的醫療數據和關鍵業務系統，如醫療信息系統（hospitalinformationsystem，HIS）、影像歸檔和通信系統（picturearchivingandcommunicationsystems，PACS）等[。然而，醫院網絡面臨著日益嚴峻的安全威脅，網絡入侵行為不僅可能導致醫療數據泄露、系統癱瘓，還會嚴重影響醫療服務的正常開展，危及患者的生命安全和隱私。傳統的入侵檢測方法，如基于規則的檢測和基于異常的檢測，在面對復雜多變的醫院網絡環境時，存在檢測準確率低、誤報率高、對新類型攻擊適應性差等問題2。

強化學習作為機器學習的一個重要領域，具有自適應性和不斷學習優化的能力，為解決醫院網絡入侵檢測問題提供了新的思路和方法。本研究旨在構建基于強化學習的醫院網絡入侵檢測模型，并對其性能進行深入試驗和分析，以期為醫院網絡安全防護提供有效的技術支持。

1.強化學習概念

強化學習是機器學習中的一個領域，強調智能體（agent）如何在環境中采取一系列行動，以最大化累積獎勵。智能體通過與環境進行交互，根據環境反饋的獎勵信號來學習最優策略。強化學習中智能體在探索-利用（exploration-exploitation）的權衡中不斷試錯學習。強化學習可以描述為一個馬爾可夫決策過程（Markov decision process，MDP）。MDP由一個五元組 （ S ， A ， P ， R ， γ 定義，其中：

s 是狀態空間，表示智能體在環境中處于的所有狀態集合。在醫院網絡人侵檢測場景中，狀態可以表示為網絡流量特征、連接狀態等參數[3-4。

A是動作空間，是智能體在每種狀態下可以采取的所有可能動作集合。對于入侵檢測模型，動作包括將網絡連接分類為正常或入侵，或者調整檢測閾值等。

P 是狀態轉移概率矩陣， 表示在狀態s下執行動作a后轉移到狀態s的概率，即智能體采取某個動作后環境狀態改變的可能性。

R 是獎勵函數， ）給出了在狀態s 下執行動作a轉移到狀態s時智能體獲得的獎勵值。在入侵檢測中，如果正確檢測到入侵，智能體應獲得正獎勵，誤報或漏報則給予負獎勵。

γ 是折扣因子，決定未來獎勵的重要性， γ 越接近1，智能體越重視長期獎勵； γ 越接近0，智能體越關注即時獎勵，取值范圍為

2.基于強化學習的醫院網絡入侵檢測模型構建

2.1數據預處理階段

從醫院網絡交換機、路由器等設備收集網絡流量基本信息，如源IP、目的IP、端口號、流量大小、連接時間等。同時，從服務器、工作站等終端采集醫療信息系統、影像歸檔和通信系統等應用產生的流量數據。通過Wireshark、Snort等工具捕獲數據包并轉換格式，并利用醫院網絡管理系統數據導出接口獲取流量統計數據。本研究將收集到的數據記為集合D，其中每個數據樣本di包含特征，如源IP地址、目的IP地址、端口號、數據包大小、流量速率等，可表示為

式中， 為特征的總數， 表示第i個樣本的第個特征值。為消除不同特征量綱的影響，對數值型特征進行歸一化處理。對于特征x，采用最小-最大歸一化方法，即

式中， 分別為特征xj在整個數據集 中的最小值和最大值。歸一化后的數據將在[0.1]區間內，有助于模型的訓練和收斂。而對于類別型特征，如協議類型（TCP、UDP等），需要進行標簽編碼。將每個類別映射為一個唯一的整數值。假設協議類型有 種，通過編碼函數

P-流水-網絡入侵檢測模型性能試驗研究

encodeO，將協議類型p轉換為編碼值y，即y=encode（p），其中 。將預處理后的數據 D 按照一定比例劃分為訓練集 、驗證集 和測試集 ，并采用 70 % 、1 5 % 、 1 5 % 的比例劃分，即 ， 表示集合的元素個數。

2.2網絡入侵檢測模型的建立

2.2.1狀態空間

在醫院網絡入侵檢測模型中，從醫院網絡流量數據中提取多種特征構建狀態空間。將網絡連接的源IP地址、目的IP地址、端口號、數據包大小、連接持續時間等特征進行量化和編碼，形成一個多維向量來表示狀態s。

設網絡流量特征向量為 ，其中f表示第i個特征值。利用式（2）對每個特征進行歸一化處理，將所有特征統一到[0，1]區間，以便于后續處理。最終狀態s可以表示為 。

2.2.2動作空間

動作空間A主要圍繞入侵檢測的決策制定。在醫院網絡入侵檢測的基本場景下，動作可以分為兩類：判定當前網絡連接為正常（記為 ）和判定為入侵（記為 ）。智能體在每個時間步t從動作空間A中選擇一個動作執行，其選擇過程受當前狀態和學習到的策略影響。智能體通過不斷在不同狀態下嘗試動作，并依據環境反饋的獎勵調整動作選擇策略，實現最優的入侵檢測和響應效果[8]

2.2.3獎勵函數設計

獎勵函數的設計直接影響智能體學習的方向。在醫院網絡入侵檢測場景下，獎勵函數 設計如下：

若智能體正確檢測到入侵（即當前狀態s下網絡連接實際為入侵，智能體采取動作a判定為入侵，轉移到下一狀態 ），給予較高正獎勵Rcorrect-detect，即Roorect-detect=10。

若智能體將正常連接誤判為入侵（狀態s下網絡連接正常，采取動作 ），給予負獎勵R1-alarm，即R1-alarm=-5。

若智能體漏報入侵（狀態s下網絡連接為入侵，采取動作a判定為正常），給予較大負獎勵Rmiss-detect，即R1-alarm=-

若智能體正確識別正常連接（狀態s下網絡連接正常，采取動作 ），給予較小正獎勵Rcorrect-normal=1。

2.2.4狀態轉移

狀態轉移概率矩陣 描述在當前狀態s下執行動作a后轉移到新狀態s的概率。在醫院網絡環境中，狀態轉移較為復雜，與網絡流量的動態變化、新連接的建立和終止等因素相關。雖然精確計算狀態轉移概率較為困難，但可以通過大量歷史網絡流量數據進行統計估計。假設在狀態s下執行動作a后，觀察到新狀態 出現 次，而在狀態s下執行動作a的總次數為N（sa），則狀態轉移概率矩陣Ps 0

2.2.5策略學習

智能體通過不斷與環境交互學習最優策略。常用的強化學習算法如Q-learning，其核心思想是維護一個Q值表 Q （ s ， a ） ，表示在狀態s下采取動作a的長期累積獎勵的估計值。 Q -learming的更新公式為

式中， α 為學習率， 學習率決定新獲得的經驗對Q值更新的影響程度。較小的學習率使得智能體學習速度較慢，但能更好地利用已有經驗；較大的學習率則使智能體更快適應新環境，但會導致學習不穩定。在每次交互中，智能體根據當前狀態s選擇動作a。通過不斷迭代更新Q值表，智能體逐漸學習到在不同狀態下應采取的最優動作，從而實現對醫院網絡入侵的有效檢測。當訓練完成后，智能體可以根據學到的策略對新的網絡流量進行實時檢測，依據狀態選擇相應動作，以最大化長期獎勵，即準確檢測入侵并減少誤報和漏報[1]

3.案例結果分析

（南醫五院）面臨著復雜的網絡安全挑戰。隨著信息技術廣泛應用，醫院網絡承載大量關鍵醫療數據與業務系統，如HIS和PACS等。傳統入侵檢測方法難以應對多變網絡環境，存在檢測準確率低、誤報率高及對新攻擊適應性差的問題。

為此，南醫五院構建基于強化學習的網絡入侵檢測模型。先進行數據預處理，從醫院網絡設備收集流量信息，利用工具捕獲數據包并轉換格式，對數據歸一化和標簽編碼后劃分訓練、驗證及測試集。接著建立模型，確定狀態空間、動作空間、獎勵函數、狀態轉移及策略學習方式。

3.1實驗環境及參數設定

基于強化學習的醫院網絡入侵檢測模型實驗依托高性能服務器開展，配備英特爾至強Platinum8380處理器，擁有40個物理核心、80個線程，能夠確保在處理大量網絡流量數據及復雜強化學習算法運算時保持高效穩定。服務器搭載256GB的DDR4內存，可滿足數據存儲及模型運行中對內存的高需求，避免因內存不足導致的性能瓶頸。服務器采用10TB的固態硬盤，大幅提升數據讀寫速度，使得網絡流量數據的讀取與存儲更為高效，減少數據IO等待時間。

操作系統選用Ubuntu20.04LTS，其穩定的性能和豐富的開源資源支持為實驗提供良好基礎。Python3.8作為主要編程語言，搭配PyTorch深度學習框架構建和訓練基于強化學習的醫院網絡入侵檢測模型。同時，利用Scikit-learn庫進行數據預處理及評估指標計算，Wireshark和Snort用于網絡數據包捕獲與格式轉換。本研究將強化學習中的折扣因子γ設定為0.9，學習率 α 設定為0.1。

3.2不同入侵類型的檢測結果分析

在評估基于強化學習的南醫五院網絡人侵檢測模型時，針對不同入侵類型進行細致分析，能夠深入了解模型在各類攻擊場景下的性能表現。本研究重點考察常見的拒絕服務攻擊（denialofservice，DoS）、分布式拒絕服務攻擊（distributeddenial of service，DDoS）、結構化查詢語言（structured querylanguage，SQL）注人、端口掃描等四種入侵類型，相關評估指標結果如表1所示。

基于強化學習的南醫五院網絡入侵檢測模型在各類入侵類型的檢測上表現出較高性能。

對于DoS攻擊，檢測準確率高達9 8 . 2 % ，誤報率僅為 1 . 5 % ，漏報率為 0 . 3 % F1分數達到 9 8 . 8 % 。這主要得益于模型能夠通過不斷與環境交互，依據獎勵機制學習到有效的檢測策略。在面對DoS攻擊時，模型可以從大量的網絡流量數據中識別出異常模式，從而準確判定。

對于DDoS攻擊，檢測準確率為 3 6 . 5 % 誤報率為 2 . 2 % ，漏報率為 1 . 3 % ，F1分數為 DDoS攻擊更為復雜，流量特征的動態變化較大，但模型能夠在探索-利用的過程中逐漸適應這種變化。通過對不同狀態下采取動作的持續優化，模型可以在復雜的DDoS攻擊場景中做出較為準確的判斷。

對于SQL注人攻擊，檢測準確率為

9 4 . 8 % ，誤報率為 3 . 0 % ，漏報率為 1 2 . 2 % ，F1分數為 模型通過獎勵函數對正確檢測給予正獎勵，對誤報和漏報給予負獎勵，使得模型能夠不斷調整檢測策略，提升對SQL注入攻擊的檢測能力。

對于端口掃描，檢測準確率為 9 5 . 6 % 誤報率為 2 . 5 % ，漏報率為 1 . 9 % ，F1分數為9 6 . 3 % 。強化學習的優勢在于能夠利用狀態轉移概率，從歷史網絡流量數據中統計估計狀態轉移情況。在端口掃描檢測中，模型依據學習到的策略，能更好地應對端口掃描行為的變化，有效降低誤報和漏報率。

總體而言，強化學習的優勢在于其自適應性和不斷學習優化的能力。模型能夠根據環境反饋動態調整策略，在復雜多變的南醫五院網絡環境中，對于不同類型的入侵攻擊都能實現較高的檢測準確率，同時降低誤報和漏報率，為醫院網絡安全提供有力保障。

3.3檢測性能變化研究

四種模型對南醫五院網絡系統中篡改數據的檢測性能比較結果如表2所示。

在準確率、精度、召回率和F1分數這四項關鍵指標上，強化學習模型均顯著優于隨機森林、深度學習、支持向量機模型。強化學習模型準確率達到 9 5 . 8 3 % ，遠超其他模型，表明強化學習整體檢測性能更優。強化學習模型精度為 9 2 . 4 6 % 、召回率為9 7 . 4 7 % 、F1分數為 強化學習模型優于隨機森林、深度學習、支持向量機模型，主要得益于其獨特的學習機制。模型通過不斷與環境交互，依據獎勵函數來優化自身策略。在入侵檢測中，正確檢測獲正獎勵，誤報、漏報得負獎勵，使得模型逐漸摸索出最優檢測策略。與傳統模型相比，強化學習無須預設復雜規則，可在動態網絡環境中自適應調整。面對持續變化的網絡流量和新出現的入侵類型，能依據狀態轉移概率靈活應變，持續優化檢測性能。憑借對大量歷史數據的深度學習，強化學習模型對各類入侵特征把握更精準，進而在各項指標上展現出明顯優勢，為南醫五院網絡安全筑牢堅實防線。

結語

本研究成功構建基于強化學習的醫院網絡入侵檢測模型。實驗表明，該模型在應對DoS、DDoS等常見入侵時，檢測準確率高，誤報、漏報率低，性能顯著優于傳統模型。

參考文獻：

[1]吳風浪，李曉亮.基于深度生成模型的醫院網絡異常信息入侵檢測算法[].吉林大學學報（信息科學版），2024，42（5）：908-913.

[2]李晨，甘有洪，玉琨.醫院網絡安全入侵防御系統研究與設計].信息與電腦（理論版），2024，36（9）：184-186，247.

[3]喬艷麗，胡靜.基于物聯網技術的醫院網絡自動防入侵模型構建[.自動化技術與應用，2023，42（8）：103-106，127.

[4]楊浩，陳寶靖，李燕.電力監控系統網絡安全防護技術應用研究[J].電子世界，2021（1）：128-129.

[5]韓錚錚.淺談對氣象信息資源的安全防護[J].信息系統工程，2019（10）：70-71.

[6]周迪，大規模視頻監控網絡安全與隱私保護技術研究及產業化.浙江省，浙江宇視科技有限公司，2019-08-27.

[7]鄧英，王曉亮.基于文件系統監控的網絡入侵檢測方法[J].數字通信世界，2019（8）：15-16.

[8]陳惠娟，馮月春，趙雪青.利用SSO的自適應黑名單分組過濾器網絡入侵檢測方法[J].控制工程，2018，25（10）：1940-1945.

[9]陳志忠.船舶監控網絡入侵檢測系統設計[].艦船科學技術，2018，40（4）：178-180.

[10]覃娜娜，劉振峰.網絡安全檢測與監控技術的研究[J].中國新通信，2016，18（15）：61.

作者簡介：張子豪，本科，高級工程師，研究方向：信息系統設計與開發；通信作者：岳斌，本科，14701206@qq.com，高級工程師，研究方向：醫院信息化建設及管理。