基于深度強化學習的醫用設備應急調度優化技術研究

夏 天，黃 冠，李 穎

（湖北省腫瘤醫院設備科，湖北武漢 430079）

隨著我國醫療體制改革的不斷推進，醫用直線加速器、麻醉機、CT、RI 等大型醫用設備在大多數省市地區醫院被廣泛配置[1-2]。然而，不合理配置醫用設備或者使用效率低等現象愈發嚴重，造成大型醫用設備資源日趨緊張。因此，合理、高效地進行大型醫用設備管理變得尤為重要[3-4]。而當有突發公共衛生危機時，如何在保障常規基礎衛生需求的同時，快速調度大型醫療設備是當前的研究熱點。

在我國，針對醫用大型設備配置、管理的研究開展較晚，且由于研究方法的標準不一致，導致設備配置的公平性、適宜性無法進行對比[5-8]。近年來，物聯網技術開始被應用在醫療設備的日常管理中[9-11]。該技術融合了智能感知、無線通信和智能識別技術，是信息技術的重要組成部分。其基于互聯網匯總各類數據，形成綜合物聯網。強化學習算法源于心理學，是一種機器學習算法，其目的在于通過分析智能體產生的數據來學習系統最佳行為[12-16]。

文中使用物聯網技術采集設備日志數據，將其作為調度優化算法的數據源。以馬爾可夫決策過程為調度優化算法的基礎模型，進而定義了各類函數。通過使用貪婪策略和Tanh 函數作為強化學習的動作探索策略和激活函數，提高了對非線性復雜數據的學習能力。最終，基于DDPG 算法獲得了價值估計和行為估計。

1 醫用設備應急調度優化技術

文中所提的醫用設備應急調度優化技術主要用于醫用直線加速器、GE、麻醉機等大型或者急救相關的醫療設備的日常管理、調度，以實現醫療設備資源的高效率利用；同時當有緊急需要時，可以科學、合理地調動這些醫療設備資源。由于這些設備涉及多種精密元器件和技術，并且諸多功能并不能經常用到，因此全面監控各個醫用設備的關鍵參數對設備的維護也較為重要。

文中所提的醫用設備應急調度優化技術涉及兩個方面：一方面利用物聯網技術和云計算技術進行大型醫用設備底層關鍵參數的實時采集，實現對醫用設備即時狀態的監控；另一方面利用深度強化學習算法分析采集到的數據，以得到該設備的使用效率，以便合理安排設備的使用方式。其中，分別從年檢查人數、檢查項目數量等指標來考察大型設備的使用情況，進而評估設備配置是否合理，是否可被應急征調，其具體架構如圖1 所示。

圖1 醫用設備應急調度優化技術結構框架

2 基于深度強化學習的調度優化算法

2.1 醫用設備應急調度問題的轉化

深度強化學習包含了兩種模塊：深度學習模塊和強化學習模塊。兩種模塊分工各不相同，深度學習模塊被用來進行馬爾科夫決策過程的環境感知；而強化學習模塊則被用來確定決策控制的方向。深度強化學習智能訓練過程如圖2 所示。

圖2 深度強化學習智能訓練過程

醫用設備應急調度問題可通過建模轉化為馬爾可夫決策過程。在該決策過程中，各個醫用設備被當作智能體，這些智能體在不同時刻產生的信息通過狀態空間進行描述。每當智能體執行完一個動作時，均會得到系統一個獎勵。深度強化學習算法的目的在于，通過分析一系列智能體動作與獎勵的對應關系來推斷使智能體得到最大獎勵的動作形式。

由于大型醫療設備數量和種類較多，并且每類醫用設備具有多種功能，因此，醫用設備調度問題屬于多智能體、多狀態問題。文中將醫用設備調度馬爾可夫建模，轉化成多個智能體馬爾可夫決策過程。使用深度強化學習算法作為調度優化算法的關鍵在于狀態空間、動作空間及獎懲函數的定義。文中狀態空間被定義為3 個矩陣的形式：使用時間矩陣、任務分配布爾矩陣以及狀態布爾矩陣。矩陣的行代表不同的檢查項目，列代表不同的患者。第一行左邊的矩陣為使用時間矩陣，表示不同檢查項目使用該設備的時間；中間的矩陣為任務分配布爾矩陣，表示待檢查項目；右邊的矩陣表示該設備已經完成的檢查項目。當該設備下一狀態選擇患者1 進行第二個檢查項目時，狀態空間將會更新。以3×3（3 臺設備，3 個患者）醫用設備調度為例進行說明，如圖3所示。

圖3 狀態空間

動作空間表示的是設備在當前狀態下，選擇任意患者的任意待測項目的行為。醫用設備應急調度優化技術應根據事先定義的規則實現為每一個決策點的待檢測項目分配優先級。求解完成設備調度問題的候選待測項目規則如表1 所示。

表1 候選待測項目規則

獎懲函數用來評判智能體所選擇動作的優劣，可調控醫用設備應急調度算法的偏向。獎懲函數應滿足下列3 個要求：

1）反映智能體行為的即時獎勵；

2）選擇優化目標作為獎懲函數，以修正深度強化學習算法的收斂方向；

3）獎懲函數應滿足不同規模的調度應用，具有良好的普適通用性。

基于以上分析，文中將患者的檢查時間和所有檢查項目最小完成時間的組合作為獎懲函數，其具體為：

式中，a、b分別為調節常數，y為事例的最優解，y′為深度強化學習算法預測的最小檢查完成時間。

2.2 基于深度強化學習的調度優化算法介紹

通過以上分析可知，深度強化學習由深度學習和強化學習構成。深度學習用于表征學習，強化學習則用于提供控制目標和選擇策略。經過多次與周圍環境的交互，深度強化學習可實現自主學習，不斷增強控制能力。

文中選擇用貪婪策略作為強化學習的動作探索策略，通過設定探索閾值p來進行動作的選擇。選定隨機數x，若x>p，則使用式（2）進行動作探索：

式中，n為動作空間的大小。當g(t)=0 時，表明醫用設備沒有可執行的檢查項目；當g(t)=n時，表明醫用設備可執行的檢查項目為n。若x

式中，h(a|s)為行為策略。

由于醫用設備應急調度問題涉及較多的特殊環境，其模型并不能用簡單的線性模型進行擬合。文中使用Tanh 函數作為激活函數，以提高對非線性復雜數據的學習能力。Tanh函數的表達式如式（4）所示：

該函數的取值范圍為[-1，1]，適用于輸入數據特征相差較大的求解問題。

文中使用DDPG 算法進行經驗數據采樣，以獲得價值估計和行為估計。針對醫用設備應急調度問題，基于DDPG 算法的深度強化學習智能體被拆解為評論者網絡和行動者網絡，這兩種網絡均使用卷積神經網絡來搭建。在評論者網絡中，智能體通過評估動作的值來判斷該動作執行后狀態的優劣；而行動者網絡依據評論者網絡給出的估值作出相應的反應，DDPG 算法更新形式如圖4 所示。

圖4 DDPG算法更新形式

為了使深度強化學習算法的效果最佳，該算法需要根據學習情況不斷修正參數。深度強化學習算法通過損失函數的計算得到評論者網絡的損失和行動者網絡的損失。評論者網絡的損失函數如式（5）所示：

式中，w為評論者網絡的參數，r為即時獎勵，Q(s′,w)為下一狀態的估計值。

在涉及多個智能體調度問題時，當某個智能體因采取某個行動而引起自身狀態改變后，其他智能體的狀態也會受到影響。因此，需要從所有智能體的狀態來考慮整體的調度問題。多智能體異步DDPG 訓練形式及訓練過程如圖5 所示。

圖5 多智能體異步DDPG訓練形式及訓練過程

所有智能體狀態構成全局網絡模型，每一個智能體都從全局網絡中復制網絡參數，并在該智能體所在的環境中單獨訓練。全局網絡參數的更新取決于所有智能體的累計梯度。通過讓智能體在其所處的環境中訓練網絡參數，來避免智能體之間的狀態改變而影響網絡訓練。

3 測試與驗證

為了驗證文中所述應急調度算法的有效性，選取某醫院的8 臺CT 設備一個月內的使用情況作為研究對象，采集到的數據作為深度強化學習網絡的樣本數據進行模型訓練，使用Matlab 作為算法仿真平臺。首次訓練，將樣本數據中的五分之四用作模型訓練，其余數據用于模型驗證。圖6和圖7 分別展示了隨著網絡節點個數的增加，r在不同的取值下，Q值之和以及平均獎賞值的變化趨勢。圖6 中，當Q值曲線趨于穩定時，代表深度強化學習算法趨于收斂。由圖6 可知，隨著r的增加，算法的收斂時間越來越小。圖7 中，曲線取值穩定時，同樣代表算法收斂。圖7 中曲線穩定的數值越低，即平均獎賞值越低，代表算法時延越小、性能越好。值得注意的是，隨著r的增加，平均獎賞值越大。由此可見，r的取值需要綜合收斂時間和平均獎賞值來考慮。

圖6 Q值之和與節點個數的關系曲線

圖7 平均獎賞值與節點個數的關系曲線

表2 為4 臺設備使用了文中所提應急調度優化算法和未使用調度算法時，進行相同檢測人數、檢查項目所使用時間的對比。從表中可以看出，實驗組在使用了文中所提醫用設備應急調度優化算法后，在相同患者人數、相同檢查項目情況下，整體檢查時間明顯縮短，平均縮短31.2%的時間。

表2 使用文中所述應急調度算法與未使用調度算法的檢測時間對比

4 結束語

文中所提基于深度強化學習算法的醫用設備應急調度優化技術，將物聯網技術和深度強化學習算法融入到設備調度優化算法中。一方面通過物聯網技術采集大型醫用設備日常使用時的各類參數，作為后續調度優化算法的樣本數據；另一方面使用深度強化學習算法來分析醫用設備在日常使用中的數據，給出了狀態空間、動作空間以及獎懲函數的定義。同時，用貪婪策略作為強化學習的動作探索策略，使用Tanh 函數作為激活函數，以提高對非線性復雜數據的學習能力。最終，使用DDPG 算法在經驗數據中采樣獲得價值估計和行為估計。經過仿真驗證和實際測試，證明了文中方案的有效性。