基于改進馬爾可夫模型的醫療設備采購決策模型研究及工程評估實踐

【作 者】譚亮，解晶

四川大學華西醫院 國有資產管理部，成都市，610041

0 引言

醫療設備是醫療機構固定資產的重要組成部分，對醫療機構可持續健康發展至關重要，醫療設備采購是否合理越來越成為影響醫療機構自身軟競爭力的重要影響因素，在高端醫療設備領域，主要依賴進口，價格昂貴，導致成本過高，通過建立智能化的醫療設備采購模型，對降低醫療成本具有積極意義[1]。醫療設備采購不僅僅是市場化的買賣關系，更是政府相關部門優化醫療資源配置，縮小經濟發展差異地區醫療水平差異、提高我國整體醫療水平的重要途徑，需要建立完備的決策體系，綜合考慮醫療設備采購需求、采購模式、成本績效考核、技術培訓、長遠收益、患者滿意度等因素，引入人工智能等技術構建兼顧合理化與精細化的醫療設備采購體系平臺[2]。借助國家衛健委公布的供需數據并實地調研收集醫療機構患者歷史需求數據，構建大數據量級的醫療設備采購數據池，把醫療設備采購決策過程視為馬爾科夫過程，引入深度學習感知醫療設備采購的核心約束因素，構建多維約束下的醫療設備采購決策模型，引入改進馬爾可夫模型，給出可觀測的醫療設備采購決策方案。為了驗證模型的實際效能[3]，搭建軟件仿真環境，選取工程評估實踐載體，對模型進行核心指標仿真驗證與工程實踐效能分析。

1 醫療設備采購決策模型架構設計

以醫療設備采購決策運維體系全鏈條需求為指引，將醫療設備采購決策模型架構劃分為采購影響因素感知層、數據深度處理層、多維約束下的醫療設備采購最優決策層、圖形化下的跨平臺人機交互層等，每一層通過消息耦合機制進行雙向通信。與模型架構相對應，提出了一種融合經驗緩沖因子的深度確定性策略梯度算法，作為馬爾科夫模型的前置可觀測數據來源，具體內容如圖1所示。通過在策略網絡與Q網絡耦合環節引入經驗緩沖因子，大幅度降低Transition數據序列在時間維度的相關性，從根源上解決了導致神經網絡的Overfit的因素，算法迭代收斂速度跨數量級提升，從經驗緩沖因子池中隨機采樣Mini-batch數據，消除訓練樣本之間的關聯性，保證策略學習過程更加穩定，收斂效率更具保障性。針對大型醫療機構醫療設備采購最優決策問題[4]，引入深度學習算法實現醫療設備采購核心約束因素自主感知，深度徑向基神經網絡從訓練樣本庫中非相關采樣進行針對性訓練，通過訓練數據預測誤差建立核心約束因素與深度徑向基神經網絡的物理映射，構建多維約束下的醫療設備采購決策模型。引入改進馬爾可夫模型，建立采購核心約束因素感知與最優采購策略生成之間的邏輯對應關系，深度徑向基神經網絡捕獲最優采購決策并對網絡初始參數進行賦值，借助約束感知及最優采購決策函數輸出給出可觀測的醫療設備采購決策方案。

圖1 醫療設備采購決策模型架構示意圖Fig.1 Schematic diagram of medical equipment procurement decision model

2 醫療設備采購決策模型定量化建模及仿真

2.1 基于深度學習自主感知子階段

利用深度學習感知獲取的醫療設備采購約束因素生成目標采購最優決策參數要素集合，為基于馬爾科夫模型的采購最優決策策略生成提供可視化支撐，利用融合經驗緩沖因子的深度確定性策略梯度算法強大的自我感知能力[5]，實現多維差異性醫療設備采購約束因素的有序重組并進行多維差異性醫療設備采購約束因素的特征提取與共享計算，提供正反饋機制修正共享過程中的誤差，構建全局協同控制下醫療設備采購約束因素自主識別與更新機制，詳細實現過程如下：

根據醫療設備采購約束因素復雜多變且多源異構的特點，使用策略網絡來充當actor，使用價值網絡來擬合(s,a)函數，來充當critic的角色，所以將融合經驗緩沖因子的深度確定性策略梯度算法的目標函數就可以定義為：

此時Q函數表示為在采用確定性策略μ下選擇動作的獎勵期望值，在策略網絡與Q網絡耦合環節引入經驗緩沖因子，大幅度降低Transition數據序列在時間維度的相關性，從根源上解決了導致神經網絡的Overfit的因素，算法迭代收斂速度跨數量級提升，從經驗緩沖因子池中隨機采樣Mini-batch數據，由于不同子策略將會在不同回合執行，因此，針對每一個訓練回合[6]，可以得到一個記憶回放池，最后針對每一個訓練回合的子策略參數求解融合目標函數的梯度，自主識別采購約束因素并標記，表征為：

基于式（2）的融合共享效應，多重Q網絡中的參數θQ具有較好的自主進化性能，借助Qμ(s,(μ,s))利用μ策略在s狀態下選取動作所獲取的回報期望值，自主構建采購約束因素的特征框架，可以較好實現大數據量級多源異構采購約束因素自主感知與記憶。

2.2 基于改進馬爾可夫模型最優決策子階段

基于式（2）給出的具有完備屬性的醫療設備采購約束因素，綜合考慮醫療設備采購的自身的復雜特點，通過分析采購全流程與關鍵局部流程來預測決策轉移狀態，引入部分可觀測的馬爾科夫模型自主生成采購最優決策策略[7]。定義狀態概率為βj(k)，定義當前采購所處的狀態為Ej，表征在醫療機構初始采購需求（初始狀態，k=0）已明確的情況下，經過k次狀態轉移（采購策略調整）后，則有：

從初始狀態開始，基于式（2）給出的醫療設備采購約束因素參數集，基于式（3），對初始狀態進行迭代k次轉移后即時狀態為Ej的這一過程可以視為兩個步驟，首先經過k-1次狀態轉移后到達前置狀態Ei(i=1,...,n)，然后根據式（2）給出的采購最優決策策略進行后置狀態轉移，到達狀態Ej，上述過程具有明顯的馬爾科夫過程屬性，馬爾科夫過程無后效性及Bayes條件概率公式適用，則有:

其中Pij表征狀態轉移概率，基于式（4）可以對采購過程中的任意狀態進行概率決策，考慮到醫療設備采購最優決策問題是離散的非連續最優決策問題[8]，引入行向量表征可行的采購決策策略方案，定義行向量為β(k)=[β1(k),β2(k),...,βn(k)]，則結合式（4）可得逐次尋優遞推公式，則有：

式（5）中P為狀態轉移概率矩陣，利用式（2）給出的醫療設備采購約束因素，基于式（5）可以分析得知，如果醫療機構初始采購需求明確，則借助基于改進馬爾可夫模型的醫療設備采購決策模型可以實現采購效能最優化。

2.3 模型性能仿真驗證

選取四川大學華西醫院國有資產管理部2016-01-01至2020-07-01的患者需求及醫療設備采購數據文本作為初始訓練數據，基于Matlab仿真環境，借助深度學習工具箱對模型進行了效能仿真驗證，借助可視化工具箱進行圖形化示意仿真，采用顯著差異標識在仿真圖中給出對比曲線，最終仿真結果如圖2、圖3所示。設定初始損失函數，從醫療設備采購長遠需求與即時需求均衡性仿真曲線圖、醫療設備采購較長周期內患者需求預測精確性仿真曲線圖等多維度對算法進行了仿真驗證，設定初始深度徑向基神經網絡大小為128×256×16，設定深度學習回報率服從負稀疏矩陣，參數的選取以決策最優為導向，確保在模型訓練的后期仍然具有較強的進化活力，引導訓練進化朝著更優的方向發展。

圖2 醫療設備采購長遠需求與即時需求均衡性仿真曲線Fig.2 Simulation curve of equilibrium between long-term demand and immediate demand for medical equipment procurement

圖3 醫療設備采購較長周期內患者需求預測精確性仿真曲線Fig.3 Simulation curve of patient demand prediction accuracy in a long period of medical equipment procurement

3 醫療設備采購決策模型工程評估實踐

基于經濟性考慮，采用微應用擴展的模式對四川大學華西醫院國有資產管理部現役應用的國有資產綜合管理系統進行適應性改造，增加醫療機構患者需求數據實時全景感知與融合、大數據量級的醫療設備采購數據池構建、醫療設備采購決策馬爾科夫過程擬合、醫療設備采購決策模型構建與最優采購策略自主生成等軟件處理進程，分配單獨的內存資源，定期進行業務數據內網交互，實現數據全景共享。選取安四川大學華西醫院國有資產管理部近期采購的某進口醫療設備作為模型工程應用效能驗證載體，如圖4所示。為了評估模型的魯棒性，設置同步組，按照采購需求提出、采購計劃制定、最優采購策略生成、采購策略同步校驗、綜合評估與人機交互等步驟對模型進行工程評估實踐。

圖4 醫療設備采購決策模型工程評估實踐邏輯示意圖Fig.4 Schematic diagram of engineering evaluation practice of medical equipment procurement decision model

為了進一步驗證模型的定量化工程化應用及實踐評估效能，基于圖5給出的醫療設備采購決策模型工程評估實踐邏輯示意圖，利用四川大學華西醫院國有資產管理部2019年第二季度運維產生的醫療設備采購數據作為統計對象，選取四川大學華西醫院國有資產管理部現役應用的國有資產綜合管理系統作為對照組，從多源異構醫療設備采購約束因素感知精確率、醫療設備采購長遠需求與即時需求均衡率、較長周期內患者需求預測精確率、多維約束下醫療設備最優采購策略等層面多維對比模型性能，則模型定量化工程應用效能對比，如表1所示。

表1 模型工程評估實踐效能對比表(%)Tab.1 Comparison table of practical effectiveness of model engineering evaluation

4 結論

針對長遠需求與即時需求均衡要求較高、采購過程變動頻繁且約束多維的、同步感知與最優決策需求較高的、時間效應明顯且具有累積性的、受歷史數據影響明顯的較長周期內的大型醫療機構醫療設備采購最優決策問題，提出了一種基于改進馬爾可夫模型的醫療設備采購決策模型并進行了工程評估實踐。在部分可觀測馬爾科夫模型中融入深度徑向基神經網絡，基于醫療機構患者歷史需求數據，構建大數據量級的醫療設備采購數據池，把醫療設備采購決策過程視為馬爾科夫過程，引入深度學習感知醫療設備采購的核心約束因素，構建多維約束下的醫療設備采購決策模型，引入改進馬爾可夫模型，給出可觀測的醫療設備采購決策方案。基于Matlab仿真環境，借助深度學習工具箱對模型進行了效能仿真驗證，選取四川大學華西醫院國有資產管理部為效能評價載體，對模型進行工程化應用效能分析，結果表明模型初步具備了大型醫療機構醫療設備采購最優決策，為多維約束下的醫療設備采購決策提供多維數據支撐，對構建智慧醫療運維全鏈條、全壽命周期醫療設備采購決策機制具有基礎性支撐效能。