基于馬爾可夫決策過程的醫(yī)療檢查匹配預(yù)約調(diào)度優(yōu)化

吳曉丹, 何金, 李娟

(河北工業(yè)大學(xué)經(jīng)濟(jì)管理學(xué)院， 天津 300401)

以超聲、核磁共振和斷層掃描為代表的醫(yī)療檢查作為醫(yī)療服務(wù)的中間環(huán)節(jié)，其圖像檢查結(jié)果是醫(yī)療診斷中不可缺少的憑證[1]，因此醫(yī)療檢查質(zhì)量將直接影響診療連續(xù)性與患者滿意度。而醫(yī)療檢查預(yù)約調(diào)度優(yōu)化，不僅依賴醫(yī)療設(shè)備本身，醫(yī)生與患者差異也是影響檢查質(zhì)量的關(guān)鍵因素[2]。實(shí)際上，由于技術(shù)水平不同，醫(yī)生檢查資質(zhì)會存在差異，患者的病情復(fù)雜程度也不盡相同，進(jìn)一步增加了醫(yī)療檢查預(yù)約調(diào)度的難度[3]。醫(yī)療檢查中醫(yī)生與患者的不合理匹配不僅影響檢查質(zhì)量，也降低了醫(yī)生服務(wù)效率與醫(yī)院收益。因此，考慮醫(yī)生資質(zhì)和患者病情差異，合理匹配醫(yī)療檢查任務(wù)，是提高醫(yī)療檢查質(zhì)量和醫(yī)院收益的關(guān)鍵。

一般情況下，患者進(jìn)行醫(yī)療檢查前需要預(yù)約，同時(shí)醫(yī)院需要為其分配相應(yīng)設(shè)備或醫(yī)生等資源進(jìn)行檢查，因此，針對醫(yī)療檢查的研究可分為醫(yī)療檢查預(yù)約調(diào)度優(yōu)化與檢查資源分配兩方面。目前，針對醫(yī)療檢查預(yù)約調(diào)度的研究主要關(guān)注患者預(yù)約當(dāng)天或24 h內(nèi)的檢查服務(wù)，此種預(yù)約方式被稱為即時(shí)預(yù)約。Murray等[4]第一次提出了即時(shí)預(yù)約調(diào)度的概念，并分析了一個(gè)成功運(yùn)用即時(shí)預(yù)約系統(tǒng)的案例。該研究發(fā)現(xiàn)即時(shí)預(yù)約方式可降低醫(yī)療檢查中較高的爽約率。與傳統(tǒng)提前預(yù)約方式相比，即時(shí)預(yù)約還可有效縮短預(yù)約提前期、降低患者取消預(yù)約的概率[5-7]。Robinson等[8]比較了提前預(yù)約和即時(shí)預(yù)約模式中門診檢查收益的差異，得出在大多數(shù)情況下，即時(shí)預(yù)約比提前預(yù)約更適用于檢查預(yù)約系統(tǒng)。Yang等[9]通過將當(dāng)天隨機(jī)到達(dá)患者直接進(jìn)行檢查的方式轉(zhuǎn)為即時(shí)預(yù)約方式，使得醫(yī)院收益顯著增加。該研究證實(shí)了即時(shí)預(yù)約可有效縮短患者的等待時(shí)間和醫(yī)生的空閑時(shí)間及加班時(shí)間。而目前國內(nèi)關(guān)于即時(shí)預(yù)約問題的研究仍為少數(shù)，故對于醫(yī)療檢查即時(shí)預(yù)約調(diào)度仍有較大研究空間。

現(xiàn)有針對醫(yī)療資源分配的研究主要關(guān)注檢查任務(wù)在設(shè)備間的分配，如Zhuang等[10]運(yùn)用馬爾可夫決策過程(Markov decision process, MDP)模型研究了多臺設(shè)備在三類患者間的分配問題。Akhavizadegan等[11]也通過建立MDP模型，得出檢查設(shè)備在不同類型患者間的預(yù)約分配策略。在此基礎(chǔ)上，梁峰等[12]考慮了兩臺設(shè)備檢查三類患者的情況，建立了有限時(shí)域MDP模型，并結(jié)合動態(tài)規(guī)劃理論，得到了最優(yōu)調(diào)度策略。上述研究均將檢查患者分為門診、住院和急診三類，但并未考慮到患者病情復(fù)雜程度差異對醫(yī)療資源分配的限制。對于患者而言，由于自身情況不同，其病重程度差異會增加醫(yī)療檢查預(yù)約調(diào)度的復(fù)雜度[13]。為滿足患者需求差異化，進(jìn)而為不同需求患者提供相匹配的醫(yī)療檢查服務(wù)，將預(yù)約患者按病情復(fù)雜程度分類十分必要。朱黎敏等[14]考慮了兩臺圖像設(shè)備檢查兩類項(xiàng)目，建立了MDP模型，得到不同時(shí)段和系統(tǒng)狀態(tài)下的最優(yōu)預(yù)約策略。Qiu等[15]針對核磁共振成像設(shè)備(magnetic resonance imaging，MRI)在不同優(yōu)先級患者間的分配問題，建立了一個(gè)兩階段隨機(jī)整數(shù)規(guī)劃模型，利用實(shí)際醫(yī)療數(shù)據(jù)評估了所提模型的可行性和有效性。上述研究雖考慮到設(shè)備的差異性，但忽略了醫(yī)生作為醫(yī)療檢查的重要參與者，其檢查水平差異會直接影響檢查效率與效果[16]，且不同資質(zhì)醫(yī)生可檢查的患者病情復(fù)雜程度有所不同。因此，綜合考慮醫(yī)生資質(zhì)和患者病情差異，對不同需求層次的患者采取不同的醫(yī)療資源分配，是目前尚待研究的問題。

基于此，現(xiàn)針對醫(yī)療檢查即時(shí)預(yù)約調(diào)度問題，考慮不同資質(zhì)醫(yī)生與不同病情患者的合理匹配，建立基于馬爾可夫決策過程(MDP)的預(yù)約調(diào)度模型，并對模型進(jìn)行求解，最后進(jìn)行仿真實(shí)驗(yàn)得到最優(yōu)預(yù)約策略，并與傳統(tǒng)先到先服務(wù)(first come first service，F(xiàn)CFS)預(yù)約策略進(jìn)行對比分析。以期優(yōu)化醫(yī)療檢查預(yù)約調(diào)度，實(shí)現(xiàn)醫(yī)生檢查資源高效利用的同時(shí)進(jìn)一步提高醫(yī)院收益，為醫(yī)療檢查預(yù)約機(jī)制的建設(shè)與提升提供依據(jù)。

1 基于MDP的匹配預(yù)約調(diào)度模型

1.1 模型描述與假設(shè)

通過對天津市某三甲醫(yī)院超聲科室調(diào)研獲取的患者檢查數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，結(jié)果表明可將常見的臨床診斷結(jié)果根據(jù)患者病情復(fù)雜程度劃分為復(fù)雜、中等、普通三種。一般情況下，醫(yī)師職稱包括初級職稱、中級職稱、高級職稱三類。基于此，本文根據(jù)醫(yī)生資質(zhì)差異將檢查醫(yī)生分為高級、中級和初級醫(yī)生，根據(jù)患者病情復(fù)雜程度將患者分為復(fù)雜、中等和普通患者，通過調(diào)度即時(shí)預(yù)約患者以最大化醫(yī)院檢查收益。當(dāng)患者的即時(shí)預(yù)約請求到達(dá)時(shí)，系統(tǒng)做出接受或拒絕該患者的決策，若接受該患者，同時(shí)決定將患者分配給何種資質(zhì)的醫(yī)生。

針對所研究的問題，做出以下假設(shè)。

(1)初級醫(yī)生可檢查普通患者，中級醫(yī)生可檢查中等和普通兩類患者，高級醫(yī)生可檢查復(fù)雜、中等和普通三類患者。

(2)當(dāng)天的預(yù)約周期可分為有限個(gè)相等的時(shí)段。在足夠小的每一預(yù)約時(shí)段，最多只有一位即時(shí)預(yù)約患者隨機(jī)到達(dá)。

(3)當(dāng)某一類患者的預(yù)約請求到達(dá)時(shí)，系統(tǒng)根據(jù)各類醫(yī)生剩余可服務(wù)患者數(shù)判斷是否接受該患者及將患者分配給何種資質(zhì)的醫(yī)生。

(4)不考慮醫(yī)生加班情況。

1.2 模型構(gòu)建

根據(jù)馬爾可夫決策過程六要素[17]建立預(yù)約調(diào)度模型如下。

(1)決策階段。將整個(gè)預(yù)約周期劃分為T個(gè)相等時(shí)段，預(yù)約周期內(nèi)的每一預(yù)約時(shí)段為t，即t=1,2,…,T。設(shè)定t=1為預(yù)約周期的開始，t=T為預(yù)約周期的結(jié)束。

(2)狀態(tài)集合。S=(s1,s2,s3)為系統(tǒng)狀態(tài)集合，表示在第t個(gè)決策階段的系統(tǒng)狀態(tài)。其中s1為高級醫(yī)生剩余可服務(wù)患者數(shù)，s2為中級醫(yī)生剩余可服務(wù)患者數(shù)，s3為初級醫(yī)生剩余可服務(wù)患者數(shù)。

(3)決策集合。在每一預(yù)約時(shí)段t=1,2,…,T，系統(tǒng)根據(jù)各類醫(yī)生剩余可服務(wù)患者數(shù)和患者的預(yù)約請求到達(dá)情況做出決策，即是否接受即時(shí)預(yù)約患者的請求，及將各類患者分配給高級醫(yī)生、中級醫(yī)生還是初級醫(yī)生。系統(tǒng)的決策集合為

(1)

(4)轉(zhuǎn)移概率。在每一預(yù)約時(shí)段，患者即時(shí)預(yù)約請求有4種情況：無預(yù)約請求到達(dá)、到達(dá)一位復(fù)雜患者的預(yù)約請求、到達(dá)一位中等患者的預(yù)約請求和到達(dá)一位普通患者的預(yù)約請求，分別對應(yīng)4種轉(zhuǎn)移概率，用pi表示，i=0,1,2,3表示患者即時(shí)預(yù)約請求到達(dá)情況。其中p0為無預(yù)約請求到達(dá)概率；p1為復(fù)雜患者預(yù)約請求到達(dá)概率；p2為中等患者預(yù)約請求到達(dá)概率；p3為普通患者預(yù)約請求到達(dá)概率。

圖1 狀態(tài)轉(zhuǎn)移圖Fig.1 State transition diagram

(5)報(bào)酬。高級醫(yī)生檢查一位復(fù)雜患者、中等患者、普通患者獲得的收益分別為r1、r2、r4；中級醫(yī)生檢查一位中等患者和普通患者獲得的收益分別為r3、r5；初級醫(yī)生檢查一位普通患者獲得的收益為r6。一般而言，醫(yī)生資質(zhì)越高，其提供檢查服務(wù)的費(fèi)用越高。同時(shí)，患者病情越復(fù)雜，其所需檢查費(fèi)用越高，且患者被分配給資質(zhì)較高的醫(yī)生檢查，其滿意度也會更高。因此，在一般情況下，醫(yī)生資質(zhì)與患者病情復(fù)雜度越高，其組合收益越高，即有r1>r2>r3>r4>r5>r6。

(6)目標(biāo)函數(shù)。在每一時(shí)段t=1,2,…,T，可建立以下系統(tǒng)最優(yōu)收益函數(shù)：

(2)

式(2)中：Vt(S)為從t預(yù)約時(shí)段，系統(tǒng)狀態(tài)為S=(s1,s2,s3)開始，至預(yù)約周期結(jié)束醫(yī)院所獲最大收益；Fit(S)為第i類到達(dá)情況發(fā)生后，至預(yù)約周期結(jié)束醫(yī)院所獲最大收益。

當(dāng)i=0，即無預(yù)約請求到達(dá)時(shí)：

F0t(S)=Vt+1(S)

(3)

當(dāng)i=1，即復(fù)雜患者的即時(shí)預(yù)約請求到達(dá)時(shí)：

(4)

當(dāng)i=2，即中等患者的即時(shí)預(yù)約請求到達(dá)時(shí)：

(5)

當(dāng)i=3，即普通患者的即時(shí)預(yù)約請求到達(dá)時(shí)：

F3t(S)=

(6)

考慮醫(yī)生能力邊界條件，對于t=1,2,…,T有

F0t(S)=Vt+1(0)

(7)

(8)

(9)

(10)

考慮時(shí)間邊界條件，由于不考慮加班情況，故T+1時(shí)段系統(tǒng)收益為0，即VT+1(S)=0對所有狀態(tài)S=(s1,s2,s3)成立。

2 模型求解方法

根據(jù)MDP模型，At(S)為使醫(yī)療檢查系統(tǒng)收益函數(shù)[式(2)]最大化的決策集合。在所有預(yù)約時(shí)段t=1,2,…,T，根據(jù)醫(yī)生能力邊界條件及時(shí)間邊界條件的限制，可確保最優(yōu)解的存在。本文采用逆序值迭代算法求解MDP模型，使系統(tǒng)在每一預(yù)約時(shí)段都能根據(jù)患者到達(dá)情況及各類醫(yī)生剩余可服務(wù)患者數(shù)做出最優(yōu)決策，即接受或者拒絕患者的即時(shí)預(yù)約請求，以及將各類患者分配給何種資質(zhì)的醫(yī)生。具體算法流程如下。

步驟1初始化i、sj、T、ra、pl；其中sj表示三類醫(yī)生剩余可服務(wù)患者數(shù)，j=1,2,3；ra表示不同資質(zhì)醫(yī)生接受不同病情患者所獲收益，a=1,2,…,6；pl表示不同預(yù)約請求到達(dá)概率，l=0,1,2,3。

步驟2令t=T。

步驟3判斷s1,s2,s3=0?

步驟4i=0，輸出14，否則轉(zhuǎn)到5/6/7。

步驟5i=1，a=1，判斷8，輸出14/15。

步驟6i=2，a=3，判斷8、9、11，輸出14/15/16。

步驟7i=3，a=6，判斷8～13，輸出14/15/16/17。

步驟18令t=t-1。

步驟19判斷“t>0?”，是轉(zhuǎn)到步驟3，否則算法終止。

3 仿真實(shí)驗(yàn)與分析

3.1 仿真參數(shù)設(shè)置

本節(jié)進(jìn)行仿真實(shí)驗(yàn)并給出相應(yīng)的結(jié)果分析。根據(jù)《2020年我國衛(wèi)生健康事業(yè)發(fā)展統(tǒng)計(jì)公報(bào)》每名醫(yī)生每天可服務(wù)7位患者[18]，即高級醫(yī)生、中級醫(yī)生和初級醫(yī)生可服務(wù)患者數(shù)為s1=s2=s3=7人。根據(jù)天津市某三甲醫(yī)院超聲科室調(diào)研結(jié)果，可將整個(gè)預(yù)約周期劃分為30個(gè)相等時(shí)段，即T=30，單位時(shí)段內(nèi)無預(yù)約請求到達(dá)的概率p0=0.1，復(fù)雜患者預(yù)約請求到達(dá)概率p1=0.1，中等患者預(yù)約請求到達(dá)概率p2=0.2，普通患者預(yù)約請求到達(dá)概率p3=0.6，檢查收益為r1=360元，r2=320元，r3=260元，r4=220元，r5=180元，r6=120元。

3.2 仿真結(jié)果分析

3.2.1 MDP預(yù)約策略閾值

仿真結(jié)果表明，MDP預(yù)約策略是與醫(yī)生剩余可服務(wù)患者數(shù)相關(guān)的閾值策略，當(dāng)各類醫(yī)生剩余可服務(wù)患者數(shù)大于或等于該閾值時(shí)，接受患者的預(yù)約請求并將其分配給相應(yīng)資質(zhì)醫(yī)生。醫(yī)院的總期望收益隨預(yù)約時(shí)段和醫(yī)生總剩余可服務(wù)患者數(shù)的變化情況如圖2所示，三類醫(yī)生接受三類病情患者的閾值如圖3所示。

通過分析發(fā)現(xiàn)，當(dāng)復(fù)雜患者的即時(shí)預(yù)約請求到達(dá)時(shí)，只要高級醫(yī)生有剩余可服務(wù)患者數(shù)，系統(tǒng)就接受復(fù)雜患者的預(yù)約請求，并將其分配給高級醫(yī)生檢查。初級醫(yī)生接受普通患者閾值同理。且在接近預(yù)約結(jié)束時(shí)段，三類醫(yī)生接受三種病情患者的閾值均呈現(xiàn)不變或下降趨勢。

圖2 醫(yī)院總期望收益變化圖Fig.2 Change chart of total expected income of hospital

圖3 三類醫(yī)生接受三種病情患者閾值Fig.3 Thresholds for three types of doctors accepting patients with three types of conditions

3.2.2 MDP與FCFS預(yù)約策略對比分析

1)MDP與FCFS預(yù)約策略決策對比

調(diào)研發(fā)現(xiàn)，該醫(yī)院的即時(shí)預(yù)約策略為先到先服務(wù)(FCFS)，即不論何種病情患者到達(dá)，只要檢查醫(yī)生未被約滿，則接受患者的預(yù)約請求，若所有醫(yī)生已約滿，則拒絕患者。FCFS預(yù)約策略根據(jù)醫(yī)生分配方法不同可分為兩類，一類是在盡可能保證剩余產(chǎn)能均衡的情況下為預(yù)約患者分配不同資質(zhì)的醫(yī)生，記為FCFS1；另一類是優(yōu)先將預(yù)約患者分配給低等級的醫(yī)生，待低等級醫(yī)生預(yù)約滿后再分配高等級醫(yī)生，記為FCFS2。

根據(jù)FCFS1、FCFS2及MDP模型的預(yù)約決策規(guī)則，模擬患者到達(dá)情況，可仿真得出即時(shí)預(yù)約策略方案如表1所示。在患者類型中：0表示該時(shí)段無預(yù)約請求到達(dá)；1表示該時(shí)段有復(fù)雜患者的即時(shí)預(yù)約請求到達(dá)；2表示該時(shí)段有中等患者的即時(shí)預(yù)約請求到達(dá)；3表示該時(shí)段有普通患者的即時(shí)預(yù)約請求到達(dá)。在決策中0～6分別表示上述決策變量At(S)對應(yīng)的決策。

表1 MDP與FCFS預(yù)約策略方案Table 1 Scheme of MDP and FCFS appointment strategies

由表1可知：如果采用基于MDP的預(yù)約調(diào)度策略，所獲收益為4 600元；采用FCFS1預(yù)約策略的收益為4 240元；采用FCFS2預(yù)約策略的收益為4 340元。通過比較發(fā)現(xiàn)，MDP預(yù)約策略為更優(yōu)的預(yù)約策略，在該預(yù)約策略中，高級醫(yī)生會預(yù)留一個(gè)剩余可服務(wù)患者數(shù)直到最后預(yù)約時(shí)段，即不論最后時(shí)段到達(dá)的患者類型如何，均會被高級醫(yī)生接受。實(shí)際上，MDP預(yù)約策略的優(yōu)勢主要體現(xiàn)在：將高等級醫(yī)生的服務(wù)能力保留給潛在的高價(jià)值患者。

2)MDP與FCFS預(yù)約策略收益對比

為避免檢查收益的提升是由于患者的預(yù)約請求到達(dá)序列恰好處在某種特殊情況，本文采用上述參數(shù)設(shè)置再次進(jìn)行仿真實(shí)驗(yàn)，隨機(jī)產(chǎn)生20組患者預(yù)約請求到達(dá)序列并計(jì)算對應(yīng)收益。MDP預(yù)約策略相較于FCFS預(yù)約策略的收益提升對比如表2所示。

在20組患者預(yù)約請求到達(dá)序列中，MDP預(yù)約策略所獲收益均高于FCFS預(yù)約策略，采用MDP預(yù)約策略的收益比采用FCFS1預(yù)約策略平均提升了5.91%，比采用FCFS2預(yù)約策略平均提升了5.42%。雖然每組隨機(jī)序列中檢查收益情況存在差異，但總體而言，MDP預(yù)約策略所獲收益相比于FCFS預(yù)約策略有明顯提高。

表2 MDP與FCFS預(yù)約策略收益提升對比Table 2 Comparison of revenue improvement between MDP and FCFS appointment strategies

圖4 MDP與FCFS預(yù)約策略收益對比Fig.4 Revenue comparison of MDP and FCFS appointment strategies

圖4展示了不同預(yù)約策略下，20組患者預(yù)約請求到達(dá)序列的收益對比。可以看出，MDP預(yù)約策略相比于FCFS預(yù)約策略獲得的收益變化波動性更小。故MDP預(yù)約策略可保持醫(yī)院穩(wěn)定收益，更有利于保障醫(yī)院的穩(wěn)定運(yùn)營。

3)不同預(yù)約時(shí)段數(shù)量下MDP預(yù)約策略的優(yōu)越性

改變預(yù)約時(shí)段數(shù)量并保持其他參數(shù)不變，探討當(dāng)患者的即時(shí)預(yù)約請求數(shù)量變化時(shí)MDP預(yù)約策略的優(yōu)越性。對于每一組不同預(yù)約時(shí)段數(shù)量，生成20組隨機(jī)序列模擬患者即時(shí)預(yù)約請求到達(dá)情況，并計(jì)算MDP預(yù)約策略與FCFS預(yù)約策略對應(yīng)的收益平均值，得到其收益對比如圖5所示。從圖5中可以看出，預(yù)約時(shí)段數(shù)量越多，MDP預(yù)約策略相較于FCFS預(yù)約策略的收益提升效果越明顯，由于此時(shí)系統(tǒng)需要拒絕的患者人數(shù)會隨之增多，F(xiàn)CFS預(yù)約策略可能拒絕更多潛在價(jià)值高的患者，因此MDP預(yù)約策略對于收益的提高更明顯。可得出結(jié)論：預(yù)約時(shí)段數(shù)量增加，即患者的即時(shí)預(yù)約請求數(shù)量越多，MDP預(yù)約策略相對于FCFS預(yù)約策略的優(yōu)勢越明顯。圖6中MDP預(yù)約策略相對于FCFS預(yù)約策略的收益提升率隨預(yù)約時(shí)段數(shù)量的變化也更好的證實(shí)了這一結(jié)論。

圖5 不同預(yù)約時(shí)段數(shù)量下收益對比Fig.5 Revenue comparison of different number of appointment periods

圖6 不同預(yù)約時(shí)段數(shù)量下收益提升率變化Fig.6 Change of revenue promotion rate of different number of appointment periods

4 結(jié)論

基于MDP建立以醫(yī)院收益最大化為目標(biāo)的醫(yī)療檢查匹配預(yù)約調(diào)度模型，研究不同資質(zhì)醫(yī)生檢查不同病情患者的最優(yōu)預(yù)約策略，并與傳統(tǒng)FCFS預(yù)約策略對比分析，得到如下結(jié)論。

(1)MDP預(yù)約策略是與醫(yī)生剩余服務(wù)能力相關(guān)的閾值策略。在接近預(yù)約結(jié)束時(shí)段，三類醫(yī)生接受三種病情患者的閾值均呈現(xiàn)不變或下降趨勢。當(dāng)每類患者的即時(shí)預(yù)約請求到達(dá)時(shí)，系統(tǒng)可根據(jù)當(dāng)前閾值狀態(tài)做出最優(yōu)決策。

(2)本文提出的MDP預(yù)約策略獲得的收益相比于傳統(tǒng)FCFS預(yù)約策略有較大提高，且MDP預(yù)約策略所獲收益較FCFS預(yù)約策略變化波動性更小，更有利于維持醫(yī)院的穩(wěn)定運(yùn)營。

(3)當(dāng)預(yù)約時(shí)段數(shù)量增加，即患者的預(yù)約請求數(shù)量越多，醫(yī)院檢查資源越匱乏時(shí)，MDP預(yù)約策略相對于傳統(tǒng)FCFS預(yù)約策略的優(yōu)勢越明顯。

本文雖以超聲科室醫(yī)療檢查為例研究了醫(yī)患匹配的預(yù)約調(diào)度問題，但所提出的方法和所得結(jié)論具有一定的通用性，可以應(yīng)用到其他類似的預(yù)約調(diào)度問題中。且本文所建模型參數(shù)簡潔明了，各醫(yī)院可根據(jù)實(shí)際情況，結(jié)合歷史運(yùn)營數(shù)據(jù)，設(shè)置適用于自己醫(yī)院的參數(shù)值，對前來預(yù)約的患者進(jìn)行合理有效的調(diào)度安排。