馬爾可夫決策過程在類風濕關節炎治療中的應用研究

徐偉鋒, 曹 平

(中國科學技術大學 管理學院,安徽 合肥 230026)

0 引言

類風濕關節炎(RA)是一種常見的慢性自身免疫性疾病,發病人數約占全球總人口的0.24%[1]。其通常伴隨著心血管疾病、呼吸系統疾病、胃腸道疾病、神經系統疾病、血液系統疾病和腎臟疾病等合并癥,還可能使患者出現焦慮、抑郁和睡眠障礙等精神問題,極大地增加了患者死亡的風險[2]。在我國,RA的發病率為0.42%,患者人均門診用藥費用為8018元,這給普通勞動人民患者帶來了一定的經濟壓力[3]。因此,更快地制定合適的治療方案尤為重要。

近年來學者們從不同的角度對RA展開了較多的相關研究。一方面,學者們關注于通過臨床試驗來得到更優的治療方案[4,5],然而這些試驗往往需要花費較大的人力物力,并且由于患者的健康狀況并不是完全暴露的,醫生往往需要在一個不確定的環境中進行多階段決策,同一種治療策略可能對不同患者的效果是隨機的,因此療效具有很大的不確定性。另一方面,學者們致力于使用數據挖掘的方法從RA患者的電子病歷中尋找患者的用藥規律以及藥物對療效的影響,例如陳夢娜等[6]使用關聯規則、聚類分析等方法對RA患者的用藥規律進行了挖掘,XIE等[7]使用關聯規則探究了RA患者一些實驗室指標與中藥之間的關系,但是他們都是從醫療數據挖掘的角度尋找進行了研究,并沒有涉及醫療決策問題。本文使用的馬爾可夫決策過程(MDP)能夠較好地在不確定環境中對RA患者的住院流程進行建模,并且能從患者決策的角度給出相應的治療策略。

我們的工作還與MDP模型在醫療保健決策領域的應用相關。在醫療保健決策領域中,MDP模型有著廣泛的應用,例如ALAGOZ等[8]建立了一個用于確定最佳肝移植時間的MDP模型,CHHATWAL等[9]根據女性乳房X光片特征和人口統計學信息基于有限階段準則建立了一個MDP模型以確定進行乳腺活檢的時間,BAZRAFSHAN和LOTFI[10]基于有限階段準則建立了一個MDP模型,其可以根據癌癥患者的病情選擇最優的化療方案。但是以上研究都是基于有限階段準則進行建模,并未將RA這類需要終身治療的慢性疾病考慮進去。本文從RA患者的電子病歷中提取數據,基于無限平均準則將MDP模型應用于這些患者的治療過程中,并且詳細給出了MDP模型五元組的構建過程,最后得出了最優治療策略以及治療報酬和成本。

基于上述研究,本文創新地在無限平均準則下將MDP模型應用于RA患者的治療過程中,主要貢獻如下:首先,本文利用RA患者電子病歷中的數據建立了一個MDP模型,該建模流程不僅可以應用于RA的治療過程中,還可以適用于其他慢性疾病的治療中;其次,我們發現本文所建立的MDP模型得到的治療報酬與治療成本均優于醫院現有治療方案下的治療報酬與治療成本,這就顯示了MDP模型在RA治療中的潛力與價值,它在降低RA患者的治療成本的同時,提高了醫院的治療效率。

本文的內容安排如下:第0節為引言,第1節給出研究樣本與數據來源;第2節給出模型構建的整個過程;第3節給出最優策略的求解方法;第4節給出模型相應的結果以及穩健性檢驗;第5節給出本文的結論。

1 研究樣本與數據來源

本研究所使用的資料來自安徽中醫藥大學附屬第一醫院風濕科患者的電子病歷。這些患者于2012年6月至2016年6月期間在該院住院治療。電子病歷包括患者的基本信息、就診信息、實驗室指標信息以及用藥信息等。我們從中選取了被診斷為RA患者的電子病歷,并進行了如下樣本篩選:(1)排除住院期間未使用中藥進行治療的患者;(2)排除被診斷為有嚴重并發癥的患者和懷孕患者;(3)排除住院期間只進行檢測了一次實驗室指標檢查的患者。最終共得到858例RA患者的電子病歷數據,其中女性741例(86.36%),男性117例(13.64%)。患者的平均年齡為53.85歲,平均住院天數為16.69天。

2 模型構建

住院患者的具體流程如圖1所示:

圖1 患者住院治療流程圖

由圖1可知,患者在t0時刻入院后,其在t1時刻會去檢查癥狀與實驗室指標,在t2時刻醫生會根據患者的身體狀況做出診斷并給出相應的治療方案,在t3時刻患者開始接受治療,之后患者可能會繼續接受幾次癥狀與實驗室指標檢查,然后醫生繼續給出治療方案直至其符合出院標準出院。在此過程中,患者的癥狀與實驗室指標檢查并不能完全代表患者真實的身體狀況,醫生往往是在不確定的環境下做出多個階段的醫療決策,該過程正好適合用MDP模型來進行建模。MDP模型由五元組構成,其分別為決策時刻、狀態、行動、轉移概率函數和報酬或成本,可參見劉克和曹平[11]第1章第3節。下面我們將在每一小節中給出這些要素的定義方式。

2.1 決策時刻

患者經過實驗室指標檢查后,醫生會根據其健康狀況給出相應的治療方案。把醫生每次給出治療方案的時間點記為決策時刻,用T記所有決策時刻的點集。

2.2 狀態

患者真實的健康狀況是隱藏的,醫生通常通過對患者的癥狀和實驗室指標檢查來推測患者的身體狀況。本研究中,我們根據醫師的建議和相關文獻,從患者的實驗室指標中選擇了9個關鍵指標來近似患者的身體狀況,這些指標通常用于評估治療效果。這些指標可分為三類,分別是炎癥指標(CRP,ESR,RF)、肝功能指標(ALT,AST)和血液學指標(RBC,HGB,PLT,WBC)。CRP,ESR和RF作為RA的診斷標準[12],它們能幫助了解體內的炎癥水平。ALT和AST能幫助醫生了解患者用藥過程中肝功能是否有損傷。檢查RBC和HGB能監測貧血,檢查PLT能了解是否有血小板增多,檢查WBC能了解是否有白細胞減少。而貧血、血小板增多與白細胞減少在RA患者中較為普遍[13]。為了討論的方便,我們將上述指標的值離散化成兩類,處于正常值參考范圍記為正常,未處于正常值參考范圍記為不正常,并分別用{1,0}表示。

接下來定義狀態s。若將狀態s定義為s=(I1,I2,…,I9),其中Ii表示上述9個指標的取值,則一共有29種可能,以此進行分析有以下問題。首先是轉移概率矩陣會變為稀疏矩陣,對于轉移概率的估計會產生較大的偏差,其次是求解會變得更為復雜,最后是按此求得的策略并不具有普適性,不利于現實中的應用。為了減少狀態的個數,我們選取患者用藥前和用藥后檢查的上述實驗室指標,將其作為特征變量進行聚類分析。而K-modes聚類算法作為一種常用的聚類算法,其常用于對分類屬性型數據的聚類中。本研究使用該聚類算法生成每個患者用藥前后的狀態。每個患者都將根據聚類結果歸入一個狀態,每一個狀態代表患者的健康狀況。但是在使用該算法之前,需要指定聚類的數目K。本研究中,首先令K∈{2,3,…,10},然后對于每個K,我們多次使用該算法進行測試,發現當聚類數等于6時,分類結果是合理且可以解釋的。這些患者剛好可以根據有多少個炎癥指標異常、貧血指標是否異常、血小板是否異常、白細胞是否異常以及肝功能是否異常進行分類。該結果與RA實驗室指標可能出現的情況剛好一致,聚類結果如表1所示。

表1 K-modes算法聚類結果

由上可知,根據聚類結果可將患者的狀態分為6類。當患者處于狀態1時,ALT,AST與RF不正常,其他指標正常;處于狀態2時,CRP,ESR,RF與HGB不正常,其他指標正常;處于狀態3時,CRP,ESR,RF,HGB,RBC,WBC與PLT不正常,其他指標正常;處于狀態4時,ESR與RF不正常,其他指標正常;處于狀態5時, RF不正常,其他指標正常;處于狀態6時,ALT,AST,CRP,ESR與RF不正常,其他指標正常。

2.3 行動

在這些患者的治療過程中,大約有260種中藥被使用,而由于中藥處方的種類繁多,因此把每個處方視為不同的治療方案是不切實際的。于是我們把在第一次和第二次實驗室指標檢查之間使用的中藥作為行動的基礎。為了減少行動的個數,我們根據藥典將使用的中藥分為22個大類,刪除使用較少的中藥類別,最后得到8大類中藥,分別為利水滲濕藥、活血化瘀藥、補虛藥、清熱藥、祛風濕藥、理氣藥、消食藥和祛痰藥。我們發現這些患者均使用了利水滲濕藥、活血化瘀藥、補虛藥、清熱藥、祛風濕藥和理氣藥,不同之處在于是否使用了消食藥和祛痰藥,其中未使用消食藥和祛痰藥的有349人,使用消食藥的有164人,使用祛痰藥的有191人,而既使用了消食藥也使用了祛痰藥的有154人。為了研究消食藥和祛痰藥對患者的影響,我們定義如下行動空間,對于任意的i∈S,A(i)={a1,a2,a3,a4},其中a1表示未使用消食藥和祛痰藥,a2表示使用消食藥,a3表示使用祛痰藥,a4表示使用消食藥和祛痰藥,即醫生在患者處于任何狀態i(i∈S)時可從行動a1,a2,a3與a4中選取其中一個。

2.4 轉移概率函數

函數p(s′|s,a)稱為轉移概率函數,其表示當前決策時刻狀態為s,若采取行動a,到下一個決策時刻轉移到s′的概率。由前面定義的狀態與行動可知,患者的狀態有6個,即狀態1到狀態6,我們分別將其記為s1,s2,s3,s4,s5與s6,采取的行動有4個,即a1,a2,a3與a4。比如說,我們想計算處于狀態2的患者在使用消食藥后變為狀態1的概率,那就是要計算p(s1|s2,a2)。我們可以先統計數據中所有這類患者的數量,得到n(s1|s2,a2)。然后,我們再統計數據中所有處于狀態2并使用消食藥的患者數量,得到n(a2|s2)。我們用這兩者的比率來近似p(s1|s2,a2)。在我們的數據中,n(s1|s2,a2)=23,n(a2|s2)=61。因此,我們用23/61來近似p(s1|s2,a2)。對于處于其他狀態,采取其他行動的轉移概率,也可由同樣方式求得。

2.5 報酬與成本

醫生根據患者的狀態會采取不同的行動,該行動可能是確定性的,也可能是隨機的。本研究中,由于患者的健康狀況并不是完全暴露的,且根據我們的數據,醫生對于處于相同狀態下的患者會隨機地選取行動,因此醫院的策略是隨機的。醫院的隨機策略定義為π:S×A→[0,1],此時π(s,ai)=P(ai|s)。醫院的具體策略如表2所示。

表2 醫院策略

于是可將指標R定義為

(1)

其表示醫院在上述策略下的平均報酬,其值記為r。

然后我們介紹第二個度量指標C,我們將患者兩次實驗室指標檢查已住院的天數視為成本,住院天數越長,患者所需支付的醫療費用越多,成本就越大。患者從狀態s轉移到狀態s′已住院的平均天數記為δ(s,s′),成本C(s,a)表示患者在處于狀態s時采取行動a所需付出的成本,其計算公式為

于是可將指標C定義為

(2)

其表示醫院在上述策略下的平均成本,其值記為c。

3 最優治療策略的求解方法

在無限階段平均準則下,當MDP為單鏈且狀態空間與行動空間均有限時,必定存在一個最優的確定性策略[11]。由于本文考慮兩個度量指標,因此一一給出這兩個度量指標下最優治療策略的求解方法。

(3)

(4)

(5)

(6)

(1)取V0=0,取定迭代精度ε>0,k=0。

(2)對于每個i∈S,利用

(7)

得到Vk+1。

(4)此時對每個i∈S,取

(8)

然后停止。

4 結果分析

4.1 模型結果

通過上述的求解方法,可得最優策略和報酬與成本,如表3和表4所示。

表3 最優策略

表4 報酬與成本

4.2 穩健性檢驗

表5 新行動空間下的最優策略

表6 新行動空間下的報酬與成本

5 結論

本文基于無限階段平均準則將MDP模型應用于RA患者的中藥治療過程中。首先我們從已有的數據中推斷出建立MDP模型所需的各個參數,然后我們使用相對值迭代算法來求解這一問題并得到了相應的治療策略。結果表明,本文建立的模型得到的治療成本要低于醫院的治療成本,報酬要高于醫院的報酬,這對RA的臨床治療具有一定的指導意義。本研究仍然存在一些局限性,首先我們沒有考慮其他治療方法,如熏蒸、推拿、針灸和西藥等,未來可把這些納入模型的行動中;其次患者的健康狀況是隱藏的,并沒有完全暴露,部分可觀察的馬爾可夫決策過程可能是一個很好的模型,今后研究可以從這方面開展。