自建自動審核程序的風險評估與對策探討*

陶 然，陳建波，何 君，胡朝暉，李 娜，王永松，王家健△

(1.海南金域醫(yī)學檢驗中心有限公司實驗診斷部，海南海口 570311；2.廣州金域醫(yī)學檢驗中心實驗診斷部，廣東廣州 510330；3.北京金域醫(yī)學檢驗實驗室實驗診斷部，北京 100015)

近年來，得益于信息自動化技術(shù)的飛速發(fā)展，自動審核技術(shù)在醫(yī)學檢驗領(lǐng)域具有效率提升、質(zhì)量保證的優(yōu)勢，被越來越多的醫(yī)療機構(gòu)引入[1-2]。使用方式從完全依賴中間件[3]到實驗室(檢驗科)信息系統(tǒng)(LIS)、中間件各承載部分功能[4]到脫離中間件完全自行開發(fā)[5]，數(shù)據(jù)廣泛性、功能靈活性的不斷提升使其前景愈加廣闊。目前各種自動審核培訓班、文獻報道都顯示，越來越多的醫(yī)療機構(gòu)開始自建自動審核程序，只有更多的檢驗項目使用自動審核，以臨床為導向、多項目的關(guān)聯(lián)審核才能真正實現(xiàn)。目前鮮見自建自動審核程序風險評估的報道，《CNAS-CL02：2012》[6]中風險要求僅3條。本實驗室自2013年開始建立自動審核程序，截止目前已應用至13個實驗室的8個技術(shù)平臺，基于龐大的數(shù)據(jù)量和結(jié)構(gòu)復雜度，筆者深切感受到項目構(gòu)建過程中風險管理的重要性，風險內(nèi)容未考慮周全或應對方案不完整均可能導致患者結(jié)果報告錯誤。本研究旨在介紹項目進程中的風險及應對方案。

1 材料與方法

1.1材料 Java 1.7、Oracles及Mongo DB數(shù)據(jù)庫、C /S結(jié)構(gòu)、JavaScript引擎，Loadrunner11.0壓力測試工具。

1.2方法 風險評估由項目管理組采用風險矩陣完成，所有策略測試有效后投入使用。

2 結(jié) 果

2.1風險1 規(guī)則執(zhí)行負荷。2016年12月開始啟用時規(guī)則呈每月30%的速度遞增，達到1 500條規(guī)則后程序響應速度開始變慢，2 000條時引起生產(chǎn)抱怨。解決方案：(1)執(zhí)行“哨兵”[7]、多線程異步[8]的規(guī)則查找方式，規(guī)則池按項目切割，規(guī)則建立隨即劃入相應項目規(guī)則池，縮小規(guī)則的查找范圍；單線程即時查找改為多個線程同步并發(fā)；(2)數(shù)據(jù)庫規(guī)則每日凌晨7:00由Mongo DB數(shù)據(jù)庫同步更新到redis緩存(基于內(nèi)存的高性能Key-value數(shù)據(jù)庫)大幅提升響應速度；(3)CPU長期監(jiān)控，若平均負荷超出90%，考慮增加服務器；(4)實驗室上線前行壓力測試，關(guān)注CPU使用率、內(nèi)存空閑量、磁盤使用率等關(guān)鍵指標，符合要求方可上線。效果：優(yōu)化前單個報告自動審核平均時間8.3 s，CPU平均耗用55%，高峰時段95%，優(yōu)化后，自動審核中位數(shù)時間2.3 s，80%的報告單在3.5 s以內(nèi)，CPU平均耗用23%，高峰時段50%以內(nèi)，程序負荷有效緩解。

2.2風險2 規(guī)則執(zhí)行有效性。包括運行有效性和臨床有效性。前者表示規(guī)則設(shè)置后能否被程序識別，程序執(zhí)行效果是否符合實驗室人員設(shè)置的目的，與程序功能有關(guān)；后者表示規(guī)則執(zhí)行的結(jié)果是否具有最佳的臨床報告判斷決策，這部分與程序功能無關(guān)，僅與設(shè)置的規(guī)則判斷值相關(guān)。運行有效性不足帶來的風險：程序中存在大量的，未能執(zhí)行且占用空間的“僵尸”規(guī)則，執(zhí)行結(jié)果不符合人員預期的“無效”規(guī)則，實際生產(chǎn)中，實驗室人員誤認為所有規(guī)則已執(zhí)行，實際上僅有部分規(guī)則執(zhí)行，報告單未被充足的規(guī)則審核，出現(xiàn)漏檢、錯檢。解決方案：引入“規(guī)則周期”，規(guī)則具有“正式”、“待轉(zhuǎn)正”兩種狀態(tài)，“待轉(zhuǎn)正”規(guī)則執(zhí)行后，批單人員查看系統(tǒng)的執(zhí)行結(jié)果和人為判斷是否一致，若一致，說明系統(tǒng)能夠正確識別、執(zhí)行規(guī)則，“待轉(zhuǎn)正”規(guī)則效果正確度加1分，若不一致，說明設(shè)置錯誤導致系統(tǒng)無法正確讀取規(guī)則，質(zhì)疑規(guī)則有效性。若某“待轉(zhuǎn)正”規(guī)則的執(zhí)行效果正確度得分達到要求，實驗室管理人員 “轉(zhuǎn)正”該規(guī)則；若未達到“轉(zhuǎn)正要求”，刪除規(guī)則重新建立。另外，若某項目存在“待轉(zhuǎn)正”規(guī)則，涉及該項目的報告單必須由人工審核，只有該項目的所有規(guī)則均為“轉(zhuǎn)正”狀態(tài)，方可允許程序自動審核。方案效果：相比手工記錄，每條規(guī)則線上節(jié)約10 min，某實驗室發(fā)現(xiàn)“僵尸”規(guī)則26條，“錯誤”規(guī)則32條。臨床有效性不足帶來的風險：程序報警的報告，但人員最終未干預，導致假陽性，浪費人員復核精力與成本；程序未報警的臨床報告人員卻施加干預，報告單漏檢的假陰性風險。解決方案：建立“基于操作軌跡反向決策”模式：若程序報警(紅色)，理應干預報告，實際人員直接批準報告，記錄規(guī)則“偽紅”+1；若程序報警通過(綠色)，理應直接批準報告，實際干預報告，記錄項目“偽綠”+1。程序周期性統(tǒng)計規(guī)則的報警百分比和“偽紅”百分比，若某規(guī)則報警概率大于80%且偽紅率大于80%，需修改規(guī)則；任一項目“偽綠”百分比大于20%，提示需增加規(guī)則。結(jié)果：以生化崗位為例，251條規(guī)則中，63條規(guī)則被提示可修改閾值， 62個項目中，5個項目被提示需增加規(guī)則。

2.3風險3 程序故障防范。包括2個方面：急停開關(guān)、規(guī)則日志。程序急停的風險：一旦程序環(huán)境出現(xiàn)問題，需緊急停止自動審核確保充沛的CPU供給。解決方案：自動審核程序加入個人開關(guān)和實驗室開關(guān)，前者控制個人，后者控制實驗室，均可選擇性關(guān)閉/開啟自動審核。方案效果：2016-2017年由于CPU耗用異常急停2次，2018年未有出現(xiàn)異常。規(guī)則執(zhí)行日志包括實時顯示自動審核執(zhí)行進度、記錄自動審核的觸發(fā)規(guī)則和違背規(guī)則。規(guī)則執(zhí)行日志不足的風險：人員無法得知自動審核進度和程序處理邏輯，等待時間過長導致人員焦慮且無法得知需繼續(xù)等待還是系統(tǒng)故障。解決方案：程序?qū)崟r顯示自動審核進度：待審核報告/已完成報告，兩者相等表明自動審核執(zhí)行完畢，若后者逐步增加且小于前者，表明程序正在執(zhí)行，若后者數(shù)值停滯增長，表明程序故障需聯(lián)系IT人員。若批單人員不認可程序?qū)徍伺袛啵筛鶕?jù)日志線索記錄自助查因。方案效果：相比2017年，新上線實驗室呼叫IT支援次數(shù)減少90%，自助查因確保實驗室人員快速理解程序，自動審核實驗室培訓周期由3個月降低到平均15 d。

3 討 論

自動審核通過計算機執(zhí)行規(guī)則，降低差錯、提升效率、縮短檢驗結(jié)果回報時間(TAT)[9]；另一方面，多學科的實施也為以疾病為導向的整合報告解讀提供可能[10]。但是，程序功能的提升也伴隨著復雜度、風險的增大。程序構(gòu)建和運營的各個階段，風險評估不可或缺。本實驗室的13家實驗室截至2017年底，設(shè)置10 127條規(guī)則，自動審核程序每天處理58 000張報告，測試數(shù)約290 000，按照每個測試觸發(fā)4條規(guī)則，每天自動審核程序?qū)?zhí)行110萬次規(guī)則，至少220萬次計算。

基于龐大的數(shù)據(jù)處理量帶來的報告隱患，本文的風險在使用廠家中間件的實驗室體現(xiàn)不顯著，原因在于：(1)中間件多配置流水線，多用于生化、血液學科[11]，報告基數(shù)較小，不同學科的項目無法使用自動審核(如發(fā)光法與免疫法行乙肝檢測、電泳法與雜交法行地中海貧血檢測)。反之，一旦用于多個學科，項目關(guān)聯(lián)性、結(jié)果報告方式差異對自動審核功能的多樣化、靈活化開始有一定要求；(2)獨立檢驗所面對的分析前要求，自動審核不僅僅局限于結(jié)果，還需在分析前階段進行資料信息的預審核；(3)自動審核是異常數(shù)據(jù)的有力抓手，其靈魂不僅局限在結(jié)果審核，陽性率分析、病例分析都可來源于此。所以，若完全自建自動審核程序，不能僅著眼于接口或者服務器的擴充，整體流程設(shè)計和持續(xù)優(yōu)化是確保自動審核可持續(xù)性發(fā)展的必要條件。

規(guī)則執(zhí)行負荷在所有風險中影響評級最高且鮮有文獻報道。之前本實驗室自動審核曾導致2次大規(guī)模LIS宕機，實驗室人員抱怨強烈。調(diào)查后發(fā)現(xiàn)，規(guī)則查找和歷史數(shù)據(jù)比對消耗大量內(nèi)存。異步多線程和哨兵模式前期改善結(jié)構(gòu)，后期規(guī)則同步緩存改善運維，結(jié)合后顯著降低CPU耗用。

規(guī)則執(zhí)行有效性中包含臨床有效性和執(zhí)行有效性，筆者認為執(zhí)行有效應受到首要重視，ISO15189 CNAS-CL02 5.9.2中明確要求[6]：在使用前應確認該標準可以正確應用，并對可能影響功能的系統(tǒng)變化進行驗證。既往的研究采用人機一致性的方式[12]。此法基于報告單維度進行比對，若有異常，查因繁瑣難度大。執(zhí)行顧問提出建立“模擬程序”運行批量數(shù)據(jù)比較雙程序效果的方式因成本高放棄。最終，筆者引入了“規(guī)則生命周期”直接使用患者報告，直接進行規(guī)則效果的人機對話，此法工作量適中，游戲化操作顯著提升人員測試積極性，在此基礎(chǔ)上再行報告單比對消除風險。

在以上基礎(chǔ)進行臨床有效性改善，醫(yī)療機構(gòu)之間交流溝通聯(lián)合制定自動審核規(guī)則即為改善方式之一。筆者使用了“基于操作軌跡反向決策”的方法，程序根據(jù)審核人員更改結(jié)果痕跡得出規(guī)則改善建議，若在此基礎(chǔ)上，增加內(nèi)部、客戶投訴的結(jié)果錯誤，程序根據(jù)結(jié)果分布趨勢識別異常，將是臨床有效性的巨大突破。

程序故障防范在ISO15189 CNAS-CL02 5.9.2中明確要求[6]：有過程可快速暫停自動選擇和報告的功能。基于此筆者建立了2層開關(guān)，同時，開關(guān)也可用于員工批單的培訓。規(guī)則日志是筆者建立程序以來使用最多的功能，該功能廣泛用于規(guī)則運行異常的原因查找。同時，記錄的觸發(fā)規(guī)則和運行數(shù)據(jù)可用于陽性率等質(zhì)量監(jiān)控工作[13]。基于該記錄的血液病提示也有報道[10]。

4 結(jié) 論

以上的哨兵模式、多線程異步、緩存更新、規(guī)則周期、操作軌跡反向決策、雙層開關(guān)、規(guī)則執(zhí)行進度、規(guī)則日志共計8項風控措施均依照“實施-評估-反饋-再決策”的模式確立，經(jīng)過2年的系統(tǒng)改善，目前程序得以平穩(wěn)運行。隨著數(shù)字化技術(shù)的發(fā)展，目前的自動審核還存在寬廣的功能拓展空間[14-16]，例如建立適應各級實驗室的類似阿里云的自動審核程序包，圍繞“性能、功能、體驗”的風險控制將是成功實施的必要條件。