藥物警戒檢查結果量化評分體系構建及應用探索

文 雯，鄧 莉，羅永強，王 彥

（重慶市藥品不良反應監測中心，重慶 401120）

2019年12月1 日起施行的《中華人民共和國藥品管理法》將“實行藥品不良反應報告制度”修改為“國家建立藥物警戒制度”[1］，藥品不良反應報告和監測檢查自2020年起更名為藥物警戒檢查。《藥物警戒質量管理規范》（2021年第65號，以下簡稱《新規范》）正式施行前，仍以《藥品不良反應報告和監測檢查指南（試行）》（食藥監藥化監〔2015〕78號，以下簡稱《指南》）[2］及《國家藥品監督管理局關于藥品上市許可持有人直接報告不良反應事宜的公告（2018年第66號）》（以下簡稱《公告》）[3］為檢查指導原則，對藥品上市許可持有人（以下簡稱持有人）實施藥物警戒檢查。2020年和2021年是我國正式邁入藥物警戒新時代至關重要的過渡期。一方面，持有人需將藥品不良反應監測體系逐步轉變為藥物警戒體系；另一方面，在日常監督檢查中，藥品監管部門需轉變檢查思路，立足藥物警戒的高度，指導持有人順利完成藥品不良反應監測到藥物警戒的過渡。本研究中參考《公告》《指南》，采用德爾菲法對評分指標和權重進行專家咨詢，對此信度進行統計學分析，構建了過渡期間藥物警戒檢查結果的量化評分體系，并于2020年和2021年應用于36家持有人藥物警戒檢查結果中。通過基于數據的科學分析，掌握持有人藥物警戒體系的完善程度，探索性地研究藥物警戒檢查結果量化評分的可行性，以及評分結果在指導監管實踐、提升監管效能中的作用。現報道如下。

1 量化評分體系構建

1.1 評分指標確定

以藥品不良反應報告和監測檢查要點為基礎，結合《公告》中對持有人的相關要求，將9個檢查類別設為一級指標，38個檢查內容設為二級指標，77個檢查要點設為三級指標，組成檢查類別-檢查內容-檢查要點的三級量化評分體系。

1.2 專家咨詢及信度分析

問卷設計和指標賦值：共遴選9名藥物警戒專家，采用電子郵件、QQ、微信等方式發放調查問卷。問卷內容由調查說明、各級指標賦值表、專家基本情況調查表組成。其中，調查說明包括函詢介紹和填表要求；各級指標賦值表中，一級指標和二級指標的權重由專家直接評分確定，三級指標需根據專家對各指標條目的重要性和熟悉程度的評分進行計算。采用Excel 2020軟件和SPSS 26.0統計學軟件對專家咨詢結果進行分析。

專家基本情況：9名專家中，重慶市藥品監督管理局1人（11.11%），重慶市藥品監督管理局直屬檢查局2人（22.22%），重慶市藥品不良反應監測中心4人（44.44%），持有人2人（22.22%）；男5人（55.56%），女4人（44.44%）；年齡32～47歲，平均（39.22±5.97）歲；從事藥物警戒相關工作5～13年，平均7.67年；博士研究生1人（11.11%），碩士研究生3人（33.33%），大學本科5人（55.56%）。

專家積極程度：是指專家對某評價指標的關心程度，以問卷的回收率表示[4］。本次專家咨詢共發放調查問卷9份，回收調查問卷9份，問卷回收率及合格率均為100%，表明專家對此次咨詢內容的積極程度較高。

專家權威程度：也稱權威系數（Cr），是指專家針對某一問題或方向的權威力度，其大小影響評價結果的可靠性[5］，一般根據專家對專業領域的熟悉程度（Cs）和判斷依據（Ca）來計算，即Cr=（Cs+Ca）/2。Cr＞0.7時咨詢結果才算可靠[6］。本研究中，Cr的判斷依據包括理論分析、實踐經驗、對國內外同行的了解和直觀感覺4個方面。根 據計算，本次咨詢的Cs為0.906，Ca為0.956，故Cr為0.931，表明專家的權威程度較高。

專家意見協調程度：是指專家對指標評分意見的一致性程度，一般以肯德爾W系數（Kendall's W）表示，其值為0～1，數值越大，表示專家的意見協調程度越高[7］。Kendall's W＞0.7，且經非參數檢驗后具有顯著性，表明專家的評分意見一致性較高；0.4≤Kendall's W＜0.7，且經非參數檢驗后具有顯著性，表明專家的評分意見中等較好；Kendall's W＜0.4，表明專家的評分意見差異較大，有必要進行下一輪咨詢[8］。本研究中，一級、二級、三 級 指 標 的Kendall's W分 別 為0.824，0.543，0.424，提示咨詢結果均可取。詳見表1。

表1 專家意見協調程度Tab.1 Coordination degree of the experts＇opinions

1.3 評分權重確定

一級指標最終權重為各專家賦值的平均值；二級指標最終權重=對應一級指標最終權重×該二級指標專家賦值的平均值；三級指標則需根據問卷調查中各專家對三級指標的重要性和熟悉程度的評分進行計算。其中，i為三級指標編號，pij為專家j對指標i的重要性評分，cj為專家j的權威程度系數，Xi為三級指標i的加權平均數，m為專家數。Xi做歸一化處理，將歸一化權重與對應的二級指標權重相乘，得三級指標最終權重[9］。藥物警戒檢查結果量化評分體系及權重見表2。

表2 藥物警戒檢查結果量化評分體系及權重Tab.2 Quantitative scoring system and weights of GVP inspection results

2 應用

2.1 評價實際操作

將構建的評分指標體系制成調查問卷，根據檢查實際，將每個三級指標設置2～5個等級選項，由檢查人員根據指標完成情況進行勾選，如“專職人員數量是否充足”設置“充足”“不充足”2個等級選項，專職人員“是否具備分析評價藥品不良反應的能力”設置“具備”“一般具備”“不具備”3個等級選項，“制度文件中是否包含明確的機構職責”設置“職責非常明確”“職責較明確”“職責一般明確”“職責不明確”“無工作職責描述”5個等級選項。如職責非常明確、職責較明確、職責一般明確、職責不明確和無工作職責描述選項等級依次為1，1/2，1/3，1/4，0。持有人綜合評分（Score）=其中，i為三級指標編號，Ri為指標權重值，Ki為指標選項等級。

2.2 持有人綜合評分

36家持有人中，綜合評分為80～100分的2家，70～＜80分的8家，60～＜70分和50～＜60分的各13家；以在產制劑數量將持有人分為小規模（1～19個）組、中規模（20～40個）組和大規模（＞40個）組。詳見表3。

大規模組的綜合評分最高（72.50分），80～100分的2家持有人均在該組，4家持有人綜合評分為60～＜70分；中規模組的綜合評分為68.61分，以70～＜80分為主，2家持有人的綜合評分低于60分；小規模組的綜合評分為60.78分，11家持有人的綜合評分低于60分。綜合評分不低于80分，藥物警戒體系構建基本完善；60～＜80分，構建較完善；低于60分，構建尚未成形。由表3可知，36家持有人中，2家（5.56%）體系構建基本完善，21家（58.33%）體系構建較完善，13家（36.11%）體系構建尚未成形。

表3 不同規模藥品上市許可持有人綜合評分[家（%）］Tab.3 Comprehensive scores of MAHs with different scales of preparations[MAH（%）］

2.3 持有人綜合評分雷達圖

36家持有人2020年和2021年均未涉及群體/聚集性不良事件和重點監測，僅1家持有人涉及境外報告，故雷達圖中只對其余6個檢查類別的評分效果進行多維度展示。分別選取不同分數段的4家持有人進行雷達圖效果展示，其綜合評分依次為84.28分（持有人1）、71.49分（持有人2）、62.53分（持有人3）和50.36分（持有人4）。詳見圖1。

圖1 4家藥品上市許可持有人藥物警戒檢查綜合評分雷達圖Fig.1 Radar graphs of comprehensive scores of GVP inspection of four MAHs

可見，評分越高的持有人，雷達圖形狀越飽滿，面積越大。由雷達圖半徑可知，評價與控制是4家持有人均存在的較大缺陷；60分以上的持有人其余5個檢查類別的半徑均處于三環至五環之間，可認為藥物警戒體系搭建基本成形，雖然組織機構、人員管理和質量管理體系仍不完善，但未影響個例報告中大部分工作的開展；60分以下的持有人多數檢查類別的半徑處于三環內，藥物警戒體系搭建尚未成形，個例報告有關的日常工作開展較差。

3 討論

3.1 量化評分體系構建的重要性和創新性

藥物警戒檢查是由藥品監督管理部門根據監管需要對持有人按有關技術規范要求進行的監督檢查。《新規范》自2021年12月1日起正式施行，在此之前，各省級藥品監督管理部門需督促本行政區域內的持有人做好相關準備工作，同時通過加強日常檢查等監督和指導持有人按要求執行《新規范》[10］。與過去的藥品不良反應監測相比，藥物警戒的監測對象、范圍、方法均更廣泛，尤其在風險識別、控制和管理方面對持有人提出了更高要求[11］。但現有檢查指導原則只有檢查要點，沒有缺陷分級，在藥品不良反應監測向藥物警戒過渡的背景下，只對檢查問題進行描述較難直觀地呈現持有人藥物警戒體系的整體構建情況，尤其持有人數量較多時，監管部門很難從幾十或上百份檢查報告中了解轄區持有人的工作狀況。因此，本研究中以解決監管難點為出發點，構建量化評分體系，并于2020年和2021年應用于實際檢查中。通過量化檢查結果進行數據分析和雷達圖展示，能更全面、直觀地呈現持有人藥物警戒體系的構建情況。

3.2 評分指標及權重確定的合理性和科學性

本研究中以《指南》《公告》為基礎構建量化評分體系，檢查指標直接由檢查要點轉化，合理性、可操作性均較強。采用德爾菲法確定權重，由專家根據經驗對權重進行賦值，再對指標進行綜合評估。本次咨詢的專家全部來自藥物警戒相關領域；相關工作從業年限為5～13年；7名實施過藥物警戒檢查，2名在持有人中擔任藥物警戒負責人。本次咨詢的Cr為0.931，一級指標的Kendall's W為0.824，二級指標和三級指標指標數目雖多，但Kendall's W在0.4～0.7范圍內，提示此次專家咨詢結果可靠。

從最終權重分配比例來看，評價與控制的權重最高，質量管理體系、個例報告的權重較高，組織機構和人員管理次之，最后為境外報告、群體/聚集性不良事件、定期安全性更新報告（PSUR）和重點監測。該權重分配比例體現了以下三點：1）評價與控制權重高，符合《新規范》關于提高持有人風險評估和控制能力的要求；2）在機構和人員配備完善的基礎上，質量管理體系和個例報告的相關工作是否做實、做細最能反映持有人工作狀況的差異，故權重均較高；3）符合工作實際，本地區持有人2020年和2021年幾乎未涉及境外報告、群體/聚集性不良事件和重點監測相關工作，而PSUR與藥品再注冊掛鉤，屬藥品生產企業辦理再注冊許可時必須按有關要求提交的報告，故權重均較低。

3.3 量化評分體系的應用

1）可用于評估持有人藥物警戒體系構建的整體水平。36家持有人中，2家體系構建基本完善，符合《新規范》要求；21家體系構建較完善，但仍有部分制度文件或工作程序不符合《新規范》要求，還需修訂、更新；13家持有人體系構建尚未成形，需加大力度整改。2）可用于縱向評估持有人體系構建的進度，尤其在連續多次檢查過程中，通過對比綜合評分和雷達圖面積，可直觀地呈現整改效果。3）可用于構建藥品監管的風險矩陣，根據風險級別合理規劃監管措施，指導相關工作的開展。

3.4 局限性

本研究中咨詢專家均來自同一地區，故在權重分配上具有地區特色。地區性政策和持有人的情況不同，各省（直轄市）對檢查指標的權重分配意見可能不同，如PSUR在部分省（直轄市）不屬于再注冊時必須提交的報告；部分地區跨國企業較多，境外報告相關的指標權重比例可能更高。結合2022年4月發布的《藥物警戒檢查指導原則》（國藥監藥管〔2022〕17號），量化評分指標需繼續進行優化和更新。