蔡江波
(江蘇省食品藥品監(jiān)督管理局認(rèn)證審評中心,江蘇 南京 210002)
定量檢測體外診斷試劑臨床試驗統(tǒng)計方法常見問題分析
蔡江波
(江蘇省食品藥品監(jiān)督管理局認(rèn)證審評中心,江蘇 南京 210002)
目的采用正確的統(tǒng)計分析方法對定量體外診斷試劑臨床試驗數(shù)據(jù)進(jìn)行評價,以得出科學(xué)、合理的臨床試驗結(jié)論。方法介紹4種常見臨床試驗統(tǒng)計分析方法及各自優(yōu)缺點(diǎn),列出常見錯誤并進(jìn)行分析。結(jié)果單一、不當(dāng)?shù)慕y(tǒng)計分析方法可能會得出錯誤的結(jié)論。結(jié)論應(yīng)采取多種方法從不同角度對2種檢測系統(tǒng)的一致性進(jìn)行綜合評價,并加強(qiáng)統(tǒng)計分析人員專業(yè)知識培訓(xùn)。
定量檢測;體外診斷試劑;臨床試驗;統(tǒng)計分析
臨床試驗作為體外診斷試劑產(chǎn)品研發(fā)過程中評價安全性和有效性的重要內(nèi)容,試驗方案的設(shè)計至關(guān)重要。如何選擇統(tǒng)計分析方法對不同檢測系統(tǒng)的檢測結(jié)果一致性進(jìn)行科學(xué)、合理地分析評價,是生產(chǎn)企業(yè)比較關(guān)心的一個問題。對于定量檢測體外診斷試劑,生產(chǎn)企業(yè)一般會選取公認(rèn)的、質(zhì)量可靠的同類試劑進(jìn)行臨床對照和一致性分析。目前,常見的定量體外診斷試劑臨床試驗統(tǒng)計分析方法有相關(guān)性分析、偏倚估計、配對 t檢驗、Bland-Altman分析等,不同統(tǒng)計方法側(cè)重點(diǎn)不同,且各有局限性,分析相同的試驗數(shù)據(jù)可能會得出相反的結(jié)論[1]。因此,應(yīng)根據(jù)具體情況選擇合理的統(tǒng)計學(xué)方法,隨便選取一種方法進(jìn)行分析或選取的方法不盡合理,有時也能得出一致性的結(jié)論,但結(jié)論缺乏合理性和可靠性。
將試驗用體外診斷試劑、對比試劑、配套用檢測儀器、校準(zhǔn)品、質(zhì)控品和檢測程序分別作為各自獨(dú)立的檢測系統(tǒng),對同一樣本進(jìn)行檢測,由于存在系統(tǒng)誤差和隨機(jī)誤差,兩系統(tǒng)的檢測結(jié)果不可能完全一致,因此需對偏倚/偏差是否可以被臨床接受作出評價。根據(jù)《體外診斷試劑臨床試驗技術(shù)指導(dǎo)原則》及相關(guān)產(chǎn)品技術(shù)審評指導(dǎo)原則,試驗用樣本例數(shù)屬于大樣本,可用4種方法進(jìn)行分析。
1.1 線性相關(guān)與回歸分析
相關(guān)分析以對比系統(tǒng)測定值為 X軸、試驗系統(tǒng)測定值為 Y軸作散點(diǎn)圖,根據(jù)散點(diǎn)圖判斷兩者的相關(guān)程度,計算樣本相關(guān)系數(shù) r。r反映了具有直線關(guān)系的2個變量間的相關(guān)關(guān)系密切程度和相關(guān)方向,在定量體外診斷試劑臨床試驗中,r一般為正相關(guān),r越接近1,說明2個變量相關(guān)程度越強(qiáng),越接近0,相關(guān)程度越弱。如果2個變量都符合正態(tài)分布,采用Pearson相關(guān)系數(shù);如2個變量為非正態(tài)分布時,應(yīng)通過對數(shù)轉(zhuǎn)換等方法使之符合正態(tài)分布,再根據(jù)變換值計算相關(guān)系數(shù),或者直接采用Spearman相關(guān)系數(shù)。
樣本相關(guān)系數(shù) r是總體相關(guān)系數(shù) ρ的一個估計值,與總體相關(guān)系數(shù) ρ之間存在抽樣誤差,因此需對 r作總體相關(guān)系數(shù) ρ是否為0的假設(shè)檢驗,判斷兩者的差異是否有統(tǒng)計學(xué)意義。通過最小二乘法計算回歸系數(shù)b和截距 a,建立樣本線性回歸方程 Y=a+bX,并對總體回歸方程=α+β X作假設(shè)檢驗,即檢驗 b是否為β=0的總體中的一個隨機(jī)樣本,可采用 t檢驗或F檢驗。
相關(guān)系數(shù) r對系統(tǒng)誤差不敏感,不能檢出恒定或成比例的偏倚,不能判定檢驗結(jié)果的一致性。截距 a反映試驗系統(tǒng)與對比系統(tǒng)的系統(tǒng)誤差,回歸系數(shù) b偏離1的程度反映兩者的比例誤差。
1.2 配對 t檢驗或配對符號秩和檢驗
定量體外診斷試劑臨床試驗一般采用對比系統(tǒng)和試驗系統(tǒng)對同一個樣本進(jìn)行檢測,可采用配對設(shè)計定量資料。配對設(shè)計定量資料分為配對 t檢驗或Wilcoxon配對符號秩和檢驗,配對 t檢驗是對2種檢測系統(tǒng)檢驗結(jié)果差值的總體均數(shù)是否為0的檢驗,配對秩和檢驗是對2種檢測系統(tǒng)檢驗結(jié)果的差值的總體中位數(shù)是否為0的檢驗。當(dāng)檢驗結(jié)果的差值符合正態(tài)分布時可采用配對 t檢驗,當(dāng)差值結(jié)果偏離正態(tài)分布較大時可采用Wilcoxon配對符號秩和檢驗。
配對 t檢驗主要檢驗的是2個檢驗系統(tǒng)的系統(tǒng)誤差是否有差異,是對“差異”的檢驗,對系統(tǒng)誤差敏感,對隨機(jī)誤差不敏感[2-3],不能解決一致性問題。配對符號秩和檢驗省略了具體的值,只是對樣本進(jìn)行排序,適用范圍廣,但檢驗效率不如配對 t檢驗高。當(dāng)假設(shè)檢驗H0不真時,配對符號秩和檢驗犯第二類錯誤的可能性大于配對 t檢驗。
1.3 偏倚估計EP9-A2法[4-5]
EP9-A2文件《用患者樣本進(jìn)行方法學(xué)比對及偏倚評估》是美國臨床和實(shí)驗室標(biāo)準(zhǔn)協(xié)會(CLSI)發(fā)布的正確度比對評價方案,主要用于評估2種臨床檢驗方法或設(shè)備間的偏倚和使用患者標(biāo)本進(jìn)行方法學(xué)比較的試驗設(shè)計及數(shù)據(jù)分析。每份樣本按2種方法各自順反序重復(fù)測試2次,濃度應(yīng)盡可能寬,50%以上的濃度處于參考區(qū)間外。以試驗系統(tǒng)測定結(jié)果為 Y、對照系統(tǒng)測定結(jié)果為X,將數(shù)據(jù)繪制成4張圖,分別是2張散點(diǎn)圖和2張偏倚圖,目測2種試驗方法的線性關(guān)系、離散的均勻性是否可接受。對照系統(tǒng)測定范圍是否合適可用相關(guān)系數(shù) r作粗略估計。一般情況下,如 r≥0.975(或 r2≥0.95)則認(rèn)為X的取值范圍合適,可用直線回歸估計斜率、截距,否則應(yīng)擴(kuò)大數(shù)據(jù)范圍。計算線性回歸方程、預(yù)期偏倚和95%置信區(qū)間,如醫(yī)學(xué)決定水平(或參考范圍的兩端)的預(yù)期偏倚的置信區(qū)間與允許誤差的限值相比較,小于規(guī)定的允許誤差的限值,試驗系統(tǒng)可被接受,大于規(guī)定的允許誤差的限值,試驗系統(tǒng)不可被接受。允許誤差建議采用小于或等于1/2CLIA88或室間質(zhì)評可接受范圍。該方案程序數(shù)據(jù)處理煩瑣,耗時,成本高。

1.4 Bland-Altman分析法
Bland-Altman分析法由英國學(xué)者Bland JM和Altman DG提出。該方法以2種檢驗方法的均值為橫軸,以2種檢驗方法的差值為縱軸,繪制散點(diǎn)圖,同時計算差值的均數(shù) d及差值的95%分布范圍,以圖形的方式確定一致性界限LoA(d-1.96Sd,d+1.96Sd)[6-7]。LoA越窄,2種檢驗方法的一致性程度越高。如果95%的差值位于一致性界限以內(nèi),且與臨床可接受的界限值比較可接受,就可以認(rèn)為2種檢測方法一致性較好。d與 y=0水平線的距離反映系統(tǒng)誤差的大小,Sd則估計隨機(jī)誤差的波動程度,反映隨機(jī)誤差的大小。此外,還應(yīng)考慮抽樣誤差的情況,計算LoA的置信區(qū)間。該法同時反映了系統(tǒng)誤差和隨機(jī)誤差對2種測量方法一致性的影響,可根據(jù)坐標(biāo)圖直觀判斷一致性程度[8]。
Bland-Altman分析法要求2種檢驗方法數(shù)據(jù)的覆蓋范圍盡量寬,差值符合正態(tài)分布,差值與均值不相關(guān),如果差值與均值相關(guān)時,可通過對數(shù)轉(zhuǎn)換或采用2種測量方法結(jié)果的比值,但在實(shí)際測量過程中,轉(zhuǎn)化后相關(guān)性仍存在[9]。
2.1 統(tǒng)計方法單一
不同的統(tǒng)計方法各有側(cè)重,僅僅通過單一的統(tǒng)計方法可能得出錯誤的結(jié)論[10]。如僅僅通過計算相關(guān)性或配對 t檢驗就得出2種檢驗系統(tǒng)結(jié)果一致性的結(jié)論。相關(guān)分析回答的是2種方法檢測結(jié)果之間的密切程度,配對 t檢驗關(guān)注的是2種方法檢測結(jié)果的平均差值是否等于0,兩者單獨(dú)使用時并不能回答檢驗結(jié)果的一致性問題[11]。存在系統(tǒng)誤差,如試驗系統(tǒng)結(jié)果總是高于或低于對照系統(tǒng)時,配對 t檢驗顯示一致性較差,而相關(guān)性分析仍能得到較好的線性相關(guān)系數(shù)[12]。Bland-Altman分析法檢驗結(jié)果可能顯示偏差在一致性界限內(nèi),會得出一致性較好的結(jié)論。以某生化試劑臨床試驗為例,通過觀察200例樣本的臨床數(shù)據(jù),發(fā)現(xiàn)試驗用試劑檢測結(jié)果與對比試劑檢測結(jié)果非常接近,但大部分?jǐn)?shù)據(jù)略高于對照數(shù)據(jù)1~2 g/mL,根據(jù)專業(yè)知識,兩者差異較小,沒有臨床意義。此時統(tǒng)計分析結(jié)果為相關(guān)系數(shù) r≥0.975,相關(guān)性很好,由于存在系統(tǒng)誤差,配對 t檢驗結(jié)果為有顯著性差異(P<0.05);采用Bland-Altman檢驗,結(jié)果為一致性較好。
此外,由于相關(guān)系數(shù) r檢驗時與0相比,如果回歸系數(shù) b值過低或過高,r仍可通過顯著性檢驗。如試驗方案采用參考值差異較大的2種試劑作對比試驗時,回歸系數(shù) b偏離1較遠(yuǎn),仍可得到較好的線性相關(guān)系數(shù),但兩者檢驗結(jié)果存在較大差異,無法得出一致性結(jié)論。
2.2 統(tǒng)計方法選擇不當(dāng)
每種統(tǒng)計方法均有各自的適用條件和局限性,如果不對試驗數(shù)據(jù)進(jìn)行初步分析,任選一種統(tǒng)計分析方法,方法使用不當(dāng),可能會造成錯判。如一些產(chǎn)品的臨床試驗數(shù)據(jù)為偏態(tài)分布,統(tǒng)計分析人員未進(jìn)行數(shù)據(jù)正/偏態(tài)分布檢驗或未進(jìn)行數(shù)據(jù)轉(zhuǎn)換,直接選用與正態(tài)分布相關(guān)的分析方法如Pearson相關(guān)系數(shù)、配對 t檢驗、Bland-Altman分析法等試驗方法來確定一致性,可能會得出錯誤的結(jié)論。Bland-Altman分析法圖中散點(diǎn)分布呈現(xiàn)相關(guān)線性趨勢時仍采用該方法進(jìn)行評價,也不能正確評價兩者結(jié)果的一致性。
2.3 未考慮樣本與總體的關(guān)系
臨床試驗是抽樣檢驗,一般選取顯著性水平α為0.05對總體進(jìn)行假設(shè)檢驗。一些臨床試驗結(jié)果一致性的結(jié)論是在樣本檢驗的基礎(chǔ)上直接得出的,未考慮抽樣誤差的影響,缺少假設(shè)檢驗,未對總體進(jìn)行評價,如對線性相關(guān)、回歸系數(shù)、Bland-Altman分析法的一致性界限未作95%置信區(qū)間的顯著性檢驗[7]。
2.4 分析結(jié)果與試驗結(jié)論不一致
臨床試驗過程缺少專業(yè)統(tǒng)計分析人員參與,或者部分統(tǒng)計分析人員對統(tǒng)計專業(yè)知識理解不夠,對假設(shè)檢驗不理解,導(dǎo)致分析結(jié)果與試驗結(jié)論不一致。如對回歸方程進(jìn)行總體假設(shè)檢驗分析時,對截距進(jìn)行 t檢驗,結(jié)論顯示有顯著性差異,或者未對截距進(jìn)行假設(shè)檢驗,卻直接得出兩者一致性結(jié)論。
3.1 合理運(yùn)用多種分析方法進(jìn)行評價
在定量體外診斷試劑臨床試驗的一致性評價過程中,臨床試驗研究人員應(yīng)充分了解各種醫(yī)學(xué)統(tǒng)計分析方法的優(yōu)缺點(diǎn)和適用條件,在設(shè)計臨床試驗方案時兼顧系統(tǒng)誤差和隨機(jī)誤差對試驗結(jié)果的影響,結(jié)合產(chǎn)品臨床檢測意義,確定一致性評價方法[13-15]。
統(tǒng)計分析人員應(yīng)根據(jù)臨床數(shù)據(jù)的正/偏態(tài)分布情況選擇合適的統(tǒng)計分析方法。一般而言,在相關(guān)分析和回歸方程分析的基礎(chǔ)上,應(yīng)重點(diǎn)對截距或偏倚/偏差進(jìn)行統(tǒng)計分析,可采取多種方法從不同角度進(jìn)行分析。當(dāng)分析方法的結(jié)論不一致時,應(yīng)結(jié)合產(chǎn)品實(shí)際情況和臨床意義,如醫(yī)學(xué)決定水平處的偏倚/偏差等,對2種檢測系統(tǒng)的偏倚/偏差是否可接受進(jìn)行綜合評價,使評價更加科學(xué)、有效。
3.2 加強(qiáng)統(tǒng)計分析人員專業(yè)知識培訓(xùn)
統(tǒng)計分析人員參與從臨床試驗方案設(shè)計到臨床試驗報告完成的全過程,人員的專業(yè)知識水平直接影響臨床試驗結(jié)果,因此應(yīng)加強(qiáng)對統(tǒng)計分析人員的專業(yè)知識培訓(xùn),提高統(tǒng)計分析能力,以便在臨床研究過程中及時發(fā)現(xiàn)問題并進(jìn)行修改,從源頭上減少統(tǒng)計分析錯誤的發(fā)生。
[1]蘇武錦.檢測系統(tǒng)間方法學(xué)比對實(shí)驗數(shù)據(jù)處理方法的探討[J].國際檢驗醫(yī)學(xué)雜志,2013,34(9):1 138-1 140.
[2]馬斌榮.醫(yī)學(xué)統(tǒng)計學(xué)[M].第5版.北京:人民衛(wèi)生出版社,2008:35.
[3]余松林 .醫(yī)學(xué)統(tǒng)計學(xué)[M].北京:人民衛(wèi)生出版社,2002:48-57.
[4]NCCLS EP9-A2.Method comparison and bias estimation using patientsamples;Approved Guideline-second edition [S].Wayne,PA:NCCLS,2002.
[5]楊有業(yè),張秀明.臨床檢驗方法學(xué)評價[M].北京:人民衛(wèi)生出版社,2008:118-128.
[6]陳 卉.Bland-Altman分析在臨床測量方法一致性評價中的應(yīng)用[J].中國衛(wèi)生統(tǒng)計,2007,24(3):308-315.
[7]繆華章,陳 林,劉玉秀.定量方法對比研究一致性評價Bland-Altman法LoA的可信區(qū)間估計[J].中國衛(wèi)生統(tǒng)計,2014,31(1):64-67.
[8]李鎰沖,李曉松.兩種測量方法定量測量結(jié)果的一致性評價[J].現(xiàn)代預(yù)防醫(yī)學(xué),2007,34(17):3 263-3 266.
[9]薩 建,劉桂芬.定量測量結(jié)果的一致性評價及Bland-Altman法的應(yīng)用[J].中國衛(wèi)生統(tǒng)計,2011,28(4):409-411.
[10]曾憲飛,李軍民,談 昀,等.不同評價方案在臨床比對試驗應(yīng)用的方法學(xué)探討[J].現(xiàn)代檢驗醫(yī)學(xué)雜志,2012,27(2):66-69.
[11]張時民.配對 t檢驗和相關(guān)分析中的誤區(qū)[J].江西醫(yī)學(xué)檢驗,2001,19(5):303-305.
[12]李衛(wèi)寧,吳志成.不同生化試劑檢測結(jié)果的比較研究[J].現(xiàn)代檢驗醫(yī)學(xué)雜志,2006,21(2):56-57.
[13]朱 川,曹生亞.腦梗死患者紅細(xì)胞比容不同檢測方法的一致性評價[J].齊齊哈爾醫(yī)學(xué)院學(xué)報,2014,35(2):199-200.
[14]周金玉,孫增先,許 靜,等.酶放大免疫分析法與高效液相色譜法檢測人血漿中丙戊酸濃度比較[J].中國新藥與臨床雜志,2012,31(12):748-751.
[15]周宇豪,許金芳,賀 佳.診斷試驗一致性評價中幾種方法的比較及應(yīng)用[J].中國衛(wèi)生統(tǒng)計,2011,28(1):40-46.
Analysis of Problems of Statistic Analysis Methods Used in Quantitative Testing IVD Clinical Trials
Cai Jiangbo
(Center for Certification and Evaluation,Jiangsu Food and Drug Administration,Nanjing,Jiangsu,China 210002)
Objective To use right statistical analysis methods to evaluate quantitative testing in vitro diagnostic reagent(IVD)clinical trial data and get scientific and reasonable conclusion.Methods 4 common statistical analysis methods used in clinical trials and their advantages and disadvantages were introduced,and the problems of statistical analysis were pointed out and analyzed.Results Only 1 statistic analysis method or misuse of statistical analysis method might lead to false trial conclusion.Conclusion Multi-methods of statistical analysis should be adopted in agreement evaluation of 2 testing systems and researchers should be trained professionally.
quantitative testing;in vitro diagnostic reagent;clinical trial;statistical analysis
R954
A
1006-4931(2016)24-0007-03
蔡江波(1981-),女,碩士研究生,主管藥師,主要從事認(rèn)證審評工作,(電話)025-84536872(電子信箱)caijiangbo2611@163.com。
2016-09-14)