TG-ROC分析方法在檢測試劑質量評價中的應用

杜加亮,陳　佑,高加梅,劉悅越,劉　艷,范行良,于晴川,唐年勝,國　泰

(中國食品藥品檢定研究院腸道病毒疫苗室,北京 100050)

?

·論著·

TG-ROC分析方法在檢測試劑質量評價中的應用

杜加亮,陳佑#,高加梅,劉悅越,劉艷,范行良,于晴川,唐年勝,國泰△

(中國食品藥品檢定研究院腸道病毒疫苗室,北京 100050)

目的比較人類T淋巴細胞白血病病毒(HTLV)ELISA檢測試劑和Western Blot(簡稱WB)確認試劑的關系，分析HTLV檢測試劑的質量水平。方法通過WB確認試劑對156份ELISA初篩陽性的人血清標本進行HTLV抗體的檢測，使用TG-ROC分析方法來選出ELISA最佳CO值(閾值)，以2×2列聯表分析這兩種檢測結果的一致性，并用McNemar檢驗評估檢測結果的一致性，綜合評價HTLV檢測試劑質量水平。結果156份ELISA初篩陽性的人血清標本經過WB進行確證后僅有40份為陽性，其余116份為陰性。TG-ROC分析結果得出該ELISA檢測試劑的敏感性和特異性分別為97.5%和45.7%，McNemar檢驗也表明ELISA與WB檢測結果差異有統計學意義(P<0.05)。通過調整閾值，能使ELISA敏感性和特異性同時達到88.8%(參數法)。比較參數法和非參數法，得到曲線下面積為0.923 5(參數法)，兩者的結論基本一致。結論雖然該ELISA試劑結果與WB結果有差別，但是通過調整閾值，可以提高其敏感性和特異性，繼而增加診斷結果的可靠性。

檢測試劑；質量評價；TG-ROC

檢測試驗是指檢測患者患病與否所采用的實驗室檢驗、醫療儀器檢驗等[1-2]。檢測試驗除了能分辨就診患者的患病情況，還能用于療效判斷、疾病預防與控制以及治療不良反應評價等。檢測試驗的可靠性大小依賴于對檢測結果的正確評價。正確評價檢測試驗主要依賴以下方面：(1)對陰性和陽性結果的判斷標準即閾值，在酶聯免疫吸附試驗(ELISA)中也稱Cut-Off值(簡稱CO值)[3]。(2)特異性和敏感性。(3)確診符合率。不同的檢測試驗對結果的評價標準也不一樣，對誤診率和漏診率的要求也因病而異。如何科學地正確評價試驗的各項指標好壞成為了主要的問題。

受試者工作特征(ROC)曲線分析方法被公認為是一種全面、準確評價檢測試驗的有效統計工具，通過計算曲線下面積(AUC)來評價試驗的準確性[4]。TG-ROC分析方法是ROC分析方法的改進[5]，它不僅繼承了ROC的分析方式，還更加直觀地反映敏感性和特異性對CO值的走向，從而使人們結合實際情況選擇最佳CO值，以獲得檢測試驗的最大準確性。本研究的主要目的是應用TG-ROC分析方法對檢測試驗的結果進行綜合評價，并根據各種條件選出相應的最佳CO值來作為檢測試驗的閾值。現報道如下。

1　材料與方法

1.1標本來源156份人血清標本是從我國19個省(市)血液中心采集的122 470份無償獻血員中經ELISA篩查得到的人類T淋巴細胞白血病病毒(HTLV)抗體陽性標本[5]。

1.2主要試劑HTLV抗體檢測試劑盒(雙抗原夾心酶聯免疫法)購自北京萬泰生物藥業股份有限公司；ELISA陽性血清利用Western Blot(簡稱WB)進行確證，WB試劑盒(HTLV BLOT 2.4)購自新加坡Genelabs公司。

1.3統計學處理利用TG-ROC分析方法計算ELISA檢測試劑的敏感性和特異性，結果以數值(95%CI)表示。利用McNemar檢驗方法驗證ELISA與WB檢測結果的差異。同時分別通過參數法和非參數法調整閾值，使ELISA檢測試劑的敏感性和特異性同時達到最優。

2　結　　果

2.1156份標本的ELISA和WB檢測結果ELISA檢測試劑共篩查出156份陽性血清標本，經過WB進行確證后僅有40份為陽性，其余116份為陰性。ELISA檢測結果表明，大部分標本的OD值集中在0.0～1.6。其中，WB陰性標本的OD值主要集中在0.0～0.9，說明陰性檢測結果的OD值應偏低；WB陽性標本的OD值主要集中1.5～3.0，符合陽性檢測結果的實際情況。標本總體的OD值為0.866 7±0.819 0，其中WB陰性標本的OD值為0.534 0±0.552 0，WB陽性標本OD值為1.848 6±0.691 3。對應總體、陰性組、陽性組的變異系數(CV)分別為0.945 0、1.035 3、0.372 6。CV越大，表示遠離均值的標本較多，說明檢測試驗的檢測結果不穩定。見圖1。

圖1　　156份陽性血清標本的ELISA檢測OD值分布

2.2TG-ROC分析ELISA的敏感性和特異性及閾值預測TG-ROC分析方法認為，敏感性和特異性相等時，所對應的CO值為最佳的閾值，這個點恰好是敏感性和特異性曲線的交點,見圖2。使用R軟件編寫程序進行TG-ROC分析，參數法得到閾值為1.015，對應的敏感性和特異性為0.888(0.789，0.985)、0.888(0.830，0.945)；最大有效性法和最小錯誤分類成本法得到的閾值均為1.137，相應的敏感性和特異性為0.854(0.744，0.963)、0.902(0.848，0.956)。參數法的曲線下面積(AUC)為0.923 5(0.870 2，0.958 2)。

非參數法得到TG-ROC閾值為1.021，敏感性和特異性為0.850(0.709，0.929)、0.853(0.778，0.906)；最大有效性法和最小錯誤分類成本法得到的閾值均為1.197，敏感性和特異性為0.800(0.652，0.895)、0.914(0.849，0.953)。非參數法的AUC為0.922 5(0.876 7，0.968 4)，與參數法的結果相近。

2.3McNemar檢驗方法驗證ELISA與WB檢測結果的差異將WB和ELISA的檢測結果(以本文2.2中根據TG-ROC預測的閾值重新判斷得到的ELISA陰陽性結果)進行McNemar檢驗，差異有統計學意義(P<0.05)，說明ELISA檢測結果與WB結果有差異。通過計算，ELISA檢測結果符合率為0.590，符合率較低，說明ELISA結果與實際情況有些差別。試劑的敏感性和特異性為0.975、0.457，假陰性率和假陽性率為0.025、0.543，陽、陰性預測值為0.382、0.981。敏感性高，說明該試劑可以檢出標本中的97.5%，假陰性較少；但特異性較低，容易誤診導致出現較多假陽性。該試劑的陰性預測值較高，說明陰性結果的標本中，確有98.1%的標本為陰性，證明該試劑用來排除陽性的效果比較好。見表1。

圖2　　TG-ROC分析ELISA敏感性和特異性

ELISA法WB法陰性陽性合計陰性53154陽性6339102合計11640156

3　討　　論

ROC曲線源于一種軍事技術,起初具有重要的軍事價值[6]。20世紀70年代以來， ROC曲線被推廣到醫學界[7]，1973年，Simpson等[8]提出以AUC作為檢測工具的分辨能力指標，即檢測試驗可靠性評價,并得到了廣泛應用[9-10]。1995年，Greiner等[4]對ROC進行改進，提出了TG-ROC分析方法，Lanyon等[11]將該方法運用于牛腹瀉病毒ELISA診斷試驗評價中，但在國內關于TG-ROC分析方法在檢測試驗評價中應用的報道較少。

TG-ROC分析結果表明，該試劑所選用的檢測閾值偏低，容易誤診，致使假陽性者偏多，加大了召回成本和診斷成本，造成浪費。分別以參數法和非參數法計算該試驗對閾值選取的不同所得到的敏感性和特異性，并選取最佳閾值，計算相應的AUC。計算結果表明，參數法選擇1.015作為檢測閾值，檢測試驗能達到88.8%的敏感性和特異性，非參數法選擇1.021作為檢測閾值，其敏感性和特異性能達到85.0%。參數法所得AUC為0.923 5，與非參數法得到的0.922 5非常接近，說明無論選取參數法的1.015，還是非參數法的1.021作為檢測閾值，該檢測試驗的準確性都比較高。另外計算了效率極大化和誤判成本極小化所選取的閾值，但所得到的敏感性都稍微偏低。

McNemar檢驗結果表明，ELISA結果與WB結果有差異(P<0.05)，ELISA較低的符合率，說明該試劑檢測結果與WB的結果一致性不高。較低的特異性和陽性預測值說明該試劑對陽性的分辨力不強，容易檢出大量假陽性，但高達97.5%的敏感性和98.1%的陰性預測值預示著該試劑若作為排除陽性來使用，可靠性是最佳的。因此，將該試劑用來排除陽性，對緩解疫情區人們的心理壓力，提高人們對疾病預防和控制的信心有很大幫助。同時，該試劑對患病組檢測出陽性率較高，能有效檢測出患者，指導相關單位采取行動對該疾病進行控制和治療。

綜上所述，在臨床研究和實踐中，通過檢測試驗可以迅速發現患者，診斷疾病或判斷疾病嚴重程度，試驗的結果直接關系到疾病的預后工作。因此，檢測試驗結果能否真實反映患者的情況以及疾病檢測準確性高低顯得非常重要。檢測閾值是試驗結果判斷的重要標準，但并非唯一標準。通過以上TG-ROC的分析可了解到，檢測閾值的選擇影響著檢測試驗的可靠性和真實性。適當調整檢測閾值，可以提高檢測試劑的敏感性和特異性，減少漏診和誤診帶來問題。本研究結果還提示，對于檢測試驗與金標準不一致的情況，不能定論該試驗是無效的，或者毫無價值。應繼續計算其他指標，綜合評價該試驗的價值。另外，參數法和非參數法的選取因人而異，且結論一致。因此，無論采用何種方法進行檢測試驗評價都不會產生太大的差別。TG-ROC方法綜合ROC的評價方法，對確定檢測閾值，評價檢測試劑和分析比較的功能都比ROC更勝一籌。對TG-ROC的推廣，增加檢測試驗的評價手段，并對檢測閾值給出科學計算方法，這都是本研究接下來要做的工作。

[1]金丕煥．醫用統計學方法[M]．上海：復旦大學出版社，1993：424-430．

[2]Winther H,J?rgensen JT.Drug-Diagnostic Co-Development in cancer[J].Pharmaceut Med,2010,24(6):363-375.

[3]Claudia P,Oscar V,Arturo B,et al.Anthropometric cutoff points for predicting chronic diseases in the Mexican National health survey 2000[J].Obes Res,2003,11(6):442-451.

[4]Greiner M,Sohr D,G?bel P.A modified ROC analysis for the selection of cut-off values and the definition of intermediate results of serodiagnostic tests[J].J Immunol Methods,1995,185(1):123-132.

[5]Du J,Chen C,Gao J,et al.History and update of HTLV infection in China[J].Virus Res,2014,191(1):134-137.

[6]Zou KH,O′malley AJ,Mauri L.Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models[J].Circulation,2007,115(5):654-657.

[7]Lusted LB.Signal detectability and medical decision-making[J].Science,1971,171(3977):1217-1219.

[8]Simpson AJ,Fitter MJ.What is the best index of detectability[J].Psychol Bull,1973,80(6):481-488.

[9]Bamber D.The area above the ordinal dominance graph and the area below the receiver operating characteristic graph[J].J Math Psych,1975,12(4):387-415.

[10]Hanley JA,Mcneil BJ.A method of comparing the areas under receiver operating characteristic curves derived from the same cases[J].Radiology,1983,148(3):839-843.

[11]Lanyon SR,Anderson ML,Bergman E,et al.Validation and evaluation of a commercially available ELISA for the detection of antibodies specific to bovine viral diarrhoea virus(bovine pestivirus)[J].Aust Vet J,2013,91(1/2):52-56.

Application of TG-ROC analytical method in detection reagent quality evaluation*

DUJialiang,CHENYou#,GAOJiamei,LIUYueyue,LIUYan,FANXingliang,YUQingchuan,TANGNiansheng,GUOTai△

(DivisionofEntericViralVaccine,NationalInstitutesforFoodandDrugControl,Beijing100050,China)

ObjectiveTo compare the relationship between the enzyme-linked immunosorbent assay(ELISA) reagent and Western blot(WB) confirmation reagent for analyzing the quality lever of human T-cell lymphotropic virus(HTLV) detection reagent.MethodsThe WB confirmation reagent was used to detect anti-HTLV antibody in 156 human serum samples of ELISA preliminary screening positive.The ELISA cut-off value(optimal value) was selected by using the two-graph receiver operating characteristics(TG-ROC) analytical method.The two-by-two table analysis was constructed to analyze the consistency of results detected by the two methods,moreover the McNemar test was used to evaluate the consistency of detection results.The quality level of HTLV detection reagent was comprehensively evaluated.ResultsAmong 156 serum samples of ELISA preliminary screening positive,only 40 samples were positive by the WB confirmation,and other 116 samples were negative.The sensitivity and specificity of ELISA detection reagent obtained by TG-ROC analysis were 97.5% and 45.7% respectively,the TG-ROC test also indicated that the detection results had significant difference between ELISA and WB(P<0.05).By adjusting the cut-off value,the sensitivity and specificity of ELISA were increased to 88.8%(parametric method).In the comparison of the parametric method and the non-parametric method,the obtained areas under the curve(AUC) was 0.923 5(parametric method),their results were basically consistent.ConclusionAlthough above results indicate that the detection results of ELISA reagent are different from those of WB,but adjusting the cut off value can increase its sensitivity and specificity,thus increases the reliability of diagnosis result.

detection reagent;quality evaluation;TG-ROC

國家“十二五”重大傳染病專項基金資助項目(2012ZX10004-702)。

杜加亮，男，助理研究員，主要從事生物制品質量研究。#共同第一作者：陳佑，男，碩士研究生在讀，主要從事生物學統計模型研究。△

，E-mail：guotai@nifdc.org.cn。

10.3969/j.issn.1673-4130.2016.17.001

A

1673-4130(2016)17-2361-03

2016-04-07

2016-06-15)