隨機缺失下閾值和靈敏性的聯(lián)合估計

程偉麗,吳瑩,左衛(wèi)兵

(1.華北水利水電大學 數(shù)學與統(tǒng)計學院,鄭州 450046;2.云南大學 數(shù)學與統(tǒng)計學院,昆明 650500)

在診斷醫(yī)學中,受試者測試特征曲線(簡稱為ROC曲線)是常用的衡量連續(xù)型診斷檢驗診斷能力的一個統(tǒng)計工具.隨著閾值的變化,正確診斷有病體的概率—靈敏性(Se)和正確診斷無病體的概率—特異性(Sp)會向相反方向變化,以1-Sp為橫坐標,以Se為縱坐標,將這些點連起來就構成了ROC曲線.有關ROC曲線可以參看文獻[1].

通過一個連續(xù)性診斷檢驗值來診斷受試者是有病或者是無病,需要選擇一個閾值,最優(yōu)閾值τ的選擇非常重要.設有病體生物指標X和無病體生物指標Y的分布函數(shù)分別是F(·)和G(·),不失一般性,假設生物指標值越大越易患病.給定閾值τ,則靈敏性和特異性可表示為θ(τ)=Pr(X>τ)=1-F(r)和η(τ)=Pr(Y≤τ)=G(τ).通常選擇在高特異性下的閾值,一方面這會使得閾值隨著特異性的變化而變化,另一方面高特異性下的靈敏性不一定很高.為選擇一個最優(yōu)的閾值,現(xiàn)有文獻提出了以下幾種方法.文獻[2]提出基于最大化正確分類兩總體概率之和的約當指標的基礎上選擇最優(yōu)閾值,即τ=arg maxτ|{θ(τ)+η(τ)-1}|.文獻[3]提出用ROC曲線中最接近最好點(0,1)的方法選擇最優(yōu)閾值,即

文獻[4]提出最大化靈敏性和特異性乘積的方法來確定閾值τ=arg maxτ[θ(τ)η(τ)].文獻[5]提出基于兩個總體被正確分類概率的基礎上選擇閾值,即τ=argτ{θ(τ)=η(τ)}.上面所有方法選擇的閾值有可能是相同的,但是在一般情況下不同的方法選擇的閾值是不同的.由于對稱點準則容易推廣到廣義對稱點準則,即τ=argτ{θ(τ)=η(τ)},ρ是靈敏性和特異性的相對重視度,若ρ=1,廣義對稱點就是標準對稱點,鑒于不需要優(yōu)化和實際分析中需要同等重視兩總體被正確診斷的概率,本文選擇基于對稱點準則來確定閾值.

現(xiàn)有文獻中,閾值與相應的靈敏性和特異性的估計有參數(shù)、半?yún)?shù)和非參數(shù)的方法.非參數(shù)估計由于受假定錯誤的影響少而備受關注.文獻[6]用經(jīng)驗似然結合光滑化估計方程的方法在給定特異性的條件下估計靈敏性.文獻[7]采用刀切經(jīng)驗似然結合非光滑估計方程的方法去估計給定特異性下的靈敏性.文獻[8]用經(jīng)驗似然結合非光滑估計方程的方法在閾值、靈敏性和特異性三者中給定任意一個參數(shù)去估計剩余的兩個參數(shù).文獻[9]在對稱點準則下使用經(jīng)驗似然結合非光滑估計方程的方法去選擇最優(yōu)閾值和相對應的靈敏性.因此,本文也選擇用兩樣本經(jīng)驗似然結合非光滑估計方程的非參方法.

在實際應用中,受試者有可能會由于各種各樣的原因導致生物指標值的缺失,比如:研究中的退出,各種不可控因素引起的信息缺失,參看文獻[10].因此近年來,在診斷檢驗值缺失的情形下,ROC曲線的統(tǒng)計分析受到了不少的關注.文獻[11-12]研究了在完全隨機缺失數(shù)據(jù)下通過隨機熱平臺插補方法得到ROC曲線的估計和區(qū)間估計.文獻[13]研究了隨機缺失下經(jīng)驗似然結合光滑化估計方程的方法得到高特異性下靈敏性的估計和區(qū)間估計.但光滑估計方程中窗寬的選擇是一個不易解決的問題.因此,本文研究生物指標值隨機缺失情形基于對稱點原則下兩樣本經(jīng)驗似然結合非光滑估計方程的方法給出閾值和靈敏性的聯(lián)合估計和置信域.

1 缺失數(shù)據(jù)下閾值和靈敏性的經(jīng)驗似然估計

1.1 符號

1.2 兩樣本經(jīng)驗似然估計

在不存在缺失生物指標的條件下,閾值、靈敏性和特異性的兩樣本經(jīng)驗似然估計如下:基于兩樣本估計方程g1i(θ,η,τ,Xi)和g2j(θ,η,τ,Yj),定義參數(shù)(θ,η,τ)的兩樣本經(jīng)驗似然比函數(shù)

其中g1i(θ,η,τ,Xi)=I(Xi≤τ)-(1-θ),i=1,2,…,m,g2j(θ,η,τ,Yj)=I(Yj≤τ)-η,j=1,2,…,n.在對稱點θ=η的要求下,上面的兩樣本經(jīng)驗似然比函數(shù)只是關于參數(shù)((θ,τ),矩函數(shù)g1i(θ,η,τ,Xi)和g2j(θ,η,τ,Yj)分別調(diào)整為g1i(θ,τ,Xi)=I(Xi≤τ)-(1-θ),i=1,2,…,m和g2j(θ,τ,Yj)=I(Yj≤τ)-θ,j=1,2,…,n.再如上定義兩樣本經(jīng)驗似然比函數(shù)是

上面的對數(shù)經(jīng)驗似然比在真值點的漸近分布是自由度為2的標準卡方分布.這里令真值點θ0,τ0分別表示θ,τ的真值,且滿足E{[g1i(θ0,τ0,Xi),g2j(θ,τ,Yj)]T}=0的唯一解.

1.3 帶有缺失數(shù)據(jù)的兩樣本經(jīng)驗似然估計

在實際應用中,π1(Zxi)和π2(Zyj)通常是不知道的.為此,考慮傾向得分函數(shù)π1(Zxi)和π2(Zyj)是下面的logistic回歸模型:

(1)

(2)

因此,參數(shù)(θ,τ)的對數(shù)經(jīng)驗似然比函數(shù)是

(3)

2 漸近理論

為證明結論,需要如下條件.

(C1)當min(m,n)→∞,有m/N→γ1,n/N→γ2,其中0<γ1,γ2<1.

(C3)傾向得分函數(shù)π1(Zx)和π2(Zy)滿足miniπ1(Zxi)≥c1,對某個正數(shù)c1>0,minjπ2(Zyj)≥c2對某個正數(shù)c2>0.密度函數(shù)pzx(Zx)在Zx的支撐集上有界,關于Zx至少二階連續(xù)可導;pzy(Zy)在Zy的支撐集上有界,關于Zy至少二階連續(xù)可導.

(C4)存在參數(shù)β0=(θ0,τ0)∈B是矩函數(shù)φ(β)=0的唯一解.參數(shù)空B是R2緊子集,且E[supβ∈B|g(β)|]<∞和E[supβ∈B|g(β)gT(β)|]每個分量都有界.

(C7)對于所有的β∈B和所有的小正數(shù)=o(1),存在一個正數(shù)C和s∈(0,1],使得2s和2s成立.

(C8)當κ→∞時,矩函數(shù)的插補部分的條件期望mg1(β,Zx)滿足條件:(i)函數(shù)族{mg1(β,Zx),(β)∈B}是Glivenko-Cantelli;(ii)對所有的Zx∈Z存在某個1>0滿足在小鄰域N關于參數(shù)β有連續(xù)的偏導數(shù)?βmg1(β,Zx)=?mg1(β,Zx)/?β;E{supβ∈N1|?βmg1(β,Zx)}的每個分量都有界;(iii)存在s1∈(0,1]和某個滿足E[b(Zx)]<∞的可測函數(shù)b(Zx),對滿足1的光滑函數(shù)有當κ→∞時,另一個矩函數(shù)的插補部分的條件期望mg2(β,Zy)有類似上面的要求條件.

條件(C1)是兩樣本的樣本量平衡的條件,條件(C2)和(C3)是缺失數(shù)據(jù)中常要求滿足的條件,條件(C4)～(C7)是非光滑矩函數(shù)需要滿足的條件,條件(C8)是非光滑矩函數(shù)的插補部分需要滿足的條件.

定理1假設上面的條件(C1)～(C8)成立,當min(m,n)→∞和κ→∞,則有

(4)

定理2假設上面的條件(C1)～(C8)成立,當min(m,n)→∞和κ→∞,則有

(5)

3 數(shù)值模擬

在這一節(jié),實施兩個模擬研究來調(diào)查提出方法的有限樣本表現(xiàn).為了便于比較,考慮以下幾個估計:(1)GS估計,基于完整的數(shù)據(jù)集而不考慮缺失值計算的估計;(2)CC估計,只用完全觀測數(shù)據(jù)的估計;(3)IPW估計,基于logistic傾向得分函數(shù)的逆概率加權方法的估計;(4)AIPW估計,基于logistic傾向得分函數(shù)的逆概率加權和多重插補方法得到的估計.

(a)logit{π1(Zxi)}=1,logit{π2(Zyj)}=1;

(b)logit{π1(Zxi)}=1+0.4Zxi,logit{π2(Zyj)}=1+0.4Zyj,其中l(wèi)ogit(x)=ln{x/(1-x)};

(c)π1(Zxi)=Φ(0.6+0.4Zxi),π2(Zyj)=Φ(0.6+0.4Zyj),其中Φ(·)是標準正態(tài)分布的累積分布函數(shù).

這里(a)是本文1.3小節(jié)定義缺失數(shù)據(jù)機制(1)的特殊情況,即α1,1=0和α2,1=0,這對應于完全隨機缺失情況;(b)滿足缺失數(shù)據(jù)機制(1)給定的隨機缺失數(shù)據(jù)機制下的參數(shù)模型假設;(c)是隨機缺失機制,但是不滿足缺失數(shù)據(jù)機制(1)的參數(shù)模型假設,這主要是對錯誤設定傾向得分模型的穩(wěn)健分析.按上面情形產(chǎn)生的平均缺失率大約在30%左右.

表1 樣本量m=n=300 3種缺失設置下靈敏性和閾值的估計

表2 樣本量m=240,n=360 3種缺失設置下靈敏性和閾值的估計

從表1可以看出,誤差項若是正態(tài)分布,在所設置的3種缺失環(huán)境下,即便是在傾向得分函數(shù)的模型假定錯誤的情形下,增廣逆概率加權估計的所有結果都接近于沒有缺失數(shù)據(jù)下基準的GS的結果;在完全隨機缺失(a)下,只用觀測到數(shù)據(jù)的CC估計在標準差上比GS估計的標準差大,不過在偏差和覆蓋率上也接近于GS的結果,但是非隨機缺失(b)和(c)下,不但標準差增大,偏差也變大,覆蓋率要遠小于名義水平95%;與GS估計相比,逆概率加權估計的標準差雖然增大,但是偏差變化不大,覆蓋率卻遠大于名義水平95%,這很可能是由于權重估計的不穩(wěn)定造成的.若誤差項是非正態(tài)分布,表2有相似的模擬結果表現(xiàn).將誤差項是正態(tài)分布和非正態(tài)分布情形3種缺失機制下閾值和靈敏性95%的非參置信域顯示(圖1),其中上面3個圖是正態(tài)分布誤差項下3種缺失機制(從左到右依次是a,b和c)的聯(lián)合置信域,下面3個圖是非正態(tài)分布誤差項下3種缺失機制(從左到右依次是a,b和c)的聯(lián)合置信域,點圖是CC,實線是本文提出的方法.從圖1中可以看出這兩種估計是有差別的.