響應變量缺失時偏線性測量誤差模型的變量選擇

黃 彬,楊凌霞,徐修友

(北京化工大學理學院,北京 100029)

變量選擇是回歸分析中的一個重要問題．當面對高維協變量集合時,選擇對響應變量具有顯著解釋能力的協變量子集,對于簡化模型，提高模型的解釋能力十分重要．一些基于懲罰的變量選擇方法,如LASSO(least absolute shrinkage and selection operator)[1],SCAD(smoothly clipped absolute deviation)[2],ALASSO(adaptive LASSO)[3]通過將部分回歸系數收縮至零,有效地選擇出重要變量并很好地估計模型參數,同時基于SCAD和ALASSO的估計具有漸進正態性和先知性(Oracle性質[2])．另外,Ueki[4]提出了STEE(smooth-threshold estimating equations)方法進行變量選擇,它的優點是易于實現,不用求解凸優化問題．

偏線性模型是一種十分靈活的半參數模型,對于該模型及其推廣模型的參數估計和變量選擇已經有了廣泛的研究[5-13]．然而,在響應變量缺失且協變量包含測量誤差情況下,一個重要的問題是如何選擇模型的重要變量,這個問題在文獻中還沒有被提及．本文主要研究偏線性模型在協變量包含測量誤差且響應變量有缺失時的估計和變量選擇問題．

我們將利用半參數回歸替代方法[11]來處理缺失的響應變量．基于SCAD懲罰最小二乘和STEE,對偏線性模型的參數部分提出兩種變量選擇方法．通過選擇合適的調整參數,且在一定的正則條件下,可以證明這兩種變量選擇方法具有漸進正態性和先知性．數值模擬研究顯示,SCAD比STEE在估計精度和正確擬合模型方面更優,而STEE因不用求解凸優化問題而易于實現.

1 方 法

1.1 響應變量缺失時偏線性測量誤差模型的估計

考慮偏線性模型

Y=XTβ+g(T)+ε,

(1)

這里X=(X1,…,Xp)T是p-維協變量向量,β是未知參數向量．為避免“維數災難”,T是取值于[0,1]的標量協變量,函數g(·)是[0,1]上的未知函數,ε為隨機誤差,且E(ε|X,T)=0．令β0=(β01,…,β0p)T是β的真值．假設真實模型有一個稀疏形式,即β0的一些分量是0,令A0={j:β0j≠0}為重要變量下標集合．由于X包含測量誤差,我們觀測到W

W=X+U,

(2)

這里U是p-維測量誤差,且均值為0,協方差陣為ΣUU．令δ是響應變量是否缺失的標志,即δ=1表示Y被觀測到,δ=0表示Y缺失．假設選擇概率

π(x,t)=P(δ=1|X=x,T=t,Y=y)=

P(δ=1|X=x,T=t)．

(3)

注意,因為X不能被直接觀測到,所以這種缺失機制不是MAR(missing at ramdom)．進一步,假設U獨立于(X,T,Y,δ),且ΣUU已知．若ΣUU未知,可由部分重復樣本進行估計[5]．令{(Wi,Ti,Yi,δi),i=1,…,n}是來自模型(1)～(3)的隨機樣本,本文的目標是識別重要變量下標集合A0,并得到對應回歸系數的相合估計．

為了處理模型中的缺失響應變量,Wang等[11]提出了基于插補、半參數回歸替代方法來估計β和g(·)．Yang等[13]利用插補方法處理缺失的響應變量,同時考慮了協變量包含測量誤差的情況．為了簡單起見,我們應用半參數回歸替代方法來處理缺失的響應變量．在本文缺失機制的假設下,可以證明所提出的估計與Yang等[13]提出的估計有相同的漸近方差．

注意δY=δXTβ+δg(T)+δε,定義

由假設,有

g(t)=g2,c(t)-g1,c(t)Tβ．

類似于Yang等[13],可以得到下面的兩步估計．首先,利用完全觀測數據得到β的初始估計

(4)

(5)

E[δ{(UUT-ΣUU)β}?2]．

同時假設模型(1)～(3)滿足如下條件：

3)K(·)和M(·)為具有有界支撐的二階有界核函數．

5)T的密度函數fT(t)存在且直到二階導數都有界,滿足

文獻[11,13]中也有類似的條件．

(6)

類似于文獻[11]和文獻[13]的證明,可得:

(7)

從而定理1得證．

1.2 基于SCAD懲罰最小二乘的變量選擇

為同時選擇重要變量并估計未知回歸參數,Fan等[2]提出了一個基于SCAD懲罰似然的變量選擇方法,且證明了當選擇合適的調整參數時,SCAD懲罰似然估計與先知估計等效．我們應用SCAD懲罰對偏線性模型進行變量選擇．

沿襲Fan等[2]方法,懲罰最小二乘定義為

(8)

其中pλj(·)是SCAD懲罰函數,λj是調整參數．注意對所有的j,pλj(·)中的λj不必相同．為了簡單起見,我們假設β的所有分量的懲罰相同,且將pλj(·)寫為pλ(·)．懲罰函數pλ(·)定義為

利用BIC準則[15]選擇調整參數,通過極小化

BIC(λ)=logRSSλ+e(λ)log(n)/n,

證明令αn=n-1/2+an,只需證對任意ε>0,存在一個大的常數M,使得

(9)

定義

且

注意pλ(0)=0和pλ(|β|)≥0對任意β成立,因此

LP(β0+αnu)-LP(β0)≥Dn1+Dn2.

進一步,由泰勒展開,

類似于定理1的證明,可以得到

且

由Slutsky定理

1.3 基于STEE的變量選擇

Ueki[4]提出了STEE變量選擇方法,它通過自動將不顯著的參數設置為0的方法,將對應的變量從模型中刪除,且其估計具有先知性質．該方法的優點是易于實現,不需要求解凸優化問題即可得到估計．本節,我們應用這個方法對偏線性模型進行變量選擇．

沿襲Ueki[4],利用估計方程(10),可以同時實現變量選擇和參數估計,

(10)

其中

定理4在1)～7)下,對于任意正數λ和γ,使得當n→∞時,若n1/2λ→0和n(1+γ)/2λ→∞,則有

(i) 變量選擇相合性,即P(A=A0)→1;

我們使用BIC-型準則[7]來選擇調整參數,通過極小化

表1 數值模擬結果

2 數值模擬

本節,我們采用數值模擬的方法來進一步研究所提出的變量選擇方法的有限樣本性質．考慮模型

從表1可以看出,本文所提出的方法都顯著地降低了模型復雜度．同時,SCAD估計在估計的精度和正確擬合模型方面,比STEE估計更好．SCAD估計的MRME非常接近于先知估計的MRME．而STEE估計由于不用求解凸優化問題而更易于實現．

[1] Tibshirani R.Regression shrinkage and selection via the lasso[J]．Journal of the Royal Statistical Society,Series B:Methodological,1996,58(1):267-288.

[2] Fan J,Li R.Variable selection via nonconcave penalized likelihood and its oracle property[J]．Journal of the American Statistical Association,2001,96:1348-1360.

[3] Zou H.The adaptive lasso and its oracle properties[J]．Journal of the American Statistical Association,2006,101(476):1418-1429.

[4] Ueki M.A note on automatic variable selection using smooth-threshold estimating equations[J]．Biometrika,2009,96(4):1005-1011.

[5] Liang H,Hardle W,Carroll R J.Estimation in a semiparametric partially linear errors-in-variables model[J]．The Annals of Statistics,1999,27:1519-1535.

[6] You J,Chen G.Estimation of a semiparametric varying-coefficient partially linear errors-in-variables model[J]．Journal of Multivariate Analysis,1996,97:324-341.

[7] Liang H,Li R.Variable selection for partially linear models with measurement errors[J]．Journal of the American Statistical Association,2009,104:234-248.

[8] Zhao P,Xue L.Variable selection for semiparametric varying coefficient partially linear errors-in-variables models[J]．Journal of Multivariate Analysis,2010,101:1872-1883.

[9] Wang H,Zou G,Wan A.Adaptive LASSO for varying-coefficient partially linear measurement error models[J]．Journal of Statistical Planning and Inference,2013,143:40-54.

[10] Wang Q H,Lindon O,Hardel W.Semiparametric regression analysis with missing response at random[J]．Journal of the American Statistical Association,2004,99:334-345.

[11] Wang Q H,Sun Z H.Estimation in partially linear models with missing responses at random[J]．Journal of Multivariate Analysis,2007,98:1470-1493.

[12] Liang H,Wang S,Carroll R.Partially linear models with missing response variables and error-prone covariates[J]．Biometrika,2007,94(1):185-198.

[13] Yang Y,Xue L,Cheng W.Two-step estimators in partial linear models with missing response variables and error-prone covariates[J]．Journal of Systems Science and Complexity,2011,24:1165-1182.

[14] Hunter D,Li R.Variable selection using MM algorithm[J]．The Annals of Statistics,2005,33:1617-1642.

[15] Wang H,Li R,Tsai C.Tuning parameter selectors for the smoothly clipped absolute deviation method[J]．Biometrika,2008,94:553-568.