高維縱向數據的懲罰廣義估計方程分析

尹長明，王亞東

(廣西大學數學與信息科學學院，廣西南寧530004)

1.引言

廣義線性模型(GLMs)在研究響應變量是離散的或非負的回歸問題中起著重要的作用[1].縱向數據(面板數據或集團數據)在生物醫學，經濟和社會科學的研究中經常出現.縱向數據是對一個個體的多次觀測的數據是相關的，但相關程度未知，不同個體之間的觀測數據是獨立的.廣義估計方程(GEE)[2]是常用的分析縱向數據下GLMs的方法[3]，GEE估計的一個顯著特點是只要均值函數假定正確，即使相關陣(或協方差)假定不正確，得到的回歸參數估計仍具有相合性和漸近正態性.若方差也假定正確，得到的估計方差最小.

高維協變量現在越來越普遍，特別是在基因研究和大規模健康研究中.例如酵母菌基因研究有96個協變量[4];心臟病的研究，協變量有年齡，抽煙情況，膽固醇含量，血壓等等[5];有時變量雖然不多，考慮到各種交叉因素，協變量就很多.這些變量中有部分協變量與響應變量沒有關系或者關系不密切，若將它們包含在模型中，會影響統計推斷的精度，因此選擇重要的協變量即變量選擇就很重要.

關于GEE的大樣本性質可參看文[5].當個體數n→∞，協變量維數pn可以趨于無窮時，WANG[5]在沒有加稀疏條件下證明了GEE估計的大樣本性質.變量選擇的文獻可參看文[6]，該文獻假定協變量的維數pn是不變的，且響應變量是連續.WANG，ZHOU，QU[4]研究了響應變量可以是連續的，也可以是離散的(屬性數據和計數數據)，協變量的維數pn可以是發散的縱向數據下廣義線性模型的變量選擇.本文改進了WANG，ZHOU，QU[4]和WANG[5]的結果.

設(Yij，Xij)是第i個個體的第j次觀測值，i=1，2，···，n，j=1，2，···，m，其中Yij是響應變量，Xij是pn×1協變量，m是每個個體的觀測次數.當個體數n→∞，協變量維數pn可以無界.假設不同個體之間的觀測值是獨立的，同一個個體的m次觀測值是相關的.記Yi=(Yi1，···，Yim)T，Xi=(Xi1，···，Xim)，i=1，···，n，其中T表示矩陣或向量的轉置.

設廣義線性模型的期望和方差分別為

其中μ(θ)是聯系(link)函數，˙μ(θ)＞0是它的導數，θij=XTijβn，βn=(βn1，···，βnpn)T是回歸參數向量.當μ(θ)=θ，就得到線性模型;μ(θ)=eθ/(1+eθ)，就得到logistic回歸模型;μ(θ)=eθ，就得到研究計數數據的對數線性回歸模型.

記μi(βn)=(μi1(βn)，···，μim(βn))T，Ai(β)=diag(σi1(βn)，···，σim(βn))，其中，diag(v)表示一個對角矩陣，其對角元素是向量v的元素.類似LIANG，ZEGER[2]，WANG[5]定義方程

其中Qλn(|βn|)=(qλn(|βn1|)，···，qλn(|βnpn|))T，Sign(βn)=(sign(βn1)，···，sign(βnpn))T，Qλn(|βn|)·Sign(βn)定義為對應元素相乘得到的向量，SCAD懲罰函數為

t≥0，a＞2，λn是調整參數，符號函數sign(t)=I(t＞0)-I(t＜0)，I是示性函數.

2.主要結果

在本文中，C，C1，C2，...代表與n無關的正常數，在不同地方可以表示不同值.為了得到我們的主要結果，需要如下假設條件.

(A1)pn維向量Xij，1≤i≤n，1≤j≤m的所有元素關于n一致有界;

(A3)存在與n無關的有限正常數C1和C2使得

其中Xij(1)是Xij的前sn個元素構成的向量，Xi(1)=(Xi1(1)，···，Xim(1))，λmin和λmax分別表示矩陣的最小和最大特征根;

(A4)Yi，i=1，···，n的共同真實相關陣Rn0滿足Rn0≥CIm，估計工作相關陣滿足其中是任意滿足C1Im≤≤C2Im的正定陣，稱為工作相關陣(可以不等于Rn0)，Im是m階單位陣，‖R‖=[trace(RRT)]1/2表示矩陣R的Frobenius范數;

(A5)存在某個r＞2，對所有i≤n有E‖?i(βn0)‖r≤C，其中?i(βn)=(?i1(βn)，···，?im(βn))T

(A6)對所有1≤i≤n，1≤j≤m，βn∈Bn，方差滿足μ的二階導數¨μ和三階導數μ(3)滿足≤C，其中δ是任意正常數;

(A7)(i)min1≤j≤sn|βnj0|/λn→∞;(ii)(iii)λn→0;(iv).

定理2.1若假設條件(A1)-(A7)成立，則存在使下面式子成立，

其中Unk(βn)是Un(βn)的第k個元素，αn是任意固定的sn維單位向量，(2.3)和(2.4)經常被稱為變量選擇的Oracle性質.

注2.1條件(A1)更正了文[4]中筆誤:pn維向量Xij一致有界.

注2.2(A3)減弱了文[4]中條件:的最小最大特征根都是n的階.

注2.3(A5)減弱了文[4]中條件:存在正常數M2，M3使E[exp(M2|?ij(βn0)|)]≤M3.因為?ij(βn0)的矩母函數一致有界可以推出對任意r＞2有E|?i(βn0)|r≤C.

注2.4(A6)減弱了文[4]中條件:對所有1≤i≤n，1≤j≤m，其中特別當pn是n的高階無窮大，文[4]中此條件較強.

注2.5(A7)減弱了文[4]中條件:在矩母函數一致有界條件下，文[4]中pn最高可達n2階，我們的結果pn可達到nr階，對任意r＞2.

注2.6將文[5]中條件和減弱為在參數真值點成立，即其中βn(1)∈Bn(1)={βn(1):

其余條件與文中[4-5]中條件一樣.

3.主要結果的證明

引理3.1若假設(A6)，(A7)(ii)和成立，則其中βn∈Bn.

證由(A7)(ii)和知

由微分中值定理，(A6)和(3.1)，知

由(3.2)和(A6)，知

同理，由微分中值定理，(3.1)，(3.3)和(A6)，知

引理3.3[7](微分中值不等式)設D?Rn，f:D→Rm.若f(x)在D內可微，則對任何兩點a，b∈D，必存在ξ=a+θ(b-a)，0＜θ＜1，使得

引理3.4[8]設X1，X2，···，Xn是鞅差序列，r≥2，則

引理3.5[4]記epnk表示第k個元素是1，其余元素都是0的pn維向量，

則

其中

注3.1文[4]中Gnk(βn)與文[5]中(βn)表達式的有筆誤，應為

定理2.1的證明由假設條件和引理3.1知，引理3.2的條件滿足，因而其結論成立.所以若取即

其中Snk()是Sn()的第k個元素.

由引理3.3，引理3.1，(A1)，(A7)(ii)，知

由(3.12)，(3.13)知

由假設條件(A1)知

由(3.15)，(A4)，引理3.1，Markov不等式，(3.14)和(A7)(iv)，知

由泰勒公式，知

其中在βn與βn0的連線上.特別當有

其中Δnk(1)(βn)是向量的前sn個元素構成的向量，Dnk(1)(βn)是左上角的sn×sn矩陣.

由Markov不等式，引理3.4，(A1)，(A4)，(A5)，(A6)和(A7)(v)，知

記Hnk(1)(βn)，nk(1)(βn)，Gnk(1)(βn)分別是向量Hnk(βn)，nk(βn)，Gnk(βn)的前sn個元素構成的向量，則由引理3.5知

由(A1)，(A4)，(A6)和(A7)(iv)，知

由引理3.4，(A1)，(A4)，(A5)和(A6)，可得

由Markov不等式，Minkowski不等式，(3.22)，(A7)(ii)和(A7)(v)，知

所以

同理，

由(3.20)，(3.21)，(3.24)和(3.25)，得

設emj表示第個j個元素是1，其余元素都為0的m維向量，則由可得，

由(3.29)，(3.28)，(3.27)，引理3.5，(3.14)，(A1)，(A4)，(A6)和引理3.1，可證

所以

再由Markov不等式，(A7)(iii)和(A7)(iv)知

由(3.32)，(3.26)，(3.19)，(3.18)，(3.16)和(3.6)，知

當k=sn+1，···，pn，=0，所以再由(3.33)知(2.2)成立.由=知(2.3)成立.由假設條件，引理3.1和引理3.2知(2.4)成立.定理2.1證畢.

4.結語

本文只在較弱的條件下證明非零回歸系數的個數發散情況下，縱向數據GEE的協變量選擇的相合性質和Oracle性質.數值模擬請參看文[4].