廣義線性模型Lasso懲罰回歸估計(jì)的局部二次逼近

顧光同

（浙江農(nóng)林大學(xué) 理學(xué)院統(tǒng)計(jì)系，浙江 臨安 311300）

0 引言

廣義線性模型（Generalized Linear Model,簡(jiǎn)稱GLM）首先由Nelder和Baker(1972)[1]提出，McCullagh和Neleder(1989)[2]系統(tǒng)地闡述了相關(guān)理論框架。此模型經(jīng)典線性模型的拓展，線性回歸模型（Linear Model,簡(jiǎn)稱LM）僅僅是其的一個(gè)特例。GLM主要在LM上的拓展主要表現(xiàn)在兩個(gè)方面：（1）通過(guò)設(shè)定一個(gè)聯(lián)接函數(shù)將被解釋變量的期望與解釋變量的線性組合連接起來(lái)；（2）模型的誤差分布不再僅僅要求高斯分布，只需要被解釋變量Y的分布為經(jīng)典指數(shù)分布族即可。因此，GLM既適用于大量連續(xù)型的Y建模，也適用于大量離散型的Y，這也是GLM自被提出起學(xué)術(shù)界在理論研究和應(yīng)用方面受到廣泛關(guān)注的原因。眾所周知，數(shù)據(jù)建模中模型的待估參數(shù)是否能得到有效地估計(jì)一直是核心問(wèn)題，GLM的待估參數(shù)通常采用極大似然法（簡(jiǎn)稱ML）來(lái)實(shí)現(xiàn)估計(jì)。本文從Park M Y,Hastie（2007）[3]等提出的GLM的Lasso懲罰即1-范數(shù)約束估計(jì)路徑的基礎(chǔ)上，采用Wang（2007）[4]提出的局部二次逼近方法推導(dǎo)得GLM似然函數(shù)Lasso懲罰的最小二乘類的參數(shù)估計(jì)——重復(fù)加權(quán)最小二乘(RWLS)估計(jì)路徑。

1 廣義線性模型簡(jiǎn)介

記X是n×k的設(shè)計(jì)陣，Y是n×1的隨機(jī)被解釋向量，β是未知k×1的參數(shù)向量，f(·)表示某種函數(shù)形式，u是n×1的隨機(jī)誤差向量，則GLM形如：

模型（1）有下面3個(gè)特點(diǎn)（分別用a，b，c列出）：

a.隨機(jī)誤差 u滿足 E(u)=0n×1，Y的條件期望μY|X=E(Y|X=xn×k)=f(Xβ) 是 系 統(tǒng) 部 分 即 線 性 預(yù) 測(cè)ηn×1=Xn×kβk×1=β1+β2x1+...+βkxk的光滑可逆函數(shù)，存在連接函數(shù) g(μ)=f-1(Xβ)=η；

b.X和Y的樣本觀測(cè)值既可是連續(xù)數(shù)據(jù)，也可是離散數(shù)據(jù)；

c.模型的隨機(jī)部分即Y的分布只需滿足典型指數(shù)分布族即可，此分布族覆蓋了大部分常見分布，比如離散型的Poisson分布和二項(xiàng)分布，連續(xù)型的高斯分布、指數(shù)分布和Gamma分布等，該分布族的概率密度函數(shù)形如：

其中b(·)和c(·)為已知函數(shù)，ξ和φ分別為自然參數(shù)和刻度參數(shù)。

本文先從無(wú)懲罰的模型（1）參數(shù)向量β的ML估計(jì)開始，討論在Lasso懲罰下的ML估計(jì)，并進(jìn)一步采用局部二次逼近的方式，將其轉(zhuǎn)化為最小二乘估計(jì)類。

2 GLM的極大似然估計(jì)

2.1 無(wú)懲罰極大似然估計(jì)

模型（1）的參數(shù)向量 β的估計(jì)，通常采用ML估計(jì)獲得，假設(shè)被解釋變量Y服從指數(shù)族分布形如（2），構(gòu)建形如（1）的GLM，且Y的抽樣樣本的觀測(cè)值為y=(y1，y2，...，yn)T，則Y 的對(duì)數(shù)似然函數(shù)為

2.2 LASSO懲罰下的極大似然估計(jì)

根據(jù)Rosset和Zhu（2007）[6]的研究可知，式（12）的估計(jì)路徑不是逐片線性的，而最小二乘估計(jì)類路徑滿足逐片線性。下面主要討論將式（12）逼近為最小二乘估計(jì)類的方法。

3 LASSO懲罰回歸估計(jì)的局部二次逼近

GLM的模型（1）如果采用式（12）直接求解，迭代復(fù)雜功效低，Efron和Hastie等（2004）[7]提出的最小角回歸（LARS）是求解式（12）的有效算法，要求路徑逐片線性。式（11）中的懲罰部分引入單位向量 ei=(0，…，0，1，0，…，0)T，寫成另外一種形式為

為了提高效率，盡量避開在Newton-Raphson迭代中去計(jì)算式（22），通過(guò)對(duì)（22）兩邊取數(shù)學(xué)期望且因損失函數(shù)與極大似然函數(shù)相差一個(gè)符號(hào)，故可用負(fù)的Fisher信息陣代替海賽矩陣D的期望。那么在無(wú)懲罰的極大似然估計(jì)的迭代式（10）中加入懲罰矩陣，再將式（8）-（9）代入可得極大似然的Lasso懲罰的參數(shù)向量β的迭代估計(jì)路徑為

另外，Lasso懲罰系數(shù)λ通常是基于Golub、Michael和Grace（1979）提出的廣義交叉驗(yàn)證（GCV）方法構(gòu)造相應(yīng)的準(zhǔn)則實(shí)現(xiàn)其最優(yōu)選擇的[3-6]，其他的準(zhǔn)則還有BIC準(zhǔn)則等可見文獻(xiàn)[8]。

4 結(jié)束語(yǔ)

廣義線性模型的應(yīng)用越來(lái)越廣，這是因?yàn)槟Ｐ偷碾S機(jī)部分的分布可能滿足Gaussian分布、二項(xiàng)式、Poisson分布以及Gamma分布等的一大類指數(shù)族。而Lasso懲罰在模型中能有效地同時(shí)實(shí)現(xiàn)自變量的自動(dòng)選擇和參數(shù)估計(jì)。本文從無(wú)懲罰的GLM的極大似然形式開始，逐步引入Lasso懲罰估計(jì)，并基于Lasso懲罰下?lián)p失函數(shù)的兩次泰勒展開實(shí)現(xiàn)二次近似，推導(dǎo)和討論了GLM的極大似然Lasso懲罰估計(jì)的最小二乘估計(jì)類的路徑。在實(shí)踐應(yīng)用中，如果GLM的連接函數(shù)是典型連接即g(μ)=μ=η時(shí)，利用（23）式可得參數(shù)向量 β 的估計(jì)為 β^=(XTX+R~λ)-1XTY，顯然，此時(shí)若懲罰矩陣R~λ為0矩陣即相當(dāng)于模型無(wú)懲罰（λ=0）情形下，β^就是普通最小二乘估計(jì)而已。由于篇幅有限本文估計(jì)方法的模擬和實(shí)證等研究筆者將另文闡述。

[1]Nelder J A,Baker R J.Generalized linear models[M].John Wiley&Sons,Inc.,1972．

[2]McCullagh P,Nelder J A.Generalized Linear Models[M].（2th ed）.London:Chapman and Hall,1989.

[3]Park M Y,Hastie T.L1-Regularization Path Algorithm for Generalized Linear Models[J].Journal of the Royal Statistical Society:Series B(Statistical Methodology),2007,69(4).

[4]Wang Y.Maximum Likelihood Computation Based on the Fisher Scoring and Gauss-Newton Quadratic Approximations[J].Computational Statistics and Data Analysis,2007,(8).

[5]Park M Y,Hastie T.L1-Regularization Path algorithm for Generalized Linear Models[J].Journal of the Royal Statistical Society:Series B(Statistical Methodology),2007,69(4).

[6]Rosset S,Zhu J.Piecewise Linear Regularized Solution paths[J].The Annals of Statistics,2007.

[7]Efron B,Hastie T,Johnstone I,et al.Least angle Regression[J].The Annals of statistics,2004,32(2).

[8]Wang H,Leng C.Unified LASSO Estimation by Least Squares Approximation[J].Journal of the American Statistical Association,2007,102(479).