基于雙懲罰分位回歸的面板數據模型理論與實證研究

羅幼喜 ，李翰芳，田茂再， 鄭 列

(1.湖北工業大學理學院，湖北 武漢，430068；2.湖北工業大學產品質量工程研究院，湖北 武漢，430068；3.華中師范大學數學與統計學學院，湖北 武漢，430079；4.中國人民大學統計學院，北京，100872)

?

基于雙懲罰分位回歸的面板數據模型理論與實證研究

羅幼喜 ，李翰芳，田茂再， 鄭 列

(1.湖北工業大學理學院，湖北 武漢，430068；2.湖北工業大學產品質量工程研究院，湖北 武漢，430068；3.華中師范大學數學與統計學學院，湖北 武漢，430079；4.中國人民大學統計學院，北京，100872)

固定效應和隨機效應同時選擇是面板數據模型研究中的重要問題之一。本文通過分別對固定效應和隨機效應引入條件Laplace先驗，提出了一種新的貝葉斯雙懲罰分位回歸法。該方法不僅能對模型中重要解釋變量進行自動選擇，而且充分考慮到個體隨機波動對解釋變量系數估計帶來的偏差。通過對方差分量的懲罰壓縮，減少了模型中未知參數的個數，提高了模型自由度。Monte Carlo模擬及實證分析顯示，所提出的方法不僅能準確估計出固定效應系數，而且能精確地捕捉到個體隨機效應的波動。

面板數據；分位回歸；貝葉斯分析；固定效應；隨機效應；變量選擇；Laplace 先驗

面板數據模型是統計分析中應用最廣泛的模型之一，其數據間不僅允許存在相關性，還可以帶有異方差。將個體擾動看作是隨機效應而引入模型，提高了面板數據模型的精度和建模的靈活性。如何將分位回歸方法引入到面板數據模型研究中以克服傳統建模方法的不足已成為這些年來的研究熱點。Koenker[1]針對縱向數據采用了帶懲罰的分位回歸方法，即在極小化損失函數的同時對個體固定效應實施L1范數懲罰；Farcomeni等[2]研究了縱向生存數據的分位回歸模型；Lamar-che[3]、Kato等[4]考慮了面板數據在多個分位點同時極小化檢驗函數的L1范數懲罰法，而Galvao[5]、Chernozhukov等[6]對動態面板數據模型也采用了類似的研究方法，雖然模擬顯示此方法在非正態分布情形下要優于傳統的均值回歸方法，但懲罰參數難以確定是該方法的一個缺點。

隨著近幾年各領域高維復雜數據的出現，變量選擇成了面板數據建模的一個重要課題。選擇合適的預測變量子集不僅有助于提高模型精度，也能夠在實際問題中獲得更好的解釋，所以如何同時估計和選擇重要的固定效應和隨機效應是面板數據模型研究的熱門和難點問題。常見方法是假定隨機效應結構不變而只考慮固定效應的選擇。模型選擇準則如AIC、BIC等雖然可以用來比較一系列被擇模型，但當預測變量增加時，被擇模型的數量將會呈幾何級數增長。為減少計算量，Jiang等[7]提出一個替代的兩步選擇法，然而其自身的不連續性使得模型選擇結果不穩健。Bondell等[8]利用Cholesky 分解提出一種同時選擇固定效應和隨機效應的方法，其雖然能夠在一定程度上減少計算量，但難以向其它形式的損失函數擴展，尤其是對應于分位回歸的損失函數。

對于普通的線性分位回歸模型，Li等[9]構造了與多種懲罰相等價的貝葉斯正則化方法，隨后李翰芳等[10]、李子強等[11]將該正則化方法推廣到含隨機效應的面板數據模型中。然而，這些方法都只考慮了固定效應的選擇。本文則通過分別對固定效應和隨機效應引入條件Laplace先驗，提出一種新的貝葉斯雙懲罰分位回歸法。該方法不僅能對模型中重要解釋變量進行自動挑選，而且充分考慮到個體隨機波動對解釋變量估計帶來的偏差，通過對方差分量的懲罰壓縮，可減少模型中未知參數的個數，提高模型自由度。

1 模型與方法

首先建立面板數據的條件分位回歸模型，然后給出參數估計的貝葉斯雙懲罰法。

對于響應變量Y，這里考慮其給定分位點τ時的條件分位回歸函數：

(1)

式中：QY(τ|xit,zit,αi)=inf{y∶F(y|xit,zit,αi)≥τ}為Y的τ(0<τ<1)分位數；xit為個體i在時刻t 時的k維解釋變量；βτ是對應的回歸系數向量；αiτ是個體i的p維隨機效應向量；zit是對應的p維協變量。

假設響應變量yit具有非對稱 Laplace 分布(ALD)，在αi給定的條件下模型(1)樣本的似然函數為

(2)

式中：y=(y11,y12,…,y1T,y21,…,yNT)′；ρτ(u)=u(τ-I(u≤0))。由于是考慮給定分位點τ時β和αi的估計，故下文中省略參數下標τ。

由于ALD分布沒有共軛先驗，本文利用文獻[12]中對ALD分布的正態和指數分解，將模型(1)等價表示為：

i=1,…,N；t=1,…,T

(3)

與常見的正態先驗不同的是，為了同時對模型中重要固定效應和隨機效應系數進行選擇，在此設β、α分別有條件Laplace先驗：

(4)

通過似然函數式(2)可以獲得β、α、σ的后驗密度：

π(β,σ,α|y,λ1,λ2)∝L(β,σ|y,α,τ)·

(5)

若視σ為厭惡參數，則極大化式(5)等價于極小化下式：

(6)

式(6)可以看成是一種對β、α同時施加Lasso懲罰的雙懲罰分位回歸方法。

2 參數估計的MCMC算法

在給定Laplace先驗信息下，直接從式(5)中獲得β、α的估計較為困難，利用等式

(7)

可以構造出所有未知參數的一種簡單MCMC(Markov Chain Monte Carlo)抽樣算法，具體構造方法如下。

(8)

令S=(s1,…,sk)，從而有

(9)

(10)

(10)將每次上一步抽取的數據值代入下一步生成新的數據，重復步驟(2)(9)直至收斂。

3 計算機模擬分析

下面通過Monte Carlo模擬來對本文提出的貝葉斯雙Lasso懲罰分位回歸估計(BLLQR)與文獻[13]中的貝葉斯分位回歸估計(BQR)、文獻[10]中的貝葉斯Lasso分位回歸估計(BLQR)、文獻[11]中的貝葉斯Adaptive Lasso分位回歸估計(BALQR)在重要自變量及隨機效應選擇上的表現進行比較。

模擬數據由以下面板數據模型生成：

i=1,…,N；t=1,…,T

(11)

由表1可見，對于固定效應系數的估計，采用本文提出的BLLQR方法所得MSE值及其標準差均最小，表明該方法整體估計精度和穩定性均最優。從具體每個參數的估計來看：

(1)對于模型中兩個非零且受到隨機效應干擾的參數β0和β1，BQR的估計偏差最小，BLLQR與BALQR的估計精度相當，BLQR的最差。這一點不難理解，因為這兩個系數在模型中的原始設置即為非0的重要系數，而BLQR、BALQR及BLLQR卻均對其進行了壓縮，雖然BALQR在大樣本情況下能夠獲得無偏估計，但在有限的模擬樣本中則難以達到。BLQR和BLLQR由于采用的都是普通Lasso懲罰，從而偏差更大一些，但BLLQR比BLQR的偏差要小。雖然在偏差上BLLQR不是最優的，但BLLQR的標準差最小，原因是此模型中還設置有部分隨機效應的干擾，BLLQR是4種方法中唯一考慮了隨機效應選擇的方法，從而其排除干擾的能力更強一些。

(2)對于模型中非零且未受到隨機效應干擾的參數β2，BLLQR的估計偏差和標準差均最小，其次為BQR，而BLQR則表現最差。故可以看出，對于模型中的非零系數，雖然采用Lasso懲罰會帶來一定的偏差，但如果能夠正確識別出是否有隨機效應的干擾，則能對估計偏差有一個更大幅度的修正，BQR方法雖然不會有壓縮偏差，但其無法識別隨機效應存在與否，將所有系數都按照有非零隨機效應干擾對待，從而帶來了估計偏差。

表2 4種方法在極端分位點處的估計結果比較(τ=0.9)

(3)對于模型中本身為零且未受到隨機效應干擾的參數β3，3種對系數進行了壓縮的方法BLQR、BALQR和BLLQR明顯優于BQR，其中BLLQR無論是在偏差還是在標準差上均是最優的，從而可以看到，與普通的只能對固定效應進行選擇的單懲罰方法BLQR、BALQR相比，本文提出的雙Lasso懲罰法BLLQR能夠有效對模型中固定效應與隨機效應進行同時選擇和估計。

另外，對于隨機效應的非零方差參數φ1和φ2，4種方法的估計效果相當，但對于誤將其包含在模型中的零方差參數φ3和φ4，BLLQR估計則明顯優于其它3種方法。BLLQR基本能夠將這些冗余的隨機效應排除在模型之外，可見本文提出的雙Lasso懲罰法BLLQR無論對模型中真實存在的隨機效應還是錯誤假設的隨機效應都能夠進行較為精確的識別與估計。這一點對于實際數據建模極為有利，因為建模前往往不知道具體有哪些固定效應應該保留在模型之中，也不知道哪些固定效應系數受到了隨機效應的影響，從而通常會假定所有固定效應和隨機效應都存在。一方面，如果估計方法不能自動排除冗余解釋變量，則整體估計精度就會降低，尤其是在冗余解釋變量較多時更是如此，如BQR法；另一方面，如果估計方法不能自動排除冗余隨機效應，則對于實際并不存在的隨機效應均會估計過高，從而也會影響參數的整體估計精度，如BLQR和BALQR法。

從表2來看，4種方法在極端分位點處的估計精度和穩定性均比在中位點處的差一些，這與普通的分位回歸估計類似，其主要原因是極端分位點處的樣本點較為稀疏，從而估計精度會有所降低。與中位點處的情況類似，BLLQR估計的MSE均值和標準差都是最小的，即固定效應系數整體估計最優。對于每個具體的固定效應系數，BLLQR在β2及β3上的估計偏差和標準差均是最優的，尤其是對于固定效應系數為0且不受隨機效應干擾的β3，其估計效果遠遠優于其它方法。而對于方差分量的估計，BLLQR對于不為0的方差參數估計精度與其它3種方法相當，對于本身為0的方差參數，其估計值也與0極為接近。

4 實證分析

本文考慮利用貝葉斯雙懲罰分位回歸法來探討幾個重要宏觀經濟指標對GDP的影響程度，這幾個宏觀經濟指標既包括影響GDP的3個內在因素：總固定資產投資總額 (Finvest)、城鎮居民全年平均消費性支出(Consume)和進出口總額 (Imexport)，也包括影響GDP的3個外在因素：財政支出 (Finac)、外商直接投資 (FDI)和R&D經費支出 (R&D)。共收集了1998—2013年30個省市地區(西藏自治區數據缺失較多略去)的面板數據，數據來源于《中國統計年鑒 (1999—2014)》。為了便于后面對各個因素的影響進行比較，所有數據均取對數后再進行標準化處理。

由于各個地區經濟發展水平極不平衡，本文考慮如下隨機系數的面板數據模型：

GDPit=(β0+αi0)+(β1+αi1)Finvestit+

(β2+αi2)Finacit+(β3+αi3)FDIit+

(β4+αi4)Imexportit+(β5+αi5)R&Dit+

(β6+αi6)Consume+εit,

i=1,…,30；t=1,…,16

(12)

在上述模型中，先假設每個指標的系數都受到截面個體隨機效應αip(p=0,1,2,…,6)的影響。雖然對于有些經濟發展水平相當的省市，這一隨機效應差異可能并不顯著，但由于本文提出的貝葉斯雙懲罰分位回歸法能夠自動地對重要固定效應和隨機效應進行選擇，所以該假設并不影響本方法對模型中各個參數作出正確的估計。取τ=0.25、0.5、0.75分別計算3個分位點處的估計結果，在每次估計中，為了使抽樣值達到穩定狀態，所有算法均迭代40 000次，并保留后20 000次抽得的樣本來獲得參數點估計和置信區間估計，結果如表3所示。

表3 貝葉斯雙懲罰分位回歸法在3個分位點處的估計結果

從表3中可以看到，各個指標對GDP的影響權重有著較為顯著的差別，而且這種差別隨著分位點的不同也在發生改變。首先，從不同分位點處來看，低分位點τ=0.25時，總固定資產投資額 (Finvest) 、財政支出 (Finac)和進出口總額 (Imexport)3個變量權重系數占據主導地位，其它3個變量即外商直接投資 (FDI) 、R&D經費支出和城鎮居民全年平均消費性支出(Consume)的權重系數都很小，0均包含在這3個指標系數的95%置信區間內，說明其在5%水平下并不顯著；在中位點τ=0.5處，除總固定資產投資額 (Finvest) 、財政支出 (Finac)和進出口總額 (Imexport)外，城鎮居民全年平均消費性支出(Consume)在模型中也變得顯著；在高分位點τ=0.75處，模型中的顯著性變量又增加了R&D經費支出指標。綜合來看，總固定資產投資額 (Finvest)、財政支出 (Finac)和進出口總額 (Imexport)這3個指標無論在哪個分位點處權重系數都顯著且排在前位，說明我國經濟總量對這幾個指標的依賴度還很高。從各個分位點處指標重要程度排名變化情況來看，城鎮居民全年平均消費性支出(Consume)變化最大，從低分位點處的不顯著躍升至高分位點處的權重系數最大，可見擴大消費對GDP快速增長有著很大的拉動效應。另外，R&D經費支出也從低分位點處的不顯著變為高分位點模型中的顯著變量，說明科技創新對于經濟的穩定增長也逐漸起著不可忽視的作用。

從表3中還可以看到，對于各個影響指標，隨著分位點的增加，總固定資產投資額 (Finvest)、 財政支出 (Finac)和進出口總額 (Imexport)系數是逐漸變小的，而城鎮居民全年平均消費性支出(Consume)、R&D經費支出權重系數均是逐漸增大的，也即要使得GDP能夠長期持續增長，則需要降低經濟增長對政府投資的依賴度，著重擴大消費內需以及增加科技研發創新的投入力度，這也給當前經濟結構調整及轉型提供了重要的啟示。

5 結論

(1)本文提出的BLLQR貝葉斯雙懲罰分位回歸估計由于同時考慮到了固定效應與隨機效應的選擇，故其無論是在中位點處還是在極端分位點處的總體表現在參與比較的4種方法中均是最優的。

(2)3種對固定效應系數進行了壓縮的方法BLQR、BALQR、BLLQR在非重要解釋變量的排除能力上都要明顯優于BQR法，而且本文提出的BLLQR法對未受隨機效應干擾的非零固定效應系數的估計精度甚至優于BQR法。

(3)對于模型中重要解釋變量系數的估計，本文提出的BLLQR法也都能夠給出較為精確的估計，在參與比較的4種方法中估計的標準差均是最小的，也即估計性能最為穩健。另外，由于BLLQR法也可以通過切片Gibbs抽樣算法在專門的統計分析軟件WinBUGS中實現，所以待估參數雖然較BQR、BLQR和BALQR中的參數多，但在計算時間消耗上并無明顯差別。

[1] Koenker R. Quantile regression for longitudinal data[J].Journal of Multivariate Analysis,2004,91:74-89.

[2] Farcomeni A, Viviani S. Longitudinal quantile regression in the presence of informative dropout through longitudinal-survival joint modeling[J]. Statistics in Medicine, 2015,34(7): 1199-1213.

[3] Lamarche C. Robust penalized quantile regression estimation for panel data[J]. Journal of Econome-trics, 2010,157(2):396-408.

[4] Kato K, Galvao A F, Montes-Rojas G V. Asymptotics for panel quantile regression models with individual effects[J]. Journal of Econometrics, 2012,170(1): 76-91.

[5] Galvao A F. Quantile regression for dynamic panel data with fixed effects[J]. Journal of Econometrics, 2011,164(1):142-157.

[6] Chernozhukov V，Fernandez-Val I，Hahn J, et al. Average and quantile effects in nonseparable panel models[J].Econometrica, 2013,81(2): 535-580.

[7] Jiang J, Rao J S. Consistent procedures for mixed linear model selection[J]. Sankhy: The Indian Journal of Statistics, 2003,65(1): 23-42.

[8] Bondell H D, Krishna A, Ghosh S K. Joint variable selection for fixed and random effects in linear mixed-effects models[J]. Biometrics, 2010,66:1069-1077.

[9] Li Qing, Xi Ruibin, Lin Nan. Bayesian regularized quantile regression[J]. Bayesian Analysis, 2010, 5(3):533-556.

[10]李翰芳, 羅幼喜, 田茂再. 面板數據的貝葉斯Lasso分位回歸方法[J].數量經濟技術經濟研究, 2013(2): 138-149.

[11]李子強, 田茂再, 羅幼喜. 面板數據的自適應Lasso分位回歸方法研究[J].統計與信息論壇, 2014, 29(7): 3-10.

[12]Kozumi H, Kobayashi G. Gibbs sampling methods for Bayesian quantile regression[J]. Journal of Statistical Computation and Simulation, 2011,81:1565-1578.

[13]Luo Youxi, Lian Heng, Tian Maozai. Bayesian quantile regression for longitudinal data models[J]. Journal of Statistical Computation and Simulation, 2012,82:1635-1649.

[責任編輯 尚 晶]

Theoretical and empirical study on panel data models based on double penalized quantile regression

LuoYouxi1，2，LiHanfang1，3，TianMaozai4，ZhengLie1，2

(1. School of Science, Hubei University of Technology, Wuhan 430068, China;2. Institute of Product Quality, Hubei University of Technology, Wuhan, 430068, China;3. School of Mathematics and Statistics, Central China Normal University, Wuhan 430079, China;4. School of Statistics, Renmin Univiesity of China, Beijing 100872, China)

It is an important issue to select fixed and random effects simultaneously for panel data models. This paper proposes a new Bayesian double penalized quantile regression method by introducing the conditional Laplace prior both for fixed and random effect parameters. This method can not only select the important explanatory variables in the model automatically but also give a full consideration to the biases of parameter estimation for explanatory variables which are produced by individual random fluctuations. By applying shrinkage to the variance components, the number of unknown parameters in the model is reduced, thus the model’s freedom degree is enhanced greatly. Monte Carlo simulation and empirical study indicate that the proposed method can accurately estimate the fixed effect parameters and catch the exact fluctuation of individual random effects.

panel data; quantile regression; Bayesian analysis; fixed effect; random effect; variable selection; Laplace prior

2016-09-08

國家自然科學基金資助項目(11271368)；教育部人文社會科學研究青年基金資助項目(13YJC790105)；湖北工業大學博士科研啟動基金資助項目(BSQD13050).

羅幼喜(1979-)，男，湖北工業大學副教授，博士.E-mail：youxiluo@163.com

O212；F064.1

A

1674-3644(2016)06-0462-06