具有二階矩有限噪聲的Lasso高維統(tǒng)計(jì)分析

董青

（西北大學(xué)數(shù)學(xué)學(xué)院，陜西西安710127）

具有二階矩有限噪聲的Lasso高維統(tǒng)計(jì)分析

董青

（西北大學(xué)數(shù)學(xué)學(xué)院，陜西西安710127）

研究在非高斯噪聲下的Lasso的高維統(tǒng)計(jì)分析，給出了在誤差噪聲滿足二階矩有限條件下，Lasso方法的高維界估計(jì)，推廣了現(xiàn)有的關(guān)于Lasso的主要理論結(jié)果.所得結(jié)果具有一定的理論及應(yīng)用價(jià)值.

Lasso；稀疏；高維數(shù)據(jù)

1 引言

高維數(shù)據(jù)處理是機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)等領(lǐng)域的研究熱點(diǎn)之一.而高維特征是海量數(shù)據(jù)的一個(gè)重要特征，其特點(diǎn)在于所研究問題的未知參數(shù)的維數(shù)遠(yuǎn)遠(yuǎn)大于所觀測(cè)到數(shù)據(jù)的個(gè)數(shù).顯然，此問題對(duì)應(yīng)于一個(gè)病態(tài)問題，問題的求解依賴于額外的信息.近20年來，在統(tǒng)計(jì)學(xué)以及信息信號(hào)處理等領(lǐng)域均開展了關(guān)于此問題的研究，代表性的工作包括Tibshirani在1996年提出的Lasso［1］.以及信號(hào)重建方面的壓縮感知方向的諸如Candes和Donoho［24］等工作，即所謂的L1正則化方法.此方面的開創(chuàng)性工作為高維數(shù)據(jù)分析提供了有力的工具，也為近年來機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)研究提供了基礎(chǔ).自L1正則化方法提出后，大批學(xué)者開展了關(guān)于其理論及算法的研究工作，比較有影響的工作有文獻(xiàn)［28］.上述主要的理論結(jié)果均在誤差是高斯噪聲的假設(shè)下，而在實(shí)際工作中，存在多種噪聲形式.因此開展在非高斯噪聲下的L1正則化方法的高維統(tǒng)計(jì)分析有著非常重要的理論及應(yīng)用價(jià)值.

本文開展此方面的工作，利用新的不等式，在誤差噪聲滿足二階矩有限的條件下，研究L1正則化方法的高維統(tǒng)計(jì)性質(zhì).

2 非高斯噪聲下的L1正則化

下面給出在上述假設(shè)下L1正則化的理論分析.

定理2給出了Lasso在二階矩有限條件下的高維統(tǒng)計(jì)分析.從不等式右端可以看出，界通過樣本數(shù)n、參數(shù)維數(shù)p以及變量的稀疏度K給出，即所謂的高維性質(zhì).

3 實(shí)驗(yàn)結(jié)果

本節(jié)通過實(shí)驗(yàn)驗(yàn)證本文所給理論的正確性.在本實(shí)驗(yàn)中，線性模型（1）假設(shè)噪聲服從［0，1］上的均勻分布，其中真實(shí)

調(diào)用Matlab中的Lars程序，所得結(jié)果的路徑如下圖所示.參數(shù)λ的選擇利用了10倍交叉驗(yàn)證，所得結(jié)果

可以看出，對(duì)有界噪聲，Lasso可準(zhǔn)確選擇出正確的模型.從而佐證了本文所給理論的正確性.

圖1 Lasso變量選擇結(jié)果

4 結(jié)論

L1正則化是近年來處理高維數(shù)據(jù)的有力工具，本文關(guān)注非高斯噪聲的L1正則化的理論性質(zhì)分析.在噪聲滿足二階矩有限條件下給出了L1正則化的解的統(tǒng)計(jì)性質(zhì)分析.近年來，L1正則化方法被推廣到多方面的問題研究，例如文獻(xiàn)［9-10］所做的工作.本文工作可推廣到此類問題的研究.

［1］Tibshirani R.Regression shrinkage and selection via the lasso［J］.Journal of the Royal Statistical Society：Series B，1996，58：267-288.

［2］Candes E，Tao T.The dantzig selector statistical estimation when p is much larger than n［J］.Annals of Statistics，2007，35：2313-2351.

［3］Chen S，Donoho D，Saunders M.Atomic decomposition by basis pursuit［J］.SIAM Journal on Scientific Computing，1998，43：33-61.

［4］Donoho D.Compressed sensing［J］.IEEE Transaction on Information Theory，2006，54（4）：1289-1306.

［5］Zhao P，Yu B.On model selection consistency of Lasso［J］.Journal of Machine Learning Research，2006，7：2541-2563.

［6］Efron B，Hastie T，Johnstone L，et al.Least angle regression［J］.Annals of Statistics，2004，32（2）：407-499.

［7］Bühlmann P，van de Geer S.Statistics for High-dimensional Data：Methods，Theory and Applications［M］. New York：Springer，2011.

［8］Wainwright M.Sharp thresholds for high-dimensional and noisy sparsity recovery using l1-constrained quadratic programming（Lasso）［J］.IEEE Transaction on Information Theory，2009，55：2183-2202.

［9］Yuan M，Lin Y.Model selection and estimation in regression with grouped variables［J］.Journal of the Royal Statistical Society：Series B，2006，68（1）：49-67.

［10］Zou H，Hastie T.Regularization and variable selection via the elastic net［J］.Journal of the Royal Statistical Society：Series B，2005，67：301-320.

The high dimensional statistical analysis of Lasso with second moment noise

Dong Qing
（School of Mathematics，Northwest University，Xi′an710127，China）

In this paper，we study the high-dimensional statistical theory of Lasso with the bounded second moment noise.We propose the nonasymptotic bounds of Lasso which generalize the existing results.The results are of great theoretical importance and applied value.

Lasso，sparse，high-dimensional data

O236；O213

A

1008-5513（2016）02-0206-06

10.3969/j.issn.1008-5513.2016.02.012

2015-12-28.

國家自然科學(xué)基金（11571011）.

董青（1990-），碩士生，研究方向：統(tǒng)計(jì)機(jī)器學(xué)習(xí).

2010 MSC:39A05，34B10