關于嶺參數k的選取問題

張拓，卜曉明，陳奕含，楊忻怡，楊璐

（渤海大學數理學院，遼寧錦州121013）

關于嶺參數k的選取問題

張拓，卜曉明，陳奕含，楊忻怡，楊璐

（渤海大學數理學院，遼寧錦州121013）

對嶺估計中參數k的選取問題進行了研究，并對Hoerl-Kennard公式進行了改進，使參數k的選取更為準確。

嶺估計；參數；均方誤差；有偏估計

嶺回歸估計是應用最廣泛的一種有偏估計，其目的在于減小均方誤差，所以嶺參數k的選取也應使MSE（β^（k））達到最小。k的選取不僅依賴于未知參數β和σ2，而且這種依賴關系也沒有明確確定，這都使k的選取存在很大難度［1］。目前關于k的選取方法已有10余種，主要方法包括嶺跡法、方差擴大因子法、雙H公式法、Hoerl-Kennard公式法等。本文在已有文獻基礎之上，主要對Hoerl-Kennard公式［2-3］進行研究與改進，以期獲得更小誤差。

1　嶺估計

考慮線性回歸模型

參數β的嶺估計定義為β^（k）=（X'X+kI）-1X'Y，其中：當k＞0時，稱k為嶺參數或偏參數；當k=0時，β^（0）=（X'X）-1X'y為β的LS估計［4］。

為方便討論，本研究采取典則形式。

定義設X'X的特征值為λ1，λ2，…，λp，對應的標準正交化特征向量為φ1，φ2，…，φp，記Φ=（φ1，φ2，…，φp），Φ為p×p標準正交陣，即Φ'Φ=Ι。記Δ=diag（λ1，λ2，…，λp），則X'X=ΦΔΦ'，線性模型：

可寫為

其中Z=XΦ，α=Φ'β。稱式（3）為線性回歸模型的典則形式，α為典則回歸系數。均方誤差在參數與估計的正交變換下保持不變，故典則回歸系數和原回歸系數擁有相同的均方誤差［5］，即MSE（^α（k））=MSE（β^（k））。

2　Hoerl-Kennard公式的進一步改進

由前文及文獻［1，6］可以得到：

引理1令H（k）=MSE（^α（k）），則H（k）=MSE（β^（k）），有

其中：k≥0；H（k）為光滑函數。又H'（0）＜0，H'（+∞）＞0，故使H（k）取得最小值的k必然存在。記k0=inf{ k：H'（k）=0}，則H（k0）＜H（0），α^（k0）改進了LS估計α^（0）。

引理2存在使H'（k0）=0，其中按升序排列［7］，且記α（i）=

將λ1，λ2，…，λp中與α（i）相對應的值記為λ（i），i=1，2，…，p，Hoerl-Kennard公式給出的k值估計恰好為。當α的各分量α均相等，即

定理1如果存在2≤r≤p，且α（r-1）＜α（r），則存在k0＞，使

證明因為α（r-1）＜α（r），所以若kα

對式（4）與（5）進行加和，則有：

定理得證。

推論若2≤r≤p，且α（r-1）＜α（r），則存在ki＞k0，使MSE（ki））＜MSE（k0））。時，就可以按該定理方法持續進行下去，使均方誤差逐漸減少，于是可以得到更進一步的改進。當改進參數取，同樣可以得到以下結論。

證明過程可以參考定理1。自此在Hoerl-Kennard公式基礎上更進一步改進了關于嶺參數k的選取方法，使嶺參數k的選取更為準確。

［1］陳希孺，王松桂.近代回歸分析［M］.合肥：安徽教育出版社，1986.

［2］Hoerl A E，Kennard R W.Ridge regression：biased estimation for non-orthogonal problems［J］.Technometrics，1970，12（1）：55-67.

［3］Hoerl A E，Kennard R W.Ridge regression：application for non-orthogonal problems［J］.Technometrics，1970，12（1）：69-72.

［4］王松桂.線性模型的理論及其應用［M］.合肥：安徽教育出版社，1987.

［5］Sarkar.Mean square error matrix comparison of some estimators in linear regressions with multicollinearity［J］，Statistics and Probability Letters，1996，30（2）：133 -138.

［6］王志福.嶺估計中參數選擇的一種新方法［J］.錦州師范學院學報：自然科學版，2003，24（1）：47-49.

［7］李明奇，吳旭.回歸系數的部分嶺估計［J］.河南理工大學學報：自然科學版，2011，30（6）：749-752.

［8］王浩華，李勝軍.嶺回歸中參數估計的討論［J］.海南大學學報：自然科學版，2009，27（1）：5-7.

（責任編輯劉舸）

Selection of Ridge Parameter k

ZHANG Tuo，BU Xiao-ming，CHEN Yi-han，YANG Xin-yi，YANG Lu
（College of Mathematics and Physics，Bohai University，Jinzhou 121013，China）

An in-depth study on choosing parameter k in ridge estimation was researched.At the same time，in order to make parameter k more accurate，we did a proper improvement on Hoerl-Kennard formula.

ridge estimation；parameter；mean square error；biased estimation

O212.2

A

1674-8425（2015）04-0136-03

10.3969/j.issn.1674-8425（z）.2015.04.027

2015-01-16

國家自然科學基金資助項目（11371030）

張拓（1989—），男，碩士研究生，主要從事應用概率統計方面研究。

張拓，卜曉明，陳奕含，等.關于嶺參數k的選取問題［J］.重慶理工大學學報：自然科學版，2015（4）：136 -138.

format：ZHANG Tuo，BU Xiao-ming，CHEN Yi-han，et al.Selection of Ridge Parameter k［J］.Journal of Chongqing University of Technology：Natural Science，2015（4）：136-138.