多元Minimax估計與嶺估計的漸近風險率

王理峰，朱道元

(1.南京鐵道職業技術學院 數學系，南京210031;2.東南大學 數學系，南京 210096)

多元Minimax估計與嶺估計的漸近風險率

王理峰1，朱道元2

(1.南京鐵道職業技術學院 數學系，南京210031;2.東南大學 數學系，南京 210096)

文章在漸進Minimax風險意義下研究多元回歸系數的線性Minimax估計相對于多元嶺估計的優良性。計算一定條件下多元嶺回歸估計相對于多元線性Minimax估計的漸近風險率，依此來度量兩類估計的相差程度。研究發現多元線性minmax估計優于多元嶺估計，當設計陣呈良態時，多元線性minmax估計具有顯著的優良性；設計陣病態程度越嚴重時，多元嶺估計變得越來越好，二者相差程度越來越接近。

多元線性Minimax估計;多元嶺回歸估計;漸近風險率

1 問題的提出

Minimax估計使極大風險極小化，是避免損失的一種選擇，因此在實際應用中有重要的用途。Helge Blaker[1]（2000）討論二次損失下帶橢球約束的線性回歸模型的線性Minimax估計。王理峰等[2]（2009）將Helge Blacker的主要結果推廣到了多元的情形。在一些條件下，多元線性Minimax估計與多元嶺估計形式相似，本文將在漸進Minimax風險意義下，比較這兩類估計的優良性。為度量兩類估計的相差程度，將計算一定條件下多元嶺估計相對于多元線性Minimax估計的漸近風險率。

其中Y為n×q階觀測矩陣，X為秩為p的n×p設計矩陣，E=(e1…eq)為誤差矩陣，W=(wij)為已知的q階非零非負定陣，B為p×q階未知參數矩陣，B∈Θ={B| tr (B'X'FXB)≤ρ}，其中F為n×n階非負定陣。模型（1）的最小二乘估計為

定義1[1,2]:B*為約束條件下B的線性Minimax估計，若記C為p×n階矩陣}，?為B的線性估計類。

下面將模型（1）典則化[3,4]。對 X進行奇異值分解:U、V分別為n×n、p×p階正交陣階矩陣，的(i，i)元為di(d1≥d2≥…≥dp＞0)，其余位置為0，則其中λi為X'X的非零特征根(λ1≥λ2≥…≥λp＞0)。令Z=U'Y，其中ηi=(η1i，…，ηpi，0…0)'。記其中記 ε=(εij)=(ε1…εq)=其中記R=(rij)= (r1，…rq)，則模型（1）可簡化為：

為使L(B?，B，A)、tr(B'X'FXB)做相應的變換能化為簡潔形式，約定A、F滿足條件1：

條件1[2]記

二次損失下帶約束的模型（2）、模型（1）的Minimax估計及其風險由下面引理給出：

引理1[2]：將模型（2）寫成元素形式為：

模型（3）的Minimax風險為：

引理2[2]：對于多元線性回歸模型（1），B∈Θ={B| tr(B'X'FXB)≤ρ}，A、F滿足條件1，在損失函數L(?，B，A)= tr(?-B)'A(?-B)下，B的線性Minimax估計為：?M=(I-h其中h滿足:

線性Minimax估計的風險為：

其中τ表示任意的p×n階矩陣組成的類。

2 多元線性Minimax估計與多元嶺回歸估計的比較

本節考慮A=X'X，X'FX=I，此時損失函數參數約束空間變為Θ={B| tr(B'B)≤ρ}。在這些假定下自然聯想到多元嶺估計。對模型（1），求 tr(Y-XB)'(Y-XB)在約束條件下tr(B'B)≤ρ下達到最小，由Lagrange乘子法可求得多元嶺估計為其中 k由決定（詳見文獻[5]）。

當n→∞時，為了以下漸近計算的方便，重新定義約束條件和損失函數，分別為由于而其中或風險函數變為：

進一步分析，知隨n增大，模型的秩p也應隨之增大，記為p(n)。當n→∞時，p(n)→∞，以下假定X'X特征根λi=γi-d(d＞0)，γ為正常數，這種形式的特征根曾被用來分析線性模型，如文獻[1]和文獻[6]。由知d可反映 X'X的病態程度。在以上的的假設下，利用Helge Blaker[1]的思想來計算兩種估計的漸近多元線性Minimax風險，得出:

下面僅考慮k≤λ1，令

定理2：對于多元嶺估計B?R，漸近多元線性Minimax風險滿足：

其中：

為了對多元線性Minimax估計B?M改進多元嶺估計的程度給出一些定量的結果，類比文獻[1]引入估計量的相對效率的概念，定義如下：

利用定理1，定理2有下面的定理：

定理3:當p→∞時，漸近風險率為：

表1 多元嶺回歸估計與多元線性Minimax估計的漸近風險率數值

圖1 多元嶺回歸估計與多元線性Minimax估計的漸近風險率變化圖

從表1及圖1中可分析出：在多元Minimax風險意義下，多元線性Minimax估計優于多元嶺估計。

[1]Minimax Blaker.estimation in Linear Regression Under Restrictions [J].Journal of Statistical Planning and Inference 2000，(90).

[2]王理峰,朱道元.有約束的多元線性回歸模型的Minimax估計.重慶工商大學學報（自然科學版）,2009,26(6).

[3]朱道元等.多元統計分析及SASS軟件[M].南京：東南大學出版社，1998.

[4]王松桂,線性模型的理論及其應用[M].合肥：安徽科技出版社, 1987.

[5]Hoerl A E,Kennard R W,Ridge Regression：Biased Estimation for Nonorthogonal Problems[J].Technometrics,1970,(12).

[6]Frank I E,Friedman J H,A Statistical View of Some Chemometrics Regression Tool(with discussion)[J].Technometrics,1993,(35)

[7]Speckman p.Spline Smoothing and Optimal Rates of Convergence in Nonparametric Regression Models[J].Ann.sttist,1985,(13).

[8]Pinsker M S.Optimal filtration of Square-integrable Signals in Gauss?ian White Noise[J].Problems Inform.Transmission16,1980,(16).

（責任編輯/浩 天）

O212.1

A

1002-6487（2016）23-0080-03

江蘇省高校哲學社會科學研究基金資助項目（2014SJD283）

王理峰（1981—），女，河南平頂山人，碩士，講師，研究方向：多元統計分析。朱道元（1947—），男，江蘇揚州人，教授，研究方向:多元統計分析。