非線性回歸模型誤差方差的經驗似然估計*

胡學葉，張正家

（廣西師范大學數學與統計學院，廣西 桂林 541004）

0 引言

經驗似然是由Owen[1-3]提出的一種非參數統計推斷方法,具有構造的置信區間域保持性、變換不變性等優點,應用于各種統計模型中。石堅[4]研究了線性模型誤差方差的經驗似然估計。非線性回歸模型是統計學中最基礎的模型之一,是線性回歸模型的推廣,有諸多研究成果。Jennrich[5]和Wu[6]利用最小二乘法給出了非線性回歸模型參數估計并證明估計量的漸近正態性?？紤]到非線性回歸模型廣泛應用在各個行業中,本文利用經驗似然方法獲得了在設計矩陣為非隨機的情形下非線性回歸模型誤差方差的經驗似然估計,并證明了估計量的漸近正態性。通過數據模擬發現,經驗似然方法得到的漸近方差比傳統殘差平方和方法得到的估計更小。

考慮非線性回歸模型

其中f是一個已知的回歸函數,x∈Rp是固定設計矩陣,Y∈R1是響應變量,β∈Rk是參數向量,e∈R1是不可觀測的隨機誤差。設有來自模型的獨立同分布樣(x1,Y1),…,(xn,Yn),其中xi=(xi1,…,xip)Τ,相應地有一組不可觀測的隨機誤差e1,…,en,使得Yi=f(xi,β)+ei,1≤i≤n。記x(n)=(x1,…,xn)Τ,Y(n)=(Y1,…,Yn)Τ,e(n)=(e1,…,en)Τ。

我們的目的是得到誤差方差σ2的估計量,由于e(n)不可觀測,需要先對β進行估計。采用最小二乘法,即求的極小值點。

對Qn(β)關于β求導,得到

其中ui(β)=?f(xi,β)?β,由于上式沒有顯示解,我們采用牛頓迭代方法求解,得到滿足(2)式的為β的最小二乘估計。具體操作如下：

(2)令β新 的 估 計 為,其 中A是n×k的矩 陣,uij是A的(i,j)元素,且uij=?f(xi,β)?βj;

由拉格朗日數乘法得到：

其中λ滿足：

因此可以得到誤差方差σ2的一個修正估計

（A1）e1,…,en是獨立同分布的隨機變量,且;存在ε>0,使得,記=μj,j=3,4;

（A2）對每一個x∈τ,函數f(x,β)關于β有連續的二階導數,β∈Γ,其中τ={x:x∈Rp},Γ={β:β∈Rk},且τ和Γ是緊集;

（A3）對每一個x∈τ,β在真實值某領域內,有是有界的,即,其中ui(β)=表示歐式模;

（A4）存在正定矩陣V,使得當n→∞,有，其中ui(β)=(ui1(β),ui2(β),…,uip(β))Τ;

（A5）存在常數C>0,使得,其中σ2未知,;

注1：為敘述方便,始終假設C表示一不依賴于n的大于0的常數,且C每次出現可以取不同的值。

1 主要結論

定理1若條件（A1）~（A6）成立,當n→∞,有

且

由定理1知，經驗似然得到的誤差方差的漸近方差比傳統殘差平方和得到的漸近方差小。

2 模擬結果

表1 估計量的偏差,方差和相對效率(e1～N(0,1))

表2 估計量的偏差,方差和相對效率(e1～exp(1)-1)

3 定理的證明

引理1設W1,W2,…,Wn為獨立同分布的隨機變量序列,若存在α>0,使得,則有

證明：見Ghosh等[7]的引理3。

引理2若條件（A1）~（A6）成立,則有：

其中μj=,j=3,4。

證明：(11)式的證明。滿足(2)式，

(12)式的證明。令,由引理2得。且

(13)式的證明。因為

由獨立隨機變量求和的矩不等式得到

(14)式的證明。令,有

(15)式的證明。由(6)式得。

令ζi=λeni,那么,,即。

定理1 的中(8)式的證明。

定理1中(9)式的證明：