m-END誤差下回歸模型加權估計的相合性

魯 俊，肖 瀟，陶浩然，喬旭東，吳秋月，楊文志*

（安徽大學 a.文典學院；b.數學科學學院，合肥，230009）

m-END誤差下回歸模型加權估計的相合性

魯 俊a，肖 瀟a，陶浩然a，喬旭東b，吳秋月b，楊文志b*

（安徽大學 a.文典學院；b.數學科學學院，合肥，230009）

m-END隨機變量是一類很弱的負相依隨機變量，它包含了NA隨機變量、NOD隨機變量和END隨機變量。本文基于誤差為m-END序列，研究非參數回歸模型未知參數的加權估計，獲得了加權估計的收斂性，包括矩相合性收斂速度和完全相合性收斂速度。作為應用，給出非參數回歸模型未知參數近鄰權估計的矩相合性收斂速度和完全相合性收斂速度。

回歸模型；END隨機變量；矩相合性；完全相合性

Liu[1]給出如下相依隨機變量END隨機變量的概念。

定義1 對隨機變量序列X1,X2,…,Xn,…，如果存在一正常數M＞0，滿足對所有n≥1和所有實數x1,x2,…,xn,都有

則稱X1,X2,…,Xn為END的。進一步，如果對所有n≥1,X1,X2,…,Xn，為END隨機變量，則稱{Xn,n≥1}為END隨機變量序列。

如果在定義1中每個取+∞和-∞，易知控制系數M≥1。Liu給出了END隨機變量的定義及一些例子[1]。當M=1時，END隨機變量就是Lehmann給出的著名NOD隨機變量[2]，而NOD隨機變量包含了NA隨機變量[3]。有關NA、NOD及相關的隨機變量的介紹，可參見文獻[4-10]及相關引用文獻。另一方面，基于m相依和NA隨機變量概念，Hu等給了m-NA隨機變量的概念，并獲得了其完全收斂性結果[11]。受Hu等[11]的啟發，Wang等[12]給了m-END隨機變量概念。

定義2 對某個固定的整數m≥1，如果對任意的n≥2和任意i1,i2,…,in，當為END的，則稱隨機變量{Xn,n≥1}為m-END的。

作為應用，Wang等研究了m-END誤差下回歸模型未知參數加權估計的完全收斂性[12]。受上述文獻的啟發，本文繼續研究m-END誤差下回歸模型估計的相合性問題，獲得加權估計的矩收斂速度和完全收斂速度，推廣了已有文獻的結果。

下面我們考慮固定設計下的非參數回歸模型

其中xn1,xn2,…,xnm為已知的固定設計點列，且都屬于A?Rr,r≥1,εn1,εn2,…,εnn為m-END隨機誤差，g(·)為未知的實函數。假設對所有n≥1,(εn1,εn2,…,εnn)與(ε1,ε2,…,εn)同分布。下面給出未知函數g(·)的加權函數估計量：

其中，Wm(x)=Wm(x;xn1,…,xnn)為權函數。

有關非參數回歸模型的研究很多。例如Tran等獲得了線性誤差下加權估計(x)的漸近正態性[13]；Liang和Jing獲得了NA誤差下加權估計(x)的漸近正態性[14]；Yang等給出NOD誤差下加權估計(x)的矩相合性和強收斂速度[15]；Wang等給出END誤差下加權估計(x)的完全相合性[16]，等等。更多回歸模型和統計推斷知識，可參見文獻[17，18]。本文將考慮誤差為m-END誤差下非參數回歸模型（1）的未知參數g(x)加權估計(x)的漸近性質，獲得了加權估計的矩相合性和完全相合性，給出它們的收斂速度。作為應用，給出未知參數近鄰權估計量的矩相合性收斂速度和完全相合性收斂速度，具體見第2節主要結論。我們推廣了已有文獻的結論，具體見注釋1。最后一些引理及其定理的證明見第3節內容。

為敘述方便，本文記C,C1,C2,…,C(p),C(p,m),C(p,m,M)為不依賴于n的正常數，I(A)表示集合A的示性函數，‖x‖記為向量x的歐式范數，logn=logmax(n,e)。

1 主要結論

在非參數回歸模型（1）中，對某個p≥1和任意固定的x∈A，權函數Wni(x)=Wni(x;xn1,…,xnn)的假設條件如下

(H2)對所有n≥1，存在一正數C滿足

獲得g(·)的加權估計(x)的矩相合性收斂速度和完全相合性收斂速度。

定理1 在回歸模型（1）中，假設{εn,n≥1}為同分布的m-END序列，且滿足Eε1=0，E|ε1|2p＜∞，其中p≥1。假設條件(H1)～(H3)滿足，g(x)函數在點x∈A的鄰域滿足局部萊布利茲條件，則有

進一步，如果E|ε1|2p+2＜∞，有

作為定理1的一個應用，我們給出了g(x)的近鄰權函數估計的矩相合性和完全相合性。不失一般性，取A=[0,1],xni=i/n，i=1,2,…,n，對x∈[0,1]，將|xn1-x|,|xn2-x|,…,|xnn-x|按大小重新排序。如果，則規定當i＜j時，|xni-x|排在|xnj-x|之前。設1≤kn≤n，定義回歸模型（1）中的g(x)近鄰權函數估計

基于上面的符號，應用定理1，獲得如下推論。

推論1 在回歸模型（1）中，假設{εn,n≥1}為同分布的m-END序列；存在某個p＞3/2，滿足Eε1=0,E|ε1|2p＜∞；g(x)函數在點x∈[0,1]的鄰域滿足局部萊布利茲條件。取kn=[n1/2p]，其中[·]為取整符號，則

進一步，如果E|ε1|2p+2＜∞，有

注1 一方面，矩相合性和強相合性不能相互推導，故本文在相同假設條件下分別獲得非參數回歸模型（1）未知參數加權估計的矩相合性收斂速度和完全相合性收斂速度，具體見（3）式、（4）式、（7）式和（8）式；另一方面，在權函數滿足一些條件下，Yang等[15]討論了誤差為NOD（矩條件滿足時g(·)的加權估計(x)的矩相合性、一致矩相合性、強相合性和強收斂速度（見其定理2.1-2.4）；Wang等[16]討論了誤差為END（矩條件滿足E|ε1|2p＜∞,p≥1）時加權估計(x)的完全相合性，但未討論其收斂速度（見其定理1.2）；Wang等[12]討論了誤差為m-END（矩條件滿足E|ε1|max(2,2/s)＜∞,s≥1/2）時加權估計(x)的完全收斂性，但同樣未討論其收斂速度（見其定理4.1）。受上述文獻啟發，本文討論了m-END誤差下加權估計(x)的矩相合性和完全相合性，分別給出它們的收斂速度，具體見定理1和推論1。由于m-END隨機變量包含NA隨機變量、NOD隨機變量、END隨機變量，所以我們推廣了Yang等[15]的定理2.1-2.4、Wang等的定理1.2和Wang等[12]定理4.1到誤差為m-END場合，并獲得非參數回歸模型未知參數加權估計的矩相合性收斂速度和完全相合性收斂速度。

2 引理及定理1的證明

引理1[12]假設X,X,…,X是m-END隨機變量，f1(·),f2(·),L,fn(·)對所有變元是非降或非增的Borel函數，則f1(X1),f2(X2),…,fn(Xn)仍是m-END隨機變量，控制系數M不變。

引理2[19]假設是END隨機變量，滿足EXn=0,|Xn|≤dn,a.s.,n≥1,其中{dn,n≥1}為一正數序列。記,則對任意的ε＞0有

其中M為控制系數。

推論2 假設{Xn,n≥1}是m-END隨機變量，滿足EXn=0|Xn|≤dn,a.s.,n≥1，其中{dn,n≥1}為一正數序列。記,則對任意的ε＞0有

其中M為引理2所定義。

證明 由于Xn,n≥1為m-END隨機變量，所以有m-END定義知，可將{Xn,n≥1}分解為m個END序列，即

證畢。

引理3[20]設{X,n≥1}是END隨機變量，滿足EXn=0和E|Xn|p＜∞,n≥1，其中p≥2,則對所有n≥1有

其中,C(p,M)為不依賴于n的正常數。

推論3 設{Xn,n≥1}是m-END隨機變量，滿足EXn=0和E|Xn|p＜∞，n≥1，其中p≥2,則對所有n≥1有

其中，C1(p,m,M)為不依賴于n的正常數。進一步，如果{ani,1≤i≤n,n≥1}為一實數陣列，則

其中，C2(p,m,M)為不依賴于n的正常數。

證明 由于m-END序列可分解為m個END序列，再結合Cr不等式和引理3，易得（9）式。另一方面，對固定的n≥1，由引理1知和仍為m-END隨機變量，控制系數不變。進一步，由于函數f(x)=xp/2關于x≥0是增函數，其中p≥2。故有

最后結合（9）式，易得（10）式，證畢。

定理1的證明對于固定的x∈A，由引理1知，和仍為m-END序列，控制系數不變。結合，不失一般性，我們在證明過程中假設Wni(x)≥0。類似于在Yang等[15]的（4.2）的證明，由(H1)～(H3)，對x∈A，有

由于對所有n≥1，由于(εn1,εn2,...,εnn)與(ε1,ε2,...,εn)同分布，且ε1,ε2,...,εn同分布。故由（2）式，條件(H2)、Eε1=0、E|ε1|2p＜∞，對x∈A，應用推論3的（10）式得

另一方面，結合Cr不等式，有

所以由（11）式至（13）式知（3）式成立。

接下來我們將證明（4）式。由（11）式，為證（4）式，只需證明

對于所有固定的n≥1，由于(εn1,εn2,εn3,...,εnn)與(ε1,ε2,ε3,...,εn)同分布及ε1,ε2,...,εn同分布，知Eεni=Eεi=Eε1=0，從而有

因此，由(H2)和E|ε1|2p+2＜∞(p≥1)知，

由于{Wni(x)(ε1,i(n)-Eε1,i(n),1≤i≤n)}仍為m-END隨機變量，控制系數不變，因此由推論2知，存在充分大的正數C滿足

另一方面，根據(H2),E|ε1|2p+2＜∞(p≥1)以及Markov不等式,知

因此，由（15）式至（17）式知（14）式成立。故（4）式證畢。

推論1的證明對于每個x∈[0,1]，由Ri(x)的定義及xni和kn=[n1/p]的選取，有

顯然，對于任何s＞0，若s(1-3/2p)≥1/2p，有p≥(3s+1)/2s＞3/2。所以對p＞3/2和任意的s＞0，有

由于函數g(x)在點x∈[0,1]的鄰域滿足局部萊布利茲條件，由（6）式和（18）式至（20）式，我們可以驗證條件(H1)～(H3)都是滿足的。因此，應用定理1，立即獲得推論1。故（7）式和（8）式證畢。

[1]Liu L.Precise large deviations for dependent random variables with heavy tails[J].Statistics and Probability Letters,2009,79(9)：1290-1298.

[2]Lehmann E L.Some concepts of dependence[J].Annals of Mathematical Statistics,1966,37(5)：1137-1153.

[3]Joad-Dev K,Proschan F.Negative association of random variables with applications[J].Annals of Statistics,1983,11(1)：286-295.

[4]胡太忠.隨機變量的負超可加相依及其應用[J].應用概率統計,2000,16(2)：133-144.

[5]Wu Q Y.A strong limit theorem for weighted sums of sequences of negatively dependent random variables[J].Journal of Inequalities and Applications,2010,Article ID 383805,8 pages.

[6]林正炎,陸傳榮,蘇中根.概率極限理論基礎[M].北京：高等教育出版社,1999：78-118.

[7]吳群英.混合序列的概率極限理論[M].北京：科學出版社,2006：132-205.

[8]Bulinski A V,Shaskin A.Limit theorems for associated random fields and related systems[M].Singapore：World Scientific,2007：1-160.

[9]Rao P B L S.Associated sequences,demimartingales and nonparametric inference[M].Basel：Birkhaauser,Springer,2012：1-30.

[10]Oliveira P E.Asymptotics for associated random variables[M].Berlin Heidelberg：Springer-Verlag,2012：3-33.

[11]Hu T C,Chiang C Y,Taylor R L.On complete convergence for arrays of rowwise m-negatively associated random variables[J].Nonlinear Analysis,2009,71(12)：1075-1081.

[12]Wang X J,Wu Y,Hu S H.Exponential probability inequality for m-END random variables and its applications[J].Metrika,2016,79(2)：127-147.

[13]Tran L,Roussas G,Yakowitz S,et al.Fixed-design regression for linear time series[J].Annals of Statistics,1996,24(3)：975-991.

[14]Liang H Y,Jing B Y.Asymptotic properties for estimates of nonparametric regression models based on negatively associated sequences[J].Journal of MultivariateAnalysis,2005,95(2)：227-245.

[15]Yang W Z,Wang X J,Wang X H,et al.The consistency for estimator of nonparametric regression model based on NOD errors[J].Journal of Inequalities and Applications 2012,2012：140,pages 13.

[16]Wang X J,Zheng L L,Xu C,et al.Complete consistency for the estimator of nonparametric regression models based on extended negatively dependent errors[J].Statistics,2015,49(2)：396-407.

[17]陳希孺.數理統計引論[M].北京：科學出版社,1981：439-532.

[18] 陳希孺,陳桂景,吳啟光,等.線性模型參數的估計理論[M].北京：科學出版社,2010：30-155.

[19]Yang W Z,Xu H Y,Chen L,Hu S H.Complete consistency of estimators for regression models based on extended negatively dependent errors[J].Statistical Papers,First Online：28 April 2016,DOI 10.1007/s00362-016-0771-x

[20]Shen A T.Probability inequalities for END sequence and their applications[J].Journal of Inequalities and Applications,2011,2011：98,pages 12.

Consistency of weighted estimator of regression model based onm-END errors

LU Juna,XIAO Xiaoa,TAO Hao-rana,QIAO Xu-dongb,WU Qiu-yueb,YANG Wen-zhib*
(a.Wendian College;b.School of Mathematical Sciences,Anhui University,Hefei Anhui230039,China)

m-END random variables are weakly dependent random variables,which contain NA random variables,NOD random variables and END random variables.In this paper,we investigate the weighted estimator of nonparametric regression model based onm-END errors.Some results of consistency such as mean convergence rate and complete convergence rate are obtained.As an application,the nearest neighbor weight estimator of nonparametric regression model is studied and mean convergence rate and complete convergence rate are presented.

regression model;END random variables;mean consistency;complete consistency

O212.7

A

1004-4329（2017）03-030-05

10.14096/j.cnki.cn34-1069/n/1004-4329（2017）03-030-05

2017-04-14

國家自然科學基金(11501005，11671012)；安徽省自然科學基金(1508085J06)資助。

楊文志(1982- )，男，博士，副教授，研究方向：概率論與數理統計。