相互近鄰域的函數型回歸估計

黃收友

?

相互近鄰域的函數型回歸估計

黃收友

(北京航空航天大學 數學與系統科學學院，北京 100083)

希爾伯特空間；相互最近鄰域；回歸函數；相容性

1 引言

2 相互近鄰域的相容性

根據這種方法得到相應的估計函數和誤差分別為

下面給出本文的主要結論:

3 證明

在本節中, 我們將闡述相關定理和命題，另外，給出了兩個相關的引理命題的證明.

注: 不等式（1）右邊的第一項可以看作是逼近誤差, 是因為用有限維空間去逼近樣本點空間產生的. 由下面引理1和引理2，我們可知上述不等式的第一項和第二項都收斂到零.

從而可得

進一步, 根據可數個隨機事件之并的概率不超過其概率之和，以及Hoeffding不等式可得

注意到

在證明定理1之前, 我們先給出兩個引理.

具體證明可以參照文獻[6]中的定理6.1.

利用命題1, 則有

4 結論

[1] Arnaud G., Nick H．On the mutual nearest neighbors estimate in regression[J]．Journal of Machine Learning Research， 2013，(14)：2361-2376．

[2] Biau G., Buena F., Wegkamp M．Functional classification in Hilbert Spaces[J]．IEEE Transactions on Information Theory，2005，(51)：2163-2172．

[3] Burba F., Ferraty F., Vier P．k-NearestNeighbour method in functional nonparametric regression[J]．Journal of Nonparametric Statistics，2009，(21)：453-469．

[4] Chidananda K., Krishna G．Agglomerative clustering using the concept of mutual nearest neighbourhood[J]．Pattern Recognition，1978，(10)：105-112．

[5] FIX E., Hodges J．Discriminatory Analysis. Nonparametric Discrimination: Consistency properties[J]．International Statistical Review，1989，57(3)：238-247.

[6] Kohler M., Krzyzak A., Walk H．A distribution-free theory of nonparametric regression[J]. Springer Series in Statistics, 2002, XVI: 650.

[7] Stone, C．Consistent nonparametric regression[J]．The Annals of Statistics，1977，(5)：595-645．

A Mutual Nearest Neighbor Estimate for Functional Regression

HUANG Shou-you

(School of Mathematics and System Science, Beihang University, Beijing 100083, China)

Hilbert Space; Mutual Nearest Neighbor; Regression Function; Consistency

黃收友（1982-），男，博士研究生，研究方向：統計學習理論.

國家自然科學基金（11171014和91130009）；國家重點基礎研究發展計劃項目（973-2010CB731900）.

O212.4

A

2095－414X(2014)06－0082－04