黃收友
?
相互近鄰域的函數型回歸估計
黃收友
(北京航空航天大學 數學與系統科學學院,北京 100083)

希爾伯特空間;相互最近鄰域;回歸函數;相容性






根據這種方法得到相應的估計函數和誤差分別為

下面給出本文的主要結論:

在本節中, 我們將闡述相關定理和命題,另外,給出了兩個相關的引理命題的證明.

注: 不等式(1)右邊的第一項可以看作是逼近誤差, 是因為用有限維空間去逼近樣本點空間產生的. 由下面引理1和引理2,我們可知上述不等式的第一項和第二項都收斂到零.

從而可得

進一步, 根據可數個隨機事件之并的概率不超過其概率之和,以及Hoeffding不等式可得




注意到


在證明定理1之前, 我們先給出兩個引理.


具體證明可以參照文獻[6]中的定理6.1.

利用命題1, 則有
[1] Arnaud G., Nick H.On the mutual nearest neighbors estimate in regression[J].Journal of Machine Learning Research, 2013,(14):2361-2376.
[2] Biau G., Buena F., Wegkamp M.Functional classification in Hilbert Spaces[J].IEEE Transactions on Information Theory,2005,(51):2163-2172.
[3] Burba F., Ferraty F., Vier P.k-NearestNeighbour method in functional nonparametric regression[J].Journal of Nonparametric Statistics,2009,(21):453-469.
[4] Chidananda K., Krishna G.Agglomerative clustering using the concept of mutual nearest neighbourhood[J].Pattern Recognition,1978,(10):105-112.
[5] FIX E., Hodges J.Discriminatory Analysis. Nonparametric Discrimination: Consistency properties[J].International Statistical Review,1989,57(3):238-247.
[6] Kohler M., Krzyzak A., Walk H.A distribution-free theory of nonparametric regression[J]. Springer Series in Statistics, 2002, XVI: 650.
[7] Stone, C.Consistent nonparametric regression[J].The Annals of Statistics,1977,(5):595-645.
A Mutual Nearest Neighbor Estimate for Functional Regression
HUANG Shou-you
(School of Mathematics and System Science, Beihang University, Beijing 100083, China)

Hilbert Space; Mutual Nearest Neighbor; Regression Function; Consistency
黃收友(1982-),男,博士研究生,研究方向:統計學習理論.
國家自然科學基金(11171014和91130009);國家重點基礎研究發展計劃項目(973-2010CB731900).
O212.4
A
2095-414X(2014)06-0082-04