統計學習理論及其研究進展

摘要：本文主要介紹統計學習理論的基本思想，特點和研究發展現狀，以引起國內學者的進一步關注。

關鍵詞：機器學習 統計學習理論 推廣性能

中圖分類號：G64 文獻標識碼：Ａ 文章編號：1674-098X(2011)10(b)-0000-00

Abstract: This paper introduces the basic ideas of statistical learning theory， the major characteristics and some current research trends to attract further attention of the domestic scholars.

Keywords: Learning machine; statistical learning theory; generalization performance

1 前言

統計學習理論（Statistical Learning Theory，簡稱SLT[1]）是一種專門研究小樣本情況下機器學習規律的理論，它為人們系統研究有限樣本情況下的學習機器問題提供了有力的理論基礎。統計學習理論系統地研究了經驗風險和實際風險之間的關系，也即推廣性的界。

2 基本概念

機器學習的問題就是從給定的函數集中選擇出能夠最好地逼近訓練器響應的函數。機器學習問題可形式化地表示為：根據個獨立同分布的觀測樣本，在一組函數中求出一個最優函數對訓練器的響應進行估計，使期望風險最小，即其中，是未知的概率分布函數，為損失函數。

對于未知的概率分布，若要最小化風險函數，只有樣本的信息可以利用，這導致了定義的期望風險是無法直接計算和最小化的問題。根據概率論中大數定理的思想，人們用算術平均代替數學期望，于是定義了經驗風險泛函：來逼近期望風險。用使經驗風險最小的函數來代替使期望風險最小的函數，就是所謂的經驗風險最小化(Empirical Risk Minimization，簡稱ERM)[1]原則。

3 研究進展

Vapnik，Cucker和Smale[1]等人已經證明了，當樣本數趨于無限時基于獨立同分布序列學習機器的經驗風險一致收斂到它的期望風險。對于基于獨立同分布序列的學習機器的一致收斂速率的界的研究取得了很多的成果。……