基于自適應自然梯度法的在線高斯過程建模

0 引言

人們從20世紀80年代就開始對運用非線性參數化模型(如多層感知器和徑向基函數)來建立高維數據之間關系的經驗模型感興趣。對于分類和非線性回歸問題，神經網絡(如多層感知器)是非常受歡迎的建模工具。從貝葉斯觀點來看，神經網絡模型可以看做一個非線性函數的先驗概率分布，而神經網絡的學習過程可以解釋成未知函數的后驗概率分布。O’Hagan第一次提出了將高斯過程用在回歸建模中，但是Neal發現貝葉斯神經網絡節點作為一種非線性函數的先驗分布其實就是高斯分布，而神經網絡模型的超參數決定丫高斯過程的輸人權重之后，高斯過程才作為一種非參數化建模方法受到重視。由于標準神經網絡節點龐大的缺陷，Neal這種觀點直接激發了一種建模設想：拋開參數化的網絡而直接使用高斯過程來進行建模。