AdaBoost算法及改進

李瑞帥

1前言

AdaBoost因良好的分類能力，簡單易實現，在數據挖掘、人臉識別與行人檢測中都獲得了廣泛的關注。本文主要介紹AdaBoost算法的理論、訓練方法與本文基于特征量化的改進算法。

2AdaBoost簡介

AdaBoost算法（自適應增長算法），由Yoav Freund和Robert Schapire提出并進行理論完善。AdaBoost算法是一種迭代算法，每經過一次迭代，增加一個新的弱分類器，最終分類結果由所有弱分類器加權投票，根據投票結果是否大于閾值確定樣本標簽，當整個訓練樣本集的分類錯誤率小于給定值時停止訓練過程。

AdaBoost的訓練過程其實就是一個迭代的提升分類器學習能力的過程，方法如下：

3AdaBoost算法改進

AdaBoost具有良好的分類表現，并且在檢測過程運行速度較快，但分類器的訓練過程的時間花費非常大，在一些要求實時進行學習更新的系統中應用受到限制。對于分類器而言學習速度與分類準確性同樣重要，在實時學習系統或處理數據流時分類算法必須具備快速自學習的能力。對AdaBoost算法改進出發點就是：不損失分類精度的前提下盡可能的提高訓練速度。

訓練所使用的特征集的特征之間并不是完全獨立的，而是具有很高的相關性。利用這一性質，通過選擇合適的模板特征，大部分的特征點可根據其與模板特征的關系進行預剔除。

進行弱分類器訓練之前，預先對特征數據使用最簡單的線性劃分法進行量化，避開了弱分類器訓練中的樣本排序過程，并且極大地減少了循環遍歷的次數。

4結論

通過研究當前AdaBoost算法的改進方向與思路，實現了一種通過量化訓練樣本特征值的方法加快訓練速度，該方法在訓練時間上具有很大的優勢，雖然在處理小樣本，低維特征時效果不如傳統AdaBoost訓練算法精度高，但當樣本數目大，特征向量維度高時，通過增加弱分類器的數目能夠獲得與傳統方法媲美的分類精度，并保持速度上的優勢。

火箭軍士官學校