基于改進Pinball 損失的支持向量機

孫雪蓮，姜志俠，姜文翰

（長春理工大學 數學與統計學院，長春 130022）

支持向量機（Support Vector Machine，SVM）是一種具有統計學與最優化理論支撐的經典機器學習方法，在處理小規模非線性數據上具有明顯優勢，因而被廣泛使用到手寫體識別、圖像處理、文本識別等領域［1］。

1999 年，Suykens J 等人［2］提出了帶有Hinge損失的支持向量機，該模型能夠抓住關鍵樣本，剔除冗余樣本，保證了分類的準確性和泛化性能。但對錯誤分類和正確分類的樣本施加相同程度的懲罰，使得模型對噪聲數據敏感，降低模型分類的準確性。Huang 等人［3］將Hinge 損失替換為Pinball 損失，提出Pin-SVM。該模型將分位數距離作為目標函數，降低對正確分類的懲罰，導致支持向量機對噪聲數據敏感性降低，提高了模型的魯棒性。2015 年Huang 等人［4］利用SMO算法尋找Pin-SVM 及稀疏的Pin-SVM 全局最優解，令Pin-SVM 能夠在現實情況下應用。2016 年Gong 等人［5］基于TSVH 和Pin-SVM 提出了TPSVH分類器，提高了分類性能，具有更高的穩定性。Shen 等人［6］在2017 年提出截斷Pin-SVM 模型，該模型結合了Pin-SVM 和C-SVM 的優勢，對噪聲數據不敏感同時具有稀疏性。同年Xu 等人［7］提出帶有Pinball 損失的孿生支持向量機。2020 年Liu 等人［8］提出了SpinNSVM 模型，該模型具有一個平滑的Pinball 損失函數，能夠更好地擬合樣本。2021 年Anand 等人［9］將特權信息加入Pin-SVM 模型中，提出了基于特權信息的雙彈球支持向量機分類器（Pin-TWSVMPI），能夠在相對較少的時間內提升模型的精度。

考慮到Pin-SVM 損失函數的參數取值范圍，在Pin-SVM 的基礎上提出了基于指數的損失函數，得到參數取值范圍更廣泛的Epin-SVM 模型，來提高模型分類的精度。并通過拉格朗日對偶等方法求解Epin-SVM 的目標函數與劃分超平面。……