基于主成分的稀疏貝葉斯信用分類研究

盛靜文 于艷麗 江開忠

摘 要：針對傳統信用評價方法分類精度較低、數據集屬性變量間存在相關性等問題，提出基于主成分分析的稀疏貝葉斯學習（PCA-SBL）算法。首先對數據集特征變量進行主成分分析，使降維后的變量無相關性;其次，對主成分分析后的數據進行稀疏貝葉斯分類;最后將PCA-SBL分類方法分類精度與傳統分類方法精度進行比較。分析發現，在German Credit Data和Australian Credit Data上，與傳統KNN、樸素貝葉斯、SVM、隨機森林、決策樹相比，改進的SBL算法分類精度平均提高了5.26%、4.65%、2.11%、2.125%、4.66%，與稀疏貝葉斯學習算法（SBL）相比，平均提高0.965%，從而證明PCA-SBL算法具有更高的分類效果。

關鍵詞：信用評價;主成分分析;稀疏貝葉斯學習;信用分類

DOI：10. 11907/rjdk. 192544 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301文獻標識碼：A 文章編號：1672-7800（2020）004-0113-04

Abstract： Aiming at the low classification accuracy of traditional credit evaluation methods and the correlation between data set attribute variables， this paper proposes a sparse Bayesian learning algorithm based on principal component analysis（PCA-SBL）. Firstly， the principal component analysis of the characteristic variables of the data set is carried out， so that the variables have no correlation after dimensionality reduction. Secondly， the sparse Bayesian classification is performed on the data after principal component analysis. Finally， by comparing the classification accuracy of the PCA-SBL classification method with the accuracy of the traditional classification method， it is found that the improved SBL increases the classification accuracy by 5.26%，4.65%， 2.11%，2.125% and 4.66% averagely when compared with the traditional K-Nearest Neighbour （KNN），Naive Bayes，support vector machine， random forest and decision tree respectively on real-world German and Australian credit datasets. It also improves 0.965% averagely when compared with sparse Bayesian learning （SBL） algorithm. This proves that the proposed PCA-SBL algorithm has a higher classification effect.

Key Words： credit risk evaluation; principal component analysis; sparse Bayesian learning; credit classification

0 引言

當今社會信用建設不斷發展，作為信用考核標準的個人信用評分越來越受到重視。2014年12月中國人民銀行征信中心推出了個人信用報告“數字解讀”，2015年年初阿里巴巴推出芝麻信用分后，其它不少擁有個人信用信息資源的政府部門和社會機構也相繼推出了個人信用評分，并嘗試在一些場景中推廣應用。個人信用評分的應用已在我國社會和經濟領域產生重要影響。與發達國家相比，我國個人征信體系建設起步較晚、基礎薄弱，但近年來發展速度顯著加快。信用評估隨之成為研究熱點，目前常用的信用評估方法有：隨機森林[1]、神經網絡[2]、K近鄰[3]、決策樹[4]、樸素貝葉斯[5]、支持向量機[6]等。但已有方法大多受理想化條件限制或只能輸出結果，無法細化評估過程[7]。常應用于文本分類[8]，主要有4種分類器，分別是Naive Bayes、TAN、BAN和GBN。其分類原理是在已知某對象先驗概率的情況下， 通過貝葉斯公式計算其后驗概率， 即該對象屬于某一類的概率， 選擇具備最大后驗概率的類作為該對象所屬的類，確保分類精度較高。其中貝葉斯分類器是基于貝葉斯定理與特征獨立性假設的分類方法，在個人信用評估中的應用較為常見[9]。

文獻[10]將樸素貝葉斯分類器、樹增強樸素貝葉斯分類器應用于信用評估領域，并在兩個真實的數據集上進行實驗，與神經網絡模型進行對比，用貝葉斯方法進行信用評價具有顯著的優勢，且貝葉斯分類器克服了神經網絡分類結果難以解釋的缺陷;文獻[11]在信用評估領域運用3種樸素貝葉斯分類器，并比較其分類精度，發現樸素貝葉斯在信用評估中具有分類優勢。但是文章中對屬性采取的是靜態離散化方法，但為充分利用屬性信息必須使用動態離散化方法;文獻[12]提出由于貝葉斯網絡分類器具有同時處理定性屬性與定量屬性的能力，從風險代價角度出發，驗證了基于MOR的貝葉斯網絡分類模型在減小信用評估風險方面顯著有效;文獻[13]提出了一種基于最大后驗概率熵的最優樸素貝葉斯分類器，并將其用于個人信用預測，結果表明，該分類器預測準確率高于樸素貝葉斯分類器，且比支持向量機效率高;文獻[14]指出傳統信用評估方法分類精度低，可解釋性差，所以將最近幾年較流行的 “稀疏學習”應用到信用評估中，提出基于SBL的個人信用評估模型。為解決稀疏貝葉斯受到理想化條件限制的問題，在進行稀疏貝葉斯之前進行主成分分析，以保持變量間獨立性。