基于組合支持向量回歸的排污企業生產識別

(國網四川省電力公司電力科學研究院，四川 成都 610041)

0 引 言

信息技術和互聯網技術的快速發展使得大數據分析和人工智能等新技術應用應運而生，在建設電力物聯網的背景下，大數據和人工智能新技術與能源行業相結合引發了越來越多研究人員的關注[1]。電力大數據平臺在全面管控電網營銷服務和企業安全生產等方面獲得顯著成效[2-3]。一種應用電網用電信息采集系統數據以實現城市大氣污染排放在線管控的方法被提出。該方法基于大數據手段，將電網企業用電信息采集系統電量與環保管控數據進行批量化關聯分析，無需新增硬件設備，實現了城市企業大范圍在線監管，其中，排污企業對于環保措施的響應程度評判是電力數據在環保應用的一個重要功能。

支持向量機(support vector machine，SVM)是在分類、回歸和其他學習任務方面廣受歡迎的一種機器學習方法，在計算機視覺、自然語言處理、神經成像、生物信息學等領域已有成功的應用[4]。支持向量機一般分為3類：支持向量分類(support vector classification,SVC)、支持向量回歸(support vector regression,SVR)和一類支持向量機(one-class support vector machine ,1-SVM)[5]。其中：根據分類特征，支持向量分類可分為兩值分類和多值分類；支持向量回歸用于處理數據回歸問題；支持向量機還可實現一種特殊的一類分類問題，有學者將其稱為一類支持向量機(one-class support vector machine,1-SVM)，在實際中通常應用于異常值檢測[6]。

下面研究以企業用電和納稅信息為特征的排污企業生產狀態識別方法，考慮到實際輸入特征異常和部分缺失的情況，采用回歸分析解決數據異常和部分缺失的問題，提高了分析結果的魯棒性；通過網格搜索選擇多個支持向量回歸組合模型來識別污染企業生產狀況，增加了模型的泛化能力，提高了分類精度。

1 支持向量機數學模型

從模式分類中可分離模式的情況下了解支持向量機是如何工作的可能是最容易的。給定可線性或非線性分離的訓練樣本，支持向量機通過非線性核函數映射，生成一個超平面作為決策曲面，使得正例和反例之間的隔離邊緣被最大化。

考慮訓練樣本{(xi,yi),i=1,2,3...N}，xi為輸入模式的第i個樣例，yi為對應的期望響應，用于分離的超平面形式的決策曲面方程為

wTx+b=0

(1)

式中：x為輸入向量；w為權值向量；b為偏置。對于一個給定的權值向量w和偏置b，支持向量機的目標就是找到一個特殊的超平面，這個超平面的分離邊緣最大。支持向量機是一個二次規劃問題，數學推導如下。

當樣本中yi=+1和yi=-1代表的兩類模式是線性可分時，式(1)可以為

wTxi+b≥0 當yi=+1
wTxi+b≤0 當yi=-1

(2)

考慮使式(2)等號成立的那些點，也就是距離超平面最近的兩類點，只要成比例地調整w和b的值就能保證這兩類點的存在，且對分類結果沒有任何影響。設2個超曲面為H1、H2。

H1:wTx+b=1
H2:wTx+b=-1

(3)

對于非線性問題，可以通過非線性變換轉化為高維空間的線性問題。因此，對于非線性分類，首先，采用一個映射φ將數據映射到一個高維空間。此時，在高維特征空間中就可對輸入數據進行線性分類，映射回原空間后就成了輸入數據的非線性分類。支持向量機采用了一個核函數K(x,y)代替高維空間的內積運算，避免高維空間的復雜運算。為使得所有樣本都能被分離超平面正確分類，增加模型的魯棒性，可采用松弛變量解決這個問題，因此優化問題為

(4)

式中：w是權值向量；C為懲罰因子；ξi為松弛變量。

約束為

wTΦ(xi)+b≥1-ξii=1,……,l
ξi≥0i=1,……,l

(5)

式中：Φ(xi)為核函數。

2 排污企業生產識別

2.1 排污企業生產識別整體流程

基于組合支持向量回歸的排污企業生產識別的輸入數據為企業的用電量和稅收值，與企業生產狀態有強相關性。對輸入數據進行歸一化處理可直觀迅速判斷企業的基本運行情況，同時大量簡化了計算。規則化后的輸入數據存在負值或缺失的情況，這是異常的輸入數據。通過對企業用電量和稅收值的歷史回歸分析，可校正負值的輸入數據，預測缺失的輸入數據，提高了分析結果的魯棒性。

將輸入數據分為3部分：訓練數據、驗證數據和測試數據。輸入數據用來訓練支持向量回歸的超參數，不同的超參數對應一個支持向量回歸模型。通過網格搜索可以確定多個支持向量回歸模型，驗證數據用來篩選已確定的支持向量回歸模型，得到最優的支持向量回歸模型集用于組合回歸判斷，可提高單一模型的精度。最后，將最優的支持向量回歸模型集來測試歷史數據。排污企業生產識別整體流程如圖1所示。

2.2 排污企業數據來源

排污企業的主要數據有企業類型、企業注冊地、企業納稅、企業用電等，取自于不同的機構。其中，企業類型和企業注冊地來自四川省工商局，企業納稅歷史數據來自于四川省稅務局，企業用電歷史數據來自國網四川省電力公司用電信息采集系統和營銷系統。將歷史數據分為3部分：訓練數集、驗證數集和測試數集。其中，訓練數據用來確定模型的參數；驗證數據用來做模型驗證，選定預測誤差小的超參數組合，提高總模型的精度；最后，測試數據用來做模型測試及分析結果。

圖1 排污企業生產識別總體流程

2.3 輸入特征選擇與正則化

支持向量機的輸入特征選擇為企業用電量和納稅值。這兩個特征與企業生產密切相關，輸出數據為企業開工判據。

輸入數據為企業用電量和納稅值，輸出數據為企業開工判據，其中，輸入數據的幅值遠遠大于輸出數據的幅值。為了降低運算難度，輸入數據的大小被規則化，企業用電量被企業配電變壓器容量整除，納稅值被最大納稅值整除，則企業用電量和納稅值規則化后的范圍均為[0,1]。

(6)

實際情況中存在輸入特征值為負或者缺失的異常情況，為處理這種異常值情況，通過歷史數據回歸建立起企業用電量和納稅值的關系，如圖2所示。

圖2給出了企業歷史的稅收值和用電量，存在異常與缺失，圖3對缺失與異常做了標記，通過回歸分析，可對異常輸入特征進行修正，并填補缺失的特征，如圖4所示。

圖2 企業歷史輸入特征(存在特征異常與缺失)

圖3 異常與缺失特征辨識

圖4 異常與缺失特征回歸處理

2.4 核函數非線性映射

使用非線性映射φ把訓練數據映射到一個高維特征空間，然后在高維特征空間里進行線性回歸，映射回原空間后就成了輸入空間的非線性分類。用核函數K(x，y)就可以實現非線性回歸，如圖5所示。

圖5 核函數的非線性映射

2.5 網格搜索與驗證

采用網格搜索法來選擇了441組超參數(即不同的C，γ，ε組合),一組超參數可以確定一個SVM模型，選擇網格搜索多個超參數以提高模型的邊化能力，C為懲罰因子，γ為核函數的參數，ε為一個大于0的常數。在使用相同數據集的情況下，訓練了441個不同的SVM模型。用一部分數據來做驗證，避免過擬合。通過網格搜索得到的441個模型，在驗證集上取誤差最小的前25個模型，測試數據的最后結果取25個回歸模型的平均值。

網格搜索法是一種直接的方法，它將不同組合的γ、C和ε值逐個進行測試，查看情況，網格搜索中，令：

C=(2(-5),2(-3),2(-1),2(1),2(3),2(5),2(7),2(9),2(11))

γ=(2(-15),2(-13),2(-11),2(-9),2(-7),2(-5),2(-3))

ε=(2(-15),2(-13),2(-11),2(-9),2(-7),2(-5),2(-3))

(7)

不同的參數組合依次求解，得到最優的超參數。

基于組合支持向量回歸的排污企業生產識別流程如圖6所示。

圖6 基于組合支持向量回歸的排污企業生產識別流程

3 測試結果分析

對企業1500個實際生產數據進行測試識別。輸入數據為這1500個實際生產下的納稅值和用電量，其中，輸入數據存在部分缺失和異常。組合支持向量機模型給出對于1500個輸入特征下對應的生產判斷。

輸入的數據中，納稅數據小于0時為異常值，納稅數據為0時為缺失值。異常值和缺失值都是因為實際管理等原因造成的真實數據不能查詢。

輸入數據的總數為1500個，異常即小于0的數據為313個，占總輸入數據的20.87%;部分缺失數據數量為29個，占總輸入數據的1.93%，如表1所示。

表1 輸入數據分析

通過回歸模型對異常數據進行處理，如圖7所示，異常和部分缺失輸入數據進行回歸處理后，其規則化后的范圍為(0,1)。

圖7 異常和部分缺失數據處理后的輸入特征數據

通過組合支持向量回歸模型對異常和部分缺失值處理后的數據進行生產狀態識別，結果如圖8所示。

組合支持向量回歸模型識別企業生產狀態結果如表2所示。其中，正確識別的生產狀態1484個，識別正確率為98.93%，多個支持向量機組合模型具有分類精度高的特點。由于異常和部分缺失數據有342個，未進行異常和缺失值處理時，正確識別1142個，識別正確率為76.13%，異常和缺失值回歸處理提高企業生產狀態識別率22.8%。

圖8 企業生產狀態識別結果

表2 組合支持向量回歸模型識別企業生產狀態結果

4 結 語

提出了一種綜合考慮企業用電和納稅信息的污染企業生產狀況識別方法。該識別方法考慮了實際應用過程中的數據部分病態的問題，采用回歸分析，解決輸入特征異常和部分缺失的問題，提高了分析結果魯棒性；同時，通過網格搜索選擇多個支持向量機組合模型識別污染企業生產狀況，增加了模型的泛化能力，提高了分類精度。