一種基于核主元分析的話務量特征提取方法

摘 要:針對話務量的特點，提出了一種基于核主元分析的非線性的特征提取方法，該方法采用KPCA方法提取的非線性特征反映了原始輸入輸出數據之間的復雜關系，精簡了網絡輸入數據陣的維數。通過仿真結果比較表明，基于KPCARBFNN的話務量預測模型比PCARBFNN模型具有較好的非線性數據處理能力，反映了該方法的有效性。

關鍵詞:話務量; 特征提取; 核函數; 主元分析; 神經網絡

中圖分類號:TP202.7; TP301.6文獻標志碼:A

文章編號:1001-3695(2010)06-2189-03

doi:10.3969/j.issn.1001-3695.2010.06.055

Method of nonlinear character extraction in communication traffic based on KPCA

ZHONG Bingxiang， LI Taifu， WANG Debiao， SU Yingying

(College of Electronic Information Engineering， Chongqing University of Science Technology， Chongqing 401331， China)

Abstract:In view of the communication traffic feature， this paper presented a method of nonlinear character extraction based on kernel function principal component analysis(KPCA). Nonlinear character extracted by KPCA reflectd the complex relationship between original input and output data and simplified the array dimension of input data. By comparing simulation results， the prediction model based on KPCARBFNN has better ability to deal with nonlinear data than that prediction model based on PCARBFNN. The experimental results show that this method is very effective.

Key words:communication traffic; character extraction; kernel function; principal component analysis; RBFNN

0 引言

話務量預測，是指通過分析通信網話務量的歷史數據統計規律或相關因素，對未來網絡可能出現的話務量進行估計和預期[1]。通信網話務量與經濟生活密切相關，在日常工作中，常以周為單位安排活動，話務量呈現出以周為單位的周期性。受當天的經濟和政治事件、天氣等不確定因素影響，話務量有很大的隨機性和突發性。由于受多種因素的交互影響，對于話務量的精確預測是非常困難的，作為一種時間序列數據，它具有一定的趨勢性、隨機性和周期性[2]。目前采用的預測技術，多限于簡單函數的擬合預測，如慣性預測Kalman濾波等[2~4]，這些技術相對簡單，難以滿足現階段話務量的復雜變化方式。因此，對話務量特征提取方法的研究和引入新的預測模型，將具有重大意義。

主元分析法(PCA)通過提取輸入變量的特征信息，降低了輸入變量空間的維數，但PCA是一種線性化分析方法，不能有效提取非線性特性。而核函數主元分析法(KPCA)常用于非線性特征提取，其基本思想是通過非線性變換將樣本數據從輸入空間映射到高維特征空間，然后在高維特征空間利用PCA進行特征提取[5~8]。本文提出一種基于核函數主元分析法(KPCA)的特征提取方法，用KPCA提取非線性主元作為神經網絡的輸入，建立話務量預測模型，提高輸入數據對話務量變化的敏感性，簡化預測模型。

1 核函數主元分析法

1.1 主元分析的基本原理[5]

線性主元分析法對于經過標準化處理的輸入矩陣xi(i=1，2，…，l)，xi∈RN，先計算協方差矩陣為

C=1l∑li=1xixiT(1)

特征方程為λv=Cv(2)

解得:λ=(λ1，λ2，…，λl)。其中λ1≥λ2≥…≥λl，則v=(v1，v2，…，vl)是與特征值對應的特征向量矩陣。

這樣輸入向量xi通過線性變換vT得到新的向量yi:

yi=vTxi(3)

yi則成為第i個主元，當前k個主元所累積的方差貢獻率足夠大時(一般大于85%[5])，就可以只取前k個主元作為新特征向量，即可很好地反映過程信息而濾去冗余信息。

PCA通過對輸入變量進行變換，在數據空間中找出了一組正交向量來最大可能地表示數據方差，以便將數據從原始高維空間映射到正交矢量構成的子空間，達到提取特征和降低變量維數的目的。

1.2 核函數主元分析的基本原理[5~7]

KPCA方法先對樣本進行非線性變換，由非線性函數(x)將輸入數據從原空間映射到高維特征空間，(x)的協方差矩陣C為

C=1l∑li=1(xi)#8226;(xi)T(4)

式(4)的特征向量v就是原始空間x在特征空間(x)上的主元方向，滿足

λv=Cv(5)

其中:特征值λ≥0。將每個輸入變量與式(5)內積，得

λ(xk)#8226;v=(xk)#8226;Cv; k=1，2，…，l(6)

此外，存在αi(i=1，2，…，l)滿足

v=∑li=1αi(xi)(7)

將式(4)和(7)代入式(6)，得

λ∑li=1αi((xk)#8226;(xi))=1l∑li=1αi((xk)#8226;

∑lj=1((xj))[(xj)#8226;(xi)]; k=1，2，…，l

(8)

定義l×l矩陣，使

K(xi，xj)=[(xi)#8226;(xj)](9)

根據式(8)，有

lλα=Kα(10)

其中:α=[α1，…，αl]T為矩陣K的特征向量，由α即可求出特征向量υ，即(x)空間的主元方向。對于原空間中的任意向量x，它在變換空間中的主元向量是(x)在主元方向v上的投影，即為

v#8226;(x)=∑li=1αi(xi)#8226;(x)=

∑li=1αiK(xi，x)(11)

其中:K(xi，x)為核函數。核函數是滿足Mercer條件的任意對稱函數，核函數的選擇方式有多種，如高斯徑向核、多項式核、感知器核等。本文建模選用了高斯徑向核:

K(xi，x)=exp-‖x-xi‖22δ2(12)

為了消除不同量綱帶來的影響，原始數據和計算得到的矩陣需要作標準化處理。

2 基于KPCA的話務量特征提取

2.1 話務量數據分類

對短期話務量預報前，需要對數據根據日期進行分類，分類方式可以有以下劃分模式:

a)將1周7天分為工作日(周一到周五)和休息日(周六和周日)兩種類型。

b)將1周分為周一、周二至周四、周五和休息日(周六和周日)五種類型。

c)將1周的每一天看成一種類型，共七種類型。

由于話務量本身數據量大，如果數據類型過多，將導致神經網絡結構復雜，影響神經網絡模型預測時間，本文采用數據劃分模式a)。

2.2 輸入/輸出向量設計

在預測日的前一天中，每隔1 h記錄一次話務量數據，這樣每天測得24組數據。話務量曲線每相鄰點之間不會發生突變，后一時刻的值必然與前一時刻的值有關，除非出現重大事件等特殊情況，所以將前一天的話務量數據作為神經網絡樣本數據。

此外，本文考慮了當天的天氣因素，需要獲得預測日的天氣特征值，即晴天、雨天和陰天，分別用0、0.5和1表示;把這些特征值數據也作為網絡的輸入變量，因此輸入變量就是一個27維的向量。

2.3 數據預處理

讀入數據之后，先通過預處理對原始數據進行歸一化處理，歸一化過程如下:

Pi=(Xi-X)/σ(13)

其中:Xi為原始數據;X為數據均值;σ為數據方差，原始數據經過預處理后變換為均值為零的數據Pi，在預測階段可根據樣本均值和方差還原輸出預測值。

2.4 特征提取

在樣本中，輸入變量是一個27維的向量，直接用這些數據對神經網絡進行訓練的話，由于神經網絡輸入變量空間維數較高，使神經網絡結構復雜，影響了神經網絡模型的泛化性能。由于這些輸入參數存在一定的線性相關關系，存在冗余信息，利用KPCA方法對輸入參數進行非線性特征提取，再對輸入變量空間進行非線性映射后的維數較高的特征空間進行特征提取，以達到提取特征和降低變量維數的目的。

2.5 基于神經網絡的預測模型結構

本文采用KPCA和RBF神經網絡構成的預測模型結構如圖1所示。將特征提取后的非線性主元作為RBF神經網絡模型的輸入信號，對神經網絡進行訓練，以優化網絡結構、縮短訓練時間、提高網絡精度。

3 仿真實驗

本文選擇了預測日前一天的實際話務量，預測日當天的天氣情況為輸入向量，預測日當天的話務量為目標向量。采用了217組歷史數據作為訓練樣本集，根據數據類型又分為工作日和休息日訓練數據。其中工作日訓練數據155組，休息日訓練數據62組;采用72組歷史數據作為測試樣本集，其中工作日測試數據45組，休息日測試數據18組。由于每組輸入樣本維數達到27維，為了精簡輸入變量集，分別采用PCA和KPCA方法，將輸入變量映射到高維特征空間，提取特征向量。分析結果如表1所示，采用PCA方法，前15個主元變量截獲了累積方差的90.57%;采用KPCA方法前18個主元變量截獲了累積方差的90.82%。主元變量累計方差近似相同情況下(累計方差分別為90.57%和90.82%)，KPCA特征提取方法中的主元數為18個， PCA方法中的主元數為15個，分別作為RBF神經網絡的輸入變量訓練神經網絡。

基于KPCARBFNN、PCARBFNN模型的話務量預測仿真曲線如圖2、3所示。比較兩種方法，圖2的預測數據更接近實際話務量，預測誤差明顯比圖3中的誤差小，而預測誤差常作為衡量預測模型估計效果優劣的標準，預測誤差愈大，準確性就愈低，反之誤差愈小，準確性就愈高。本文采用兩種常用的方法來衡量預測誤差，分別是平均絕對誤差和均方誤差[10]，表2為兩種模型下200個樣本數據平均絕對誤差與均方誤差值的比較。由仿真實驗結果可以看出，KPCARBF模型預測精度高于PCARBF模型，雖然KPCARBF模型的主元數比PCARBF模型的主元數多，但KPCA具有更強的特征提取能力，所提取的特征變量能更好地反映話務量預測模型的非線性特征。

表1 PCA和KPCA主元分析結果

主元個數

總方差貢獻率/%

PCAKPCA

150.905 70.876 1

180.956 50.908 2

表2 兩種模型預測結果比較

預測誤差PCARBFNN KPCARBFNN

平均絕對百分誤差(MAPE)0.1120.089

均方誤差(MSE)1.5542e+003852.45

4 結束語

本文針對話務量的特點，提出了一種基于核主元分析的話務量特征提取方法，將話務量數據分為工作日和休息日兩類數據，采用KPCA方法提取非線性特征向量，較好地反映了原始輸入數據之間的復雜關系，精簡了網絡輸入數據陣的維數。仿真結果證明，基于KPCARBF神經網絡的話務量預測模型具有較好的非線性數據處理能力，預測精度提高。該特征提取方法對分析網絡容量和預防網絡擁塞等問題具有重要意義。

參考文獻:

[1]湯燕娟，張小剛.業務預測與無線網話務量分析方法初探[J].電信工程技術與標準化，2005(3):77-83.

[2]陶偉宜.基于回歸方法的移動通信話務量預測[J].郵電設計技術，2004(5):29-32.

[3]丁南崗.移動通信話務研究[J].黑龍江通信技術，2000(9):5-8.

[4]陶乃勇，蔣建忠，昃草心.神經網絡在移動話務量預測中的應用研究[J].山東通信技術，2008，28(1):9-12.

[5] ROSIPAL R， TREJOL J， LEONARD J T， et al. Kernel function PCAfor feature extraction and denoising in nonlinear regression[J]. Neural Computing Application，2001，10(3):231-243.

[6]LEE J M， CHANG K Y， SANG W C， et al. Nonlinear process monitoring using kernel function principal component analysis[J]. Chemical Engineering Science， 2004， 59(1) :223-234.

[7]SUN Z L， HUANG D S， CHEUNG Y M. Extracting nonlinear features for multispectral images by FCMC and KPCA[J]. Digital Signal Processing，2005，15(4):331-346.

[8]王華忠，俞金壽.核函數方法及其在過程控制中的應用[J].石油化工自動化，2005(1):25-30.

[9]聞新，周露，李翔，等.MATLAB神經網絡仿真與應用[M].北京:科學出版社，2003.

[10]黃海輝.一種周期時間序列的預測算法[J].計算機工程與應用，2006，42(5):71-73.