一種基于投影尋蹤的電信網絡數據處理方法

趙晉明

（山西省太原市文通電子有限公司，山西 太原030002）

一種基于投影尋蹤的電信網絡數據處理方法

趙晉明

（山西省太原市文通電子有限公司，山西 太原030002）

在大數據時代，運營商采集和處理的數據出現了爆炸式增長。與此同時，采集數據維度增長使得從數據中提取信息的難度大大提高，導致了運營商新增的計算能力并沒有帶來與之匹配的信息處理能力提升。造成這一現象的主要原因在于并非所有維度上都有運營商關心的信息，過高的維度反而帶來額外的噪音。因此，根據數據特性選擇適當的維度十分必要。基于上述考慮，提出了一種基于投影尋蹤的數據處理方法，并通過基于實際網絡數據的對比驗證了本文所述方案的有效性。

網絡管理；降維；投影尋蹤

1 引言

通信網絡中存在著大量的復雜事物及現象，網絡管理人員一直希望通過網絡參數的提取來揭示隱藏在這些紛繁復雜的表象下的現象和客觀規律。長久以來，網絡管理者不斷研制新的網絡管理工具，發展新的性能測試技術。對于當前的網絡狀況，可以用來描述小區語音話務量、小區語音質量、小區數據等效話務量、小區數據質量、掉線率、語音信道擁塞率、無線接入性、無線利用率等幾十個指標。因此，對于每時每刻的網絡狀況，可以用多變量組成的數據細致地表示。這些數據，抽象出來就是高維數據。這些數據提供了網絡中極其詳細的信息。但是，數據維數的大幅度提高也給隨后的數據處理和分析工作帶來了巨大的困難。

網絡管理系統作為一個數據處理系統，通常需要在輸入數據的信息量較高的情況下才能有效工作。而當輸入向量維數過高時，如何尋找有效信息將變得更加困難，導致“維度災難”[1,2]——系統計算量增加而效能無法提升。因此，必須采取一定的措施使系統能夠有效地從數據中獲得信息，發揮出計算能力的最大效能，這就是“降維”。

降維的核心思想就是要將輸入數據的維數降低到一個合理的范圍內，并盡可能多地保留數據中的原始信息。對于網絡管理系統這樣需要處理海量數據的系統，這種做法不僅是有用的甚至可能是必須的，圖1描述了高維數據降維的過程。

圖1 高維數據降維的過程

在大量的工程實踐中，很多表面上看是高維、復雜的問題，實際可以通過很少的變量（特征向量）來描述，例如人臉識別、語音識別、基因測序等問題。然而，除了個別領域，目前國內外對降維的研究更多集中在理論探索，在工程中的具體實踐還相對較少。英國謝菲爾德大學的Carreira[3]在對各種降維方法綜合分析研究的基礎上，提出了一種抽象的模型；美國斯坦福大學的Donoh等人[4]對于高維數據空間進行了比較深入的研究，獲得了很有指導意義的結果。國內相關領域的研究還比較少。電信網管系統具有海量的數據，對這些數據的有效處理和準確分析具有十分重要的實際意義。本文從電信網管系統的具體需求出發，結合國內外相關研究成果的思想，提出了一種基于降維思想的數據處理方法，提升了數據處理過程的準確性和處理效率。

2 綜合網管數據分析的現狀及問題

高維空間體現出許多在低維無法想象的特殊性質，最顯著的就是高維空間中的數據分布是“稀疏”的。具體而言，對于任意d維空間Rd，其中半徑為r的球體的空間體積Vd(r)可以表示為：

這樣的超球體存在一種低維下十分罕見的特性，即其“體積”的大部分存在于表面上，其“表面”與“整體”的體積比例可以寫成：

于是：

在這種情況下，對于由網絡參數構建的高維空間，傳統的多元統計方法無法得到準確的結果，因此對采集到的數據進行適當的降維就十分必要。具體而言，降維的數學解釋就是將高維數據投影到一個維數比原數據空間小得多的流形上。而降維操作的目標就是獲得這一流形的低維坐標表示。

圖2 降維過程的數學含義

在通信網絡中，由于各種因素的影響，如采樣噪聲、參數設計不合理、人為干擾因素等，使得網絡采集數據中的信息被大量噪音所掩蓋。通常，很多參數所攜帶的信息遠小于其引入的噪音，因此，把它們“過濾”掉可以幫助網絡管理人員更好地提取信息。從實用的角度來看，對于通信網絡參數的降維就是在保留網絡結構信息的條件下盡可能減少所用參數的數量、降低數據中的噪音，使網絡管理系統可以最大程度地實現對網絡狀態的客觀評估。

3 基于投影追蹤的數據分析方法

在降維的各種方法中，投影尋蹤 （projection pursuit，PP）是用來分析和處理高維數據，尤其是來自非正態總體的高維數據的一種有效方法。20世紀70年代初，Kruskal開創性地通過把數據投影到低維空間，以極大化某個指示參數的方式迭代出最佳投影結構的方法。投影追蹤通過將原數據“投影”到某幾個信息量最大的線性組合上，使得信息被保留的同時減少了數據的維度和數據中的噪音。目前，投影追蹤的方法已經在多個領域進行了有效的推廣，取得了較好的效果。

1.3 常規復習和基于項目學習理論的復習之間的差異 兩者對比，在常規復習中教師是中心，學生只是被動接受知識者，結果是知識的簡單重復，學生的機械操練，尤其是在“二考”復習時會使學生新鮮感喪失、倦怠感陡增、學習效率下降，“二考”復習變成食之無味棄之可惜的“雞肋”。基于項目學習理論的復習以學生為出發點和落腳點，強調自主探究、合作學習，以發展學生學科核心素養為目的，著眼于學生對于知識的內化和學生解決實際問題能力的提升，真正體現了課程改革的理念。這種復習方式克服了以往理綜復習和“一考”復習中教師對學生、對知識的絕對控制帶來的弊端，學生收獲的不僅僅是選考成績的進步，更是學生學科核心素養的提升。

在電信網管系統中，可以采集到多種維度的數據。這些不同維度數據的線性組合通常是接近高斯分布的[5]。從信息的角度來看，高斯分布幾乎全部是噪音。在這種情況下，為了減少噪音，一方面需要減少輸入參數的維度，另一方面需要通過線性變換，將原數據映射到信息含量更高的維度上。上述兩方面可以通過采用投影跟蹤來實現——通過選擇信息量最高的少數幾個投影方向進行坐標變換。

投影追蹤就是實現上述目標的一種數學方法，即通過在原始數據的不同投影空間上尋找信息量最大的少數幾個投影方向來降低數據的維度。具體來說，假設網絡管理系統采集到的d維參數集為X，則降維的目標可以表述為找到最佳映射F→R，假設所采用的映射方法是線性的，則該映射可以寫為：F=AX，其中A為轉換矩陣。這樣，降維的目標就是尋找最優轉化矩陣A，使得X在新坐標下表現出更優的線性結構。

尋找最優轉化矩陣的評價標準為Q(AX)，為了簡化運算電信網管系統的計算和管理負擔，可以采用方差作為評價指標，即Q(aTX)=Var(aTX)。這樣，對于參數集X={x1,x2,…, xn}，其方差可以寫作：

這樣，找到最優的aTX，得到的就是樣本a散布最大的方向。多元正態分布線性投影依然是正態分布，因此如果在某個投影方向上找到與正態分布差別較大的數據集，那它就一定含有更多信息，因此在這個方向上進行數據進行分析可以更快、更精確地挖掘出其中所蘊含的信息[6]。因此，這樣一種指標也成為信息散度。更精確的說，對于數據集f和g，其所對應的數據散度為：

投影追蹤就是基于信息的這一性質，即不斷尋找能反映原高維數據信息的投影向量，通過對投影向量的分析來獲得原高維數據中的有用信息。更具體地說，對于電信網絡中的高維數據，可以采用如下步驟進行降維處理。

步驟1 首先選定正態分布作為向低維映射的標準。

步驟2 將原始數據在正態分布上進行投影，找到最遠離正態分布的投影方向，這一投影方向上包含了最大的有用信息。

步驟3 將上述投影過程中，與原正態分布相似度較大的方向上的數據刪除，得到新的數據集。

步驟4 對新數據集重復步驟2、步驟3，直到所有的投影方向上得到的映射都遠離正態分布，即將原數據集中的全部有用信息提取完畢。

在實踐中，這一方法可以快速找到最能反映網絡狀態的參數，提升網絡管理人員對網絡狀態的理解。另外，投影尋蹤的方法可以將高維數據投影到一維子空間，使得可以方便地找到影響網絡某一性能的最主要因素。這一特性對于網絡管理工作提供了極大的便利，在下文中將通過基于實際數據的案例對這一過程進行詳細說明。

4 本文方案的驗證與比較

為了驗證本文所提出的電信網管系統中數據處理的方法，本文以運營商的實際數據為例，對比不同方案的數據分析過程得到的效果。原始數據為某省會城市10 000個小區的各項采集參數。將原始數據集進行可視化，得到的結果如圖3所示。可以看到，由于原始數據中的相關性十分復雜，無法直接獲得有關網絡狀態的直觀信息。因此，需要對原始高維數據進行處理，以獲得有關網絡性能更加直觀的關系。

例如，為了獲得小區掉線數量的影響指標，可以按照本文所述方法對原始數據進行降維。根據上文所述過程，基于投影追蹤的方式分析得到影響小區掉線的主要指標及影響因素（投影長度），得到結果分別為：小區數據流量（1.342）、小區載頻數量（0.312）、小區CPU利用率（0.248）、小區語音總量（0.219）。可以看到，小區的數據流量是影響小區掉線率最重要的指標，其影響顯著遠超其他指標的影響。

圖3 電信網管系統采集到的原始高維數據集

為了驗證這一結果的有效性，對兩組樣本進行分析，其結果如圖4、圖5所示。其中第一組樣本是相鄰兩個月掉線次數變化與網絡流量變化之間的關系；第二組樣本為相鄰兩個月掉線次數變化與通話時長變化的關系。可以看到，對于所選取樣本，掉線與數據流量之間存在明顯關系而與語音通話時長關系并不明顯，可見，掉線成因的先驗判斷可能會給網絡狀態的評估帶來很大的不確定性。

圖4 無線小區掉線次數變化與數據流量變化的數據映射投影

圖5 無線小區掉線次數變化與語音業務時長變化的數據映射投影

與此同時，為了驗證本文所提方法的實際性能，本文基于上述樣本對比本文所提出算法與傳統處理高維的聯機分析處理（on-line analytical processing，OLAP）方法。其中樣本為市中心高負載小區，且存在由于CPU負載過高引起過高掉話次數的現象。本文將所選小區分為10組，各自通過上述高維數據比較對掉線發生成因判斷的準確性，結果如圖6所示。

圖6 本文所提方法與OLAP方法的性能比較

從結果可以看到，本文所提出的數據處理方法有效地提高了數據分析的準確性。對于某一業務而言，其質量并不完全取決于網絡參數，但是，通過不斷地對數據進行分析，可以在很大程度上及時發現網絡運行中存在的問題。因此，這樣的準確率已經基本可以滿足運營商對于網絡管理的要求，同時也說明本文所提出的分析方法具有一定的適用價值。

5 結束語

對數據的處理能力未來將成為運營商增強競爭力、提高網絡管理效率的重要手段。因此，對數據的高效分析是運營商的重要資產。本文從提升運營商的數據處理能力的實際需求出發，提出了基于投影尋蹤實現降低數據維度的有效方法。最后，通過基于實際數據對比驗證證明了本文所提出方法的有效性。本文研究成果對未來運營商的數據使用和分析的相關研究有著較大的借鑒意義。

[1]BELLMAN T E.Adaptive control processes[M].Princeton: Princeton University Press,1961.

[2]MAATEN L J P V D,POSTMA E O,HERIK H J V D. Dimensionality reduction:a comparative review [J].Journal of Machine Learning Research,2007,10(1).

[3]CARREIRA-PERPINAN M A.Continuous latentvariablemodels for dimensionalityreduction and sequentialdatareconstruction[EB/OL]. (2001-01-29)[2016-11-02].http://xueshu.baidu.com/s?wd= Continuous+Latent+Variable+Models+for+Dimensionality+ Reduction+and+Sequential+Data+Reconstruction&tn =SE_ baiduxueshu_c1gjeupa&cl=3&ie=utf-8&bs=Dimensionality + reduction%3A+a+comparative+review&f=8&rsv_bp=1&rsv_sug2 =1&sc_f_para=sc_tasktype%3D%7BfirstSimpleSearch%7D& rsv_n=2.

[4]DONOHO D L.High dimensional data analysis:the curses and blessings of dimensionality[EB/OL].(2000-01-29)[2016-11-02]. http://xueshu.baidu.com/s?wd=High+dimensional+data+analysis %3A+the+curses+and+blessings+of+dimensionality&tn= SE_baiduxueshu_c1gjeupa&cl=3&ie=utf-8&bs=Continuous+ Latent+Variable+Models+for+Dimensionality+Reduction+and+ Sequential+Data+Reconstruction&f=8&rsv_bp=1&rsv_sug2= 1&sc_f_para=sc_tasktype%3D%7BfirstSimpleSearch%7D&rsv_ n=2.

[5]DIACONIS P,FEREDMNA D.Asymptoticsofgraphical projection pursuit[J].Annals of Statistics,1984,12(3):793-815.

[6]張維明.數據倉庫原理與應用 [M].北京:電子工業出版社, 2002. ZHANG W M.The principle and application ofdata warehouse[M].Beijing:Publishing House of Electronics Industry,2002.

Data processing method for telecom data based on projection pursuit

ZHAO Jinming
Wentong Company Limited,Taiyuan 030002,China

In the big data era,the data which operator can collect and process is quickly growing.At the same time, due to the high dimension of the data,it is very difficult to extract and process information from them.This makes the waste of the computing capability of operators,even may lead to the decrease of performance due to the growth of the data dimension.The main reason of this phenomenon is that not all dimensions are interested with the information.Therefore,it is necessary to select the appropriate dimensions according to the data characteristics. Based on this,a data processing method based on projection pursuit was proposed.The result demonstrates the effectiveness of the scheme.

network management,dimension reduction,projection pursuit

TN915

A

10.11959/j.issn.1000-0801.2016322

2016-11-02；

2016-12-14

趙晉明（1973-），男，山西省太原市文通電子有限公司研發主管，主要研究方向為網絡管理系統的架構和關鍵算法，具有豐富的理論和工程經驗，為中國移動通信集團公司等運營商解決了大量運維難題，并實現多項關鍵技術突破。