基于改進FCM的多源異構能源數據預處理與去噪

李堅, 楊峰, 吳佳, 李平舟, 陳樂然, 付金鳳

(國網冀北電力有限公司,北京 100052; 北京博望華科科技有限公司,北京 100045)

0 引言

電力調度系統中存在大量多源異構數據,其數據來源復雜且過于分散,導致數據共享度低、數據集成和融合性較差,無法對整體數據進行調控。同時,在電力調度控制系統進行數據采集時,受到環境、噪聲等外部因素的干擾,使得數據出現缺失,嚴重影響后期調度效果。因此,對多源異構數據進行缺失填補,往往是保證電力正常運行的基本要求。陳娜等[1]采用跨模態聚合算法對該系統中的多源異構數據進行缺失數據填補,此方法只針對單一數據進行處理,但整體性較弱;張人上等[2]基于改進混沌系統的加密算法對通信中的多源異構數據進行擴頻,在一定程度上提升了數據融合效果;王維嘉等[3]提出了FCM算法和MCMC算法等多種數據處理算法,然后利用多目標優化方法對多源異構數據進行識別和最優目標提取,以此完成多源數據的分類。但多源異構數據缺失仍是影響異構數據預處理的難題,且FCM算法本身也存在問題。因此,本研究嘗試對缺失數據進行估計,通過FCM算法對數據進行去噪,以更好地實現多源異構數據的快速收斂,提升多源異構數據全局調控能力。

1 多源異構能源數據預處理

1.1 缺失數據填補

由于多源異構數據缺失嚴重影響了數據的完整性和穩定性,不利于后續關鍵數據的分析利用,因此,分別采用改進的混沌遺傳算法(CGA)和馬爾科夫蒙特卡羅(MCMC)算法估計多源異構數據中不完整數據集參數和缺失數據,加快更新速度,實現快速收斂,并提高參數估計精度,減小誤差[4]。

1.1.1 數據參數估計

(1) 優化估計參數模型

若多源異構缺失數據集Y中含有k個屬性,且Y=(Yobs,Ymis);參數φ=(μ,Σ)為不確定參數,μ、Σ分別表示數據集Y的均值向量和協方差矩陣。為更好地估計數據集參數,將采用極大似然估計算法和正態分別規律特性,構建包括μ和Σ的對數似然函數[5]:

(1)

式(1)中,μ=(μ1,μ2,…,μk)表示均值向量,為隸屬數據各屬性的均值,Σ=(σij)為屬性(X1,X2,…,Xk)的協方差矩陣,表示數據各屬性間的相關性,μ、Σ初始值取決于數據集Yobs[6],xi為數據記錄i(i=1,2,…,n)對應屬性的向量,缺失值數據用估計相應均值取代,n表示數據記錄個數。

在估計數據集參數過程中,f(φ)的函數值越大,所估計的參數φ越準確[7]?；诖?可對估計函數值進行優化處理,確定缺失數據的目標函數,具體表示為

(2)

式(2)中,參數φ的適應函數為f(φ),其迭代過程中尋優概率取決于參數適應函數大小[8]。

(2) 參數迭代尋優

在參數種群中,可能存在大量的參數,通常選用遺傳算法對參數進化尋優,但此方法存在局部最優問題,無法滿足全局優化需求。為解決此問題,通過CGA算法加快收斂,進行混沌干擾操作,以快速找出最優解,實現全局最優。

(3)

(4)

式(4)中,ε主要通過尋優參數精度得到,表示為標準參數值。

1.1.2 缺失值估計方法

完成數據參數估計后,采用改進的MCMC方法縮小估計值誤差值,具體步驟如下。

(1) 對參數φ(0)進行初始化處理。

(2) 對采集數據進行多次迭代,并利用MCMC對缺失數據進行估計,通過對數據進行隨機抽樣和缺失值填補后求得參數φ(t+1)。

(3) 迭代完成后,得到一條MCMC鏈,根據迭代結束條件將此鏈大小設置在合理區間內。

(4) 最后從該鏈中選出一個擴充鏈,利用該鏈擴充缺失值,從而獲得多個估計參數值。之后為選出誤差最小的估計值,選用均值方法對多個參數值進行擬合,從而實現缺失值估計。

2 基于FCM的多源異構數據去噪處理

2.1 FCM算法簡介

模糊C均值聚類算法(FCM),屬于一種柔性的模糊劃分算法,在數據處理、圖像識別分類等方面均取得較好的應用效果。算法流程如圖1所示。

圖1 FCM算法流程圖

FCM算法受人為干預的影響較小,該算法在數據集過大或過多時,算法計算過程復雜,實時性較差。因此,為提高FCM算法的聚類準確性和實時性,對該算法進行改進。

2.2 相似性度量

相似性度量的基本原理判別2個數據間的相似性,常用方法為歐氏距離、余弦相似度、相關系數法等[9]。

其中,歐氏距離通過設置一個距離閾值,如式(5),并將此閾值作為評價標準進行評估:

(5)

余弦相似度在相似性度量中應用較多,其通過樣本間的余弦值作為評判標準,以判別相似度大小,表達式為

(6)

該參數的區間為[-1,1],通過余弦值大小對相似度進行判斷,兩者呈反比關系。

2.3 基于FCM算法改進的去噪算法

(7)

得到改進算法為

(8)

若存在一個歐氏距離r,并將其設置為閾值,r取簇內全部樣本點到聚類中心的加權歐氏距離的均勻值l,目標去噪數據完成聚類后,當dv(xt,vj)>r時表明此樣本點是噪聲點并進行刪除,dv(xt,vj)

針對聚類中心個數k的取值,通常采用肘部法則(Elbow Method)進行表示。k與代價函數呈反比關系,代價函數隨著k的增大而不斷減小。兩者的關系如圖2所示。

圖2 肘部法則

根據以上改進,得到改進后的FCM步驟如圖3所示。

圖3 去噪算法流程

當FCM進行計算時,數據量的增加可能增加計算量,使得計算過程更為復雜,為簡化計算步驟,可對數據進行預處理。具體方法為通過K-均值聚類分割數據,并將其作為算法的初始聚類中心,從而實現快速收斂,迭代數和計算量減少,進一步提升實時性。

3 實驗驗證與分析

3.1 數據填補實驗

3.1.1 實驗環境和數據來源

為驗證以上方案,在MATLAB和SAS環境下進行仿真實驗,從配網調控系統數據庫中選擇多源異構數據報表作為實驗數據。配網調控系統數據采集時存在大量干擾信息,導致數據缺失嚴重,采用本文填補方法對缺失數據進行填補。

3.1.2 實驗對比結果

為驗證提出的CGA數據填補方法的有效性,將CGA填補方法與最大期望算法(EM)和遺傳算法(GA)進行對比實驗,得到3種算法的參數估計過程如圖4所示。

圖4 3種算法參數估計過程

從圖4可以看出,3種算法迭代在15時取得了目標函數,但CGA算法的目標函數最大,且提出的算法迭代次數更快,迭代至37時實現最優解,而EM算法和GA算法在120和80時才達到最優,由此說明本算法性能更為優越。

為進一步驗證CGA算法對參數估計的準確性,將3種算法估計的絕對誤差和相對誤差進行對比,得到估計過程如圖5所示。

圖5 3種算法參數估計誤差曲線

由圖5可知,3種算法中,本文算法的誤差最小,GA算法的誤差最大,EM算法的誤差位居第二。由此說明,本文算法對多源異構數據的估計準確率更高,明顯優于另外2種算法。

以上述多源異構缺失數據為實驗參數,將本文算法與EM算法和GA算法進行估計正確性對比,得到對比結果如圖6所示。

圖6 3種算法所得估計值誤差曲線

從圖6可以看出,本文算法的誤差值均低于另外2種算法,特別在缺失數據5、6和8處的誤差最大,說明采用本算法能夠完成對估計值誤差進行精準估計。

為了驗證本算法在缺失率為10%、20%和30%下的性能,將其與EM算法和GA算法的均方根誤差進行對比,結果如表1所示。

表1 3種缺失率下3種算法的填充數據精度對比

從表1可以看出,在不同的缺失率下,本文算法的估計缺失值誤差依舊為最小,均優于另外2種算法,說明本算法對多源異構數據處理具有一定的有效性和穩定性。

3.2 數據去噪驗證

3.2.1 實驗數據和參數設置

同樣選擇電力調控系統中的700條數據進行驗證,其中正常數據500條、異常數據200條,異常數據中的噪聲數據30條。數據集中的kmin=10,kmax=30。

3.3.2 實驗結果與分析

為驗證改進的FCM算法的優越性,將該算法與經典FCM算法、K-均值算法和自組織映射算法(SOM)進行檢出率和運行時間對比,結果如表2、圖7所示。

表2 BCW數據集上的運行時間

圖7 BCW數據集檢出率對比

綜合表2和圖7得出,在聚類中心為30時,改進FCM算法的檢出均高于另外3種算法,最高為94.51%,且運行時間均低于其他算法,說明改進的FCM算法具有較好的去噪效果,算法性能更佳。

4 總結

綜上,本文提出的數據融合方法具備可行性和有效性,可實現對多源異構數據的有效處理,數據可靠性和穩定性顯著提升,且采用的改進FCM去噪算法和CGA和CMCM填補方法均能取得較好的數據處理效果。實驗結果表明:本文提出的缺失值數據填補方法對多源異構數據的填補效果較好,參數估計誤差較小;改進的FCM算法在BCW數據集中的檢出率最高為94.51%,算法性能優越。綜上,以上方法可實現多源異構數據的有效處理。