基于大數(shù)據(jù)的電力企業(yè)財(cái)務(wù)數(shù)據(jù)分析系統(tǒng)建設(shè)

王 森，劉 麗

（云南電網(wǎng)有限責(zé)任公司麗江供電局，云南 麗江 674100）

0 引言

伴隨著信息技術(shù)的進(jìn)步和大數(shù)據(jù)時(shí)代的到來，電力企業(yè)在財(cái)務(wù)管理的過程中需要處理的數(shù)據(jù)范圍愈加廣泛，同時(shí)面臨著日益加劇的數(shù)據(jù)龐雜冗余、垃圾數(shù)據(jù)過多、數(shù)據(jù)重復(fù)錄入、信息交流缺乏一致性等難題。此外，在保持?jǐn)?shù)據(jù)完整性的同時(shí)對數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換，更是電力企業(yè)在進(jìn)行財(cái)務(wù)數(shù)據(jù)處理時(shí)面臨的重要挑戰(zhàn)。由于電力企業(yè)的相關(guān)財(cái)務(wù)數(shù)據(jù)龐大復(fù)雜，且財(cái)務(wù)處理中往往涉及百余個(gè)參數(shù)，難以采用傳統(tǒng)方式對其加以度量，因此建立統(tǒng)一的、具有高度整合性的信息數(shù)據(jù)處理系統(tǒng)十分必要。

1 基于大數(shù)據(jù)的電力企業(yè)財(cái)務(wù)數(shù)據(jù)分析系統(tǒng)的層次結(jié)構(gòu)

按照數(shù)據(jù)處理順序，可以將電力企業(yè)的財(cái)務(wù)大數(shù)據(jù)分析系統(tǒng)分為3 個(gè)層次，分別是數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)預(yù)處理以及構(gòu)建動(dòng)態(tài)財(cái)務(wù)共享數(shù)據(jù)分析中心。其中，數(shù)據(jù)存儲(chǔ)能夠保證數(shù)據(jù)完整保留，數(shù)據(jù)處理能夠確保數(shù)據(jù)時(shí)效性，而動(dòng)態(tài)數(shù)據(jù)分析體系能夠充分挖掘數(shù)據(jù)價(jià)值［1］。三者合為一體，能夠讓大數(shù)據(jù)的價(jià)值體現(xiàn)得更為完整和貼切。針對來自國家電網(wǎng)大數(shù)據(jù)中心以及外部數(shù)據(jù)源的大數(shù)據(jù)，文章分別從源數(shù)據(jù)層面、數(shù)據(jù)存儲(chǔ)層面、數(shù)據(jù)預(yù)處理層面以及數(shù)據(jù)分析層面分析財(cái)務(wù)數(shù)據(jù)分析系統(tǒng)的構(gòu)建工作。在財(cái)務(wù)數(shù)據(jù)分析系統(tǒng)的整體技術(shù)框架中，主要以NoSQL 以及Hadoop 為基礎(chǔ)，對數(shù)據(jù)進(jìn)行大數(shù)據(jù)預(yù)處理以及分析，將傳統(tǒng)的財(cái)務(wù)數(shù)據(jù)轉(zhuǎn)化為全數(shù)據(jù)并進(jìn)行高性能的交互式分析，最終完成對財(cái)務(wù)大數(shù)據(jù)的分析［2］。具體技術(shù)框架如圖1 所示。

圖1 財(cái)務(wù)數(shù)據(jù)分析系統(tǒng)技術(shù)框架

2 電力企業(yè)財(cái)務(wù)數(shù)據(jù)分析系統(tǒng)的建設(shè)步驟

2.1 基于NoSQL 進(jìn)行大數(shù)據(jù)存儲(chǔ)層面管理

面對海量財(cái)務(wù)信息數(shù)據(jù)，NoSQL 存儲(chǔ)體系能夠完整實(shí)現(xiàn)對電力企業(yè)財(cái)務(wù)信息的存儲(chǔ)以及全方位柔性管理。在數(shù)據(jù)存儲(chǔ)層面主要的儲(chǔ)存方式有3 種，分別是NoSQL 數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫以及HDFS 分布式文件系統(tǒng)［3］。在存儲(chǔ)形式的分類上，NoSQL 以非關(guān)系型以及分布式數(shù)據(jù)存儲(chǔ)的方式實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)，并以圖數(shù)據(jù)、Key-Value 以及面向文檔數(shù)據(jù)格式進(jìn)行存儲(chǔ)，從而在高速的讀寫性能以及優(yōu)越的查詢性能之上實(shí)現(xiàn)更高彈性的數(shù)據(jù)擴(kuò)展能力。

NoSQL 的數(shù)據(jù)存儲(chǔ)系統(tǒng)包括Master-Slave 以及P2P 環(huán)形結(jié)構(gòu)兩種。其中，Master-Slave 可控性好，且設(shè)計(jì)結(jié)構(gòu)簡單，往往以水平分區(qū)為基礎(chǔ)實(shí)現(xiàn)數(shù)據(jù)分布。分開Master 節(jié)點(diǎn)與Slave節(jié)點(diǎn)之間的功能，可以將節(jié)點(diǎn)的功能負(fù)載減輕，并由Master 節(jié)點(diǎn)對Slave 節(jié)點(diǎn)進(jìn)行維護(hù)和管理。其缺點(diǎn)是Master 中心的節(jié)點(diǎn)容易成為系統(tǒng)中的瓶頸。P2P 的環(huán)形結(jié)構(gòu)系統(tǒng)則不存在中心節(jié)點(diǎn)，因此各個(gè)節(jié)點(diǎn)平等，以Hash 數(shù)據(jù)分布為基礎(chǔ)，具有協(xié)調(diào)性好、便于擴(kuò)展等優(yōu)點(diǎn)。P2P 環(huán)形結(jié)構(gòu)有著更好的負(fù)載均衡性，但設(shè)計(jì)系統(tǒng)更為復(fù)雜，且不利于范圍查詢，可控性不強(qiáng)。上述兩種體系結(jié)構(gòu)差別較大，各具一定的功能局限性。因此，在電力體系中，需要將P2P 的分布式結(jié)構(gòu)以及Master-Slave 的集中式結(jié)構(gòu)的優(yōu)點(diǎn)相結(jié)合構(gòu)成相應(yīng)的數(shù)據(jù)存儲(chǔ)體系。常見的組合方式有Master-Slave 與Chord 的結(jié)合或是與Content-Addressable Network 的結(jié)合，從而確保數(shù)據(jù)存儲(chǔ)能夠兼顧全局性和局部性［4-5］。

2.2 基于Hadoop 進(jìn)行財(cái)務(wù)數(shù)據(jù)預(yù)處理

Hadoop 是一種開源的大規(guī)模分布式計(jì)算框架，優(yōu)點(diǎn)是可靠、高效并且可伸縮，因此被廣泛應(yīng)用在大數(shù)據(jù)處理領(lǐng)域。技術(shù)人員可以以Hadoop 以及現(xiàn)有的電網(wǎng)財(cái)務(wù)體系為基礎(chǔ)，建立新的財(cái)務(wù)大數(shù)據(jù)預(yù)處理體系模型，結(jié)合Hadoop、HBase 以及Hive 在財(cái)務(wù)數(shù)據(jù)預(yù)處理平臺(tái)中對數(shù)據(jù)進(jìn)行清洗、集成和歸約。利用噪聲處理，對缺失數(shù)據(jù)加以填補(bǔ)以及簡化數(shù)據(jù)屬性維度的關(guān)系來完成財(cái)務(wù)數(shù)據(jù)的預(yù)處理。這種方式利用Hadoop 平臺(tái)的特點(diǎn)，對需要進(jìn)行預(yù)處理的任務(wù)添加監(jiān)控與控制節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都對應(yīng)一個(gè)需要進(jìn)行預(yù)處理的任務(wù)或是任務(wù)列表，針對該項(xiàng)任務(wù)，啟動(dòng)對應(yīng)的處理程序以及相關(guān)規(guī)則。具體的處理程序如圖2 所示。

圖2 財(cái)務(wù)大數(shù)據(jù)預(yù)處理體系流程圖

2.3 基于Hadoop 建立分析集群對財(cái)務(wù)大數(shù)據(jù)進(jìn)行分析

基于Hadoop 對財(cái)務(wù)數(shù)據(jù)加以預(yù)處理后，從現(xiàn)有的財(cái)務(wù)分析體系的局限出發(fā)，完善缺點(diǎn)，建立適合現(xiàn)行財(cái)務(wù)需要的財(cái)務(wù)分析系統(tǒng)并對財(cái)務(wù)數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)分析體系的關(guān)注重點(diǎn)在于實(shí)現(xiàn)對財(cái)務(wù)管理過程的監(jiān)督以及相關(guān)財(cái)務(wù)指標(biāo)的分析，諸如項(xiàng)目預(yù)算分析、成本分析以及風(fēng)險(xiǎn)分析等內(nèi)容。為了更好地實(shí)現(xiàn)財(cái)務(wù)分析效果，首先可從管理層面對電力企業(yè)的財(cái)務(wù)現(xiàn)狀加以調(diào)研，分析其中存在的財(cái)務(wù)管理難點(diǎn)諸如利潤報(bào)表、管理金額等。其次，在技術(shù)層面，結(jié)合傳統(tǒng)數(shù)據(jù)庫以及新商業(yè)智能的優(yōu)點(diǎn)，對財(cái)務(wù)管理系統(tǒng)加以整合。針對電力企業(yè)的經(jīng)營特點(diǎn)和財(cái)務(wù)特點(diǎn)，以大數(shù)據(jù)思想為基礎(chǔ)，對現(xiàn)有數(shù)據(jù)進(jìn)行有效的存儲(chǔ)和分析，同時(shí)利用聚類算法抽取數(shù)據(jù)特征，挖掘數(shù)據(jù)價(jià)值。具體的財(cái)務(wù)大數(shù)據(jù)分析流程如圖3 所示。

圖3 基于Hadoop 的財(cái)務(wù)大數(shù)據(jù)分析流程圖

3 針對財(cái)務(wù)數(shù)據(jù)分析系統(tǒng)建立評價(jià)指標(biāo)體系

構(gòu)建電力企業(yè)大數(shù)據(jù)分析系統(tǒng)后，需要對其功能需求加以分類，并選擇科學(xué)的評價(jià)指標(biāo)對需求等級進(jìn)行排序，從而便于系統(tǒng)后續(xù)的優(yōu)化。文章選用自組織映射（Self-Organizing Map，SOM）神經(jīng)網(wǎng)絡(luò)算法對系統(tǒng)中的數(shù)據(jù)樣本進(jìn)行劃分，具體流程如下。

3.1 網(wǎng)絡(luò)初始化

利用集合Sj表示有j個(gè)輸出神經(jīng)元，并用較小的權(quán)重設(shè)置輸入神經(jīng)元到輸出神經(jīng)元的連接。當(dāng)t=0，j個(gè)神經(jīng)元的臨近神經(jīng)元表示為Sj(0)；t時(shí)刻表示為Sj(t)，隨著時(shí)間的推移，Sj(0)逐漸減小。

3.2 輸入向量

從集合中選擇輸入值，并對輸入值進(jìn)行歸一化處理，輸入向量用X來表示，并輸入：

3.3 計(jì)算歐式距離

對所輸入的向量以及各個(gè)神經(jīng)元間的權(quán)值歐式距離進(jìn)行計(jì)算。計(jì)算方式如下：

其中，Wij表示在輸入層的i神經(jīng)元以及映射層中j神經(jīng)元間的權(quán)重。將歐式距離最小的神經(jīng)元標(biāo)記為獲勝神經(jīng)元j*，并輸出臨近的神經(jīng)元的集合。

3.4 修正權(quán)值

參照式（3），對輸出神經(jīng)元以及其附近的權(quán)值進(jìn)行修正。

其中，η為學(xué)習(xí)率，是常數(shù)，且η∈［0，1］，隨著時(shí)間推移，η逐漸趨于0。

3.5 計(jì)算輸出

輸出Ok為：

智能化背景下的電力企業(yè)財(cái)務(wù)管理需要以大數(shù)據(jù)為基礎(chǔ)建立大數(shù)據(jù)分析系統(tǒng)，對不同數(shù)據(jù)的需求進(jìn)行動(dòng)態(tài)評價(jià)并及時(shí)根據(jù)不同類型數(shù)據(jù)的需求重要程度及時(shí)調(diào)整權(quán)重，這是優(yōu)化數(shù)據(jù)分析系統(tǒng)、提升財(cái)務(wù)管理效率的關(guān)鍵。

4 結(jié)語

伴隨著智能電網(wǎng)的深入建設(shè)與推動(dòng)，電力企業(yè)業(yè)務(wù)系統(tǒng)和數(shù)據(jù)中心的數(shù)據(jù)愈發(fā)龐雜，科學(xué)的分析能力、快速的計(jì)算速度等影響著電力企業(yè)的財(cái)務(wù)管理效率。加強(qiáng)建設(shè)電力企業(yè)的財(cái)務(wù)數(shù)據(jù)分析系統(tǒng)，不僅能夠從龐雜的數(shù)據(jù)中篩查出有效、有用信息，還能幫助電力企業(yè)提升財(cái)務(wù)管理水平，有效規(guī)避財(cái)務(wù)風(fēng)險(xiǎn)。