基于預處理迭代方法的高效大型電網(wǎng)工程數(shù)據(jù)分析

方 明，胡 龍

（廣東電網(wǎng)有限責任公司廣州供電局，廣東廣州 510600）

隨著電力工業(yè)和電網(wǎng)工程建設管理體制的不斷改革與發(fā)展，電網(wǎng)基建工程的造價管理和分析水平已有顯著提升[1]。但電網(wǎng)工程數(shù)據(jù)規(guī)模卻大幅增加，且數(shù)據(jù)類型也多種多樣[2]。目前，造價數(shù)據(jù)的評價范圍由可研估算審核逐步擴展至初設概算、施工圖預算等階段，分析標準也逐漸提高。因此，與之對應的大型電網(wǎng)海量數(shù)據(jù)的處理方案也需要重點研究[3]。

相比于傳統(tǒng)數(shù)據(jù)處理，基于云計算大數(shù)據(jù)的新型處理技術可以大幅提高數(shù)據(jù)處理效率，并最大程度地挖掘分析電網(wǎng)數(shù)據(jù)[4]。充分利用云計算技術可以有效提高數(shù)據(jù)處理效率和計算精度，避開存儲壓力，便于大型電網(wǎng)工程數(shù)據(jù)的整合、分析及匯總[5-6]。

大型電網(wǎng)工程數(shù)據(jù)可以分為結構化數(shù)據(jù)和非結構化數(shù)據(jù)[7]。對于結構化數(shù)據(jù)，其處理包括采集、清洗、去重等過程；非結構化數(shù)據(jù)不容易組織或格式化，通常采用文件的形式儲存[8-9]。

根據(jù)不同角度可以把數(shù)據(jù)處理技術分為3 種：1）分類處理：預先設定分類標準和虛擬分類模型，自動化地分類和處理；2）關聯(lián)規(guī)則處理：根據(jù)不同數(shù)據(jù)之間的聯(lián)系性將其有機結合；3）情感分析處理：從感性的角度對數(shù)據(jù)進行提取、分析和處理操作[10-11]。

對于評審業(yè)務，電網(wǎng)規(guī)劃中心過去的數(shù)據(jù)處理手段已無法滿足日益龐大的數(shù)據(jù)量分析需求，需要更先進的技術參與完成電網(wǎng)工程技經(jīng)評審數(shù)據(jù)的整合、優(yōu)化等處理[12-13]。文中設計了數(shù)據(jù)接口，創(chuàng)建了數(shù)據(jù)倉庫系統(tǒng)，提出了基于預處理迭代方法的高效大型電網(wǎng)工程數(shù)據(jù)分析應用架構體系，研究開發(fā)了某供電局電網(wǎng)工程投資造價智能評估分析系統(tǒng)，以便提高工作效率。

超聲檢測法：以波動的形式在彈性介質中傳播的機械振動特性對試件進行宏觀缺陷檢測。以其適用范圍廣、穿透能力強、定位較準確、靈敏度較高、對面積缺陷檢出率較高、檢測成本低等優(yōu)點使其廣泛應用在制造、石油化工、造船、航空航天、核能、軍事工業(yè)、醫(yī)療器械以及海洋探測等領域。

1 數(shù)據(jù)預處理

1.1 數(shù)據(jù)挖掘

1）數(shù)據(jù)分類。主要目的是將大型電網(wǎng)工程的數(shù)據(jù)按照規(guī)則細分為不同的模塊。隨著電網(wǎng)規(guī)模的擴大化，各種模塊內(nèi)的數(shù)據(jù)經(jīng)常會有新的類型出現(xiàn)。數(shù)據(jù)分類需要考慮各種類型來完善數(shù)據(jù)分析系統(tǒng)，為智能化技經(jīng)評審、評估分析提供數(shù)據(jù)支撐。

【評析】通過師生一起努力，與量角器形狀相同的半圓形，即量角器的雛形出現(xiàn)了。由于親自設計并創(chuàng)造出量角工具，學生對那些角和邊的由來有了清晰的認識,他們可輕松找到量角器的中心點、刻度線、標準角，不再對角“視而不見”。

漢語詞匯豐富，許多近義詞看似意思相近，但運用時有細微差別。為了讓學生仔細辨別詞語，可以在閱讀文本時讓近義詞語對對碰，引導正確辨析、使用詞語。

2）關鍵特征提取。對于不同的數(shù)據(jù)種類，合理制定各類分析模板，提升數(shù)據(jù)的統(tǒng)計與分析工作效率、開展造價研究、深入分析技經(jīng)指標數(shù)據(jù)、挖掘數(shù)據(jù)價值、構建電網(wǎng)工程造價因素庫，有助于深層次分析造價偏差和預測造價趨勢，提升電網(wǎng)工程造價分析和預測水平，提高投資決策能力。

采用熱能動力學方法進行火電行業(yè)超低排放限值下的排放績效的理論計算研究。首先將機組分為300、750和1000 MW三檔規(guī)模，年利用小時數(shù)均按照《火電行業(yè)排污許可證申請與核發(fā)技術規(guī)范》規(guī)定的5000 h，300 MW及以上機組的排放限值按照超低排放限值，即二氧化硫35 mg/m3，氮氧化物50 mg/m3，煙塵5 mg/m3；300 MW以下機組的二氧化硫和氮氧化物按照超低排放濃度限值，煙塵排放濃度限值根據(jù)實施計劃分兩個階段執(zhí)行，即10 mg/m3和5 mg/m3。污染物排放績效計算公式如下：

3）情感分析。利用已建立的技經(jīng)數(shù)據(jù)庫，輔助定額價格水平的測算和年度造價控制計劃的編制。延伸創(chuàng)新輔助評審模式至評審現(xiàn)場，搭建現(xiàn)場評審輔助工具，建立一套標準的現(xiàn)場評審資料收集規(guī)范，以此保證評審資料數(shù)據(jù)的一致性和連貫性，全面促進造價評審全過程的提升。

1.2 數(shù)據(jù)壓縮

在大型電網(wǎng)工程數(shù)據(jù)分析之前，需要解決數(shù)據(jù)的存儲和緩存問題。考慮到電網(wǎng)數(shù)據(jù)的體量較大，為確保平臺效率和數(shù)據(jù)的真實性，緩存數(shù)據(jù)采用MemCached 技術。用于緩存數(shù)據(jù)的MemCached 技術原理圖如圖1 所示[14]。

圖1 MemCached技術原理圖

MemCached 技術首先采用MemCached 架構實現(xiàn)分布式部署，將總體數(shù)據(jù)分散到多臺服務器來實現(xiàn)數(shù)據(jù)緩存，然后利用此技術實現(xiàn)分布式部署的數(shù)據(jù)同步。MemCached 架構便于存儲“數(shù)據(jù)庫、文件”及“用戶同步信息”兩種數(shù)據(jù)。

根據(jù)觀察，除緩存外還需要對數(shù)據(jù)進行一定程度的壓縮，為保證數(shù)據(jù)壓縮后的準確率，該文采用非線性Delta 誤差技術對數(shù)據(jù)實時解壓縮：

綜合奉新縣在南昌大都市區(qū)域規(guī)劃中所處的空間層次，結合上述實際情況分析，奉新縣在經(jīng)濟再發(fā)展中要注重人與自然的關系，尋求經(jīng)濟社會發(fā)展訴求點、自然資源的承載點、區(qū)域功能要求的契合點，綜合三點考慮，發(fā)展社會經(jīng)濟，構建綠色生態(tài)產(chǎn)業(yè)，引導城鎮(zhèn)共同發(fā)展。同時由于縣內(nèi)文化資源豐富，可以大力構建新的旅游產(chǎn)業(yè)發(fā)展模式——全域旅游。

1）參數(shù)定義。樣本：RtPro；預警限制：δi；報警上下限：Ldate、Hdata；壓縮值：σ。

2）報警數(shù)值處理。當σ=1 時，報警數(shù)據(jù)不需要進行壓縮，只需要記錄即可，處理規(guī)則如下：

即σ=1，表示要記錄這些數(shù)據(jù)。

3）非報警數(shù)據(jù)處理。當σ=φ1φ2∈(0.8,0.9)時，非報警值數(shù)據(jù)是項目中變化較小的穩(wěn)定數(shù)據(jù)，處理規(guī)則為：

pCDH/HSP27組和陰性對照組U266細胞用終濃度為0、5、10、20、40和80 nmol/L的BTZ處理8 h后，蛋白酶體活性檢測結果（圖8）顯示，隨著BTZ濃度的遞增，2組U266細胞中20S蛋白酶體的活性均被抑制；在10、20、40和80 nmol/L BTZ濃度組中，pCDH/HSP27組U266細胞中20S蛋白酶體的活性均明顯高于陰性對照組（P值均＜0.05）。這一結果表明，HSP27表達上調可減弱BTZ對骨髓瘤細胞蛋白酶體活性的抑制。

4）多級預警壓縮。當σ=φiφ1∈(k1,k2),i=1,2,3,…,k1、k2∈(0.2,0.7)時。處理規(guī)則為：

則blSavetoDB←false。反 之，則blSavetoDB←true，lrtVal←rtVal。

5）壓縮率。壓縮率由式(5)進行計算，圖2 所示為解析成折線表示的數(shù)據(jù)壓縮變換模型。

則blSavetoDB←false。

圖2 壓縮變換模型

2 系統(tǒng)構架和模塊開發(fā)

2.1 電網(wǎng)工程數(shù)據(jù)應用體系架構

由于傳統(tǒng)數(shù)據(jù)分析系統(tǒng)已無法滿足大數(shù)據(jù)分析的需要，設計針對大型電網(wǎng)工程海量數(shù)據(jù)分析所設計的應用系統(tǒng)架構[15-16]，如圖3 所示。

2.3.1 數(shù)據(jù)管理

圖3 應用體系架構

2.2 電網(wǎng)工程數(shù)據(jù)應用體系架構參考模型

應用參考模型包括5 層，其中數(shù)據(jù)采集處理層實現(xiàn)數(shù)據(jù)抓取。圖4 為大數(shù)據(jù)應用架構參考模型。

“無規(guī)矩不可成方圓”。黨中央的“八項規(guī)定”“三嚴三實”及“自律準則”“處分條例”等就是最好的規(guī)矩。千里之堤毀于蟻穴，一些巨貪，往往就是從貪小便宜步步為“盈”“煉”成的。“易魚”類似事件的嚴肅處理，體現(xiàn)的是“抓早抓小”，防微杜漸，以遏制由量變到質變。“好規(guī)矩”需善始善終，嚴要求產(chǎn)生好成效，嚴管理養(yǎng)成好習慣，嚴標準才能得民心。杜絕“易魚”類似案例發(fā)生，打虎學武松拳頭要硬的同時，拍蠅力度亦不能松。

圖4 電網(wǎng)工程數(shù)據(jù)應用架構參考模型

1）數(shù)據(jù)源：包括大型電網(wǎng)工程中的各種實時和非實時數(shù)據(jù)。

2）存儲層：對于完全結構化數(shù)據(jù)源，數(shù)據(jù)能夠在關系型數(shù)據(jù)庫中存儲，半結構化數(shù)據(jù)在NoSQL 數(shù)據(jù)庫中存儲，通過單一文件命名的空間實現(xiàn)高吞吐量數(shù)據(jù)訪問。

3）數(shù)據(jù)采集處理層：通過分布式并行處理架構進行解析，利用Hadoop 計算框架實現(xiàn)離線處理，使用流式分析架構實現(xiàn)實時數(shù)據(jù)分析，圖5 為數(shù)據(jù)的處理框架。

圖5 數(shù)據(jù)處理框架

4）分析層：同步處理結果到數(shù)據(jù)倉庫、數(shù)據(jù)集市中，實現(xiàn)深入挖掘。

5）應用層：系統(tǒng)安全與服務管理模塊為大數(shù)據(jù)應用架構參考模型的公共模塊，設計大數(shù)據(jù)安全架構時要考慮多種因素。

2.3 應用體系架構設計

經(jīng)濟發(fā)展較好的地區(qū)，農(nóng)民群眾的體育需求也相對較高。這些地區(qū)農(nóng)民群眾勞動條件得到了改善，物質生活也較為富足，他們對于體育這種兼具娛樂、休閑以及健身的活動存在很大的需求[2]。

規(guī)劃中心提升管理分析業(yè)務，利用信息化手段將傳統(tǒng)業(yè)務搬遷至系統(tǒng)上進行。圖8 所示為造價管理的業(yè)務模塊。

1）數(shù)據(jù)導入：加載時，通過提交參數(shù)設置事務數(shù)據(jù)文件輸入路徑，加載結束或失敗時在數(shù)據(jù)日志表中記錄。

將處理好的數(shù)據(jù)以圖表模板格式為基礎，進行可視化處理，為指揮決策服務。圖7 為可視化服務器的結構。

2）數(shù)據(jù)清洗：分析實體評估指標，定位數(shù)據(jù)質量問題。

本次計算中取泊松比為υ=0.35，Ib=0.7，rm=12.5。室內(nèi)試驗測得的主固結完成后的剪切模量為G=0.664 MPa。

3）數(shù)據(jù)治理：創(chuàng)建策略模型提高數(shù)據(jù)質量。

2.3.2 數(shù)據(jù)安全設計

2.3.3 數(shù)據(jù)存儲

圖6 安全態(tài)勢感知系統(tǒng)模型

現(xiàn)代大數(shù)據(jù)網(wǎng)絡系統(tǒng)數(shù)據(jù)處于多源多樣化的趨勢中，且數(shù)據(jù)格式與粒度各有不同，導致安全態(tài)勢感知出現(xiàn)困難。圖6所示為安全態(tài)勢感知的系統(tǒng)模型。

采用云存儲技術，部署系統(tǒng)時從應用服務器上開辟一塊內(nèi)存進行數(shù)據(jù)共享，服務器的數(shù)量越多，可緩存的數(shù)據(jù)量越大。

2.3.4 可視化服務器

桑：在蓋博犧牲之后，浮西努曾用很長時間來思考感情的問題。在她這個年紀，正是見解成熟，思力旺盛的時期，并且能夠很好地處理一些情感上的問題，準確些說，可以更合理地把自己從種種困惑中解脫出來。只能說即使是若干世紀之后，時間還是這樣不緊不慢，天氣仍是詭譎神秘，一定仍會有人像自己，像是輪回轉世一樣，仿佛自己又復生了一般。對于為蓋博殉情的蘇珊娜，浮西努最終選擇了原諒，并把她的遺物與蓋博合葬在德克薩斯。

圖7 可視化服務器的結構

2.4 電網(wǎng)工程數(shù)據(jù)應用模塊

妊娠期急性脂肪肝作為特有的妊娠期疾病，主要發(fā)生于中晚期妊娠，目前臨床醫(yī)學對妊娠期急性脂肪肝的病因、具體發(fā)病機制仍未完全明確[8]；相關研究認為與妊娠晚期患者體內(nèi)的激素水平發(fā)生改變有關，因妊娠能導致雌激素等相關激素表達水平顯著升高，造成脂肪酸相關代謝出現(xiàn)障礙，使游離的脂肪酸堆積于患者的肝細胞、腦部及腎臟等相關器官內(nèi)，引起多器官損傷，影響妊娠結局，危害母嬰健康[9-10]。因此，及早發(fā)現(xiàn)、診斷并實施有效治療，適時終止妊娠，對改善預后具有重要意義，但臨床醫(yī)學針對妊娠期急性脂肪肝并發(fā)多器官功能損害尚無特效療法，多以對癥治療、控制病情進展為主，但療效及預后欠佳[11]。

圖8 造價管理業(yè)務模塊

1）主配網(wǎng)投資造價智能評估分析。將傳統(tǒng)技經(jīng)評審方式搬遷至線上，統(tǒng)一規(guī)范、標準化的數(shù)據(jù)內(nèi)容和格式，實現(xiàn)工程數(shù)據(jù)真實、完整、有效的收集和管理，實現(xiàn)標準化管理。與規(guī)劃中心現(xiàn)有主配網(wǎng)評審平臺集成，獲取智能評估分析在線平臺，并將評審結果反饋給技經(jīng)評審專家，最終出具評審意見和質量評分。

在各類并網(wǎng)發(fā)電的能源中，地熱電站的容量因素僅次于核電站。目前，美國地熱發(fā)電裝機總量超過38 GW。根據(jù)美國地質調查局的勘探和評估，其水熱型地熱系統(tǒng)和增強型地熱系統(tǒng)地熱資源潛在發(fā)電裝機容量超過100 GW。但是只有技術創(chuàng)新才有可能使這些地熱能轉變?yōu)榫哂薪?jīng)濟價值的實用資源。

2）主配網(wǎng)權威技經(jīng)數(shù)據(jù)庫。將規(guī)劃中心零散的歷史工程數(shù)據(jù)按工程特有的項目特征進行清洗、分類，打造權威技術經(jīng)濟數(shù)據(jù)庫。

3）創(chuàng)新型輔助評審模式。通過分析整理技經(jīng)評審工作中標準化的內(nèi)容，使用信息化方法將其標準化、模板化、直觀化。利用大數(shù)據(jù)處理構建數(shù)據(jù)之間的匹配，輔助評審專家進行偏差原因分析。

4）基建項目造價控制指標測算。主配網(wǎng)權威技經(jīng)數(shù)據(jù)庫按工程項目特征進行歸類，而主配網(wǎng)基建項目造價控制指標同樣按工程項目特征進行分類。創(chuàng)建一種匹配模型，從技經(jīng)數(shù)據(jù)庫中抽取特定指標填充到測算模型中，最終測算出參考的造價控制指標。

有一天北舞來招生，我就想試一試吧，不用有太大壓力，反正相比那些從五六歲就開始練的同學，我跳得挺爛的，肯定沒戲，就不知天高地厚地去考試了。當時跳完之后，評委席上的老師都“撲哧”笑了。

5）造價分析模型。通過工程項目特征快速篩選需要進行分析的數(shù)據(jù)，創(chuàng)建數(shù)據(jù)抽取分析模型，提取出技經(jīng)專家重點關注的數(shù)據(jù)類型。

6）現(xiàn)場評審輔助工具。研制現(xiàn)場評審輔助工具軟件，打通工具軟件與在線平臺系統(tǒng)間的數(shù)據(jù)通道。實現(xiàn)評審專家在正式評審會議現(xiàn)場開展審核工程造價、相關資料、編制意見初稿、質量打分、收集造價補充資料等現(xiàn)場評審全過程工作，并支持后續(xù)對數(shù)據(jù)的有效應用和分析管理。

3 實驗與測試

經(jīng)過上述數(shù)據(jù)處理，分散的數(shù)據(jù)資源實現(xiàn)了集中管理，有效地將類似歷史工程造價與典型造價融合，形成文件數(shù)據(jù)庫。通過與擬審工程進行對比，實現(xiàn)智能化技經(jīng)評審。同時根據(jù)每年評審的工程造價，自動形成來年的造價分析報告初稿和造價控制指標初稿。此外，還可根據(jù)數(shù)據(jù)分析提供統(tǒng)計分析、造價分析、造價控制指標測算、定額系數(shù)計算等功能。

圖9所示為某供電局的工程投資造價數(shù)據(jù)分析智能評估系統(tǒng)部署結構，其核心部分部署在信息機房。

圖9 系統(tǒng)結構

從規(guī)劃中心主配網(wǎng)評審平臺分別獲取送審以及接口的版本資料，對獲取的資料進行解析，并對當前工程進行合規(guī)性和對比性檢查。隨后技經(jīng)評審專家進行偏差原因分析，最終系統(tǒng)可輔助輸出評審意見及質量評分表。

對同一數(shù)據(jù)規(guī)模的數(shù)據(jù)集與處理前后的數(shù)據(jù)壓縮率進行對照實驗，比較預處理迭代方法對數(shù)據(jù)分析技術中數(shù)據(jù)壓縮的效果，結果如圖10 所示。預處理后數(shù)據(jù)壓縮效果大幅上升，在迭代次數(shù)超過300次后，樣本組的數(shù)據(jù)壓縮率可達到60%以上。

圖10 預處理迭代方法數(shù)據(jù)處理壓縮效果

4 結束語

文中以信息化技術結合大數(shù)據(jù)預處理方法構建數(shù)據(jù)處理算法和系統(tǒng)構架，實現(xiàn)了電網(wǎng)工程技經(jīng)評審管理分析質量水平的快速提高。以某供電局為測試背景，開發(fā)建設了一套適合于該供電局業(yè)務范圍的投資造價智能評估分析系統(tǒng)，為總體發(fā)展戰(zhàn)略目標的實現(xiàn)提供強有力的決策支持。新系統(tǒng)測試環(huán)節(jié)驗證了基于預處理迭代方法的高效大型電網(wǎng)工程數(shù)據(jù)分析技術具有較高的數(shù)據(jù)壓縮效率。同時，該平臺可通過不斷積累的評審數(shù)據(jù)完成造價分析、統(tǒng)計分析、造價控制指標測算等分析工作，提升評審工作的全面性。