基于Hadoop的配電網需求數據存儲控制技術優化
2024-04-29 00:00:00趙建立湯卓凡姚孟陽
粘接 2024年2期
doi：10.3969/j.issn.1001-5922.2024.02.048
摘 要：為確保不同配電網需求數據存儲效率，提出基于Hadoop的配電網需求數據存儲安全控制方法。采用稀疏字典稀疏分解配電網需求數據，利用字典原子代替數據字節，將壓縮數據輸入Hadoop分布式平臺中，通過客戶端專用通道生成公鑰和私鑰，以密鑰流的形式存入Hadoop節點，雙密鑰加密需求數據，制定數據密文存儲規則，控制需求數據放置位置，實現配電網需求數據安全存儲。結果表明，提出的方法在面臨惡意攻擊時，文件處理速度較快，有效提高了數據存儲效率。
關鍵詞：Hadoop節點；需求數據；稀疏分解；雙密鑰加密；安全存儲
中圖分類號：TM744" " " " 文獻標志碼：A" " " "文章編號：1001-5922（2024）02-0182-04
Optimization of distribution network demand data storage and control technology based on Hadoop
ZHAO Jianli1，2，TANG Zhuofan1，2，YAO Mengyang3
（1.State Grid Shanghai Municipal Electric Power Company，Shanghai 200030， China;
2.Shanghai Key La-boratory of Smart Grid Demand Response，Shanghai 200063， China;
3.Beijing Wells Technology Co.，Ltd.，Beijing 100085，China）
Abstract：In order to ensure the data storage efficiency of different distribution network demand，a security control method for distribution network demand data storage based on Hadoop was proposed.The sparse dictionary was used to sparsely decompose the demand data of the distribution network，the dictionary atom was used to replace the data bytes，the compressed data was input into the Hadoop distributed platform，the public key and the private key were generated through the dedicated channel of the client，and the key was stored in the Hadoop node in the form of key stream，the demand data was encrypted with double keys，the data ciphertext storage rules were formulated，the placement of the demand data was controlled，and the demand data of the distribution network is stored safely.The experimental results showed that the proposed method had a faster file processing speed in the face of malicious attacks，which effectively improved the data storage efficiency.
Key words：hadoop node;harmonic data;sparse decomposition;double key encryption;secure storage
隨著互聯網的普及和物聯網技術的應用，配電網面臨著越來越多的網絡安全威脅和風險。因此，研究配電網需求數據存儲安全控制方法具有重要的現實意義。如提出基于區塊鏈的數據存儲安全控制，將區塊鏈作為底層支撐，采用多級加密機制對電力營銷數據進行加密驗證，創建安全可靠的分布式存儲方案[1]。如提出基于分布式壓縮感知的數據存儲安全控制，采用自適應聯合重構算法，建立分布式壓縮感知的云邊協同框架[2]。基于此，提出基于Hadoop的配電網需求數據存儲安全控制方法研究，以電壓數據為研究對象，充分發揮Hadoop平臺高吞吐量和高容錯的訪問性能，實現配電網需求數據的存儲安全控制。
1"需求數據存儲安全控制
1.1"壓縮配電網需求數據
建立Hadoop分布式平臺，將需求數據劃分為2個階段，包括寫入和讀出Hadoop平臺，把數據輸入Hadoop節點，在節點中創建文件，利用文件名記錄需求數據[3]。將傅里葉正變換矩陣，作為初始稀疏基，需求數據的稀疏表示為：
1.2"加密配電網需求數據
采用公鑰和私鑰的雙密鑰加密算法，保證Hadoop[9-10]節點數據的安全性。根據需求數據可信度，刪除壓縮后的配電網需求數據Hi中的不確定數據，定義需求數據x的盲數I（x）公式：
式中：k為配電網圖層編碼數量;Lk為編碼k的最低重構信噪比;m為編碼總數。遍歷Hadoop節點中的所有需求數據，判斷數據x的可信度是否為非負可信度，若是非負可信度，保留該需求數據，否則對其進行刪除。通過式（6）精準提取壓縮的需求數據，避免其他數據參與存儲。執行雙密鑰的混合對稱加密，具體流程如圖1所示。
由圖1可知，首先定義一個由0和1組成的隨機數，統計需求數據的各個字段，與隨機數進行比較，得到分組數據。命名Hadoop分布式節點，生成公鑰和私鑰，采用人工協商方式，通過客戶端的專用通道，使公鑰和私鑰以密鑰流的形式，存入Hadoop命名節點。在Hadoop節點中創建記錄，把密鑰參數視為安全參數，客戶端讀取命名節點記錄，獲得與需求數據各個字段相對應的公鑰和私鑰，得到最終密鑰[11-12]。最終密鑰的加密敏感函數M（l1，l2）為：
M（l1，l2）=mod（abs（round（N×l2）），256）（7）
式中：l1、l2分別為密鑰初始和動態條件；N為私鑰產生的混沌信號；mod表示求余操作；round表示四舍五入；abs為絕對值運算。取加密敏感函數M（l1，l2）的最終值n，異或操作需求數據明文和最終值，表達式為：
式中：O1、O2分別為需求數據的密文和明文。
1.3"存儲配電網需求數據
指定密文O1在Hadoop節點中的存儲規則，控制需求數據放置位置。設O1大小為P（O1），Hadoop節點為q，初始放置需求數據密文，應滿足以下條件：
p（q）－P（O1）＞Q（q）（9）
式中：p（q）、Q（q）分別為Hadoop節點的可用容量和負載閾值。選取資源消耗、Hadoop節點利用率、負載均衡3個參數，衡量密文O1的安全存儲性能，建立需求數據存儲規則R，表達式為：
R=（1－o）［Q（q）（r×S1）+p（q）（1－r）×S2］+o×S3（10）
式中：S1、S2、S3分別為資源消耗、Hadoop節點利用率、負載均衡的評價參數；r為平衡S1和S2的因子；o為平衡S2和S3的因子。S1、S2、S3計算公式為：
式中：V為計算輔助參數;U為混沌信號和電壓信號之間的方均根誤差。預設判斷閾值s′，若s≥s′，密文O1存儲完整，若s＜s′，需求數據未完整，檢查Hadoop節點的等待隊列，確保所有密文O1寫入存儲節點。至此完成配電網需求數據的存儲。
2"性能測試
將提出的方法與基于區塊鏈的數據存儲安全控制方法、基于分布式壓縮感知的數據存儲安全控制方法，進行對比實驗。
2.1"測試環境
搭建Hadoop分布式平臺，設置10臺計算機，作為Hadoop集群的存儲節點，采用Cygwin虛擬Linux環境。以某電力公司的需求數據為例，配電網具有15個節點，由4臺變壓器（字母G）、15條母線、4臺發電機構成，如圖2所示。
將15節點的配電網系統劃分為4個分區，區域I包含節點1、3、12、13;區域II包含節點6、7、8；區域III包含節點2、5、14、15;區域IV包含節點4、9、10、11。由于電源受電壓影響較小，15個節點中不包含電源節點。
2.2"需求數據壓縮
設置稀疏字典的壓縮比為50，原子大小為50.927 kbit，完備字典壓縮電壓信號，壓縮效果如圖3所示。
由圖3可知，提出方法對電壓信號進行壓縮采樣，充分保證了數據實時性能，數據較為稀疏，存儲量變少，數據質量滿足加密存儲要求。
2.3"測試結果分析
比較3種方法安全存儲效率，統計不同文件大小下的存儲耗時，實驗對比結果如圖4所示。
由圖4可知，配電網需求數據文件大小存在差異時，提出方法安全存儲耗時最短，這是因為提出方法存儲數據時，Hadoop節點傳輸時間占主導作用，加密時間可忽略不計。
選取100 M文件，改變數據包數量，比較不同文件數量下的安全存儲時間，實驗對比結果如圖5所示。
由圖5可知，提出方法顯著減少了時間開銷，滿足數據存儲安全控制的實時性要求。
3"結語
在配電網電氣設備運行控制項目的支持下，以需求數據為研究對象，設計了一種存儲安全控制方法。研究中將需求數據加密傳輸至Hadoop分布式平臺，實現了數據存儲安全控制。實驗結果表明，所提方法縮短了數據存儲時間。但此次提出方法仍存在一定不足，在今后的研究中，會將云計算部署在Hadoop平臺上，改進數據加密算法，進一步滿足大數據存儲的實時性要求。
【參考文獻】
[1]王凌宇，傅宏，楊云，等.基于區塊鏈的電力營銷數據存儲機制[J].重慶大學學報，2021，44（8）：156-164.
[2]王鶴，李石強，于華楠，等.基于分布式壓縮感知和邊緣計算的配電網電能質量數據壓縮存儲方法[J].電工技術學報，2020，35（21）：4553-4564.
[3]周笑天，馮勇，陳益玲，等.基于Hadoop的氣象數據分布式存儲技術研究[J].信息技術，2022（1）：68-74.
[4]徐超，孫金莉，楊郡，等.基于分布式支持向量機的電網錯誤數據注入檢測法[J].粘接，2023，50（2）：188-192.
[5]紀丙華，閔康磊，沈奇，等.星載固態存儲模塊的功能擴展及實現[J].電力電子技術，2021，55（5）：69-72.
[6]QU W ，CHUI C K ，DENG G T ，et al.Sparse representation of approximation to identity[J].Analysis and applications，2022，20（4）：815-837.
[7]王慧，孫國法，付龍海.改進DARMmcr模型的輸電線路安全運行數據比較分析[J].粘接，2023，50（5）：183-187.
[8]白燕青，呂曉芳.雙槳船舶定位數據存儲技術研究[J].艦船科學技術，2020，42（4）：178-180.
[9]羅偉，饒冰，蔣破荒，等.基于X86的分布式存儲的數據庫平臺架構[J].控制工程，2020，27（2）：303-308.
[10]劉晴，湯瑋，劉旭.基于虛擬數據庫技術的異地異構數據源整合[J].信息技術，2020，44（1）：130-133.
[11]白利芳，祝躍飛，蘆斌.云數據存儲安全審計研究及進展[J].計算機科學，2020，47（10）：290-300.
[12]郭威，李信紅，林曉寧，等.基于屬性規則的復合電力數據權限加密算法[J].電網與清潔能源，2023，39（4）：76-82.
收稿日期：2023-07-16；修回日期：2023-12-15
作者簡介：趙建立（1983-），男，碩士，高級工程師，研究方向：需求響應、虛擬電廠；E-mail：yaomengyang@wellsgroup.cn。
基金項目：國網上海市電力公司科技項目（項目編號：52090D21N001）。
引文格式：趙建立，湯卓凡，姚孟陽.基于Hadoop的配電網需求數據存儲控制技術優化[J].粘接，2024，51（2）：182-185.
