輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎優(yōu)化研究

趙春榮

摘要：常規(guī)輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎運行時間較長。本文采用綜合數(shù)據(jù)網(wǎng)構(gòu)造扁平化搜索引擎體系結(jié)構(gòu)，進行層次優(yōu)化，采用IEC61850標(biāo)準(zhǔn)接口實現(xiàn)不同層次的數(shù)據(jù)通信。以MapReduce方式查詢執(zhí)行，引擎內(nèi)部設(shè)置映射階段，采用遠程訪問的方式獲取數(shù)據(jù)，建立哈希環(huán)存儲不同的數(shù)據(jù)，Hadoop采用樹狀結(jié)構(gòu)分布實現(xiàn)網(wǎng)絡(luò)拓撲。

關(guān)鍵詞：輸變電設(shè)備;現(xiàn)場狀態(tài)監(jiān)測;數(shù)據(jù)搜索;搜索引擎優(yōu)化

0.引言

當(dāng)前雖然有大量輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎的研究，但由于搜索到的信息類型復(fù)雜，選擇的信息模型基準(zhǔn)不同，使得難以對匹配對象時會存在較大的差異，而且目前的搜索引擎都是在線搜索引擎，必須要利用輸變電設(shè)備內(nèi)部的系統(tǒng)來分析軟件才能實現(xiàn)開發(fā)接口互相關(guān)聯(lián)。本文對現(xiàn)有輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)搜索引擎進行優(yōu)化研究，通過綜合變壓器、覆冰狀態(tài)、雷電狀態(tài)和電能質(zhì)量等信息分析，利用驅(qū)動開發(fā)方法對輸變電設(shè)備信息進行收集、轉(zhuǎn)換和發(fā)布，建立擴展模型，實現(xiàn)現(xiàn)行標(biāo)準(zhǔn)化，增強搜索引擎的擴展性和開放性。

1.搜索引擎架構(gòu)優(yōu)化

當(dāng)前的輸變電狀態(tài)監(jiān)測系統(tǒng)所采用的網(wǎng)絡(luò)結(jié)構(gòu)大多是串行網(wǎng)絡(luò)，結(jié)構(gòu)比較復(fù)雜。當(dāng)通訊鏈路中的任何一個環(huán)節(jié)出現(xiàn)問題，都會導(dǎo)致整個監(jiān)控網(wǎng)絡(luò)的失效，降低數(shù)據(jù)傳輸?shù)目煽啃浴Ｒ恍┍O(jiān)測數(shù)據(jù)由于傳輸難度不同，需要多次轉(zhuǎn)發(fā)，通過多次轉(zhuǎn)發(fā)到主站，影響了實時傳輸。監(jiān)測裝置與主站之間存在多個通信協(xié)議，各種私有的協(xié)議不斷出現(xiàn)，主站的接口也越來越復(fù)雜。監(jiān)測供應(yīng)商間的數(shù)據(jù)孤島，不能快速查找相關(guān)數(shù)據(jù)。為了解決搜索引擎結(jié)構(gòu)復(fù)雜、實時性差、可靠性低、通信規(guī)則不一致等問題，本文在傳統(tǒng)搜索引擎的基礎(chǔ)上進行優(yōu)化，構(gòu)造了一個扁平化的搜索引擎。

文中設(shè)計的搜索引擎體系結(jié)構(gòu)分層優(yōu)化采用IEC61850標(biāo)準(zhǔn)接口來實現(xiàn)不同級別的數(shù)據(jù)通信。本論文所設(shè)計的搜索引擎采用的通訊方式是“一發(fā)雙收”。通訊信息可同時發(fā)送到省主站和網(wǎng)絡(luò)主站。各網(wǎng)絡(luò)終端集成處理單元可直接與主站通信。使網(wǎng)絡(luò)主站點的數(shù)據(jù)傳輸節(jié)點大大減少，節(jié)點之間可以直接進行數(shù)據(jù)通信，省去節(jié)點間的數(shù)據(jù)轉(zhuǎn)換，實現(xiàn)搜索引擎的在線搜索。

通過IEC61850協(xié)議，將變電站各監(jiān)測設(shè)備的數(shù)據(jù)集中到處理單元，使系統(tǒng)中各監(jiān)控設(shè)備的數(shù)據(jù)同時傳送給各主站的監(jiān)控信息，使用戶能夠?qū)崿F(xiàn)各變電站監(jiān)控信息的實時傳輸。

使用扁平化搜索引擎，在搜索數(shù)據(jù)時有效降低傳輸級別，極大地提高了實時搜索性能。上載數(shù)據(jù)的所有通道成為彼此的備份通道。在數(shù)據(jù)傳輸期間某個信道發(fā)生問題時，還可以使用其他信道。用來確保可靠的數(shù)據(jù)傳輸。綜合處理單元在系統(tǒng)內(nèi)收集監(jiān)測數(shù)據(jù)。，網(wǎng)級主站和省級主站的描述具備一致性，數(shù)據(jù)融合效果好，分析能力高。

2.搜索引擎存儲優(yōu)化

2.1數(shù)據(jù)分配最優(yōu)化

當(dāng)輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測數(shù)據(jù)的關(guān)聯(lián)數(shù)據(jù)搜索時，查詢方式為MapReduce，通過分析數(shù)據(jù)與數(shù)據(jù)之間的相關(guān)性，實現(xiàn)Hadoop布局方案。設(shè)置映射階段，在所有節(jié)點上對獲得的數(shù)據(jù)進行重新分組、排序，并通過遠程訪問的方式提取數(shù)據(jù)。為了防止大量與操作無關(guān)的數(shù)據(jù)在網(wǎng)絡(luò)傳輸中被復(fù)制甚至上傳，將所有數(shù)據(jù)按照數(shù)據(jù)屬性放置在同一個節(jié)點上，通過映射實現(xiàn)連接，減少了不必要的數(shù)據(jù)通信，提高了整體的執(zhí)行效率。

在數(shù)據(jù)的第一份副本中確定采集設(shè)備的ID，并根據(jù)獲取的采集設(shè)備的ID進行HashMap;在第二個副本中可以得到采集時間，根據(jù)確定的采集時間實現(xiàn)HashMap。在第三個副本中獲得數(shù)據(jù)的定制關(guān)系，并實現(xiàn)HashMap。對上述三份的映射結(jié)構(gòu)進行了綜合分析，以滿足不同的檢索需求和數(shù)據(jù)查詢需求。相關(guān)系數(shù)在監(jiān)測數(shù)據(jù)中的應(yīng)用是研究的重要內(nèi)容。為更好地保證用戶的相關(guān)性，需要根據(jù)上層應(yīng)用進行分配。

文中的優(yōu)化算法是一種多拷貝一致性哈希數(shù)據(jù)存儲算法，它利用數(shù)據(jù)相關(guān)性將所有數(shù)據(jù)存儲在一起。對查詢數(shù)據(jù)進行分析時，將所有主要的搜索和查詢?nèi)蝿?wù)放在映射端，統(tǒng)一執(zhí)行，從而降低映射到通信過程的網(wǎng)絡(luò)負載，確保引擎能夠在較短時間內(nèi)進行查詢和分析。

輸變電設(shè)備不同類型的現(xiàn)場監(jiān)測數(shù)據(jù)具有不同的數(shù)據(jù)類型和格式，但全部數(shù)據(jù)均具有時空特性。每一傳感器的采樣數(shù)據(jù)對應(yīng)一個匹配的采樣時間和地點，利用上述的關(guān)鍵字實現(xiàn)采集。對Hadoop進行優(yōu)化，存儲3份數(shù)據(jù)，從監(jiān)測設(shè)備位置、數(shù)據(jù)采集時間、自定義相關(guān)性等方面對優(yōu)化效果進行判斷。

在使用優(yōu)化算法時，需要建立哈希環(huán)。

詳細流程說明如下：

（1）確定監(jiān)測數(shù)據(jù)間的相關(guān)系數(shù)，使用冗余副本預(yù)先定義監(jiān)測數(shù)據(jù)，設(shè)置冗余拷貝數(shù)為3;

（2）分析每個集群中的哈希值，得到的哈希點配置在不同的哈希環(huán)區(qū)間內(nèi);

（3）對監(jiān)測數(shù)據(jù)的時空屬性和相關(guān)系數(shù)進行計算，獲得準(zhǔn)確的散列值，分析副本1的數(shù)據(jù)來源，確定監(jiān)測ID，計算得出哈希值1，以映射方法在哈希環(huán)上復(fù)制;分析副本2的時間屬性，計算得到哈希值2，將時間戳映射到哈希環(huán)上;分析副本3的相關(guān)系數(shù)，得到相應(yīng)的哈希值3，映射方式為依次映射;

（4）通過數(shù)據(jù)散列值和數(shù)據(jù)節(jié)點散列值，決定數(shù)據(jù)存儲在哪里，并以順時針方式實現(xiàn)映射;

（5）如果存儲數(shù)據(jù)的節(jié)點發(fā)生了異常現(xiàn)象，則該節(jié)點跳過并保存到下一個節(jié)點。

2.2拓撲優(yōu)化

數(shù)據(jù)讀取內(nèi)容主要是名字節(jié)點，分析數(shù)據(jù)節(jié)點與客戶機之間的距離，確保從最近的節(jié)點讀入數(shù)據(jù)內(nèi)容，提高讀取時間。在搜索引擎節(jié)點中，Hadoop以樹狀結(jié)構(gòu)分布，每棵子樹的根節(jié)點連接計算機上的交換節(jié)點，兩個節(jié)點之間的距離就像一個節(jié)點到另一個節(jié)點所經(jīng)歷的跳數(shù)。Hadoop所有的缺省配置節(jié)點都被統(tǒng)一到一個框架中，通過分析真實集群的配置效果，拓撲結(jié)構(gòu)將節(jié)點網(wǎng)絡(luò)傳遞給Hadoop，確保數(shù)據(jù)以合理的方式進行讀取和寫入。

3.結(jié)束語

本文研究了一種輸變電設(shè)備現(xiàn)場狀態(tài)監(jiān)測引擎，采用開放標(biāo)準(zhǔn)，優(yōu)化了其結(jié)構(gòu)和存儲方式，并利用平面結(jié)構(gòu)優(yōu)化了設(shè)備。利用 Hadoop數(shù)據(jù)，采用 IEC 61850標(biāo)準(zhǔn)進行數(shù)據(jù)分配，實現(xiàn)了數(shù)據(jù)共享，減少了監(jiān)控設(shè)備的監(jiān)控難度，使引擎內(nèi)的所有數(shù)據(jù)都能轉(zhuǎn)發(fā)。

參考文獻

[1] 楊虹，張來福，姜敏，等.輸變電設(shè)備在線監(jiān)測及診斷技術(shù)的研究[J].現(xiàn)代電子技術(shù)，2017，40（9）：163-165.

[2] 廖瑞金，王有元，劉航，等.輸變電設(shè)備狀態(tài)評估方法的研究現(xiàn)狀[J].高電壓技術(shù)，2018，44（11）：3454-3464.