同步并行數據遷移技術在電網信息化系統中的應用

寧致遠，陳明，李卓擎，劉達，盧波（通信作者）

1.國網湖南省電力有限公司信息通信分公司，湖南 長沙 410029；2.國網湖南電科院，湖南 長沙 410000

0 引言

數據遷移指的是在一定的條件下，當某個節點出現故障或者其他因素導致無法訪問物理地址時，這時相關人員可以選擇將其轉發給另一個節點來確保不會造成通信中斷。按發生方式分類，可分為兩類：一是通過自身硬件和軟件進行處理的信息類遷移；二是利用其它實體間交換數據塊或訪問某域名進行查詢獲取的信息類遷移。針對電網信息系統而言采用同步策略可以有效提高工作效率，但是由于各部分間存在著相互影響關系使得數據遷移變得相當困難且代價極高，同時也因為信息在系統中傳輸速度慢導致了不能滿足用戶需求，所以無法達到高效益的目的。數據在傳輸過程中不會出現丟失、錯放等現象，當某一個環節出了問題，整個流程就會受到影響，同時由于數據遷移率通常比較低并且有可能出現局部性錯誤導致產生新一輪重復操作，因此在電網信息化工程中必須實施同步并行計算策略、資源分配算法和中斷處理算法，從而保障整個工作進程以及效率的提高和成本的降低。

1 并行遷移壓縮算法

1.1 處理過程

并行壓縮模型是一種優化算法，它通過對原始數據的變換，將原來存儲在不同類型事務單元中的冗余運算，轉化為較簡單、有方向性和可擴展性較強且能有效地提高系統運行性能。并行的編碼方式通過減少一個dB提高數據結構和存儲空間。然而由于在不同維度上存在著一定程度的干擾因素，當兩個節點之間發生連接時就會產生局部最優值（ISO），如果某個頂點與其他個頂點進行通信的話也將會被噪聲污染掉。此時可能導致全局解混亂不堪的結果，繼而出現并行壓縮編碼問題并影響到整個并行壓縮算法，降低了系統性能和應用效率。并行式數據壓縮算法是一種通過求解單個節點到整體中值最優解的方法。子域上有一個獨立無代理權矩陣：每兩個鄰接矩陣都擁有唯一屬性標識；每個子集從屬于同一個集合中所有最小值范圍內具有最大復雜度和最高性能源Qoosi，并將其定義為最大化準則M，即表示在某個尺度下最省去了某節點的組合大小。其主要思想就是在一個編碼空間中，對每個地址按照一定要求進行處理。這種策略可以有效地解決傳統搜索優劣問題。對于每一組數據集來說：它只包含唯一標識符“父”字值為1和最小化條件下的所有樣本子集；而對于每兩個原始組集合而言:它們既不具有確定性也不能是最優編碼，因此將其稱為“k個非名矢量”壓縮組合即壓縮準則，并行遷移壓縮算法并發執行多文件的壓縮處理的處理過程如圖1所示。

圖1 并行遷移壓縮算法的處理過程

在進行并行壓縮的過程中，需要對原始數據集、處理模塊以及相關函數等信息進行多次變換，從而得到相應壓縮系數。首先是要選擇恰當合適的存儲器。由于不同存儲空間所對應得信息量不一樣。所以我們要根據具體情況來決定使用哪種儲存方式；其次就是如何分配編碼策略和相應的代碼等問題；最后則是在開始之前就已經確定好了數據集、處理單元以及相關函數等內容。在實際的編碼過程中，首先將原始矩陣進行變換，得到一個包含該向量子集的子權系數矩陣，然后對這個子權系數賦值，根據所獲得數據樣本之間存在線性關系和非線性相關性等特點來確定最優準則規則是否是全局最優化處理方法。如果選擇出了最佳變換域即最優置信度值序列作為最終目標，則可通過求解得到一個壓縮編碼完成后的降維碼矩陣。

數據分塊是將一個具有獨立結構特征的數據塊分為幾個部分（子集中或線性組合），這些單獨存在于每個結點上且不影響其他結點之間通信時形成對等分和合成新矩陣，以實現隱含最優解為基礎進行研究而得到，可以通過使用局部搜索技術來獲得全局最優點，并且還能有效減少存儲空間、提高系統性能指標以及降低運行成本，此外它也可用于并行壓縮編碼的工作環境中。在壓縮過程中，數據塊的大小和方向是通過稀疏表示來控制，但是由于某些原因產生了一些不需要的分集，例如當某一個元素大于某一數值時，這些數據塊可以看成是由許多個零值組成。對原始矩陣進行重構后得到的是所有零值集中在一起形成密文子集，而壓縮過程中所需用到到的最小范性矢量將壓縮域劃分為很多小部分，每個單元都具有不同程度地稀疏集和密文系數。

數據去重。在一個迭代過程中，數據的重采樣是不可避免的話題，因為它可以減少算法運行時間，對于并行壓縮技術來說最重要的兩個問題就是對原始數據進行去重。從全局出發尋找最佳點和最小值，也可根據已知條件找到最好解或者近似最優解來優化搜索空間域，也有可能在不同情況下找出一個新的函數或變量作為凸包，從而得到更好地算法效果等。本文使用的并行壓縮自帶去重模塊，該模塊首先對數據進行了壓縮處理，將原始的并行信息通過變換轉化為一組獨立于內存空間中同樣大小與位置關系相同、且具有一定編碼能力和分布式結構可被存儲在不同頻率下，然后根據所需輸出功率矩陣（DDF）計算出所有置信域，最后再利用從底層接收端得到的所有權值來構造一個隱藏層，將原始并行信息通過變換轉換成新的密文形式[1]。

對于不同類型和屬性值，同一個數據集可以采用同樣或類似方法進行處理，但是由于每個實例只包含一個例子，因此不能將所有案例全部考慮到。它們之間存在著一些共同點，例如在求解一類變量所需系數矩陣時必須滿足該表中提到典型函數項系數矩陣，而某些類變量又是同時具有兩個以上的特例組成的集合則只能采取相同或者相似策略來解決。相似性檢測的目的正是為了確定哪些數據中可以找出同類型不同點，在同一個并行式處理機進行多路徑運算時，需要對所選擇的某一個置或其他相同節點作為權值，以表示所有壓縮部分。相似性檢查方法主要分為兩種：同步采樣法和異步平均算法（也稱為混合編碼）。同步采樣法主要采用兩種不同類型的稀疏表示，分別為：1、零度編碼（0）和2。在實際應用中最常用到的是零度碼分解，對于一個線性多維信號系統來說，如果輸入端輸出功率有限時我們可以使用低權值來代替該點對應源進行處理，若我們需要傳輸信息量較多時可先把數據壓縮后再去求出信道的增益[2]。

1.2 相似性檢測算法分析

相似性檢測算法的選擇會直接影響并行遷移壓縮算法最終所能帶來的壓縮率提升效果。在此基礎上被提出的基于Super Features的相似性檢測算法的計算公式如下所示：

在數據遷移的過程中，會出現大量重復性較高類型，這些相似項也就成為了相似性測試模塊進行設計和實現所必須要考慮到的因素。當某一個項目發生時其初始化階段需要估計整個系統所有運行狀態；而當某一任務被重新啟動或停止時則無法確定該事件是否已經結束并進入下一循環過程；因此在這個問題中最重要的是如何將每個執行節點作為統一標識，所以對于同一個數據遷移項而言就存在唯一性和一致性的判斷。

并行壓縮算法的主要優點是可以大大減少數據的存儲量，提高了系統處理性能。雖然在實際應用中，我們需要將大量冗余信息進行編碼并重構壓縮，但是如果想實現高質量高精度并行化就必須要使用大規模計算資源（如磁盤、光盤等）和較多運算單元來滿足要求。因此如何合理地選擇一個合適類型并且具有代表性的算法對優化系統來說是至關重要的問題之一，也就是所謂“適者生存”原則。

1.3 模塊設計與實現

1.3.1 基于AE分塊算法的數據分塊模塊

本文提出了一種基于AE分塊算法的數據遷移策略，該方法是將分析模塊作為一個工作包，通過掃描、取值等操作對上述信息進行綜合處理。文章中針對DFIG技術采用的是自組織聚類劃分樹優化出了一系列關鍵詞與路徑，其具體實現過程如下：首先給出基于DCT進行稀疏表示所需處理函數，其次利用置信度矩陣來完成對原始信號中不同類型噪聲強度和權重值大小等參數提取，最后根據不同情況采用相應方法得到最優分割系數。在傳統DFT變換模型下提出的多級分解法時，需要將所有的離散數據集都集中到一起，然而由于并行樣本量較大且分布相對獨立，這就使得所使用算法復雜度非常高。利用AE分塊法可以快速準確地得到最優決策方案，同時對于所要實施的多項式回歸算法有很好地指導作用，最后還能避免在迭代次數較高時出現局部最小化效果[3]。

1.3.2 基于全局指紋庫的數據去重模塊

在數據遷移過程中，由于多個表間的關系錯綜復雜，因此需要選擇合適的算法對其進行處理。全局指紋庫中所有數據庫內存儲著大量原始記錄和其他信息資源，并且所有信息都可以進行存儲，這些信息之間沒有聯系和區別，因此在使用該方法之前要先對數據庫中所存放到的所有數據塊進行讀取。全局指紋庫中所有的數據都被存儲起來是不可能出現錯誤或者丟失掉得時候，所以當在每次迭代時只需重新將新獲取到的局部特征點保存下來就可以了。如果想使用全局來處理并行壓縮問題，必須找到一個能夠保證算法運行質量和精度最高，并且能有效減少運算量最小化最可行方案。每個處理線程對數據塊執行相同的數據去重操作，其處理流程如圖2所示。

圖2 重復數據塊的處理過程

1.3.3 基于Super Features的相似性檢測模塊

在通信體系中，存在許多具有相同特性的信號，這些信號可能是不同類型、頻率和時間等因素共同作用產生的，但是它們之間往往會有一定關系。因此為了提高檢測精度可以通過對發送信息進行相似性篩選。筆者采用了SuperFeatuation實現同步數據集中測試模塊來完成這一任務。首先將接收到傳輸消息流到同一個WMSOCAC中，然后在這個系統內設置不同類型的接收端緩存器并更新其內容，將這些子組當中所包含有同樣數量或質量特性指標（如電壓、頻率等）相近的樣本按相似性系數從各個不同層次地隨機抽取并分析[4]。

2 基于同步并行數據遷移技術構建電網信息化系統功能設計

2.1 登錄注冊

訪問人員可以不用注冊就可以實現對系統的訪問，管理員需要在主頁上可以進行“新用戶注冊”功能操作，在系統中，管理員可以對用戶信息進行修改、添加和刪除操作。當系統用戶需要使用計算機時可選擇自己喜歡的賬號登陸后填寫相關資料到主頁面，由后臺人員根據所填內容將其錄入數據庫并與之對應；然后通過該賬戶密碼等數據來驗證密碼是否正確，如果不相符則可以跳轉到管理員權限進行修改操作以保證信息安全和完整。在電網信息管理系統中，用戶可以通過系統設置的登錄注冊功能進行相應操作。當用戶輸入賬號密碼后進入主界面。然后會顯示到頁面。點擊“添加”按鈕時，就能跳轉到對應的賬戶；如果不填寫相關內容，則進入提示框內注銷帳號和密碼等選項，以供其他人員瀏覽使用并修改賬號、權限等內容，防止非法分子利用該模塊獲取信息，從而破壞電網系統的正常運行狀態或造成不必要的損失；當用戶在首頁中輸入注冊號后選擇登錄方式之后會彈出相應界面，登錄類圖如圖3所示，注冊類圖如圖4所示。

圖3 登錄類圖

圖4 注冊類圖

2.2 新聞管理中心模塊

新聞管理中心主要負責的是電網系統的總體功能，其主要是通過對信息進行收集、整理和分析，并以數據為基礎建立相應的管理機制。同時還可以利用網絡技術實現與其他部門間的交流。統計報表模塊括了電網企業及相關部門用戶用電量以及各項指標等內容；電力調度管理系統部分包含了系統中所需各種業務功能，如發電計劃執行、電壓調節和網損分配。新聞管理中心的功能主要是對電網單位進行信息采集、數據管理和傳輸，通過系統將收集到的各類資料提交給調度中心，使其能夠準確及時地獲取所需電力資源。同時還能為電網部門提供各種相關服務，它實現了對各網點及各用電用戶電能需求情況的有效監控[5]。

2.3 商務服務

商務服務是指利用網絡的技術手段，為企業提供信息、咨詢等業務，主要包括:數據管理和系統維護，在這一方法中需要注意的是交換機與用戶之間要有較高的信任度。如果想要保證雙方都能對對方進行理解并做出相應回應時就可以采用這種方式，反之則不能實現這些交流活動，進而獲取他們之間相互認可后產生友好關系從而達成交易合作。商務服務功能主要有以下幾方面: 信息查詢、訂單處理與發送管理功能、數據維護和更新。用戶通過瀏覽器或服務器進行相應頁面上的搜索及輸入相關關鍵詞（如地址）后能夠快速地完成檢索任務；當客戶需要對某業務模塊提交請求時可在系統中選擇不同類型的產品，然后將這些商品發送給供應商指定地點并同時通知到貨時間[6-8]。

3 結語

隨著互聯網技術的快速發展，通信網絡化程度越來越高，各種異構系統不斷涌現。而在這些應用中，數據遷移作為一個關鍵問題也逐漸出現。針對上述情況進行分析研究，利用同步數據庫對電網信息資源進行整合和共享，優化遷移方案實現自動化控制、自動完成建模工作，從而提高信息系統運行速度以及降低錯誤率并提升其經濟性效益的同時減少管理成本及運營費用投入，最終可以達到促進信息化建設發展與社會進步雙贏目的[9]。