基于LSTM神經網絡的海量邊緣計算數據處理方法

摘要：傳統海量邊緣計算數據處理方法直接對海量邊緣計算數據實施壓縮，未對海量邊緣計算數據進行動態合并處理，處理效果差。因此，該文提出基于LSTM神經網絡的海量邊緣計算數據處理方法，該方法對海量邊緣計算數據進行動態合并處理，為決策和應用提供更全面和準確的信息支持；對合并的數據進行壓縮，提高處理效率；最后基于LSTM神經網絡，實現海量邊緣計算數據的處理，實驗結果表明該研究方法處理效果更好。

關鍵詞：LSTM神經網絡；海量邊緣計算數據；海量數據；處理方法

doi：10.3969/J.ISSN.1672-7274.2024.07.024

中圖分類號：G 642；TP 3 文獻標志碼：A 文章編碼：1672-7274（2024）07-00-03

Processing Method of Massive Edge Computing Data Based on LSTM Neural Network

YAO Wenguang， CHEN Sining

（Aotuo Technology Co.， Ltd.， Nanjing 210012， China）

Abstract： The traditional massive edge computing data processing method directly compresses the massive edge computing data， but does not dynamically merge the massive edge computing data， so the processing effect is poor. Therefore， this paper proposes a massive edge computing data processing method based on LSTM neural network. This method dynamically merges massive edge computing data to provide more comprehensive and accurate information support for decision-making and application; Compress the merged data to improve processing efficiency; Finally， based on LSTM neural network， massive edge computing data are processed， and the experimental results show that the processing effect of this research method is better.

Keywords： LSTM neural network; massive edge computing data; massive data; processing method

隨著物聯網（IoT）、移動設備、智能家居、自動駕駛等技術的快速發展，邊緣計算正日益成為處理海量數據的必要手段[1]。盡管深度學習已經在數據中心級別的數據處理上取得了巨大成功，但其通常需要大量的計算資源和數據中心級別的硬件支持。這使得其在邊緣計算環境中應用起來困難重重[2]。

近年來，長短期記憶網絡（LSTM）已經在序列數據處理上取得了巨大成功[3]。已經展現出了強大的能力。本文提出了基于LSTM神經網絡的海量邊緣計算數據處理方法。結合了邊緣計算的特性和LSTM的優點，旨在高效地處理和分析海量數據[4]。

1 基于LSTM神經網絡的海量邊緣計算

數據處理方法設計

1.1 海量邊緣計算數據動態合并處理

邊緣海量數據在網絡互聯互通中具有特殊性，使得網絡中的數據大多存在一定的相關性[5]。為了提高數據存儲的效率，現運用并行算法對海量網絡數據進行綜合處理。公式如下：

（1）

式中，為邊緣海量數據的存儲效率；、、為系數；、、分別為網絡中節點的連通性、節點的度以及聚類系數。

（2）

式中，為低質量數據的訪問速度；、為系數；、分別為數據的集成程度和并行處理程度。

通過以上公式，得出提高邊緣海量數據存儲效率和低質量數據訪問速度的方法。海量邊緣計算數據動態合并處理步驟如下：

①首先，需要從各種來源和傳感器收集海量的邊緣計算數據。這些數據可能來自不同的設備、系統和應用程序，并且可能包括各種類型的數據。

②將式（1）、式（2）得到的計算結果進行清洗、整理和標準化等預處理，以便后續的數據分析和處理。

③將預處理后的數據進行集成，通過數據聚合、數據融合、數據轉換等技術實現，以便進行更全面的數據分析和處理。

④利用子組組件的挖掘算法和其他數據分析工具，對集成后的數據進行深入的挖掘和分析，提取出有價值的信息和知識。基于數據挖掘和分析的結果，將相關的數據進行動態合并。

1.2 壓縮海量邊緣計算數據

由于連續采集的數據在時間維度上存在數據冗余的特點，因而可以在時域上對質量邊緣計算數據進行壓縮。如果傳感器設備的位置相對固定，可以利用本地計算能力來處理時域數據壓縮。如圖1所示，對每個設備的傳輸對象的生產過程進行了以下假設。

圖1 海量邊緣計算數據壓縮模型

傳感器節點k負責收集電信號，并將這些電信號轉換為電信號數據。所獲取的原始海量邊緣計算數據的時間長度為T，T代表一個計算卸載選擇時隙。因此，計算該傳感器原始數據體積為TXN。每個傳感器節點會對儲罐的長度進行T時間序列的壓縮處理。采用壓縮傳感技術有助于減少數據傳輸的大小，降低計算著陸策略所需的等待時間，并在轉運和云端轉運過程中選擇較小的節點。

考慮到在原始場景保持不變的情況下，建議添加一個霧節點F-AP-Tmin，專門用于處理與壓縮重建模型訓練相關的所有計算。在確定系統的海量邊緣數據處理模式時，引入了一個二進制變量，其中0表示壓縮模型處于訓練狀態，終端無法處理海量邊緣數據的壓縮；1表示壓縮模型已經經過訓練，終端發送的所有數據都是經過重壓縮的數據。

如果系統的質量計算數據處理模式為0，新添加的F-AP將從最近的幾個F-AP和云端中獲取用戶著陸任務作為訓練網絡。在訓練期間，F-AP將向頻率為Z的F-AP發送最新的取消任務，并使用重建數據作為客觀標準來評估最大信號與噪聲的比率（PSNR）。如果滿足要求，則將系統數據處理模式設置為1。如果系統的數據處理模式為0-1，則F-AP將壓縮模式矩陣與所有傳感器、F-AP和云端同步。

在1模式中，模型如下：

本地加載（m=local）：如果選擇本地卸載，數據不需要無線傳輸，傳感器可以直接計算收集的數據來獲得結果。公式如下所示：

（3）

邊緣計算霧節點卸載（m=edge）：在霧節點卸載選擇下，將收集到的數據上傳到F-AP進行計算。在這種模式下，考慮到海量邊緣計算數據的時間相關性，該時間段內的大部分信息是通過在時間長度為T的時間段內進行適當的頻率采樣獲得的。根據壓縮感知原理對數據進行壓縮后，為壓縮率。處理后的數據顯著減少，壓縮大小如下：

（4）

式中，為通過壓縮以單位收集數據的實際大小。鑒于邊緣層導致的等待時間的變化，壓縮數據不能在邊緣服務器上直接計算，使用壓縮重建來恢復數據。在上述基礎上，得到基于壓縮感知的邊緣層時延為：

（5）

式中，為卸載到邊緣服務器后，邊緣服務器重建數據所需的時間。該時間可能為重新發送等待時間。鑒于小霧節點的落地，為了減少數據壓縮后傳輸的延遲，代入式（5）計算并獲得最終的對應結果：

（6）

結果表明，如果數據大小、傳輸速度、時域壓縮比和邊緣計算能力相同，則和只與結果數據恢復算法有關。

在選擇將數據卸載到云端服務器時，首先會將數據首次加載到廣告節點進行計算，再將數據加載到云端服務器。數據采集和卸載選項都使用了壓縮傳感算法。云端中的臨時變化表述如下：

（7）

式中，為數據下載到云端服務器后，在云端服務器上重建數據所花費的時間。因其重新轉運而延遲，并且云端服務器具有高計算能力，可以將數據重建所需的時間降至零。

隨著數據量的增加，訓練組越來越趨于龐大，模型收斂性也逐漸增加，因此重傳的可能性顯著降低并且可以忽略。根據式（8），數據壓縮處理系統中的總壓縮數據表示如下：

（8）

1.3 基于LSTM神經網絡實現海量邊緣計算

數據處理

本文將利用上述壓縮海量邊緣計算數據，將LSTM神經網絡與海量邊緣計算相結合，基于LSTM神經網絡的數據處理算法如圖2所示構建。

圖2 LSTM神經網絡算法結構示意圖

首先，使用上述方法在平臺上進行電力交易管理，具體過程如圖3所示。用戶需要分析各種數據，將雜亂無章的數據通過訓練和模型進行處理。通過這種方法，得出具有準確性和完整性的結果。

圖3 海量數據處理流程

構建一個信息存儲庫，并以CSV格式進行存儲。這種存儲格式使用逗號分隔數據，使得每個數據都成為此存儲文件的屬性。在實現算法時，需要嚴格按照圖3的流程圖進行編寫，以確保數據的準確性和完整性。

2 實驗論證

2.1 實驗準備

準備一臺高性能邊緣計算服務器，配置最新的處理器和充足的內存，用于處理海量數據。準備相應的數據集，確保數據量達到海量級別。將數據集分成兩個部分，一部分用于訓練模型，另一部分用于實驗測試。在訓練過程中，使用邊緣計算服務器進行訓練，記錄所需開銷。在實驗過程中，使用相同的服務器，利用傳統方法1和傳統方法2以及本文方法，分別對隨機選定的四組海量數據進行處理，記錄所需開銷，如表1所示。

2.2 對比實驗

由表1可知，本文方法能夠更好地縮短邊緣計算數據處理開銷，相比于傳統方法1和傳統方法2處理開銷分別減少2.23 s和3.13 s。實驗結果表明，本文設計方法相比傳統方法處理效果更好。

3 結束語

在本文中，深入探討了基于LSTM神經網絡的海量邊緣計算數據處理方法。通過結合邊緣計算的特性和LSTM的優點，提出了一種新穎、高效的數據處理和分析方法。實驗結果表明，該方法相比傳統的方法具有顯著的優勢。

參考文獻

[1] 錢志遠，張鳳凱，李堯．基于ESPRIT算法的陣列天線定向鉆孔雷達數據處理方法[J]．科學技術與工程，2023，23（16）：6810-6816．

[2] 魏楓展，柯澤鋒，賈德民，等．全可變液壓氣門系統氣門運動規律動態測量與數據處理方法[J]．內燃機與動力裝置，2023，40（3）：1-7，32．

[3] 周揚，郭慶坤，魏輝．基于VB編程語言的土地征收成片開發方案編制數據處理方法——以界址點成果表自動化生成為例[J]．測繪與空間地理信息，2023，46（1）：115-117，121．

[4] 彭程，王健，王肖磊，等．基于微小質量自動測量系統的數據處理方法研究[J]．計量科學與技術，2022，66（5）：29-36．

[5] 劉寧，朱波，陰艷超，等．一種混合CGAN與SMOTEENN的不平衡數據處理方法[J]．控制與決策，2023，38（9）：2614-2621．