基于深度神經(jīng)網(wǎng)絡(luò)的端到端估計方法

摘要：該文旨在探討基于深度神經(jīng)網(wǎng)絡(luò)的端到端信道估計方法在通信系統(tǒng)中的應(yīng)用。通過設(shè)計端到端估計框架、優(yōu)化OFDM系統(tǒng)參數(shù)、構(gòu)建DNN網(wǎng)絡(luò)結(jié)構(gòu)以及進行實驗結(jié)果比較分析，發(fā)現(xiàn)網(wǎng)絡(luò)的性能并非取決于網(wǎng)絡(luò)規(guī)模的大小，而是綜合考慮網(wǎng)絡(luò)深度和神經(jīng)元數(shù)量的平衡。實驗結(jié)果顯示，在低信噪比環(huán)境下，基于DNN的信道估計方法具有更好的性能和魯棒性，相較于傳統(tǒng)的LS方法具有更高的準確性。而在中高信噪比下，DNN與MMSE方法性能接近，展現(xiàn)了DNN在信道估計領(lǐng)域的潛力和競爭力。該文的研究結(jié)果為信道估計技術(shù)的發(fā)展提供重要的啟示，為通信系統(tǒng)設(shè)計和優(yōu)化提供了新思路。

關(guān)鍵詞：深度神經(jīng)網(wǎng)絡(luò)；OFDM系統(tǒng)；端到端估計

doi：10.3969/J.ISSN.1672-7274.2024.08.028

中圖分類號：TP 391.41" " " " " " " " "文獻標志碼：A" " " " " " 文章編碼：1672-7274（2024）08-00-03

An End-to-end Estimation Method Based on Deep Neural Networks

HE Xueqi， ZENG Wenying

（Guangdong Vocational College of Science and Technology， Guangzhou 519090， China）

Abstract： The article aims to explore the application of end-to-end channel estimation methods based on deep neural networks in communication systems. By designing an end-to-end estimation framework， optimizing OFDM system parameters， constructing a DNN network structure， and conducting comparative analysis of experimental results， it was found that the performance of the network does not depend on the size of the network， but rather on a balance between network depth and the number of neurons. The experimental results show that in low signal-to-noise ratio environments， DNN based channel estimation methods have better performance and robustness， and higher accuracy compared to traditional LS methods. At medium to high signal-to-noise ratios， DNN and MMSE methods perform similarly， demonstrating the potential and competitiveness of DNN in the field of channel estimation. The research results of the article provide important insights for the development of channel estimation technology and new ideas for communication system design and optimization.

Keywords： deep neural network; OFDM system; end-to-end estimation

0" "引言

信道估計作為通信系統(tǒng)中的關(guān)鍵環(huán)節(jié)之一，對信號傳輸?shù)臏蚀_性和穩(wěn)定性起著至關(guān)重要的作用。傳統(tǒng)的LS和MMSE方法在一定程度上存在性能瓶頸，而基于深度神經(jīng)網(wǎng)絡(luò)的端到端估計方法為信道估計帶來了新的可能性。

1" "基于深度神經(jīng)網(wǎng)絡(luò)的端到端估計框架設(shè)計

采用深度神經(jīng)網(wǎng)絡(luò)的OFDM系統(tǒng)框架圖，如圖1所示。

二進制比特流在通過數(shù)字調(diào)制、串并聯(lián)轉(zhuǎn)換之后，插入導(dǎo)頻，經(jīng)過IFFT變換到離散時域信號，再將適當長度的循環(huán)前綴得到待發(fā)送信號。在信號傳輸過程中，其經(jīng)過預(yù)設(shè)信道后，會受到一定信噪比的高斯白噪聲的影響，導(dǎo)致所接收到的信號質(zhì)量下降。在信息接收端，接收到的信號會先去除保護間隔，并對其進行FFT變換，得到頻域表示的接收信號。該頻域符號流會作為待處理的輸入數(shù)據(jù)，進入網(wǎng)絡(luò)后輸出預(yù)測的0和1比特流。對原始比特流和輸出比特流進行對比分析，可以評估網(wǎng)絡(luò)預(yù)測結(jié)果的精準性。

2" "OFDM系統(tǒng)相關(guān)參數(shù)

本系統(tǒng)設(shè)計中，設(shè)計的相關(guān)參數(shù)如表1所示。

3" "DNN網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

3.1 DNN網(wǎng)絡(luò)基本結(jié)構(gòu)

本文設(shè)計的DNN網(wǎng)絡(luò)結(jié)構(gòu)具體如下：

（1）輸入層。接收經(jīng)過預(yù)處理的OFDM樣本數(shù)據(jù)。需要考慮的是，應(yīng)保證輸入數(shù)據(jù)的表示方式能夠有效傳遞信道信息給神經(jīng)網(wǎng)絡(luò)。

（2）隱藏層。包括多個隱藏層，在隱藏層大小設(shè)計過程中，根據(jù)數(shù)據(jù)的復(fù)雜性與模型的訓(xùn)練需求來確定。

（3）激活函數(shù)。ReLU函數(shù)能夠有效緩解梯度消失問題，并且計算簡單高效。Sigmoid函數(shù)和Tanh函數(shù)在一些特定場景下也能發(fā)揮作用，例如，在輸出層用于二分類問題時常用Sigmoid函數(shù)[1]。

（4）輸出層。輸出層包含一個節(jié)點，其中節(jié)點的輸出可以被解釋為預(yù)測的類別或標簽。對于二分類任務(wù)，輸出節(jié)點通常使用Sigmoid激活函數(shù)。

（5）損失函數(shù)。用于衡量模型輸出與真實標簽之間的差異，是神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中優(yōu)化的目標。

（6）優(yōu)化器。通過最小化損失函數(shù)來更新網(wǎng)絡(luò)參數(shù)，使得模型能夠更好地擬合訓(xùn)練數(shù)據(jù)，并在測試數(shù)據(jù)上表現(xiàn)良好。

（7）訓(xùn)練過程。對輸入數(shù)據(jù)集進行訓(xùn)練，反向傳播算法通過計算損失函數(shù)對每個參數(shù)的梯度，并利用梯度下降等優(yōu)化算法更新參數(shù)，使得網(wǎng)絡(luò)能夠逐漸優(yōu)化模型的預(yù)測能力。

（8）驗證與測試。應(yīng)用驗證數(shù)據(jù)集對模型性能進行評估，對隨機生成的OFDM樣本進行檢測，并恢復(fù)傳輸數(shù)據(jù)。同時對隨機生成的OFDM樣本進行檢測和數(shù)據(jù)恢復(fù)。

在DNN網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計中，設(shè)定輸入數(shù)據(jù)為，表示導(dǎo)頻，表示數(shù)據(jù)，輸出預(yù)測數(shù)據(jù)，記為，標簽值為，DNN網(wǎng)絡(luò)的作用可以表示為：

（1）

式中，表示網(wǎng)絡(luò)學(xué)習(xí)參數(shù)。

3.2 引入恒等殘差塊與BN層

在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，需要引入恒等殘差塊（Identity Block，IB）與批量歸一化層（Batch Normalization，BN）[2]。

（1）恒等殘差塊：在CNN網(wǎng)絡(luò)結(jié)構(gòu)中的輸出維度第一層和隱藏層最后一層之間加入恒等殘差塊，以更好地將淺層參數(shù)傳遞到深層。

（2）批量歸一化層：在每個隱藏層中加入批量歸一化層，對每個小批量數(shù)據(jù)進行標準化，使得每個特征的均值為0，方差為1，并對標準化后的數(shù)據(jù)進行縮放和平移，引入學(xué)習(xí)的參數(shù)（γ和β）來恢復(fù)網(wǎng)絡(luò)的表達能力。

引入恒等殘差塊和批量歸一化層，可以優(yōu)化深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程，從而提高模型的泛化能力和性能。

3.3 DNN訓(xùn)練方式及相關(guān)參數(shù)

本文假設(shè)400萬條信道數(shù)據(jù)，按照3∶1的比例對訓(xùn)練集和驗證集進行劃分。根據(jù)導(dǎo)頻設(shè)置方式、數(shù)量生成接收的導(dǎo)頻頻域樣本，并生成與隨機數(shù)據(jù)比特流對應(yīng)的OFDM頻域樣本，以將二者組合處理成用于網(wǎng)絡(luò)訓(xùn)練的訓(xùn)練數(shù)據(jù)。在驗證階段，保持導(dǎo)頻序列不變，進行相同操作，在信道加載上選擇驗證集。DNN網(wǎng)絡(luò)訓(xùn)練中選擇的關(guān)鍵參數(shù)如表2所示。

表2中，學(xué)習(xí)率采用Constant Warmup策略。在訓(xùn)練初始的10個epoch內(nèi)，使用較小的學(xué)習(xí)率。當模型逐漸穩(wěn)定后，再使用較大的學(xué)習(xí)率，從而使模型在訓(xùn)練初期進入穩(wěn)定狀態(tài)，隨后再逐漸提升學(xué)習(xí)率以加速模型的收斂速度。

4" "實驗結(jié)果比較分析

4.1 不同網(wǎng)絡(luò)結(jié)構(gòu)下的性能對比

本文以水下通信為環(huán)境，對三層全連接結(jié)構(gòu)和四層隱藏層全連接結(jié)構(gòu)的性能進行對比。其中，在三層全連接結(jié)構(gòu)中，隱藏層神經(jīng)元數(shù)量分別為1 500、600、128。同時，在隱藏層的第一層和隱藏層的第二層使用Sigmoid激活函數(shù)；隱藏層最后一層使用ReLU激活函數(shù)。這種結(jié)構(gòu)旨在隱式地估計信道狀態(tài)并實現(xiàn)端到端的信號恢復(fù)[3]。在四層隱藏層全連接結(jié)構(gòu)中，增加一層隱藏層，并對各隱藏層神經(jīng)元數(shù)量進行額調(diào)整，削減整體神經(jīng)元數(shù)量，降低結(jié)構(gòu)使用中所需要學(xué)習(xí)的參數(shù)量。在此基礎(chǔ)上，本文于該結(jié)構(gòu)中加入了恒等殘差塊以降低訓(xùn)練難度。

為有效對比不同網(wǎng)絡(luò)結(jié)構(gòu)下的性能，設(shè)定實驗條件：輸入數(shù)據(jù)維度為（256，1）、輸出數(shù)據(jù)維度為（16，1）。計算復(fù)雜度過程中，本文應(yīng)用以下公式來估計：

計算復(fù)雜度＝（輸入層神經(jīng)元數(shù)量×第一層隱藏層神經(jīng)元數(shù)量＋第一層隱藏層神經(jīng)元數(shù)量×第二層隱藏層神經(jīng)元數(shù)量＋…＋最后一層隱藏層神經(jīng)元數(shù)量×輸出層神經(jīng)元數(shù)量）×參數(shù)數(shù)量

不同網(wǎng)絡(luò)結(jié)構(gòu)模型的計算復(fù)雜度如表3所示。

基于此，本文設(shè)置導(dǎo)頻數(shù)量為64，一幀中傳輸2個OFDM符號，第一個符號為導(dǎo)頻信息，第二個符號為數(shù)據(jù)信息。在保持導(dǎo)頻序列不變的情況下，測試0～25 dB信噪比范圍內(nèi)兩種情況的性能差異，即導(dǎo)頻信息和數(shù)據(jù)信息的誤比特率性能對比。

實驗結(jié)果表明，削減神經(jīng)元數(shù)量的深度神經(jīng)網(wǎng)絡(luò)（DNN）結(jié)構(gòu)在信道估計性能上優(yōu)于神經(jīng)元數(shù)量更多的DNN結(jié)構(gòu)。說明在基于DNN的端到端信道估計器中，應(yīng)綜合考慮網(wǎng)絡(luò)深度和神經(jīng)元數(shù)量，通過減少學(xué)習(xí)量的方式提升網(wǎng)絡(luò)結(jié)構(gòu)的估計性能。

4.2 DNN與傳統(tǒng)方法性能對比

對基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的信道估計方法與傳統(tǒng)的最小二乘法（LS）和最小均方誤差（MMSE）信道估計方法的性能進行對比。對比時，將導(dǎo)頻數(shù)量設(shè)定為64，信噪比范圍設(shè)定為0～25 dB。傳統(tǒng)估計方法與DNN結(jié)構(gòu)性能對比結(jié)果如圖2所示。

由圖2分析可知，基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的端到端信道估計方案在性能方面明顯優(yōu)于傳統(tǒng)的最小二乘法（LS）估計方法。在0～10 dB信噪比范圍內(nèi)，DNN方案相較于LS方案實現(xiàn)相同比特錯誤率（BER）所需的信噪比要低2～3 dB；而在10～25 dB信噪比范圍內(nèi)，DNN方案所需的信噪比相較于LS方案要低3～5 dB。同時，最小均方誤差（MMSE）方案在除去極低信噪比的其他測試信噪比范圍內(nèi)表現(xiàn)最佳，但與DNN相比并沒有明顯優(yōu)勢，因為DNN方案在性能上與MMSE非常接近。結(jié)果表明，基于深度神經(jīng)網(wǎng)絡(luò)的信道估計方法在低信噪比環(huán)境下具有更好的性能和魯棒性，相對于傳統(tǒng)的LS方法能夠更有效地提高信號檢測的準確性。而在中等到高信噪比范圍內(nèi)，雖然MMSE方法在某些情況下表現(xiàn)最佳，但DNN方法與之相比并沒有明顯差距，顯示出了DNN在信道估計領(lǐng)域的潛力和競爭力。

5" "結(jié)束語

本研究通過研究和實驗分析，發(fā)現(xiàn)在不同信噪比環(huán)境下，DNN方法相較于傳統(tǒng)LS方法具有更好的性能表現(xiàn)。此外，本文發(fā)現(xiàn)了網(wǎng)絡(luò)規(guī)模并非決定性因素，而是需要綜合考慮網(wǎng)絡(luò)深度和神經(jīng)元數(shù)量的平衡。由此可見，基于深度神經(jīng)網(wǎng)絡(luò)的端到端估計方法在通信領(lǐng)域具有廣闊的應(yīng)用前景，值得進一步深入研究和探索。

參考文獻

[1] 仇春涓，劉守賢，張楠．基于深度神經(jīng)網(wǎng)絡(luò)的端到端長期護理保險定價模型研究[J]．保險研究，2023（12）：71-81．

[2] 李默含，李海濤，梁武．一種端到端的水聲信號音頻分離神經(jīng)網(wǎng)絡(luò)模型研究[J]．聲學(xué)與電子工程，2023（4）：12-17．

[3] 方明弘，萬里，戴凡杰．基于雙層記憶網(wǎng)絡(luò)的多領(lǐng)域端到端任務(wù)型對話系統(tǒng)[J]．計算機應(yīng)用研究，2023，40（10）：2945-2950．

基金項目：2022年廣州市科技計劃基礎(chǔ)與應(yīng)用基礎(chǔ)研究項目“基于深度學(xué)習(xí)的全景圖像分割及應(yīng)用關(guān)鍵技術(shù)研究”（項目編號202201011693）；2023年廣東

省普通高校科研項目（重點領(lǐng)域?qū)ｍ椏萍挤?wù)鄉(xiāng)村振興）“農(nóng)業(yè)生產(chǎn)管理與共享服務(wù)平臺設(shè)計與實現(xiàn)關(guān)鍵技術(shù)研究”（項目編號2023ZDZX4089）；

廣東省高職教育計算機類專業(yè)教學(xué)指導(dǎo)委員會2023年教育教學(xué)改革研究與實踐項目“基于CDIO理念的綜合項目實戰(zhàn)課程教學(xué)改革研究與實踐”（項

目編號JSJJZW2023003），“基于ChatGLM的教研對話語言模型的研究與實踐項目”（項目編號2023KQNCX183）。

作者簡介：何雪琪（1995—），女，貴州遵義人，碩士研究生，研究方向為智能信息處理、機器學(xué)習(xí)。

曾文英（1967—），女，江西樂安人，教授，博士，研究方向為云計算、人工智能、軟件技術(shù)、數(shù)字媒體與高職教育。