基于生成對抗網絡的水下樣本生成方法

冷繼華, 李永勝, 呂林夏, 劉禮文

基于生成對抗網絡的水下樣本生成方法

冷繼華, 李永勝, 呂林夏, 劉禮文

(中國船舶集團有限公司 第705研究所, 陜西 西安, 710077)

神經網絡技術已成為水下高速航行器目標檢測的應用趨勢, 該技術需要大量的訓練樣本以保證訓練結果的準確性。生成對抗網絡(GAN)作為解決訓練樣本稀少問題的重要方法, 被廣泛應用在各個領域。文中針對水下樣本特點對經典GAN模型進行改進, 提出一種基于GAN的水下樣本生成方法, 以達到擴增訓練樣本的目的。首先構建適用于水下樣本的GAN模型, 然后以實航試驗數據訓練模型并優化參數, 最后用該模型進行樣本生成仿真并驗證生成結果的有效性。仿真結果表明, 生成樣本與試驗樣本吻合較好, 可實現試驗樣本的數據增強。該方法將有助于解決水下數據樣本稀少問題, 為進一步應用神經網絡提高水下高速航行器目標檢測的效率和準確率提供參考。

水下高速航行器; 生成對抗網絡; 數據增強; 水下樣本; 目標檢測

0 引言

水下高速航行器作為海戰中水面艦艇、潛艇進攻和防御的有效裝備之一, 在軍事領域具備極大的潛力。世界各國在提升水下高速航行器的作戰性能以及加強海軍防御能力等方面都投入了大量的精力[1]。其中, 水下目標檢測能力是一項重要的性能指標。由于水聲信道與海洋環境的復雜性, 水下高速航行器的探測設備接收到的回波會受到各種噪聲污染[2]。目前, 在進行目標檢測時, 一般先對回波進行信號處理, 然后與檢測門限比較得出檢測結果, 該方法受混響和噪聲等干擾影響, 會存在一定誤差。

神經網絡由于具有良好的學習和預測性能, 已被廣泛應用于對目標智能化檢測與識別, 并有望提高其準確率和效率。文獻[3]和[4]針對水下聲吶探測回波, 利用卷積神經網絡模型在水下目標識別領域進行了研究, 取得了較好的效果。文獻[5]將深度學習引入聲吶圖像識別和檢測, 試驗結果精度達到了預期。然而, 神經網絡訓練模型階段通常需要大量訓練樣本, 但水下高速航行器的試驗樣本稀少, 沒有統一樣本集, 這給神經網絡的應用帶來了困難。

對于小樣本集, 由于訓練樣本過少, 神經網絡模型無法得到充分訓練, 容易過度擬合符合少量訓練樣本的特征, 將導致模型泛化能力差。而防止過擬合的方法之一就是擴增訓練樣本。2014年, Goodfellow等[6]首次提出生成對抗網絡(generative adversarial nets, GAN), 其作為典型的生成模型[7-8], 為解決這一問題提供了新的框架。在缺少大量試驗數據的領域, 如醫學、航空和航天等, 研究人員做了相關研究[9-12], 達到了擴增樣本數量的目的。

文中對經典GAN進行改進, 建立了適用于水下回波樣本的生成模型, 仿真生成水下樣本, 從而實現對試驗樣本數量的增強。

1 生成對抗網絡

1.1 GAN原理

GAN通過對樣本學習, 訓練優化網絡參數進而模擬樣本分布的情況, 由此產生與樣本相似的新樣本。其網絡結構如圖1所示。

圖1 GAN結構

1.2 經典GAN

經典GAN的生成模型和判別模型可通過全連接神經網絡實現。生成模型是由輸入層、隱藏層和輸出層組成的3層神經網絡, 輸入是維隨機噪聲, 輸出是維生成樣本, 網絡結構如圖2所示。

圖2 生成模型網絡結構

判別模型是由輸入層、隱藏層和輸出層組成的3層神經網絡, 輸入是維訓練樣本或生成樣本, 輸出是判斷當前樣本為訓練樣本的概率, 網絡結構如圖3所示。

2 模型改進

2.1 改進的GAN模型

為了實現樣本循序漸進的生成效果, 即先學習樣本的大體脈絡, 后面每一層在前面一層輸出基礎上對細節進行豐富, 逐層實現樣本的生成。基于以上思想, 對生成模型進行構建, 改進的生成模型由5層全連接層構成, 其中輸入層有100個神經元, 隱藏層有3層, 從第1層往后每一層神經元個數擴大為前一層4倍, 直到輸出的維度為834, 與訓練樣本維度一致。結構如圖4所示。

圖3 判別模型網絡結構

圖4 改進的生成模型網絡結構

改進的判別模型由5層全連接層構成, 其中輸入層有834個神經元, 隱藏層有3層, 從第1層往后每一層神經元個數縮小為前一層1/4, 直到輸出為一維的判別值, 結構如圖5所示。

圖5 改進的判別模型網絡結構

2.2 激活函數選擇

神經網絡層數增加意味著學習能力更強, 但訓練也越困難。這主要是因為在反向傳播算法中殘差會隨著網絡傳播的深度遞減, 使得底層網絡因為殘差過小而無法得到有效訓練。殘差的衰減與激活函數的選擇密切相關[13]。

將Sigmoid、Tanh、ReLU及PReLU 4種激活函數分別應用到改進的GAN模型中。通過試驗發現, PReLU激活函數對模型收斂最快且精度較高, 結果如表1所示。

表1 不同激活函數對比

因此, 生成模型和判別模型均選用PReLU激活函數, 以防止梯度消失, 并加快收斂速度, 提高訓練精度, 計算公式為

為了提高訓練精度并防止出現過擬合問題, 在網絡中引入批標準化[14]。在生成網絡和判別網絡每一個全連接和激活函數之間均加入批標準化。

2.3 損失函數選擇

選擇經典GAN采用的交叉熵損失函數計算損失值。判別模型輸入為訓練樣本、生成樣本時損失函數分別為

因此, 判別模型的損失函數可簡化為

生成模型損失函數為

2.4 訓練過程

GAN的一般訓練過程如下。

1) 固定生成模型, 將訓練樣本作為初始數據輸入判別模型, 訓練判別模型達到一定的判別準確度。

2) 固定判別模型, 將一組隨機變量輸入生成模型, 再將生成模型輸出的生成樣本輸入判別模型進行判別。

上述過程是一個極小極大博弈[15], 可表示為

因此, 判別模型的訓練目標為: 使輸入的訓練樣本判別為訓練樣本、將輸入的生成樣本判別為生成樣本的概率最大化, 即

生成模型的訓練目標為: 使輸入判別模型的生成樣本判別為生成樣本的概率最小化, 即

一般分為如下2個步驟:

固定判別模型, 將一組一維隨機變量輸入生成模型, 計算梯度公式為

3 試驗與結果分析

3.1 仿真試驗

以實航試驗中水下高速航行器主動探測系統接收的點、線兩類水下目標回波的波束輸出信號為基礎, 對其進行信號處理之后作為訓練樣本輸入。

首先對采集的波束信號進行截取, 重點分析目標回波中能量聚集區的數據。整個流程主要包括信號解調、降采樣以及截取3個部分。之后對其進行副本相關處理, 得到每個訓練樣本數據長度為834個點。點目標的相關輸出只有一個峰值, 線目標的相關輸出有數個連續的相關峰值。數據處理之后, 可以大幅提高信噪比, 有效降低模型訓練難度, 提高模型訓練效率和性能。

圖6 訓練與生成點目標樣本對比

圖7 訓練與生成線目標樣本對比

3.2 試驗結果分析與對比

采用核密度估計(kernel density estimation)方法對訓練樣本與生成樣本的概率分布進行統計比較, 結果如圖9~圖11所示。由圖中對比可以得出, 生成樣本與訓練樣本數據分布相似度較高, 生成模型通過學習生成的樣本與訓練樣本概率分布吻合較好。

為進一步檢驗改進后的GAN模型生成樣本的有效性, 將改進的算法與隨機采樣、Bootstrap和SMOTE 3種經典的數據生成算法對比。

圖8 訓練與生成無目標樣本對比

圖9 點目標概率分布

圖10 線目標概率分布

誤差函數為

式中:為第i個樣本的實際標簽; 為第i個樣本的判別標簽。

分別采用4種算法進行試驗, 得出隨機采樣、Bootstrap、SMOTE和改進GAN算法的計算精度分別達到 73%、82%、84%和90%, 可以看出改進GAN算法精度明顯高于其他3種, 說明其所生成的回波樣本質量更高, 特征顯示效果更好。

4 結束語

人工智能技術是當前研究的熱點領域, 在很多研究中已經取得了相對于傳統方法的突破性進展。針對水下樣本特點對經典GAN模型進行改進, 提出一種基于GAN的水下樣本生成方法, 生成了水下回波樣本。仿真結果表明, 生成樣本與訓練樣本吻合度較好, 該方法將有助于擴增試驗樣本, 解決試驗樣本數量稀少的問題。

下一步工作將以擴增后的試驗樣本作為訓練樣本, 訓練水下高速航行器的神經網絡檢測模型, 驗證數據擴增后是否可以更好地訓練檢測模型, 從而提高檢測率同時驗證生成樣本的有效性。

[1] 李志舜. 魚雷自導信號與信息處理[M]. 西安: 西北工業大學出版社, 2004.

[2] 周德善. 魚雷自導技術[M]. 北京: 國防工業出版社, 2009.

[3] 宋達. 基于深度學習的水下目標識別方法研究[D]. 成都: 電子科技大學, 2018.

[4] 趙增科. 基于深度學習的水下目標識別[D]. 哈爾濱: 哈爾濱工程大學, 2017.

[5] 凡志邈, 李海林, 夏偉杰, 等. 基于深度學習的成像聲吶水下目標的檢測與分類[C]//中國聲學學會水聲學分會2019年學術會議論文集. 南京: 中國聲學學會水聲學分會, 2019.

[6] Goodfellow I J, Pougetabadie J, Mirza M, et al. Generative Adversarial Nets[J]. Neural Information Processing Systems, 2014, 3: 2672-2680．

[7] Schmidhuber J. Deep Learning in Neural Networks: An Overview[J]. Neural Networks, 2015, 61: 85-117．

[8] Bengio Y, Laufer E, Alain G, et al. Deep Generative Stochastic Networks Trainable by Backprop[J]. International Conference on Machine Learning, 2014, 32(2): 226-234．

[9] 張凱, 陳亞軍, 張俊. 生成對抗網絡在醫學小樣本數據中的應用[J]. 內江師范學院學報, 2020, 35(4): 57-60.Zhang Kai, Chen Ya-jun, Zhang Jun. Applications of Generative Adversarial Nets in Medical Small Sample Data[J]. Journal of Neijiang Normal University, 2020, 35(4): 57-60.

[10] 徐希巖. 基于深度學習的小樣本圖像分類研究[D]. 哈爾濱: 東北林業大學, 2018.

[11] 李秋瑋. 基于條件生成對抗網絡和超限學習機的小樣本數據處理方法研究[D]. 鎮江: 江蘇大學, 2019.

[12] 高強, 姜忠昊. 基于GAN等效模型的小樣本庫擴增研究[J]. 電測與儀表, 2019, 56(6): 76-81.Gao Qiang, Jiang Zhong-hao. Amplification of Small Sample Library Based on GAN Equivalent Model[J]. Electrical Measurement & Instrumentation, 2019, 56(6): 76-81.

[13] 田娟, 李英祥, 李彤巖. 激活函數在卷積神經網絡中的對比研究[J]. 計算機系統應用, 2018, 27(7): 45-51.Tian Juan, Li Ying-xiang, Li Tong-yan. Contrastive Study of Activation Function in Convolutional Neural Network[J]. Computer Systems & Applications, 2018, 27(7): 45-51.

[14] Ioffe S, Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[EB/OL]. arXiv, (2015-03-02)[2020-05-17]. https:// arxiv.org/abs/1502.03167.

[15] 王坤峰, 茍超, 段艷杰, 等. 生成式對抗網絡GAN的研究進展與展望[J]. 自動化學報, 2017, 43(3): 321-332.Wang Kun-feng, Gou Chao, Duan Yan-jie, et al. Generative Adversarial Networks: The State of the Art and Beyond[J]. Acta Automatica Sinica, 2017, 43(3): 321-332.

[16] Kingma D P, Ba J. Adam: A Method for Stochastic Optimization[EB/OL]. arXiv, (2014-12-22)[2020-05-27].https://arxiv.org/abs/1412.6980.

Generation Method of Underwater Samples Based on a Generative Adversarial Network

LENG Ji-hua, LI Yong-sheng, Lü Lin-xia, LIU Li-wen

(The 705 Research Institute, China State Shipbuilding Corporation Limited, Xi’an 710077, China)

Neural network technology has become an application trend in the area of target detection of undersea high-speed vehicles, but the technology requires numerous training samples to ensure the accuracy of training results.As an important method used to solve the problem of sparse training samples, generative adversarial networks (GANs) are widely used in various fields. This study improves the classic GAN model based on the characteristics of underwater samples and proposes a generation method for underwater samples based on GAN for the purpose of augmenting training samples. First, a GAN model suitable for underwater samples is constructed, and the actual sea trial data are used to train the model and optimize the parameters. Finally, the model is used to simulate the generation of samples and verify the effectiveness of the results. Simulation results show that the generated and test samples are in good agreement and that data augmentation of the test samples can be realized. This method helps solve the problem of sparse underwater data samples and provides a reference for further application of neural networks to improve the efficiency and accuracy of undersea high-speed vehicle target detection.

undersea high-speed vehicle; generative adversarial network(GAN); data augmentation; underwater samples; target detection

TJ630.1; TP183

A

2096-3920(2021)01-0074-06

10.11993/j.issn.2096-3920.2021.01.011

冷繼華, 李永勝, 呂林夏, 等. 基于生成對抗網絡的水下樣本生成方法[J]. 水下無人系統學報, 2021, 29(1): 74-79.

2020-06-30;

2020-10-12.

冷繼華(1993-), 男, 在讀碩士, 主要研究方向為聲自導系統總體技術.

(責任編輯: 許 妍)