基于寬深融合神經網絡的雷達HRRP目標識別

李顯豐

(西安電子工程研究所 西安 710100)

0 引言

雷達是利用無線電對目標進行探測和測距的電子設備。雷達目標識別的基本原理是利用雷達回波中的幅度、相位、頻譜和極化等特征信息,通過多維空間變換來估算目標的大小、形狀和表面層的物理特性參數,最后根據鑒別函數,在分類器中識別[1]。

與復雜的二維成像技術相比,獲取一維距離像更為容易,當雷達發射并接收窄脈沖或寬帶信號,其徑向距離分辨率遠小于目標尺寸,目標可以模型化為各自獨立的散射中心的集合,這些散射中心在雷達徑向距離上的分布情況便稱為一維距離像,基于高分辨一維距離像的雷達目標識別已經成為近年來國內外的研究熱點[2]。

深度學習特征表達能力超強,可對復雜任務建模,然而其結構復雜,訓練時間長,層數和參數增加導致難以訓練。繼深度學習之后,陳俊龍教授在2018年提出了寬度學習系統(Broad Learning System, BLS)[3]。BLS從輸入數據產生映射特征,從映射節點產生增強節點,將兩種節點進行合并,然后直接連到輸出端。

寬度學習通過增加神經節點來實現橫向擴展,可利用偽逆更新輸出權值。寬度學習系統能遷移到其他網絡,是一種高效且靈活的模型,其用到了快速增量學習算法,能夠解決數據量和數據維數增長引發的困擾[4]。寬度學習擁有結構簡單、速度快、學習性能高等諸多優勢。

1 相關知識

1.1 步進頻率脈沖信號

步進頻率信號(Stepped-Frequency Waveform , SFW)是一種寬帶雷達信號。步進頻率信號是通過相參脈沖合成的方法來實現其高距離分辨率的,其基本過程為:依次發射一組單載頻脈沖,每個脈沖的載頻均勻步進;在接收時對這組脈沖的回波信號用與其載頻相應的本振信號進行混頻,混頻后的零中頻信號通過正交采樣可得到一組目標回波的復采樣值,對這組復采樣信號進行離散傅立葉逆變換(IDFT),則可得到目標的高分辨率距離像(High Resolution Range Profile , HRRP)[5]。

步進頻率脈沖信號具有很高的距離分辨率,常用于對目標進行成像。當雷達發射信號帶寬足夠大時,雷達的徑向距離分辨力遠小于目標尺寸,目標在雷達的徑向距離軸上將占據若干個距離分辨單元,此時雷達回波就是由多個目標散射點子回波組成,同時回波中所呈現的結構反映了目標散射點的分布情況,可用于目標識別。

1.2 數據集

本論文研究的數據為雷達目標的一維距離像數據集。

高分辨率距離像(HRRP)是用寬帶雷達信號獲取的目標散射點子回波在雷達射線上投影的向量和的幅度波形, 它提供了目標的幾何形狀和結構特點。一維距離像實際為目標上各距離單元的散射強度分布圖[6]。

圖1 M1A2坦克的一維距離像

在高頻區,目標的棱角,凹處,圖曲面或者鏡面處往往有較大的散射和反射。每個散射源在不同的頻率點下的回波特性也不同。通過對目標回波進行相參處理,能提取出目標的頻率響應特性,對其進行逆傅立葉變換可獲得目標的高分辨距離維分布函數,它的幅度函數就是距離像。

本次采集到的數據集包含八類目標,分別是四種坦克:M1A2、T59、T96、T99,還有變壓電箱、防控單元、高壓線塔和民用卡車。每類目標有2000個左右的樣本,總樣本數量為16865個,每個樣本都包含經歸一化處理的64個維度,標簽為類別名稱。

1.3 深度學習概述

深度學習可利用輸入、隱藏和輸出層的多層網絡逼近和擬合復雜變換,不同網絡可對不同類型數據提取特征,所以它識別數據的能力非常強,效率也高。深度神經網絡的結構如圖2所示。

圖2 深度神經網絡

深度學習憑借其強大的網絡結構和特征提取能力以及復雜的非線性映射,在語音識別、自然語言處理、圖像識別和個性化推薦等領域取得了眾多成就[7]。然而深層網絡的訓練要有大量數據,在小規模數據或缺少數據標簽的任務中性能較差。深度神經網絡模型復雜,計算量大,訓練過程耗時,要建立在高性能平臺上,限制了其大規模應用。

1.4 寬度學習概述

澳門大學陳俊龍教授設計出了寬度學習系統(Broad Learning System,BLS),它以扁平網絡形式增長,有增量學習的能力。BLS結構簡單,速度快,學習能力高效,其網絡結構如圖3所示。

圖3 寬度學習系統

BLS可加入新數據快速高效地更新參數,不需要重新訓練。為獲得更緊湊的輸入數據特征,BLS將隨機映射用于建立增強節點。在擴展增強節點與增加映射節點的假設下,構建了寬度學習的網絡模型[8]。將寬度學習與淺層學習、深度學習的對比如表1所示。

表1 淺層、深度和寬度學習的比較

可知,寬度學習簡單的結構和較少的參數量解決了深度學習的困擾,算法明顯加快。寬度學習能有效分析目標大數據,在多種場景中能靈活應用,具有良好的潛在價值[9]。

2 基于深度學習的雷達目標識別

2.1 深度學習模型

深度學習的權重可由BP算法學得,由于非線性激活函數的特性,要用到迭代優化算法逐步搜索參數,不斷優化。無監督逐層特征學習方法在后來代替了深層網絡初始值的確定需要依靠隨機初始化,參數學習過程為:第一,進行預訓練,利用無監督學習的模式逐步使用未標注的數據,自動學習網絡參數,從輸入數據中挖掘深層特征;第二,精細調整模型,納入被標注的數據,結合傳統的學習算法如BP反向傳播算法,使用有監督的學習模式精準調參。這就可以讓網絡從結構化數據中學到與任務相關的信息。

若參數太多,訓練樣本太少,最后訓練的模型容易過擬合。為防止發生過擬合現象,采用dropout修剪網絡,部分神經元被隨機剪除,不參與訓練,如圖4所示。

圖4 應用dropout之后的DNN

經前向計算得到輸出層的預測值。設置損失函數loss,用交叉熵代價函數來衡量預測和實際輸出值之間的差距,可加快收斂速度。交叉熵代價函數為

(1)

訓練過程通過反向傳播修改參數,達到減小損失代價的目的。用梯度下降調參時,沿梯度方向調整。也可采用Adam算法來優化loss,設置變學習率,最后計算準確率。

2.2 實驗設置

本文針對雷達目標的一維距離像數據集進行了分析。所使用的設備配置為16G內存,Inter(R) Core(TM) i7-9700的主頻為3.0GHz的8核CPU。

在深度網絡模型的構建中,設置batchsize為100,構建5層神經網絡,訓練迭代50次,激活函數用sigmoid,訓練集數量與測試集數量的比值為4∶1,采用交叉熵代價函數作為loss,優化loss用Adam算法,設置學習率為0.001,其衰減速率為0.95。將一維距離像數據作為輸入數據,目標類別作為輸出標簽,得到了訓練準確率與測試準確率隨迭代次數的變化曲線,如圖5所示。

圖5 準確率變化曲線

可見,在訓練迭代到第50次時,訓練準確率達到了99.87%,測試準確率達到了98.69%,所耗時間為406.96s。

盡管深度學習有很高的分類準確率,然而其模型的構建與調試比較復雜,因搭載深度學習需要高性能的計算平臺,且所依賴的機器學習庫和深層模型框架的集成度很高,開發難度大,將深度學習用于雷達目標識別的工程實現還存在一定的距離。

3 基于寬度學習的雷達目標識別

3.1 基本的寬度學習系統

寬度學習系統(BLS)的構建方式為:起初,根據輸入數據產生映射特征,計算出特征節點(Feature Nodes);接著,基于映射特征,擴展計算出隨機生成權重的增強節點(Enhancement Nodes)。最后,將所有的特征節點和增強節點連接到輸出層[10-11]。

在BLS中將映射特征作為隨機向量函數鏈接神經網絡(RVFLNN)的輸入,BLS可以看作是RVFLNN的一個推演算法[12]。RVFLNN的結構如圖6所示。

圖6 隨機向量函數鏈接神經網絡

RVFLNN模型是一個淺層網絡模型,其思路就是將原始的輸入數據簡單映射之后,再作為另一組的輸入,與原先的輸入數據一起作為輸入訓練得到輸出,將其變化成如圖7所示的形式。

圖7 將隨機向量函數鏈接神經網絡變換

BLS的基本結構就類似于圖7,它的輸入矩陣A由映射和增強節點組成,記映射節點為Z,由原數據矩陣經線性計算和非線性變換得到:

Zi=φ(XWei+βei),i=1,…,n

(2)

其中,W和β矩陣是隨機產生的,可以將n次映射變化得到的映射節點記為Zn=[Z1,Z2,…,Zn]。增強節點是由映射節點經過線性計算和非線性激活變換得到的:

Hm≡ξ(ZnWhm+βhm)

(3)

因此,BLS的模型可以表示為

Y=(Z1,…,=Zn∣H1,…,Hm)Wm
=(Zn∣Hm)Wm

(4)

3.2 嶺回歸的偽逆算法

偽逆是BLS用于求解網絡輸出層權重W的方法。

W=(Zn∣Hm)+Y=A+Y

(5)

求解偽逆的計算公式利用到了嶺回歸近似法,可以通過求導解決。

首先,求輸出層權重可以看作是求解一個嶺回歸最優化問題,形式為

(6)

這里的u,v表示的是一種范數正則化,λ是正則化參數,當σ1=σ2=u=v=2時,式(6)就是一個嶺回歸模型。其中,第一項為最小二乘項,表示模型損失函數。第二項是正則化項,控制模型復雜度,提高泛化能力,降低過擬合風險,懲罰因子λ是控制W的大小。隨著λ增大,模型方差會減小,偏差會增大,因此要合理選擇λ值來平衡模型的方差和偏差[13]。利用式(6)對W求導,得到:

2AT(AW-Y)+2λW

(7)

令導數為零,則得到極值,即連接權重W的最優值為

W=(λI+AAT)-1ATY

(8)

因此,輸入數據A的偽逆為

(9)

這個公式就是偽逆求解方法。

3.3 實驗設計及結果分析

本章將寬度學習用于雷達高分辨率一維距離像數據的分析,將其作為多類目標識別任務的分類器。實驗所使用的設備配置為16G內存,Inter(R) Core(TM) i7-9700的主頻為3.0GHz的8核CPU。設batchsize為10,映射特征層和增強特征層的激活函數均采用relu,測試集的數據量占比為20%,多次訓練并取每十次結果的平均值,部分實驗記錄如表2所示。

表2 不同節點的實驗表現

總體而言,增加寬度學習系統的網絡節點確實可以提高模型的預測準確率,同樣訓練模型所需要的時間逐步增長。

測試神經網絡常用MNIST數據集,實驗可表明在分類準確率和速度方面,BLS比其他算法有更好的性能,結果如表3所示。很多深層神經網絡在高性能計算機下進行迭代幾百次的訓練要花費幾十個小時甚至幾天時間,但BLS可短時間方便構建,在普通計算機中也能做到同樣的效果[14]。

表3 多種算法對MNIST數據集進行分類的結果

既然寬度學習系統在準確率不輸于眾多神經網絡的前提下,運行時間可以縮短到29s,那么說明它有非常巨大的潛在應用價值。

本文的BLS算法旨在為深度學習和結構研究提供一種新的方法。這種可以快速求解連接權重的算法相對于深度學習的反向傳播多次迭代縮小代價函數來擬合逼近的方式,大大縮短了模型的訓練時間。

在雷達領域的應用方面,相較于深度學習多用GPU來進行實現,寬度學習對計算平臺的性能并沒有太高的要求,也不需要高度集成的深度學習框架來進行模型的搭建,在雷達智能化的道路上,可以便捷地進行智能算法的應用探索,為日后的更高性能算法的工程實現做理論和技術的鋪墊。

4 基于寬深融合神經網絡的雷達目標識別

傳統機器學習模型簡單,可解釋性強,但預測表現相對較差。深度學習預測能力強,但結構復雜,容易過擬合。集成學習雖簡單易行,但需手動集成多個模型的預測結果,非常依賴專家經驗,也增加工作量和計算量。將寬度學習與深度學習融合可優勢互補。

4.1 寬深并聯學習網絡

深度神經網絡從難以結構化的原始數據中直接學習特征,將深度模型的最后一個隱層和寬度模型輸入層的特征進行合并,再經過線性轉換,輸出預測結果。這樣,寬度學習模型和深度學習模型合并成了一個模型,以進行端到端的訓練[15-16]。兩部分模型具有一定的互補性,深度部分從非結構化數據中捕捉關鍵特征,提升預測能力;寬度部分學習結構化數據的特征,通過線性變換來中和深度模型的復雜度,一定程度上起到了正則作用,降低模型過擬合的風險,并增強了模型的可解釋性[17]。

寬度部分是線性模型,具有y=wTx+b的形式,y是預測結果,x是多個特征的矩陣,w是權重,b是偏差。將原始特征進行交叉積得到的新特征向量為變換特征:

(10)

其中,cki是一個bool型變量,當且僅當第i列特征屬于選擇的變換特征Zk時值為1,否則為0。對于二進制特征,當且僅當所有組成特征都為1時值為1,否則為0。

深度部分是個由輸入、隱含和輸出層構成的前饋網絡。在訓練時,隨機初始化參數,優化損失函數來調參。在每個隱含單元中將按照式(11)計算輸出:

a(l+1)=f(W(l)a(l)+b(l))

(11)

其中l代表深層網絡的層號,W(l),a(l),b(l)分別代表第l層網絡的模型權值,輸出及偏差,f為激活函數。

在構建完寬度和深度兩部分之后,就可以合并為一個模型。在訓練時將同時對兩部分的權值優化參數,進行聯合訓練[18]。利用mini-batch隨機優化方法將輸出梯度反向傳播到寬度和深度兩部分來聯合訓練。用FTRL算法及帶L1正則化來優化寬度部分,用AdaGrad優化深度部分[19]。預測值為

(12)

其中:x為寬度部分輸入的原始特征;z(x)為寬度部分輸入的經過交叉積變換得到的變換特征;alf為深度部分最后一層的輸出;WB和WD分別代表了寬度和深度部分的權值;b為偏置;σ為Sigmoid函數;Y為網絡輸出。

在谷歌“寬度&深度學習”框架的研究基礎上,更換原有模型的寬度部分為寬度學習系統的輸入層,就可形成寬深并聯學習網絡,如圖8所示。將寬度和深度模型分別設計后,再次作為兩種輸入,寬度模型乘它的權重WB后,再加上深層模型乘它的權重WD,最終加偏置B,經由激活函數,生成輸出項Y為

圖8 寬深并聯學習網絡

Y=φ(XBWB+XDWD+B)

(13)

相比傳統的集成學習算法需要分別用不同的模型進行訓練,采用寬深并聯學習網絡可大大減少算法的復雜度,減少訓練時間。

4.2 深度增強層的寬度學習系統

將寬度學習系統的基本結構改進,串聯增強節點,在增強節點的基礎上增加隱含層,擴充深度結構,這樣就成為深度增強層的寬度學習系統[20]。如圖9所示。

圖9 深度增強層的寬度學習系統

由原始數據X經非線性變換φ(XWei+βei)得到映射節點Zi,其中的Wei和βei矩陣都隨機產生,將經歷了n次映射計算得到的映射節點記為Zn=[Z1,Z2,…,Zn]。增強節點Hj是由映射節點經非線性變換ξ(ZnWhj+βhj)得到的,同樣的,隨機產生Whj和βhj。

深度增強層的寬度學習系統會在增強節點的基礎上多次增加隱含層,形成擁有多層增強層的深度結構[21]。每層增強層的生成方式為

HK=σ(HK-1Whk+βhk)

(14)

其中:HK代表當前增強層;HK-1代表上一個增強層;K從2開始取。σ為激活函數,Whk和βhk是隨機產生的。

該模型可表示為

Y=(Z1,…,Zn∣HK)W=(Zn∣HK)W

(15)

其中W為輸出層的權值矩陣,最終輸出層的輸入A為

A=(Zn∣HK)

(16)

在求解權重W的過程中,通過嶺回歸的偽逆算法求解A矩陣的偽逆A+為

(17)

所以,W的結果為

W=A+Y=(Zn∣HK)+Y

(18)

4.3 深層寬度學習系統

深層寬度學習系統根據輸入數據形成映射特征,并使用映射特征創建增強節點。將映射特征和增強節點連接起來作為輸入層,輸入層的輸出以前饋的方式作為深層神經網絡隱含層的輸入。輸入數據X通過φ(XWei+βei)生成映射特征Zi=[Z1,Z2,…,Zi]。映射特征通過ξ(ZnWhj+βhj)生成增強節點Hj=[H1,H2,…,Hj]。隱含層與輸出層之間的權重用V表示,利用嶺回歸法計算偽逆[22]。深層寬度學習系統的網絡結構如圖10所示。

圖10 深層寬度學習系統

圖11 模型訓練迭代500次的結果

將n個映射特征,和m個增強特征拼接作為輸入層[Z1,…,Zn|H1,…,Hm],輸入層的輸出作為對隱含層U的輸入,輸出矩陣由Y表示,隱含層U的計算見式(19)所示。

U=[Z1,…,Zn∣H1,…,Hm]Wm=[Zn∣Hm]Wm

(19)

其中Wm是輸入和隱含層之間的權值,V是隱含層與輸出層之間的權重,V=U+Y。

U為輸入層輸出產生的維數為(n+m)×m的矩陣,V為輸出權值矩陣,Y為有輸出標簽的向量。

(20)

其中,u,v,σ1>0,σ2>0為范數正則化。式(20)通過σ1=σ2=u=v=2成為正則L2范數正則化。當λ= 0時,轉化為最小二乘問題。若λ→∞,解趨于0。因此得到:

V=(λI+UUT)-1UTY

(21)

隱含層的偽逆如下:

(22)

最終計算輸出權重V的數學公式為

V=U+Y=[[Zn∣Hm]Wm]+Y

(23)

4.4 實驗設計及結果分析

寬深并聯學習網絡的深度部分設計了5層,激活函數采用relu,測試集占20%,將均方誤差函數用作損失函數,用隨機梯度下降法來優化,得到準確率accuracy隨迭代次數變化的曲線圖,最后調用估計器,得到了測試準確率。訓練準確率為99.12%,測試準確率為98.58%,運行時長141s。

深度增強層的寬度學習系統,設置batchsize為100,激活函數選用非線性的tanh雙曲正切函數,測試集占比20%。設置節點數量多次訓練,采用五折交叉驗證。實驗結果如表4所示。第一列為映射節點數量,第一行是多個增強層的節點數量,得到預測的準確率和時間。由此可知,當節點數量越多時,分類準確率越高,訓練過程越耗時。

表4 不同MF和ENs對應的準確率和時間

最后將深層寬度學習系統用于雷達HRRP數據集的分析,batchsize為10,將tanh函數用作激活函數,搭建3層隱含層。當映射節點為3000,增強節點為8000時,不同隱含層神經元個數的實驗結果如表5所示。

表5 不同Hidden nodes的實驗結果

可見,當映射節點和增強節點一定時,隱含層的神經元數量越多,深層寬度學習系統的分類準確率越高,但同時所需要的訓練時間也越久。

以上分別設計了將寬深并聯學習網絡、深度增強層的寬度學習系統和深層寬度學習系統這三種寬深融合算法運用于雷達HRRP數據集進行目標分類實驗,聯系到前兩章的實驗結果,總結各種算法模型的性能如表6所示。

表6 各種算法的性能對比

由此可見,寬度學習的準確率雖無法達到深度學習那樣的高度,可訓練模型所需要的時間確實能大幅縮短。在BLS中,特征和增強節點的權值是隨機生成和固定的,可以避免修改權值的負擔,但會存在一定隨機性,影響分類精度。因此需要其與深度學習結合。后來提出的寬深融合算法的性能介于深度學習和寬度學習單個模型之間。

對于本文提出的這些寬深融合算法,即便在一定程度下達到了又快又準的效果,但是也需要權衡準確率和時間的優先輕重關系,既不能為了一味地提高準確率而大量設置數萬個節點,造成模型耗時過長;也不能為了節省時間,圖方便快捷,使得模型準確率達不到要求。

5 結束語

面對人工智能的興起和雷達智能化的需求,本文在前人相關研究的基礎上,提出了將寬深融合神經網絡運用于雷達HRRP目標識別的方法。本文以一維距離像數據為分析對象,介紹了寬度學習的概念和特點,將寬度學習系統運用在了雷達多目標識別任務的分類,通過實驗揭示了寬度學習的算法機理,表明了其分類準確率略低于深度學習的情況下,訓練可以極大加快且方便隨時調整的優勢。最后本文將寬度學習與深度學習相結合,提出了三種寬深融合神經網絡,實現了識別雷達目標時又快又準的雙重優勢。在現有的技術和條件下,也便于工程實現。