卷積神經(jīng)網(wǎng)絡(luò)在數(shù)字槍瞄系統(tǒng)中的應(yīng)用與實(shí)現(xiàn)

陶聲祥，艾 磊

(陸軍炮兵防空兵學(xué)院 高過(guò)載彈藥制導(dǎo)控制與信息感知實(shí)驗(yàn)室， 合肥 230031)

數(shù)字槍瞄系統(tǒng)是近幾年新興的一種槍用瞄準(zhǔn)系統(tǒng)，其關(guān)鍵技術(shù)主要包括大面陣圖像傳感器采集圖像技術(shù)，數(shù)字圖像處理技術(shù)，數(shù)據(jù)高速傳輸技術(shù)。研究表明：在一些復(fù)雜的戰(zhàn)場(chǎng)環(huán)境下，數(shù)字槍瞄技術(shù)能很好的解決目標(biāo)圖像抖動(dòng)問(wèn)題，同時(shí)還可以非直接式瞄準(zhǔn)，保護(hù)了射手。因此，世界各國(guó)紛紛投入經(jīng)費(fèi)，大力研究。我國(guó)的數(shù)字槍瞄系統(tǒng)研究的起步較晚，但對(duì)大面陣CMOS圖像傳感器成像等技術(shù)的研究已比較成熟，文獻(xiàn)[1]完成了高清CMOS圖像傳感器多通道數(shù)據(jù)傳輸系統(tǒng)設(shè)計(jì)，文獻(xiàn)[2]對(duì)數(shù)字槍瞄系統(tǒng)中的關(guān)鍵技術(shù)進(jìn)行了研究，搭建了實(shí)驗(yàn)平臺(tái)，但對(duì)戰(zhàn)場(chǎng)目標(biāo)還沒(méi)有做到自動(dòng)識(shí)別。

在目標(biāo)識(shí)別算法方面，卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型是目前熱度極高的研究課題，國(guó)內(nèi)外文獻(xiàn)都對(duì)其進(jìn)行了深入的研究[3-6]，并將其運(yùn)用于各個(gè)領(lǐng)域，取得了不錯(cuò)的識(shí)別效果。據(jù)報(bào)道，該算法已經(jīng)實(shí)現(xiàn)了對(duì)硬件平臺(tái)的移值[7]。由于在一些機(jī)載、車(chē)載平臺(tái)上觀瞄圖像容易出現(xiàn)抖動(dòng)，本文在搭建了數(shù)字槍瞄系統(tǒng)實(shí)驗(yàn)平臺(tái)的基礎(chǔ)上，通過(guò)數(shù)據(jù)傳輸接口將圖像信息傳輸至PC端，接著對(duì)抖動(dòng)圖像進(jìn)行了預(yù)處理，進(jìn)一步減小了抖動(dòng)圖像的影響，同時(shí)運(yùn)用了改進(jìn)CNN的目標(biāo)識(shí)別算法，使該系統(tǒng)可以自動(dòng)識(shí)別目標(biāo)，提高目標(biāo)識(shí)別的識(shí)別率與準(zhǔn)確度，以便在作戰(zhàn)過(guò)程中輔助射手進(jìn)行決策，精確打擊目標(biāo)。

1 系統(tǒng)簡(jiǎn)介

數(shù)字槍瞄系統(tǒng)硬件平臺(tái)如圖1所示，該系統(tǒng)主要有大面陣CMOS圖像傳感器成像電路，F(xiàn)PGA驅(qū)動(dòng)與控制電路，圖像高速傳輸與顯示驅(qū)動(dòng)電路組成。其中圖像傳感器采用ON公司的一英寸大面陣CMOS圖像傳感器NOIV1SE5000A，該型CMOS圖像傳感器有效像素為2 592像素×2 048像素，可實(shí)現(xiàn)75幀每秒的高速傳輸，采集的圖像數(shù)據(jù)傳輸至FPGA中進(jìn)行圖像處理，采用的是LDVS傳輸技術(shù)，具有高速傳輸，低功耗，較強(qiáng)的抗噪聲等優(yōu)點(diǎn)。FPGA采用的是Altera公司的CycloneⅢ系列的EP3C25Q24，其定位是低功耗，低成本且易于設(shè)計(jì)，由于其具有強(qiáng)大的硬件資源，共有24 624個(gè)邏輯單元，結(jié)合Quartus Ⅱ軟件的集成IP核讓基帶處理模塊的設(shè)計(jì)變得輕松易于實(shí)現(xiàn)。在圖像高速傳輸與顯示電路中，采用的是TI公司的DS90UB925Q芯片，可以實(shí)現(xiàn)高清數(shù)字圖像的遠(yuǎn)距離、高速傳輸，最終圖像顯示在顯示屏上。其工作原理如圖2所示，可實(shí)現(xiàn)對(duì)1 000 m以上目標(biāo)進(jìn)行清晰成像。

圖1 數(shù)字槍瞄系統(tǒng)硬件平臺(tái)

圖2 數(shù)字槍瞄系統(tǒng)工作原理

2 圖像抗抖動(dòng)處理

在戰(zhàn)場(chǎng)環(huán)境下，運(yùn)動(dòng)過(guò)程中的連續(xù)拍攝觀瞄，時(shí)常會(huì)出現(xiàn)圖像抖動(dòng)，嚴(yán)重影響對(duì)目標(biāo)的識(shí)別的準(zhǔn)確度，因此，對(duì)抖動(dòng)圖像的預(yù)處理顯得十分重要。目前的抗抖動(dòng)處理方法主要有光學(xué)防抖動(dòng)，機(jī)械式防抖動(dòng)和軟件算法防抖動(dòng)。由于戰(zhàn)場(chǎng)環(huán)境惡劣，地勢(shì)起伏較大，車(chē)載或機(jī)載槍瞄設(shè)備連續(xù)拍攝時(shí)，圖像序列抖動(dòng)，甚至觀測(cè)者暈眩。光學(xué)防抖動(dòng)，補(bǔ)償光學(xué)鏡片組需要可以移動(dòng)，效果不好，為此本文采用了基于灰度投影法的穩(wěn)像算法對(duì)抖動(dòng)圖像進(jìn)行處理。首先進(jìn)行圖像灰度投影，根據(jù)圖像序列灰度的投影值的變化及規(guī)律性得到運(yùn)動(dòng)矢量，接著對(duì)運(yùn)動(dòng)矢量的高頻部分進(jìn)行均值濾波處理，以減小抖動(dòng)對(duì)圖像的影響，通過(guò)當(dāng)前圖像幀的灰度投影與參考圖像幀的灰度投影做互相關(guān)運(yùn)算，得到圖像序列運(yùn)動(dòng)位移矢量，最后對(duì)圖像序列運(yùn)動(dòng)位移矢量的反向進(jìn)行修正，得到減小了抖動(dòng)的圖像序列輸出[8]。

2.1 灰度映射

灰度映射也稱灰度投影，圖像序列中的圖像在經(jīng)過(guò)直方圖均衡化預(yù)處理之后，需要對(duì)圖像水平和垂直的灰度值進(jìn)行映射，將一個(gè)二維圖像的信息轉(zhuǎn)換為兩個(gè)獨(dú)立一維信息[8]，水平灰度投影與垂直灰度投影的方法類(lèi)似，下面給出垂直投影的計(jì)算方法：

(1)

(2)

colProii(x) =coli(x)-colToti

(3)

其中coli(x)為第i幀圖像中第x列灰度值，grei(x,y)為第i幀圖像中坐標(biāo)(x,y)處的灰度值，LC為列數(shù)；colProii(x)表示第i幀圖像中第x列的灰度映射[8]。

由于每一幅圖像的邊緣信息是唯一的，所以當(dāng)圖像的抖動(dòng)較大時(shí)，就會(huì)造成圖像失真，對(duì)運(yùn)動(dòng)矢量的計(jì)算將產(chǎn)生不利的影響，這時(shí)可通過(guò)濾波處理以消除圖像邊緣的垂直水平投影值，這里采用了升余弦濾波器進(jìn)行濾波[10],保留了大部分中間的波形，減小了圖像的邊緣信息，對(duì)圖像精度進(jìn)一步提高。

2.2 運(yùn)動(dòng)位移矢量的獲取

運(yùn)動(dòng)位移矢量是通過(guò)對(duì)圖像序列的垂直、水平灰度投影值做互相關(guān)運(yùn)算得到的，最終計(jì)算結(jié)果曲線圖的波谷值即為當(dāng)前圖像幀與參考幀的位移矢量，下面列出垂直位移矢量的計(jì)算公式，水平位移矢量的計(jì)算也相同。

(4)

式(4)中:1≤x≤2m+1，LC為圖像幀的列數(shù)，colk(i)和colr(i)分別為第k幀圖像和參考圖像r幀的第i列的灰度投影值，m為相對(duì)于參考幀一側(cè)的搜索寬度，根據(jù)文獻(xiàn)[8],這里取30。設(shè)Ymin為當(dāng)R(x)值為最小值時(shí)候y的值，第k幀相對(duì)于參考幀圖像垂直位移大小為

δy=m+1-Ymin

(5)

垂直位移矢量在被計(jì)算出來(lái)之后，就可以將當(dāng)前圖像進(jìn)行空間變換，垂直方向移動(dòng)-δy的距離，減小抖動(dòng)對(duì)圖像序列輸出的影響。

通過(guò)對(duì)連續(xù)拍攝圖像抖動(dòng)的分析可知，其圖像運(yùn)動(dòng)矢量的軌跡可以看作在一定時(shí)間內(nèi)是平滑的，而抖動(dòng)屬于隨機(jī)振動(dòng)，具有無(wú)規(guī)律，高頻變化的特點(diǎn)，因此可以采用均值濾波進(jìn)行平滑處理，減小圖像抖動(dòng)的影響，因而可以對(duì)原始序列的第一幀修正，得到穩(wěn)定的第二幀，以此類(lèi)推，穩(wěn)定的后一幀由前一幀得到，但如果一開(kāi)始就出現(xiàn)修正錯(cuò)誤就會(huì)導(dǎo)致錯(cuò)誤一直傳播到后面，為了避免錯(cuò)誤的傳播，采用的改進(jìn)補(bǔ)償方法步驟如下，首先根據(jù)下式計(jì)算：

(6)

式(6)中um,n、um,t分別表示原始和平滑濾波過(guò)后水平運(yùn)動(dòng)參數(shù)，vm,n和vm,t表示垂直方向相關(guān)的運(yùn)動(dòng)參數(shù),計(jì)算出結(jié)果后如圖3進(jìn)行判斷。

圖3 運(yùn)動(dòng)參數(shù)補(bǔ)償判斷步驟

3 基于改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)識(shí)別算法

3.1 CNN模型

一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)如圖4所示，主要由輸入層、卷積層、池化層、全連接層和輸出層(分類(lèi)器) 構(gòu)成[9]。其中卷積層和采樣層為池化層為隱性層，卷積層和池化層可以交替進(jìn)行，每一層都有多個(gè)特征圖，每個(gè)特征圖都有多個(gè)神經(jīng)元，每個(gè)特征圖通過(guò)卷積核濾波可以提取輸入的特征，然后經(jīng)過(guò)池化層按照最大或平均值采樣，經(jīng)過(guò)維數(shù)的變化，輸入到全連接層，全連接層的作用是將所有特征變成一種識(shí)別標(biāo)簽，之后可以通過(guò)激活函數(shù)(一般常用的激活函數(shù)有sigmoid 函數(shù)、雙曲正切函數(shù)tanh、Softplus函數(shù)以及使用廣泛的ReLU函數(shù))進(jìn)入最后的輸出層，最后一層相當(dāng)于一個(gè)分類(lèi)器，可以采用邏輯回歸、Softmax回歸甚至是SVM(支持向量機(jī))[8]進(jìn)行結(jié)果的判斷與分類(lèi)。

3.2 激活函數(shù)

常見(jiàn)的激活函數(shù)有sigmoid函數(shù)、雙曲正切函數(shù)tanh、Softplus函數(shù)以及使用廣泛的ReLU函數(shù)。sigmoid函數(shù)與雙曲正切函數(shù)tanh是研究初期最常見(jiàn)的兩種激活函數(shù)，對(duì)中間部分的信號(hào)激活增益大，對(duì)兩側(cè)部分的增益小，在特征映射上有一定的好處，但Sigmoid函數(shù)在飽和的時(shí)候梯度較小，比較緩和，容易造成過(guò)擬合，沒(méi)法繼續(xù)進(jìn)行訓(xùn)練，不能很好地產(chǎn)生稀松數(shù)據(jù)；而雙曲正切函數(shù)tanh是關(guān)于零點(diǎn)反對(duì)稱，不符合生物神經(jīng)元的基本特性。后來(lái)不飽和的非線性激活函數(shù)ReLU函數(shù)以及Softplus函數(shù)被提出來(lái)了，其中ReLU函數(shù)使用最為廣泛，ReLU函數(shù)、Softplus函數(shù)如圖5所示，其計(jì)算表達(dá)式分別如下：

f(x)=max(0,x)

(7)

f(x)=ln(ex+1)

(8)

ReLU函數(shù)將小于0的信號(hào)全部強(qiáng)制變成0，大于0的信號(hào)則保持不變，使網(wǎng)絡(luò)變得稀疏，避免了過(guò)擬合的現(xiàn)象。但當(dāng)梯度下降過(guò)大的時(shí)候，訓(xùn)練容易停止，信號(hào)強(qiáng)度一直為0，神經(jīng)元不再被激活，而Softplus函數(shù)使整個(gè)網(wǎng)絡(luò)變得平滑，是ReLu函數(shù)的平滑表示，存在的問(wèn)題是不具備稀疏性。

圖4 卷積神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

圖5 不飽和的非線性函數(shù)

3.3 改進(jìn)激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)模型

常見(jiàn)的激活函數(shù)存在一些問(wèn)題。本文對(duì)其進(jìn)行了一些改進(jìn)，運(yùn)用了改進(jìn)的激活函數(shù)[11-12]，其計(jì)算公式如下：

(9)

這樣而來(lái)改進(jìn)的激活函數(shù)，小于0的信號(hào)采用了ReLu函數(shù)的優(yōu)點(diǎn)，強(qiáng)制轉(zhuǎn)化為0，從何具備了稀疏的特性，而大于0的部分采用了Softplus函數(shù)的優(yōu)點(diǎn)使其同時(shí)具備了平滑的特性。該激活函數(shù)的函數(shù)曲線和導(dǎo)函數(shù)曲線如圖6所示。

圖6 改進(jìn)的激活函數(shù)與其導(dǎo)函數(shù)曲線

由圖6可看出，改進(jìn)的激活函數(shù)既具備了稀疏性又具備了平滑的特性，解決了卷積神經(jīng)網(wǎng)絡(luò)過(guò)擬合不收斂的問(wèn)題，同時(shí)函數(shù)計(jì)算簡(jiǎn)單，收斂更快。為了避免改進(jìn)過(guò)后的網(wǎng)絡(luò)使圖像信息過(guò)于稀疏，導(dǎo)致圖像信息丟失嚴(yán)重，設(shè)計(jì)了兩種改進(jìn)激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)模型ReLu+Softplus(a)、ReLu+Softplus(b)來(lái)進(jìn)行訓(xùn)練學(xué)習(xí)[11]，如圖7所示。

圖7 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

4 實(shí)驗(yàn)與結(jié)果

4.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集的制作主要通過(guò)兩個(gè)步驟，一是從互聯(lián)網(wǎng)上下載，二是使用數(shù)字槍瞄鏡進(jìn)行連續(xù)抖動(dòng)地拍攝軍事目標(biāo)的模型，獲取的圖像數(shù)據(jù)并通過(guò)數(shù)據(jù)接口傳至PC終端。由于訓(xùn)練樣本量較小，所以訓(xùn)練樣本將軍事目標(biāo)共分為8類(lèi)，其中包括坦克，裝甲車(chē)，作戰(zhàn)士兵、自行火炮，暗堡，直升機(jī)等如圖所示，每類(lèi)目標(biāo)圖像共制作2 000張作為卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本，部分訓(xùn)練樣本如圖8所示，其中訓(xùn)練樣本的合理選擇是提高識(shí)別率的關(guān)鍵，因此在保持足夠訓(xùn)練樣本數(shù)量的條件下，采用了比如目標(biāo)定位、角度旋轉(zhuǎn)、尺度縮放等方法對(duì)訓(xùn)練樣本進(jìn)行處理，將訓(xùn)練樣本的關(guān)鍵特征給模型訓(xùn)練，使無(wú)關(guān)的訓(xùn)練特征盡可能少，提高識(shí)別精度。

圖8 部分訓(xùn)練樣本

除了每類(lèi)2 000個(gè)訓(xùn)練樣本圖像之外，還需要制作1 000張圖像為測(cè)試樣本，其中要求測(cè)試樣本中有一部分是數(shù)字槍瞄系統(tǒng)抖動(dòng)拍攝的圖像，且將其圖像像素大小統(tǒng)一，實(shí)驗(yàn)流程如圖9所示，首先通過(guò)數(shù)字槍瞄系統(tǒng)采集圖像，然后將獲取到的圖像通過(guò)傳輸接口傳輸至PC端進(jìn)行抖動(dòng)處理與目標(biāo)識(shí)別，驗(yàn)證改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別的可行性。

圖9 實(shí)驗(yàn)流程

4.2 抖動(dòng)圖像的處理

根據(jù)上文的實(shí)驗(yàn)流程，為了獲取抖動(dòng)圖像處理的效果，取其中連續(xù)拍攝，并且存在抖動(dòng)現(xiàn)象的10幀圖像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)處理前后垂直方向的灰度投影值如圖10(a)、圖10(b)，從圖中可以看出，實(shí)驗(yàn)處理前后的垂直灰度投影值波形相差不大，但有些幀頻橫坐標(biāo)方向存在較大的抖動(dòng)偏移，經(jīng)過(guò)圖像抖動(dòng)處理之后，偏移量減小，處理前后10幀的投影值曲線趨于穩(wěn)定，實(shí)驗(yàn)表明圖像抖動(dòng)減小比較明顯。

圖10 實(shí)驗(yàn)處理前后的垂直投影曲線

在連續(xù)拍攝抖動(dòng)圖像序列中，兩幀之間主要產(chǎn)生水平方向和垂直方向的抖動(dòng)偏移，圖11白色區(qū)域表明兩幀圖像抖動(dòng)的偏移量，經(jīng)過(guò)處理后，抖動(dòng)的偏移量明顯減少。

圖11 圖像抖動(dòng)處理前后兩幀差

4.3 改進(jìn)的CNN模型的目標(biāo)識(shí)別結(jié)果分析

根據(jù)實(shí)驗(yàn)流程，設(shè)定兩個(gè)卷積層的濾波器個(gè)數(shù)分別為6和16，均為5×5的卷積核，兩個(gè)下采樣層均采用核的大小為2×2的均值下采樣方式，采取分批訓(xùn)練的方式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后通過(guò)測(cè)試得出卷積神經(jīng)網(wǎng)絡(luò)在不同激活函數(shù)下的識(shí)別度效果圖，如圖12所示。

根據(jù)識(shí)別圖12可以看出，根據(jù)本文制作的數(shù)據(jù)集，在迭代4 000次之后，對(duì)于所有的卷積神經(jīng)網(wǎng)路模型的損失函數(shù)下降到最低，識(shí)別率都達(dá)到飽和無(wú)法進(jìn)一步上升。對(duì)于數(shù)字槍瞄鏡獲取的目標(biāo)，改進(jìn)的激活函數(shù)比使用其他激活函數(shù)的CNN模型在相同迭代次數(shù)下的識(shí)別效果要好，其中采用改進(jìn)激活函數(shù)的卷積神經(jīng)網(wǎng)絡(luò)ReLu+Softplus(b)的識(shí)別效果最好，但識(shí)別速度準(zhǔn)確度還有待提高。其識(shí)別效果如圖13所示。

圖12 實(shí)驗(yàn)效果

圖13 識(shí)別效果

5 結(jié)論

本文圍繞數(shù)字槍瞄系統(tǒng)的自動(dòng)目標(biāo)識(shí)別技術(shù)研究展開(kāi)，依據(jù)搭建的數(shù)字槍瞄系統(tǒng)實(shí)驗(yàn)平臺(tái)，對(duì)其獲取圖像序列存在的抖動(dòng)問(wèn)題，提出了基于灰度投影法的來(lái)進(jìn)行圖像消抖的預(yù)處理，實(shí)驗(yàn)表明，采用這種辦法能有效的減小圖像序列抖動(dòng)，之后本文提出了基于改進(jìn)激活函數(shù)的CNN模型來(lái)進(jìn)行軍事目標(biāo)的識(shí)別，并制做了模型訓(xùn)練樣本和測(cè)試樣本，通過(guò)實(shí)驗(yàn)結(jié)果表明，改進(jìn)激活函數(shù)的CNN模型比使用其他激活函數(shù)的識(shí)別速度快，識(shí)別率高。卷積神經(jīng)網(wǎng)絡(luò)在數(shù)字槍瞄系統(tǒng)的應(yīng)用，為下一步在數(shù)字槍瞄系統(tǒng)中實(shí)現(xiàn)自動(dòng)目標(biāo)跟蹤提供了新的方案。對(duì)提高我軍的作戰(zhàn)水平，輔助作戰(zhàn)人員實(shí)現(xiàn)智能化決策有較大的實(shí)際意義。