智能化艦船要害檢測、軌跡預測與位姿估計算法

李晨瑄，李湉雨，李梓正，曾維貴，胥輝旗

(海軍航空大學岸防兵學院，煙臺 264001)

艦船要害部位的精確打擊能力是精確制導的關(guān)鍵技術(shù)之一。全方位的態(tài)勢感知能力、高精度的目標檢測能力，能夠有效提升末制導段反艦導彈毀傷效能，具有重大研究意義。

艦船姿態(tài)、命中點位置嚴重影響反艦導彈對敵艦毀傷概率。反艦導彈不斷接近艦船目標的過程中，艦船輪廓細節(jié)逐漸放大，基于角點檢測[1]、特征匹配的目標檢測方法易出現(xiàn)跟蹤目標漂移，無法適應(yīng)劇烈變化的艦船目標檢測任務(wù)；不同的攻擊進入角下，導引頭探測所得艦船投影一致性差，基于局部特征提取的檢測算法精度有待提升。由于卷積神經(jīng)網(wǎng)絡(luò)具有強大的特征提取能力，基于深度學習的目標檢測技術(shù)一經(jīng)提出，在輻射源識別、艦船目標檢測[2]等領(lǐng)域得到廣泛應(yīng)用。文獻[3]提出的艦船檢測網(wǎng)絡(luò)使用密集注意力特征聚合獲取高分辨率特征圖，通過密集連接與迭代融合提高網(wǎng)絡(luò)泛化性能；文獻[4]利用感興趣區(qū)域改進YOLO（you only look once）網(wǎng)絡(luò)，提取艦船候選特征，改善了高分辨率衛(wèi)星圖中的艦船識別精度。針對小尺度密集艦船檢測精度低等問題，文獻[5]結(jié)合YOLOv3-tiny網(wǎng)絡(luò)與特征映射模塊，增強了預測層獲取重要特征的能力，取得了較高的檢測精度；文獻[6]提出了基于多層卷積特征融合的艦船檢測網(wǎng)絡(luò)，融合深層與淺層特征圖，提升了多尺度船舶的檢測效果。文獻[1-6]中算法在不同任務(wù)場景下，均能較好實現(xiàn)艦船目標檢測任務(wù)，但仍存在一定不足：①仍將艦船作為整體目標識別船型，無法準確檢測艦船要害部位，細粒度特征利用不充分；②無法結(jié)合要害部位特征預測要害打擊點軌跡，利用時空特征推斷打擊點運動趨勢有利于提升毀傷概率；③算法僅輸出二維圖像檢測結(jié)果，無法結(jié)合艦船三維結(jié)構(gòu)改善導引誤差解算精度。

基于關(guān)鍵點檢測的人體姿態(tài)估計算法[7]通過給定圖像，確定人體行為與動作。人體姿態(tài)估計算法DeepPose[8]引入卷積神經(jīng)網(wǎng)絡(luò)處理姿態(tài)估計問題，無需設(shè)計特征提取器，是深度學習用于人體姿態(tài)估計的里程碑；Tompson 等[9]結(jié)合圖像模型預測關(guān)鍵點熱力圖，提升了關(guān)節(jié)定位魯棒性；卷積姿態(tài)機[10]對網(wǎng)絡(luò)特征層輸出進行中繼監(jiān)督，改善了網(wǎng)絡(luò)加深導致的梯度消失問題。將人體姿態(tài)關(guān)鍵點檢測算法創(chuàng)新性運用到艦船要害部位檢測任務(wù)中，利于提升反艦導彈對艦船要害打擊點的檢測準確度。空間目標的位姿測量技術(shù)[11]是航空航天、自動化領(lǐng)域研究的重要課題。光纖陀螺儀價格昂貴，精度漂移誤差大，利用計算機視覺解決位姿估計問題，測量精度高，成本低廉。空間三維結(jié)構(gòu)比二維平面具備更精確的打擊點導引信息。反艦導彈突防過程中，利用艦船要害時序運動信息實現(xiàn)打擊點的軌跡擬合與預測，有利于彈載控制系統(tǒng)及時調(diào)整飛行姿態(tài)，進一步提升毀傷概率。

準確估計導引頭三維位姿，有助于導引誤差的準確解算。綜合分析精確制導反艦導彈作戰(zhàn)需求，本文提出一種基于深度學習的艦船要害關(guān)鍵點檢測、打擊點軌跡預測與導引頭位姿估計（ship key pointslong shor t termmemory,SHKP-LSTM）算法。所提算法不依賴目標檢測框，利用熱力圖直接回歸關(guān)鍵點特征，引入了SoftPool 池化獲取細粒度特征圖，改善多尺度多角度艦船要害部位的檢測精度；結(jié)合艦船三維結(jié)構(gòu)信息與PnP(perspective-n-point)算法，估計導引頭（相機）的三維位姿，利于當前命中點與任務(wù)打擊點導引誤差的精確解算；結(jié)合時空信息準確預測要害打擊點的運動軌跡，能夠進一步提升控制系統(tǒng)解算效率與反艦導彈的毀傷概率。實驗結(jié)果表明，所提算法對艦船要害部位檢測精度高，位姿估計較準確，要害打擊點軌跡擬合與預測效果較好，利于反艦導彈對艦船要害精確打擊任務(wù)的實現(xiàn)。

1 所提算法實現(xiàn)與優(yōu)化

將艦船要害部位定義為關(guān)鍵點，直接檢測關(guān)鍵點特征，不依賴整體艦船檢測框，提升檢測精度與實時性的同時，降低了算法超參數(shù)；根據(jù)關(guān)鍵點檢測結(jié)果可推算艦船整體預測框，結(jié)合艦船三維結(jié)構(gòu)解算導引頭位姿，利用檢測所得艦船要害關(guān)鍵點的時空序列特征，合理預測要害打擊點運動軌跡，利于導彈飛行姿態(tài)的及時調(diào)整。精確解算當前命中點與任務(wù)打擊點的導引誤差，能夠顯著提升末制導段反艦導彈對敵艦毀傷概率。

所提算法流程如圖1 所示。將導引頭捕獲的艦船視頻數(shù)據(jù)輸入SHKP-LSTM 算法，檢測得到關(guān)鍵點像素坐標及關(guān)鍵點可見性；反艦導彈接近艦船過程中，艦船要害關(guān)鍵點檢測信息具有時序性，長短期記憶網(wǎng)絡(luò)[12]（long short-termmemory,LSTM）能較好地處理時序數(shù)據(jù)，可利用檢測結(jié)果實現(xiàn)要害打擊點的軌跡預測，預測精度較高；結(jié)合艦船坐標系下要害部位三維坐標，將檢測的關(guān)鍵點像素坐標與三維坐標建立投影映射，通過PnP 算法解算艦船坐標系下導引頭三維位姿；最后，輸出艦船要害關(guān)鍵點檢測信息、預測軌跡及導引頭三維位姿。將解算結(jié)果輸入彈載計算機綜控系統(tǒng)，有利于反艦導彈對艦船要害部位打擊精度的提升。

圖1 所提算法流程Fig.1 Proposed algorithm flow chart

1.1 所提算法框架

不依賴預選框（Anchor-Free）的檢測網(wǎng)絡(luò)無需處理冗余錨框與非極大值抑制等，直接利用網(wǎng)絡(luò)生成的熱力圖回歸關(guān)鍵點特征。將基于Anchor-Free網(wǎng)絡(luò)的人體姿態(tài)估計算法用于艦船要害部位的關(guān)鍵點檢測，直接分析特征參數(shù)定位與回歸要害部位，檢測精度與實時性較好。輕型反艦導彈突防過程中，視場內(nèi)艦船要害部位具備多尺度成像特性，且不同角度的要害部位成像差異大。綜合權(quán)衡檢測精度與速度，本文提出一種融合深層語義信息與淺層定位信息的Anchor-Free 艦船要害關(guān)鍵點檢測、軌跡預測與導引頭位姿估計SHKP-LSTM 算法。所提算法結(jié)構(gòu)如圖2 所示。

SHKP-LSTM 算法利用卷積神經(jīng)網(wǎng)絡(luò)提取特征，將生成的關(guān)鍵點熱力圖輸入檢測結(jié)構(gòu)，檢測結(jié)構(gòu)回歸得到艦船要害關(guān)鍵點類別與位置；輸入圖像為I∈RW×H×3， 關(guān)鍵點信息為 ? ∈RW×H×N，經(jīng)特征提取網(wǎng)絡(luò)生成目標中心點熱力圖，關(guān)鍵點熱力圖，其中，R為 尺寸縮放比例，N為檢測關(guān)鍵點個數(shù)，c為檢測目標數(shù)，W、H分別為圖像的寬和高。如圖2 所示，所提算法將卷積處理后的特征熱力圖輸入檢測結(jié)構(gòu)，關(guān)鍵點預測分支用于檢測熱力圖目標中心與關(guān)鍵點中心，尺度預測分支用于檢測艦船目標的寬與高，預測框基于目標中心點生成，關(guān)鍵點偏移量預測分支用于回歸關(guān)鍵點中心的偏移量。

圖2 SHKP-LSTM算法結(jié)構(gòu)Fig.2 Structure of SHKP-LSTM algorithm

通過成像分析與實驗測試，選取CenterNet-DLA[13]作為主要特征提取網(wǎng)絡(luò)。CenterNet-DLA 網(wǎng)絡(luò)能夠較好的融合深層語義信息與淺層定位信息，對投影一致性較差的艦船要害檢測魯棒性較好。針對圖像特征劇烈變化導致檢測精度較低的問題，利用SoftPool 改進最大值池化，獲取具備更多特征信息的細粒度特征圖，可提升艦船要害關(guān)鍵點檢測精度。卷積神經(jīng)網(wǎng)絡(luò)挖掘要害關(guān)鍵點空間依賴關(guān)系，LSTM 分析動態(tài)軌跡數(shù)據(jù)的時序依賴關(guān)系。軌跡預測模塊使用LSTM 處理檢測所得具有時序特征的要害關(guān)鍵點信息，挖掘其時間與空間運動趨勢實現(xiàn)軌跡預測。結(jié)合PnP 算法建立要害點二維檢測結(jié)果與三維坐標的映射，解算導引頭的三維位姿，獲取更精確的導引信息，利于彈上綜控系統(tǒng)及時調(diào)整導彈飛行姿態(tài)，從而進一步提升精確制導導彈的毀傷概率。

1.2 SoftPool 池化

池化操作可用于降低特征維度，緩解網(wǎng)絡(luò)過擬合風險，使池化內(nèi)核中有用信息得以保留。原CenterNet-DLA 網(wǎng)絡(luò)利用最大值池化實現(xiàn)下采樣，最大值池化保留池化內(nèi)核中的局部最大值，部分艦船要害特征相似度較高，最大值池化易損失重要區(qū)分信息導致誤檢，檢測劇烈變化的艦船圖像同樣需要高質(zhì)量的細節(jié)特征。SoftPool[14]較好的結(jié)合softmax 加權(quán)與指數(shù)函數(shù)特點，使池化內(nèi)核中的重要屬性分配到更大權(quán)重。在局部激活區(qū)域中，SoftPool 為每個激活因子ai分配了相應(yīng)的權(quán)重wi，如式（1）所示，非線性變換對池化內(nèi)核中的所有激活因子實現(xiàn)了加權(quán)求和，由激活因子ai與 相應(yīng)權(quán)重wi共同實現(xiàn)。

式中：i為SoftPool 處理的第i個激活區(qū)域；j為激活區(qū)域相關(guān)領(lǐng)域內(nèi)的第j個像素特征；exp 為底數(shù)為e 的指數(shù)。

SoftPool 池化原理如圖3。在正向與反向傳播期間，池化內(nèi)核的激活梯度均得到更新。綜合利用了池化內(nèi)核中所有激活因子，僅增加了極少的內(nèi)存，最大程度降低了特征損失，獲取到高質(zhì)量的細粒度特征圖，能夠提升艦船要害關(guān)鍵點檢測精度。

圖3 SoftPool原理Fig.3 Principle of SoftPool

1.3 損失函數(shù)與梯度累加

依據(jù)SHKP-LSTM 算法原理與艦船要害部位檢測任務(wù)需求，定義損失函數(shù)。

關(guān)鍵點預測損失。關(guān)鍵點對應(yīng)的中心點唯一，目標背景易產(chǎn)生較多負檢測點，改進的Focal Loss損失函數(shù)可改善樣本不均衡問題，關(guān)鍵點預測損失函數(shù)為

式中： α和β 為損失函數(shù)懲罰系數(shù)；N為關(guān)鍵點個數(shù)；Yxyc為 真實標簽值；為預測標簽值。下標xyc表示第xy個 像素點，其歸屬為第c類目標。

關(guān)鍵點偏移量預測損失。分析熱力圖中各關(guān)鍵點特征，將檢測特征圖與關(guān)鍵點真實坐標建立映射，利用偏移量預測損失提升定位精度，關(guān)鍵點偏移量預測損失為

式中：l為第l個 關(guān)鍵點；為R倍下采樣關(guān)鍵點坐標真值；為關(guān)鍵點預測坐標；為關(guān)鍵點真實坐標偏移量；為關(guān)鍵點預測坐標偏移量。

艦船尺度預測損失。艦船包圍框由關(guān)鍵點坐標生成。為提升算法訓練效果，利用關(guān)鍵點預測損失與艦船尺度預測損失同時訓練。艦船尺度預測損失為

各個預測損失函數(shù)分別與相應(yīng)權(quán)重相乘，得到總體損失函數(shù)為

式中：Lloc為關(guān)鍵點中心預測損失函數(shù)；Loff(keyp+bcent)為關(guān)鍵點中心預測損失與關(guān)鍵點偏移量預測損失，均由要害關(guān)鍵點定位與艦船中心檢測準確度計算。

檢測數(shù)據(jù)對預測分支懲罰系數(shù)影響較小，設(shè)置關(guān)鍵點預測分支邏輯回歸懲罰系數(shù) α=2、β=4，關(guān)鍵點與目標中心點偏移損失權(quán)重 λoff=0.1，檢測尺度損失權(quán)重 λsize=0.1。

細粒度特征圖可有效提升艦船要害關(guān)鍵點檢測精度，GPU 顯存及批訓練量（batchsize）同樣影響訓練效果，較大的batchsize 有助于算法收斂。計算多個損失函數(shù)要求計算機同時存儲多個計算圖，易導致訓練過程硬件內(nèi)存不足。梯度累加可使計算機在保留較少計算圖的同時，實現(xiàn)多任務(wù)共同訓練，有效擴充內(nèi)存，促進算法收斂。

1.4 基于LSTM 的打擊點預測

先進制導環(huán)境感知系統(tǒng)要求能夠預測打擊目標運動軌跡，可為反艦導彈等精確制導進行路徑規(guī)劃與決策控制提供數(shù)據(jù)支撐。傳統(tǒng)軌跡預測算法多基于運動模型，無法適應(yīng)劇烈變化的戰(zhàn)場態(tài)勢，難以滿足自主突防彈載感知的實際需求。LSTM對時序軌跡數(shù)據(jù)分析挖掘能力較強，在軌跡預測[15]與自動駕駛等領(lǐng)域應(yīng)用廣泛。

LSTM 是具有反饋連接的循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neuralnetwork，RNN），其特殊的網(wǎng)絡(luò)結(jié)構(gòu)極大改善了傳統(tǒng)RNN 的梯度消失和梯度爆炸等問題。LSTM結(jié)構(gòu)如圖4 所示。

圖4 LSTM元胞結(jié)構(gòu)Fig.4 Structure of LSTM cell

LSTM 元胞門限與變量間的轉(zhuǎn)換關(guān)系如下：

式中：xt為t時 刻元胞的輸入；ht和mt分 別為t時刻元胞輸出和元胞狀態(tài)； σ為sigmoid 激活函數(shù)； tanh為tanh激活函數(shù)；ft為 遺忘門；it為輸入門；ot為 輸出門；G為各門限的權(quán)重矩陣；Yt為門限輸出；b為偏置量。

根據(jù)權(quán)重矩陣與偏置項，遺忘門ft決 定了t時刻mt中 所包含t?1時 刻元胞狀態(tài)mt?1的比例，同理，LSTM 通過輸入門it控制xt對mt的影響程度，狀態(tài)更新由mt?1與 當前狀態(tài)共同確定；輸出門ot控 制t時刻元胞狀態(tài)mt， 確定輸出ht包含的狀態(tài)比例，門限與反饋結(jié)構(gòu)使得LSTM 能夠保存較長時序信息。LSTM結(jié)合關(guān)鍵點檢測網(wǎng)絡(luò)，可充分利用檢測所得時序信息，實現(xiàn)要害打擊點軌跡預測，極大擴展了傳統(tǒng)艦船目標檢測算法的功能。

1.5 基于PnP 的導引頭位姿估計

單目視覺位姿測量算法原理簡單、系統(tǒng)成本低、實時性好，廣泛用于計算機視覺中的空間定位任務(wù)。末制導段，艦船圖像尺度、角度變化較大，滅點理論、逆透視變換等方法直接用于導引頭位姿估計，測量誤差較大。當位姿多角度變化時，PnP 算法具有較好的計算精度與解算速度，在已知相機內(nèi)參的情況下，可利用多對三維與二維點的投影映射關(guān)系，求解導引頭（相機）在相應(yīng)坐標系下的位姿。

相機標定得到內(nèi)參矩陣K，控制點像素坐標為{ξr} (r=1,2,···)，則

式中：(ur vr1)T為控制點像素坐標；為控制點在艦船坐標系下的齊次坐標；ze為尺度因子，即相機坐標系中控制點的z軸坐標值。

依據(jù)式（10）計算導引頭（相機）繞x軸、y軸、z軸的旋轉(zhuǎn)角 θx、 θy、 θz：

PnP 算法至少需要4 對控制點及像素點。當關(guān)鍵點檢測網(wǎng)絡(luò)輸出可見關(guān)鍵點個數(shù)為n(n≥4)時，為提升準確度，依據(jù)排列組合在n個艦船要害關(guān)鍵點中，依次選取4 個點計算三維位姿，計算次取平均值作為位姿估計結(jié)果。

2 實驗設(shè)置

2.1 實驗數(shù)據(jù)與實驗環(huán)境

2.1.1 艦船要害關(guān)鍵點檢測數(shù)據(jù)

末制導段，輕型反艦導彈多以低空掠海姿態(tài)飛行。執(zhí)行對敵艦精確打擊任務(wù)時，導引頭視角以側(cè)舷為主。文獻[16]結(jié)合遷移學習[17]理論，論證了民船等相似艦船圖像可作為正樣本擴充數(shù)據(jù)集，輔助軍艦等小樣本數(shù)據(jù)的檢測任務(wù)實現(xiàn)。由于實際戰(zhàn)場環(huán)境采拍局限性較大，實驗室利用高仿真度艦船模型實現(xiàn)海戰(zhàn)場戰(zhàn)法推演，根據(jù)反艦導彈突防作戰(zhàn)與精確打擊任務(wù)需求，打擊雷達可阻礙艦船對來襲目標的探測能力，打擊艦船火力設(shè)施可大幅削弱艦船戰(zhàn)斗力，打擊水線可有效擊沉艦船，結(jié)合反艦導彈突防與精確打擊任務(wù)需求，設(shè)定炮臺、天線、駕駛艙等重要軍事設(shè)施為艦船要害，標注艦船要害關(guān)鍵點如圖5 所示。原始數(shù)據(jù)囊括船模與實測艦船，視頻數(shù)據(jù)為每秒20 幀，單個視頻時長約2m in。標注后的圖像數(shù)據(jù)共6 672 張，按照8∶1∶1 劃分訓練集、測試集、驗證集。

圖5 艦船要害關(guān)鍵點Fig.5 Key-points of warship

根據(jù)艦船三維結(jié)構(gòu)，以艦首與艦尾中點連線為y軸，垂直于艦面的艦船天線延長線為z軸，依據(jù)右手坐標系確定x軸，x軸平行艦面并垂直于yOz所在平面，以艦船為中心建立坐標系如圖6 所示，并獲取要害關(guān)鍵點在艦船坐標系下的三維坐標。

圖6 艦船坐標系Fig.6 Coordinate system of warship

2.1.2 實驗環(huán)境

合理設(shè)置輸入圖像的降采樣率，在保留較多細節(jié)特征的同時引入較少運算負擔。實驗測試R=4時，所提算法兼具較高的檢測精度與檢測速度。訓練優(yōu)化器為Adam，設(shè)置訓練學習率逐步衰減，初始學習率為 5×10?4，初始迭代輪數(shù)為100，在第30 輪、第45 輪下降為先前的1/10，batchsize 為8。實驗環(huán)境 如 表1 所 示，其 中，IDE (integrated development environment)為集成開發(fā)環(huán)境。

表1 實驗環(huán)境Table 1 Experimental environm ent

2.1.3 LSTM 參數(shù) 設(shè) 置

合理設(shè)置LSTM 網(wǎng)絡(luò)參數(shù)能夠以最小的時間消耗，達到最優(yōu)的軌跡預測精度。如圖7 所示，隱藏層節(jié)點數(shù)增加將導致時間成本上升，隱藏層節(jié)點數(shù)過多會損害網(wǎng)絡(luò)泛化能力，過少的節(jié)點數(shù)無法有效學習時序特征，導致預測精度較低。基于反艦導彈突防作戰(zhàn)實時性要求，采用4 層LSTM 實現(xiàn)軌跡預測，經(jīng)實驗測試，權(quán)衡響應(yīng)時間與預測精度后，設(shè)置LSTM 隱藏層節(jié)點數(shù)為40，初始學習率為0.005。

圖7 隱藏層節(jié)點數(shù)測試Fig.7 Testing on hidden layer node

合適的輸入輸出對軌跡預測實際應(yīng)用影響顯著。與長期時序相比，短期時序?qū)?shù)據(jù)的時間依賴關(guān)系捕捉能力更強。如圖8 所示，計算序列的增加需要的響應(yīng)時間更多，較短的輸入序列導致特征學習不充分，較長的序列使得累計漂移誤差較大，均可能導致預測誤差的增加。輸入序列長度為10 時，軌跡預測性能更優(yōu)，設(shè)定訓練與預測序列比例為7∶3。

圖8 輸入序列長度測試Fig.8 Length testing on input sequence

2.2 評估指標

1）艦船要害關(guān)鍵點檢測評估指標。選取關(guān)鍵點相似度（object keypoint sim ilarity，OKS）評價檢測效果：

式中：g為檢測類別；u為關(guān)鍵點標識；dgu為關(guān)鍵點真實值與預測值的歐式距離；Sg為預測目標的尺度因子； μu為 第u個關(guān)鍵點的歸一化因子，對數(shù)據(jù)集中所有真實值計算標準差得到；vgu為關(guān)鍵點的標志位。OKSg取值介于[0,1]之間，預測值越接近1，表征預測效果越好。

分別計算OKSg=0.5,0.55,···,0.9,0.95 時的檢測準確度，計算平均準確率的均值（mean average precision，mAP）評價算法檢測精度，如式（12）所示，m AP 越大，檢測精度越高。引入每秒處理的圖像幀數(shù)（frame per second，F(xiàn)PS）評價算法檢測效率，F(xiàn)PS 越大，表征算法檢測速度越快。

式中： AP@s為 當設(shè)定不同的閾值s時，計算得出的平均準確率的值； mean為對計算結(jié)果取平均值。

2）軌跡預測評估指標。以平均位移誤差（average displacement e r r o r，ADE）與最終位移誤差（f i na l displacementerror，F(xiàn)DE）評估預測軌跡與真實軌跡的擬合程度。ADE 計算單個時間步的預測結(jié)果與真值之間的歐氏距離（L2），如式（13）所示。FDE 由最終時刻的預測結(jié)果與真值之間的距離計算，如式（14）所示。

式中：M為預測軌跡的累計幀數(shù)；B為單個時間步長； ()為 艦船要害關(guān)鍵點預測坐標； (xi,yi)為關(guān)鍵點坐標真值。

ADE 與FDE 越小，表示利用已知要害時序特征預測得到的關(guān)鍵點運動軌跡與真值誤差越小，預測軌跡越精確。

3）位姿估計評估指標。艦船要害檢測視頻數(shù)據(jù)由無人機搭載實驗導引頭同型相機掠海飛行捕獲。將無人機記錄的飛行數(shù)據(jù)，與利用投影映射模型解算所得艦船坐標系下的三維位姿對比，計算位姿估計結(jié)果與真值的相對誤差，誤差越小，解算精度越高。

3 實驗結(jié)果與分析

3.1 艦船要害關(guān)鍵點檢測

為更好評估SHKP-LSTM 算法對艦船要害關(guān)鍵點檢測效果，分別使用殘差網(wǎng)絡(luò)[18]（ResNet）、殘差網(wǎng)絡(luò)與可變形卷積[13]（Res-DCN）、深淺層聚合網(wǎng)絡(luò)[19]（Deep Layer Aggregation，DLA）、深淺層聚合網(wǎng)絡(luò)與可變形卷積[13]（CenterNet-DLA）、沙漏網(wǎng)絡(luò)[20]（Hourglass）作為對比實驗，測試結(jié)果如表2 所示，DLA34表示網(wǎng)絡(luò)共34 層。

表2 艦船關(guān)鍵點測試結(jié)果Table 2 Test results of warship’s key-points

由表2 可知，ResNet、Res-DCN、DLA34、CenterNet-DLA、Hourglass 網(wǎng)絡(luò)關(guān)鍵點檢測結(jié)果mAP 分別為63.8%、63.4%、81.8%、84.4%及87.4%，所提算法mAP為87.7%，分別提高23.9%、24.3%、5.9%、3.3%、0.3%。Hourglass 網(wǎng)絡(luò)層數(shù)較深，算法復雜度高，并加入了中級監(jiān)督模塊，因此檢測精度高，檢測速度僅為13 FPS，無法滿足任務(wù)需求。所提算法利用卷積與反卷積提取特征，有效聚合深層語義信息與淺層定位信息，改善多分辨率特征圖映射過程中的信息缺失，采用SoftPool 改進最大值池化，較好保留了細粒度特征，對多尺度艦船要害檢測具有魯棒性，性能提升明顯。由于所提算法需處理更高質(zhì)量的特征圖，運算量的提升導致檢測速度降為27 FPS，仍高于DLA34 與Hourglass 網(wǎng)絡(luò)，滿足實時性要求。

較低的算法復雜度與模型規(guī)模更利于艦船要害關(guān)鍵點檢測模型在移動端的部署。ResNet 網(wǎng)絡(luò)結(jié)構(gòu)簡單，參數(shù)量較低；由于DLA 有效聚合了多分辨率特征信息，深淺層特征聚合導致模型復雜度增加，可變形卷積引入偏移量，對不同尺度下的艦船要害部位特征要素描述更清晰，具備更優(yōu)的檢測特性，故CenterNet-DLA 模型復雜度更高，模型規(guī)模更大。Hourglass 實現(xiàn)了多尺度特征圖的級聯(lián)，各分辨率特征圖間設(shè)置了中繼監(jiān)督模塊，增強了算法的學習能力，但模型參數(shù)量與復雜度過高，檢測速度僅為13 FPS，實時性無法滿足。SoftPool 能夠改善深淺層特征聚合過程中，特征圖下采樣導致的重要信息損失，不同角度、不同尺度下的艦船要害關(guān)鍵點細粒度特征得到保留，提升檢測準確率而不引入過多的模型參數(shù)，改進后的算法復雜度顯著低于Hourglass 網(wǎng)絡(luò)，檢測速度可達27 FPS，保證檢測速度的同時具備較高的檢測精度。

改進前后的算法對艦船要害關(guān)鍵點檢測結(jié)果如圖9 所示。圖9（a）～圖9（e）第1 行表示原CenterNet-DLA 檢測結(jié)果，第2 行表示所提算法檢測結(jié)果，第1 列為檢測效果圖，第2 列為要害關(guān)鍵點熱力圖，第3 列為艦船中心點熱力圖。圖9（a）～圖9（c）為艦船模型檢測結(jié)果，圖9（d）和圖9（e）為艦船實際場景檢測結(jié)果。

由關(guān)鍵點熱力圖可知，所提算法對具有相似特征的艦船關(guān)鍵點區(qū)分度更好，生成的關(guān)鍵點熱力圖定位精度更高；由圖9（e）可知，本文算法對距離較遠的小尺度要害關(guān)鍵點檢測性能提升顯著，論證了所提算法對多尺度艦船要害關(guān)鍵點具有較好的檢測魯棒性；由艦船目標中心點熱力圖可知，拍攝距離越近的艦船熱力圖中心點越大，距離遠的熱力圖中心點較小，所提算法對不同尺度、不同姿態(tài)的艦船均可實現(xiàn)要害關(guān)鍵點精確檢測與中心點準確定位。圖9 測試結(jié)果同時證明了，融合深層語義信息與淺層定位信息能夠提升關(guān)鍵點定位精度，SoftPool改進最大值池化保留的細粒度特征更多，對尺度、角度變化劇烈的艦船要害部位檢測任務(wù)適應(yīng)性更好，檢測結(jié)果更準確。

圖9 艦船關(guān)鍵點檢測結(jié)果Fig.9 Detection results of warship’s key-points

神經(jīng)網(wǎng)絡(luò)中的池化處理能夠顯著降低卷積層輸出的特征參數(shù)實現(xiàn)降維，改善由于網(wǎng)絡(luò)加深可能導致的過擬合問題，廣泛應(yīng)用于各類卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中。不同池化方式對所提算法進行改進的測試結(jié)果如表3 所示。

由表3 可知，最大值池化僅保留池化內(nèi)核中的局部最大值，運算簡單但對于具有相似特征的艦船要害部位區(qū)分度不足；隨機采樣池化計算池化內(nèi)核中特征的概率值，依據(jù)概率隨機保留特征參量；空間金字塔池化依據(jù)特征圖尺度調(diào)整計算參數(shù)，對不同尺度的特征圖處理方式更靈活，mAP 高于最大值池化與隨機采樣池化，但定位與檢測準確性有待提升；SoftPool 池化能夠在不增加較多模型復雜度的同時，較好保留重要特征，正向與反向傳播期間梯度權(quán)重均得到更新，最終池化結(jié)果由激活區(qū)域中的特征共同決定，SoftPool 池化與最大值池化、隨機采樣池化、空間金字塔池化相比，mAP 分別提升了3.3%、2.3%、1.8%。SoftPool 池化算法檢測速度為27 FPS，滿足實時性要求，檢測精度較高。由圖2 與圖10 可知，所提算法較好融合了深淺層特征，并利用SoftPool 使細粒度的特征信息得以保留，多尺度下的要害關(guān)鍵點定位精度顯著提升，良好的收斂效果與較低的損失函數(shù)值證明了所提算法改進的有效性。

表3 不同池化方式測試結(jié)果Table 3 Test results of different poolings

損失函數(shù)變化曲線如圖10 所示，可知，所提算法損失函數(shù)值低于ResNet、Res-DCN、DLA、CenterNet-DLA、Hourglass，特征學習能力更強，收斂速度更快，在訓練50 輪后，損失函數(shù)值基本穩(wěn)定在1.76 左右。可變形卷積相對于常規(guī)卷積增加了偏移，訓練復雜度增加，故迭代初期損失與曲線波動性較大。

圖10 損失函數(shù)曲線Fig.10 Curve on loss function

3.2 三維位姿解算

基于圖6 艦船坐標系下的關(guān)鍵點三維坐標，結(jié)合檢測所得關(guān)鍵點像素坐標，采用PnP 算法解算導引頭（相機）在艦船坐標系下的三維坐標及旋轉(zhuǎn)角。

導引頭三維位姿解算是以艦船為中心，基于所建立的艦船坐標系計算旋轉(zhuǎn)矩陣與平移矩陣。由實測數(shù)據(jù)可知，海戰(zhàn)場環(huán)境下的軍艦持續(xù)受到自身橫搖與縱搖影響，氣流變化同樣導致導引頭視場內(nèi)艦船中心位置不斷變化。對于圖9（d）與圖9（e）海面上的真實軍艦而言，為提升導引頭對艦船要害部位打擊精度，需在相對艦船距離較遠時準確檢測要害關(guān)鍵點，而距離較遠時，導引頭（相機）相對艦船坐標系的x、y軸坐標值遠大于z軸坐標值。實際戰(zhàn)場環(huán)境采拍時，獲取準確的導引頭相對艦船坐標系的旋轉(zhuǎn)角較為困難，由PnP 算法中旋轉(zhuǎn)矩陣與平移矩陣的轉(zhuǎn)換關(guān)系可知，旋轉(zhuǎn)矩陣與平移矩陣之間的準確度具有耦合性。考慮到實際數(shù)據(jù)與設(shè)備測試的局限性，實驗利用無人機內(nèi)置飛行控件記錄的數(shù)據(jù)與激光測距儀得到導引頭（相機）相對艦船的坐標真值，計算相對誤差作為導引頭三維位姿估計的評價指標。圖9（a）～圖9（c）位姿解算結(jié)果如表4所示，采用最大誤差絕對值（maximum absolute error，MAE）與均方誤差（mean square error，MSE）評估準確度。

表4 位姿估計測試結(jié)果Table 4 Test resu lts of pose estimation

由表4 可知，艦船模型位姿估計結(jié)果MAE 為4.14cm，MSE 可保持在3.5 cm 之內(nèi)。實測艦船位姿估計結(jié)果MAE 為343cm，MSE 可保持在3 0 0 cm之內(nèi)。艦船成像特征信息量同樣影響位姿估計結(jié)果，船模拍攝距離近，細節(jié)特征豐富，實測艦船距離較遠，故船模位姿估計結(jié)果精度高于實測艦船的位姿估計結(jié)果。導引頭位姿估計準確度與關(guān)鍵點檢測結(jié)果密切相關(guān)，關(guān)鍵點檢測精度越高，位姿解算越準確。當導引頭獲取的艦船圖像中，部分關(guān)鍵點較為密集時，可能造成位姿估計結(jié)果準確度降低。圖9（b）艦船圖像細節(jié)更多，特征更清晰，因而圖9（b）位姿解算誤差小于圖9（a）和圖9（c）。此外，相機徑向與切向畸變可能導致關(guān)鍵點檢測位置偏移；相機的架設(shè)位姿與關(guān)鍵點空間分布同樣可能導致位姿估計誤差。總體而言導引頭（相機）位姿估計較為準確。

3.3 艦船要害點軌跡預測

導引頭接近艦船的過程中，艦船要害空間尺度與位移同時發(fā)生變化，不同要害關(guān)鍵點運動軌跡存在差異，為更好評估LSTM 軌跡預測準確性，選取卡爾曼濾波（Kalman Filter）算法、差分自回歸移動平 均 模 型（autoregressive integrated moving average model，ARIMA）算法作為對比。輸入為視頻序列中，動態(tài)變化的要害關(guān)鍵點像素坐標。LSTM 與其他算法在艦船要害關(guān)鍵點檢測數(shù)據(jù)上的測試結(jié)果如表5 所示。

表5 第1 行同時給出了視頻序列關(guān)鍵點檢測結(jié)果、真實軌跡的平均位移誤差（average displacement error，ADE）和最終位移誤差（final displacement error，F(xiàn)DE）。對比實驗設(shè)定Kalman Filter 算法方差為1 ×10?4；ARIMA 算法依據(jù)貝葉斯信息量（Bayesianin formation criterion，BIC）準則進行模型定階，由艦船要害關(guān)鍵點時序數(shù)據(jù)確定自回歸項數(shù)為6，差分階數(shù)為1，滑動平均項數(shù)為5，用最小二乘法確定初值，并結(jié)合極大似然法實現(xiàn)ARIMA 軌跡預測。

如表5 所示，相同實驗環(huán)境測試，LSTM 軌跡預測精度優(yōu)于其他算法。Kalman Filter 算法對運動模型與量測模型依賴性較大，且預測效果與試驗參數(shù)設(shè)定密切相關(guān)，準確度較低；ARIMA 預測效果優(yōu)于Kalman Filter 算法，需根據(jù)BIC 準則設(shè)定實驗參數(shù)，艦船要害關(guān)鍵點運動趨勢劇烈變化時適應(yīng)性不足，軌跡預測精度有待提升；LSTM 對時空特征學習能力強，對初始預測的不確定性及傳入測量的不確定性適應(yīng)性更好，對劇烈變化的艦船要害關(guān)鍵點具有更優(yōu)的軌跡預測準確度。

表5 軌跡預測算法對比Table 5 Com parison of trajectory prediction algorithm s

文獻[21]指出多維坐標獨立預測比多維同時預測的精度更高，為更直觀地分析預測準確度，以視頻幀數(shù)為橫坐標，隨機抽取3 段視頻中，艦船要害關(guān)鍵點單維度的運動軌跡，將運動軌跡可視化測試后的結(jié)果如圖11 所示。

如圖11 所示，導引頭視場內(nèi)的艦船要害關(guān)鍵點坐標呈現(xiàn)無規(guī)律波動，小范圍連續(xù)波動運動趨勢擬合是軌跡預測的難點。Kalman Filter 算法測試曲線與真值變化趨勢相符，但平滑程度高，無法準確擬合要害關(guān)鍵點小范圍連續(xù)波動的軌跡，預測誤差較大；ARIMA 比Kalman Filter 算法預測結(jié)果更接近真實值，但曲線波動性較大，且具有一定的滯后性，當艦船要害關(guān)鍵點位置劇烈變化時，ARIMA 預測結(jié)果與真值偏差較大，預測準確度有待提升。LSTM能夠較好擬合劇烈變化的要害關(guān)鍵點運動軌跡，對呈現(xiàn)無規(guī)律性的時序軌跡預測魯棒性較好，特征學習能力強，預測結(jié)果與真值誤差更小。

圖11 軌跡預測結(jié)果Fig.11 Results on trajectory prediction

隨機抽取視頻序列中，幀數(shù)為100～200 與幀數(shù)為400～480 時的要害關(guān)鍵點運動軌跡，如圖12 所示。由表5 與圖12 可知，與其他算法相比，LSTM預測值與真實值之間的差異更小。LSTM 軌跡預測曲線能較好的反映艦船要害關(guān)鍵點運動趨勢，出現(xiàn)小范圍連續(xù)劇烈波動時，仍能夠依據(jù)檢測數(shù)據(jù)準確預測軌跡，與標注真值之間的誤差更小，精度提升明顯。LSTM 擬合的曲線中，影響預測精度的軌跡突變點更少，更加貼近實際軌跡。

圖12 軌跡預測細節(jié)分析Fig.12 Detailed analysis of trajectory prediction

4 結(jié) 論

反艦導彈對艦船要害部位的精確打擊能力是精確制導的關(guān)鍵技術(shù)之一。針對現(xiàn)有算法無法準確檢測艦船要害部位，導引誤差解算精度不足等問題，本文提出的SHKP-LSTM 算法，構(gòu)建了艦船要害部位檢測數(shù)據(jù)進行實驗，可實現(xiàn)動態(tài)變化下的多尺度艦船要害部位檢測與軌跡預測，算法魯棒性強，解算精度高，精確制導的研究思路得到擴展。

1）針對檢測特征利用不充分的問題，融合深淺層特征可提高檢測精度，SoftPool 可改善最大值池化導致的重要信息損失，獲取的細粒度特征圖提升了相似特征關(guān)鍵點的區(qū)分度，mAP 提升了3.3%。

2）LSTM 算法對時序特征學習能力較強，軌跡預測準確度與實時性較好。利用時空維度特征準確預測艦船要害打擊點運動軌跡，有助于提升精確制導反艦導彈的毀傷概率。

3）PnP 算法利用艦船三維結(jié)構(gòu)特性與關(guān)鍵點檢測結(jié)果解算導引頭三維位姿。相對于二維像素坐標而言，利用三維信息解算所得當前命中點與任務(wù)打擊點導引誤差更精確。

如何針對遮擋或視野缺點中的艦船要害部位進行精確檢測與軌跡預測是后續(xù)工作研究重點。