基于YOLO網(wǎng)絡(luò)的自主空中加油錐套識(shí)別方法

沈嘉禾, 袁冬莉, 楊征帆, 閆建國, 肖冰, 邢小軍

(西北工業(yè)大學(xué) 自動(dòng)化學(xué)院, 陜西 西安 710072)

隨著國際形勢(shì)的變化，空軍力量成為一個(gè)國家國力的標(biāo)志。在執(zhí)行飛行任務(wù)途中，加油機(jī)可以使受油機(jī)在沒有條件降落時(shí)補(bǔ)充燃油，世界各個(gè)強(qiáng)國紛紛使用空中加油技術(shù)(aerial refueling)加強(qiáng)自己空軍力量的打擊半徑[1]。空中加油技術(shù)在過去幾十年中，大都是高度依賴于飛行員的技術(shù)水平。隨著無人技術(shù)的發(fā)展，自主空中加油技術(shù)[2]也成為了一種重要的戰(zhàn)略部署方向。自主空中加油技術(shù)能夠提高無人機(jī)遠(yuǎn)航航程以及作戰(zhàn)半徑，增加飛機(jī)的有效留空時(shí)間，提升飛機(jī)的有效載重，也可以輔助有人機(jī)飛行員進(jìn)行復(fù)雜情況下的對(duì)接工作。基于我國國情，改裝方便、技術(shù)簡(jiǎn)單的軟式加油方法成為了主流選擇，大量應(yīng)用飛機(jī)上[3]。

在AAR中，判定錐套位置對(duì)加油活動(dòng)十分重要。國內(nèi)外研究者對(duì)錐套的運(yùn)動(dòng)機(jī)理做了許多探索和研究，一般采用有限元思想，將錐套軟管看為質(zhì)點(diǎn)系或者多連桿系統(tǒng)來建模。Pollini等[4]將軟管劃分為有限個(gè)數(shù)的規(guī)則柱體，使用經(jīng)典力學(xué)進(jìn)行建模；全權(quán)等[5]對(duì)軟管-錐套式加油方法進(jìn)行了建模和控制綜述，對(duì)輸油管使用連桿建模方法進(jìn)行物理建模；劉志杰等[6]使用偏微分方法描述了一個(gè)分布式參數(shù)模型，對(duì)加油軟管進(jìn)行建模；Salehi等[7]在偏微分方程建模的基礎(chǔ)上考慮了軟管彎曲力的影響。盡管這些工作對(duì)錐套運(yùn)動(dòng)規(guī)律進(jìn)行了物理建模，對(duì)識(shí)別錐套的位置規(guī)律做出了貢獻(xiàn)，但其都是基于實(shí)驗(yàn)室條件下理想的數(shù)學(xué)模型，在復(fù)雜環(huán)境下不準(zhǔn)確。

針對(duì)上述不足，識(shí)別真實(shí)錐套位置從而擬合錐套運(yùn)動(dòng)規(guī)律成為一種可能的研究路徑。近些年來，目標(biāo)識(shí)別(target recognition)方法成為從圖片中獲取信息以及規(guī)律的一種重要方法。目標(biāo)識(shí)別的發(fā)展經(jīng)歷了許多階段，最初使用人工設(shè)計(jì)特征，如HOG(histogram of oriented gradients)[8]、SHIFT(scale-invariant feature transform)[9]等。在使用滑動(dòng)窗口時(shí)，會(huì)產(chǎn)生大量運(yùn)算，時(shí)間和空間復(fù)雜度高，效果也不優(yōu)異。針對(duì)這些問題，1943年神經(jīng)科學(xué)家McCilloch等[10]發(fā)表的論文中提出MCP模型(McCulloch-Pitts mode)，即神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，開創(chuàng)了神經(jīng)網(wǎng)絡(luò)的先河。2012年，Krizhevsky等[11]提出了AlexNet方法，此后基于深度學(xué)習(xí)的目標(biāo)識(shí)別方法大都參考經(jīng)典的卷積網(wǎng)絡(luò)方法。與此同時(shí)，深度學(xué)習(xí)在語音、圖像、自然語言處理等方面都有廣泛的應(yīng)用[12]。

深度學(xué)習(xí)方法可以針對(duì)具體應(yīng)用情景的不同，將訓(xùn)練數(shù)據(jù)中獲取的深層、不可見的特征作為學(xué)習(xí)依據(jù)，與傳統(tǒng)方法相比，能夠自動(dòng)生成特征并進(jìn)行分類，泛化、魯棒性更強(qiáng)，適合目標(biāo)背景復(fù)雜、尺度多變的情況。目前主流的檢測(cè)方法主要是TWO-STAGE(如R-CNN[13]、FastR-CNN[14])和ONE-STAGE方法(如YOLO[15]、SSD[16])。ONE-STAGE方法可以直接使用回歸，得出目標(biāo)物體的類別概率和位置坐標(biāo)，速度快，但精度較低。TWO-STAGE方法先生成一系列候選框，再進(jìn)行樣本分類，速度慢，但是精度較高。2018年Redmon等發(fā)布了YOLO-v3[17]方法，該方法現(xiàn)已成為目標(biāo)識(shí)別主流方法之一。該方法將目標(biāo)檢測(cè)問題轉(zhuǎn)換為直接從圖像中提取邊界框和類別概率的單個(gè)回歸問題，從而檢測(cè)目標(biāo)類別和位置。與文獻(xiàn)[18]類似，一些學(xué)者也將目標(biāo)識(shí)別方法應(yīng)用在了空中加油任務(wù)中。李柱[19]提出了一種基于雙目視覺的無人機(jī)自主空中加油近距離對(duì)接導(dǎo)航方法，獲得錐套的位置與姿態(tài)，該方法使用了灰度化、二值分割等傳統(tǒng)圖像特征處理方法。徐小斌等[20]使用了基于深度學(xué)習(xí)的CNN方法獲得加油錐套位置，對(duì)復(fù)雜環(huán)境下的錐套進(jìn)行檢測(cè)。然而之前基于深度學(xué)習(xí)的工作依賴于環(huán)境，且需要在GPU上進(jìn)行訓(xùn)練和預(yù)測(cè)，計(jì)算量大，難以真正應(yīng)用到實(shí)際活動(dòng)中，有待進(jìn)一步改進(jìn)。

針對(duì)以上不足，本文擬提出一種新的基于YOLO的錐套識(shí)別方法，進(jìn)一步減少計(jì)算量，并使其符合機(jī)載操作系統(tǒng)VxWorks的要求。與其他常規(guī)的典型網(wǎng)絡(luò)相比，YOLO網(wǎng)絡(luò)較小，速度較快，且有基于C語言的Darknet框架作為支撐。相比于解釋型語言(如Python)，C語言是編譯型基礎(chǔ)語言，更符合VxWorks系統(tǒng)的代碼要求。本文在常規(guī)卷積神經(jīng)網(wǎng)絡(luò)模型以及YOLO算法的基礎(chǔ)上，改變了anchor box、改進(jìn)了網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)、優(yōu)化了損失函數(shù)，在提高識(shí)別率的同時(shí)，識(shí)別速度、網(wǎng)絡(luò)大小均有一定的改良，為神經(jīng)網(wǎng)絡(luò)能夠加載在普適性的硬件上提供了一種可行方案。

1 卷積神經(jīng)網(wǎng)絡(luò)理論

1.1 網(wǎng)絡(luò)的基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)通常由卷積層(convolutional layer)，池化層(pooling layer)和全連接層(fully connected layer)交錯(cuò)組合而成，如圖1所示。

圖1 典型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

其中，卷積處理是卷積層的核心，利用大小不一的卷積核就可以以不同的感受野去“讀取”圖像中隱含著的特征信息，學(xué)習(xí)數(shù)據(jù)特征；池化層增強(qiáng)了整個(gè)網(wǎng)絡(luò)的非線性，尋找特征的關(guān)聯(lián)；全連接層一般位于輸出部分，目的是將一系列經(jīng)過處理的數(shù)據(jù)進(jìn)行分類與組合，以完成目標(biāo)任務(wù)。

對(duì)于神經(jīng)網(wǎng)絡(luò)來說，感受野是十分重要的參數(shù)。在初始化處理時(shí)，一般會(huì)使用416×416或者512×512大小的輸入圖像。輸入圖片過小，則分辨率減小，對(duì)于小物體等目標(biāo)的識(shí)別精度下降；輸入圖片過大，將導(dǎo)致運(yùn)算需求猛增，對(duì)于性能優(yōu)化有負(fù)面的影響。

1.2 YOLO網(wǎng)絡(luò)的基本原理

與傳統(tǒng)的特征提取與識(shí)別方法不同，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征更具有代表性，能夠更好地區(qū)分目標(biāo)物體與干擾項(xiàng)，魯棒性好，對(duì)于干擾不敏感，泛化性更優(yōu)異。網(wǎng)絡(luò)的層級(jí)與能提取到的特征有關(guān)，層級(jí)越深，特征越抽象。YOLO算法將圖片分為諸多窗口，當(dāng)所識(shí)別的目標(biāo)物體落入窗口內(nèi)部時(shí)，該窗口輸出多個(gè)預(yù)測(cè)框以及其置信度(confidence)和位置參數(shù)。

YOLO的骨架是Darknet網(wǎng)絡(luò)結(jié)構(gòu)，類似于VGG模型，但加入了殘差網(wǎng)絡(luò)，訓(xùn)練收斂比起VGG更快。作為特征融合的主要骨干，Darknet網(wǎng)絡(luò)結(jié)構(gòu)占用了許多內(nèi)存，對(duì)硬件的計(jì)算能力提出了更嚴(yán)峻的挑戰(zhàn)。

2 錐套圖像識(shí)別卷積神經(jīng)網(wǎng)絡(luò)建模

現(xiàn)今存在的CNN網(wǎng)絡(luò)紛繁復(fù)雜，但沒有一種可以不經(jīng)過優(yōu)化直接應(yīng)用到實(shí)踐中去的。針對(duì)空中加油條件下錐套圖像的識(shí)別，需要結(jié)合應(yīng)用實(shí)際情況建立符合要求的神經(jīng)網(wǎng)絡(luò)模型。

特別地，小目標(biāo)像素特征少、不明顯，因此和大目標(biāo)相比，小目標(biāo)的檢測(cè)率低，這在任何算法上都是無法避免的。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)，檢測(cè)小目標(biāo)需要很高的分辨率，但即便如此，識(shí)別框仍然存在漂移。

針對(duì)錐套圖片數(shù)據(jù)集所設(shè)計(jì)出的網(wǎng)絡(luò)模型結(jié)構(gòu)，為提高識(shí)別率在特征提取結(jié)構(gòu)、識(shí)別模塊和損失函數(shù)3個(gè)方面，做出了改進(jìn)工作。下面對(duì)這三部分進(jìn)行詳細(xì)闡述，給出設(shè)計(jì)思想與實(shí)現(xiàn)方法。

2.1 網(wǎng)絡(luò)模型的設(shè)計(jì)要求

網(wǎng)絡(luò)模型在設(shè)計(jì)之初就要考慮到實(shí)用因素，現(xiàn)將對(duì)網(wǎng)絡(luò)的要求進(jìn)行匯總分析：

1) 硬件要求

本文選用TI TMS320C6678 DSP(digital signal processor)作為運(yùn)算平臺(tái)。雖然該型芯片是商用芯片，但其具有通用性強(qiáng)、可移植性高的特點(diǎn)，同時(shí)符合國軍標(biāo)對(duì)硬件芯片的性能要求。本文的實(shí)驗(yàn)屬于神經(jīng)網(wǎng)絡(luò)布署于DSP的前瞻研究，若代碼成功運(yùn)行并達(dá)到預(yù)期要求，代碼也可以移植到同類國產(chǎn)DSP芯片中。硬件平臺(tái)如圖2所示。

圖2 TMS320C6678型號(hào)DSP硬件平臺(tái)

由于該DSP緩沖區(qū)小，在運(yùn)行過程中直接讀取weights文件會(huì)導(dǎo)致卡死。DSP的文件讀寫操作只能在編程軟件Debug模式下，需要與上位機(jī)進(jìn)行通訊，在實(shí)際工作狀態(tài)下難以進(jìn)行該操作。為了解決該問題，需要將網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)、訓(xùn)練好的網(wǎng)絡(luò)權(quán)重等一系列數(shù)據(jù)集成在代碼內(nèi)部。這種離線式的檢測(cè)方法將代碼直接燒錄至DSP，避免了與上位機(jī)通訊，提升了運(yùn)行速度。受限于硬件的計(jì)算能力，在保證識(shí)別進(jìn)度的基礎(chǔ)上需要盡可能地減少網(wǎng)絡(luò)大小。在應(yīng)用過程中避免使用很大的卷積核，傾向于使用較少的卷積核個(gè)數(shù)以及1×1，3×3，5×5大小的卷積核去提取特征。與此同時(shí)，使用池化層以增強(qiáng)非線性、減少網(wǎng)絡(luò)參數(shù)。

使用C語言編寫代碼，內(nèi)部實(shí)現(xiàn)邏輯如圖3所示。圖像輸入后，經(jīng)過預(yù)處理再輸入經(jīng)過參數(shù)固化后的YOLO網(wǎng)絡(luò)，此時(shí)計(jì)時(shí)函數(shù)開始計(jì)時(shí)，網(wǎng)絡(luò)經(jīng)過非極大值抑制后輸出錐套的檢測(cè)位置。

圖3 C語言邏輯示意圖

2) 分類準(zhǔn)確率和識(shí)別框準(zhǔn)確率要求

網(wǎng)絡(luò)最后的輸出層輸出5個(gè)參數(shù),分別是Icof,x,y,w,h,分別代表識(shí)別結(jié)果的置信度、x方向坐標(biāo)、y方向坐標(biāo)、識(shí)別框?qū)挾取⒆R(shí)別框高度，這些參數(shù)在學(xué)習(xí)時(shí)遵循梯度下降和誤差反向傳播原則。要使網(wǎng)絡(luò)能檢出物體,就要使Icof至少大于網(wǎng)絡(luò)設(shè)定的檢出閾值;要使網(wǎng)絡(luò)輸出的位置精確,就需要x，y，w，h貼近真實(shí)框。影響這幾個(gè)參數(shù)準(zhǔn)確度的主要因素是:模型結(jié)構(gòu)、anchor box基礎(chǔ)值以及損失函數(shù)。本文基于以上要求提出了一種新模型,模型使用了新的預(yù)設(shè)框,并將原始的損失函數(shù)進(jìn)行了優(yōu)化。

2.2 特征識(shí)別模塊改進(jìn)

YOLO網(wǎng)絡(luò)使用原始卷積網(wǎng)絡(luò)輸出層的全連接方法,利用回歸方法來預(yù)測(cè)圖像位置。由于網(wǎng)絡(luò)本身的anchor box擬合錐套數(shù)據(jù)集效果不佳,使用聚類方法更改anchor box以減少識(shí)別框的漂移情況。使用該方法有以下幾點(diǎn)考慮:

1) 針對(duì)錐套數(shù)據(jù)集的特殊情況,多尺度提取特征后特殊化的識(shí)別模塊,可以提高識(shí)別精度。

2) 由于本文只需要識(shí)別一個(gè)目標(biāo)物體,更改后對(duì)于干擾項(xiàng)有較好的分辨能力。

本文針對(duì)錐套圖像數(shù)據(jù)集進(jìn)行特化,將人工標(biāo)注的近1 000張圖片標(biāo)注框的長寬進(jìn)行處理分析,得到圖4。不同尺度、不同角度下錐套的標(biāo)注框位置存在一定的重合,這是由于錐套本身屬于規(guī)范的漏斗狀物體,直徑一般在18 cm左右,根據(jù)機(jī)型的變化有一定的浮動(dòng)。針對(duì)錐套特征,本文使用k-means++[21]聚類方法和訓(xùn)練集數(shù)據(jù)調(diào)整anchor box,減少網(wǎng)絡(luò)誤差,加快模型收斂,提高預(yù)測(cè)精度。

圖4 人工標(biāo)注框大小分析

圖4分為2種圖,一種是散點(diǎn)圖,一種是柱狀圖，皆無量綱。散點(diǎn)圖中每一個(gè)散點(diǎn)對(duì)應(yīng)的坐標(biāo)數(shù)字代表了一個(gè)標(biāo)注框的長(寬)占原圖片長(寬)的比例。由于圖片大小為416×416像素,416乘以散點(diǎn)對(duì)應(yīng)的x,y坐標(biāo)即可得到長寬的像素個(gè)數(shù)。柱狀圖為直方圖,橫坐標(biāo)為標(biāo)注框的長(寬)占原圖片長(寬)的比例,縱坐標(biāo)為個(gè)數(shù)。分析人工標(biāo)注框的大小,不難發(fā)現(xiàn),寬落在[0.1,0.15]范圍內(nèi)、長落在[0.2,0.25]范圍內(nèi)的點(diǎn)最為密集。這種情況適用于k-means++聚類。使用該聚類方法進(jìn)行聚類時(shí),需要先確定鄰近性度量SSE(sum of the squared errors)和計(jì)算簇的質(zhì)心位置αi。

(1)

式中:ci代表被分到第i個(gè)類的所有點(diǎn)的集合;k代表共需分為幾類,即聚類的簇總數(shù),本文中k取10。經(jīng)過100輪迭代,將經(jīng)過歸一化的聚類結(jié)果映射到416×416大小的輸入圖像上,得到網(wǎng)絡(luò)新的anchor box示意圖(見圖5)及具體數(shù)值(見(2)式)。請(qǐng)注意,本節(jié)中使用的Aanchor值的單位是像素,如果輸入圖片大小不同,需要根據(jù)實(shí)際情況進(jìn)行修改。Aanchor矩陣中,第一列代表預(yù)選框的長,第二列代表預(yù)選框的寬。在YOLO網(wǎng)絡(luò)的預(yù)測(cè)過程中,會(huì)使用10個(gè)大小不同的anchor box進(jìn)行識(shí)別，其長寬依照(2)式給出。

(2)

圖5 網(wǎng)絡(luò)新的anchor box示意圖

2.3 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

本文的目的之一就是維持精度不變的情況下,減少大量的計(jì)算量,網(wǎng)絡(luò)更小。

網(wǎng)絡(luò)內(nèi)部的計(jì)算量大都來源于高維度的卷積核,加入1×1卷積核和池化層可以改善網(wǎng)絡(luò)大小。與此同時(shí),網(wǎng)絡(luò)內(nèi)部使用不同大小的feature map,可以對(duì)尺度變換做出更好的應(yīng)答。

綜合以上的設(shè)計(jì)思想和設(shè)計(jì)方法,最終設(shè)計(jì)的錐套圖像識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型包括14個(gè)卷積層,4個(gè)池化層,輸出部分有3個(gè)全連接層。

網(wǎng)絡(luò)示意圖如圖6、表1所示,卷積模塊右下角三角形代表池化層。豎向的箭頭表示數(shù)據(jù)的傳輸方向,最終3個(gè)不同大小的特征圖輸入YOLO檢測(cè)層。網(wǎng)絡(luò)層內(nèi)部存在route單元,可以進(jìn)行特征層的融合。網(wǎng)絡(luò)中不同大小的特征圖會(huì)經(jīng)過處理后,在網(wǎng)絡(luò)內(nèi)部進(jìn)行融合,這樣網(wǎng)絡(luò)可以得到之前的信息,增加了訓(xùn)練的非線性。

圖6 錐套圖像識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)示意圖

表1 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)

訓(xùn)練完成的網(wǎng)絡(luò)可以用于大、中、小3個(gè)尺度的預(yù)測(cè),這是由于網(wǎng)絡(luò)內(nèi)部有3種不同大小的feature map,保證了識(shí)別多尺度目標(biāo)物體時(shí)的精確度。

2.4 網(wǎng)絡(luò)損失函數(shù)改進(jìn)

YOLO本身的損失函數(shù)策略基于均方誤差回歸算法(mean square error,MSE),即如(3)式所示

(3)

(3)式等號(hào)右邊第一項(xiàng)代表了預(yù)測(cè)框的中心坐標(biāo)誤差(x,y),第二項(xiàng)代表了預(yù)測(cè)框的長寬誤差(w,h)，使用了算術(shù)平方根,減小了框尺度大小對(duì)誤差的影響,第三項(xiàng)和第四項(xiàng)代表了該框包含物體以及不包含物體時(shí)的置信度損失,第五項(xiàng)代表了該網(wǎng)格預(yù)測(cè)后類別損失。

本文中只識(shí)別空中加油的錐套一種物體,故第五項(xiàng)可以進(jìn)行改進(jìn)。將原來的類別損失改為GIOU[22](generalized intersection over union)損失,以改進(jìn)網(wǎng)絡(luò)預(yù)測(cè)框的IOU(intersection over union)。與此同時(shí),將第二項(xiàng)的損失函數(shù)(即長寬誤差)的權(quán)重進(jìn)行更改,使網(wǎng)絡(luò)更快地貼近真實(shí)值。GIOU函數(shù)改進(jìn)了IOU方法,改善了在預(yù)測(cè)時(shí)網(wǎng)絡(luò)的預(yù)測(cè)框如果沒有與真實(shí)框進(jìn)行重合時(shí)IOU會(huì)一直為0的問題。但GIOU無法表示方位,本文中將其作為損失函數(shù)的一部分參與運(yùn)算而非直接作為損失函數(shù)。

如圖7所示,令目標(biāo)的真實(shí)框?yàn)锳,網(wǎng)絡(luò)預(yù)測(cè)框?yàn)锽,C為包含A,B框的最小框,那么GIOU可以表示為

(4)

圖7 GIOU示意圖

本文使用的損失函數(shù)為

(5)

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)平臺(tái)

硬件環(huán)境使用了Tesla K80作為GPU的工作站，操作系統(tǒng)為Windows，軟件環(huán)境為python3.8+C語言，網(wǎng)絡(luò)基于目標(biāo)檢測(cè)框架darknet以及YOLOv3網(wǎng)絡(luò)進(jìn)行構(gòu)建并訓(xùn)練。訓(xùn)練以及預(yù)測(cè)的具體架構(gòu)如圖8所示。離線訓(xùn)練使用了Python方法，在線預(yù)測(cè)使用了C語言方法。

圖8 訓(xùn)練、預(yù)測(cè)架構(gòu)圖

3.2 實(shí)驗(yàn)數(shù)據(jù)

空中加油目前主流仍是人工操作，缺乏一個(gè)統(tǒng)一、有公信力的錐套圖像數(shù)據(jù)集。為了進(jìn)行本文所述的表2改進(jìn)模型與原始模型比較結(jié)果圖像處理和識(shí)別工作，需要一定數(shù)量的圖像結(jié)果作為數(shù)據(jù)支撐。本次訓(xùn)練和測(cè)試使用了1 000張錐套圖像，分別來自于實(shí)驗(yàn)室錐套地面試驗(yàn)平臺(tái)和網(wǎng)絡(luò)視頻截圖。每一張圖片都會(huì)經(jīng)過前期的數(shù)據(jù)處理，如旋轉(zhuǎn)、模糊、加噪聲、改變色相等方法，以確保訓(xùn)練網(wǎng)絡(luò)對(duì)干擾的魯棒性。該數(shù)據(jù)集分辨率高、尺度多樣、與航天應(yīng)用場(chǎng)景有極高的相似度。

表2 改進(jìn)模型與原始模型比較結(jié)果

3.3 實(shí)驗(yàn)內(nèi)容

本次實(shí)驗(yàn)分別針對(duì)YOLO-v3、VGG+SSD-300、Inception-v3[23]以及改進(jìn)后的new-YOLO 4種網(wǎng)絡(luò)進(jìn)行訓(xùn)練和預(yù)測(cè)，采用錐套圖像數(shù)據(jù)集作為訓(xùn)練輸入，對(duì)數(shù)據(jù)完整迭代3 000次，基礎(chǔ)學(xué)習(xí)率為0.002，在訓(xùn)練至第1 500,2 400次時(shí)衰減至1/10。

將所有圖片分為3組，按照4∶1∶1的比例隨機(jī)分給訓(xùn)練集、測(cè)試集和驗(yàn)證集，保證圖像數(shù)據(jù)盡可能少地暴露給測(cè)試集。

3.4 錐套圖像識(shí)別結(jié)果

本次實(shí)驗(yàn)分別針對(duì)YOLO-v3、VGG+SSD-300、Inception-v3以及改進(jìn)后的new-YOLO 4種網(wǎng)絡(luò)在錐套測(cè)試集上進(jìn)行測(cè)試，對(duì)檢測(cè)結(jié)果進(jìn)行處理，僅保留置信度大于閾值0.4的結(jié)果，并采用IOU閾值為0.5來計(jì)算平均精度和平均召回率，單位均為像素。表2展示了4種網(wǎng)絡(luò)的浮點(diǎn)操作數(shù)BFLOPs，平均精度、平均召回率。可見本文提出的網(wǎng)絡(luò)對(duì)比原YOLO-v3網(wǎng)絡(luò)，檢測(cè)精度和召回率分別提升了6.24%,2.06%，BFLOPs降低了93.81%。相比于Inception-v3，VGG+SSD-300，檢測(cè)精度提升了14.46%，6.39%，召回率提升了10.33%，2.70%，BFLOPs降低了18.40%，86.84%。

改進(jìn)后的new-YOLO在計(jì)算量減少了近94%的情況下，仍然有著優(yōu)于典型網(wǎng)絡(luò)6%的檢測(cè)精度。由于網(wǎng)絡(luò)準(zhǔn)確率由IOU進(jìn)行計(jì)算，IOU亦可以代表輸出結(jié)果的漂移程度，故訓(xùn)練結(jié)果精度亦表明，網(wǎng)絡(luò)識(shí)別結(jié)果的漂移情況也得到了一定改善。

在訓(xùn)練過程中，損失隨著網(wǎng)絡(luò)訓(xùn)練輪次的進(jìn)行整體上迅速下降。經(jīng)過3 000輪次的訓(xùn)練迭代，網(wǎng)絡(luò)的損失函數(shù)趨于穩(wěn)定。訓(xùn)練中損失函數(shù)最低為0.133 5，表明網(wǎng)絡(luò)訓(xùn)練對(duì)目標(biāo)圖片數(shù)據(jù)集的識(shí)別與泛化能力好。

3.5 錐套圖像測(cè)試結(jié)果

利用改進(jìn)的算法對(duì)2個(gè)視頻進(jìn)行了測(cè)試，分別為實(shí)驗(yàn)室運(yùn)行模型以及真實(shí)飛行視頻數(shù)據(jù)，測(cè)試結(jié)果如圖9所示。圖9a)～9d)為實(shí)驗(yàn)平臺(tái)圖像，圖9e)～9f)是真實(shí)對(duì)接過程的一幀。檢測(cè)效果表示本文提出的基于YOLO算法的改進(jìn)方法對(duì)錐套目標(biāo)圖像有著較好的檢測(cè)效果。

圖9 測(cè)試結(jié)果示意圖

4 結(jié) 論

本文針對(duì)空中加油的錐套圖像特點(diǎn)，提出了一種基于YOLO網(wǎng)絡(luò)的空中加油錐套圖像識(shí)別方法，在原本深度學(xué)習(xí)框架的基礎(chǔ)上，實(shí)現(xiàn)了目標(biāo)對(duì)象的有效識(shí)別。本文根據(jù)硬件實(shí)際情況，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了集成，使網(wǎng)絡(luò)運(yùn)行脫離上位機(jī)；為了提高檢測(cè)精度以及檢測(cè)速度，使用了k-means++算法聚類人工標(biāo)注真實(shí)框的長寬，使網(wǎng)絡(luò)內(nèi)部檢測(cè)層的anchor box更貼近真實(shí)情況，更容易達(dá)到精度要求；修改了網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)，使用3層不同大小的feature map分別對(duì)應(yīng)大、中、小3種尺度的待測(cè)物體，提高檢測(cè)精度，減少計(jì)算量，降低對(duì)硬件的要求；對(duì)網(wǎng)絡(luò)的損失函數(shù)進(jìn)行了優(yōu)化改進(jìn)，使用了新的回歸策略，進(jìn)一步提高了檢測(cè)效率和精確度。實(shí)驗(yàn)結(jié)果和測(cè)試結(jié)果表明，本文提出的new-YOLO算法相比于標(biāo)準(zhǔn)YOLO算法網(wǎng)絡(luò)檢測(cè)精度提升了約6%，計(jì)算量減少了近94%，且能夠布署在DSP上運(yùn)行，為空中加油的智能化奠定了基礎(chǔ)。