基于改進YOLOX-s的機場跑道冰雪狀態(tài)感知

邢志偉, 闞 犇, 劉子碩, 李 彪, 羅 謙

(1. 中國民航大學(xué) 電子信息與自動化學(xué)院, 天津 300300; 2. 天津航空機電有限公司, 天津 300308;3. 中國民航局第二研究所 工程技術(shù)研究中心, 成都 610041)

2021年11月4日,國際民航組織(International Civil Aviation Organization, ICAO)要求按照統(tǒng)一的全球跑道表面狀況報告格式(Global Reporting Format,GRF)[1]評估和報告跑道表面狀況.按照新的模式,跑道摩擦系數(shù)僅用于干跑道表面狀況的日常監(jiān)測和道面維護,不再作為跑道適航性的認(rèn)定標(biāo)準(zhǔn).對于有冰雪覆蓋物污染的跑道,機場運行方應(yīng)根據(jù)跑道道面污染物的種類、覆蓋范圍、深度等跑道表面狀況,確定跑道狀況代碼,提供給管制和航空情報服務(wù)部門.因此,如何科學(xué)精確地感知跑道表面狀態(tài)及演化規(guī)律,確保跑道運行的適航性,是冬季冰雪氣象條件下機場不停航運行需要突破的核心關(guān)鍵技術(shù).

目前,國內(nèi)外學(xué)者針對ICAO提出的跑道運行新標(biāo)準(zhǔn),展開了多方面的研究:一是道面冰雪污染物的狀態(tài)識別,如Kim等[2]提出一種利用毫米波傳感器和人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network, ANN)接收信號強度統(tǒng)計特征來識別冰雪種類;Ma等[3]利用多波長非接觸光學(xué)技術(shù),發(fā)現(xiàn)黑冰、結(jié)冰和下雪條件下的歸一化反射率不同,用于辨識路面冰雪狀態(tài);Baby等[4]基于電容傳感原理,提出一種可以集成到遠程操作車輛(Remotely Operated Vehicle, ROV)中的電容式傳感器,用于自動檢查跑道等重要位置的冰層及形態(tài);Troiano等[5]設(shè)計了一種用于估計路況的低成本電容式傳感器,建立了一種當(dāng)水或冰覆蓋其表面時傳感器的電容變化模型,并評估環(huán)境溫度變化對道面冰雪厚度及狀態(tài)的影響.二是道面冰雪污染物的厚度、界限檢測,如Hoshino等[6]針對跑道受冰雪污染問題,在道面嵌入檢測冰雪的激光傳感器,通過光散射理論檢測冰雪厚度;任宏宇等[7]針對復(fù)阻抗式結(jié)冰檢測技術(shù),提出一種溫度漂移補償方法,提升冰雪厚度測量精度以及穩(wěn)定性;Hong等[8]利用系統(tǒng)動力學(xué)理論,建立隨時間變化的道路結(jié)冰的界限和位置檢測模型;勾一等[9]基于紅外熱波檢測技術(shù),搭建了閃光紅外熱波檢測系統(tǒng),并提出將高斯-拉普拉斯金字塔算法與面積濾波算法兩者相融合識別冰雪界限.三是道面冰雪污染物的演化規(guī)律研究,如Qin等[10-11]基于Bessel函數(shù)提出一種描述冰膜演化動力學(xué)的熱傳導(dǎo)數(shù)學(xué)模型,通過該模型計算地溫分布,研究冰膜的狀態(tài)演化規(guī)律;Chen等[12]利用改進粒子群優(yōu)化算法對最小二乘支持向量機的核函數(shù)和懲罰函數(shù)進行優(yōu)化,實現(xiàn)道面冰雪厚度與多氣象因子的非線性映射演化模型;Costa等[13]提出一種基于道面溫度、濕度等氣象因子的ANN模型,模擬路面積冰狀態(tài)演化過程.

上述在跑道埋設(shè)傳感器等接觸式冰雪檢測方法受環(huán)境影響大,且多傳感器間的數(shù)據(jù)難以實現(xiàn)深度融合,無法實現(xiàn)對道面冰雪狀態(tài)的精確感知,但是基于圖像理解的冰雪狀態(tài)感知受氣象條件影響很小,無需龐大的數(shù)據(jù)融合,可在不接觸道面冰雪的前提下對冰雪狀態(tài)進行感知;與上述利用電磁波、光波等非接觸式冰雪檢測方法相比,以圖像作為狀態(tài)感知的依據(jù),幾乎不受環(huán)境限制,對黑冰、雪水混合物、冰水混合物等污染物復(fù)雜情況感知精確、可信度高.

本文從圖像層面實現(xiàn)機場跑道冰雪狀態(tài)感知,設(shè)計并搭建跑道冰雪實驗系統(tǒng),采集冰雪狀態(tài)微觀圖像并制作數(shù)據(jù)集,通過改進YOLOX-s[14]模型來感知冰雪狀態(tài).在CSPDarknet53主干特征提取網(wǎng)絡(luò)中,添加全局上下文模塊(Global Context block, GC block)來提高網(wǎng)絡(luò)注意力;使用雙向特征金字塔網(wǎng)絡(luò)(Bi-directional Feature Pyramid Network, BiFPN)替換原加強特征提取網(wǎng)絡(luò),提高網(wǎng)絡(luò)對多尺度的特征提取能力;同時引入自適應(yīng)空間特征融合(Adaptive Spatial Feature Fusion, ASFF)結(jié)構(gòu),進一步提升特征融合能力;使用α-EIoU損失函數(shù)代替原有的IoU損失函數(shù),進一步提高模型的收斂速度與感知準(zhǔn)確率.實現(xiàn)跑道冰雪狀態(tài)智能感知,可為道面除冰提供決策依據(jù),有助于提高冬季機場跑道適航性.

1 實驗系統(tǒng)與數(shù)據(jù)采集

1.1 跑道冰雪實驗系統(tǒng)

跑道模型結(jié)構(gòu)分解如圖1所示,在距道面10 cm處鋪設(shè)電熱線,向上以2.5 cm為間隔分別埋設(shè)3層PT-100,每層均勻埋設(shè)8個PT-100.電熱線層主要用于對道面進行加熱,控制道面溫度,使冰雪呈現(xiàn)不同狀態(tài),模擬道面冰雪狀態(tài)演化的過程.3層PT-100用來監(jiān)測跑道每層溫度分布,利用傳熱學(xué)研究跑道導(dǎo)熱效率對道面冰雪狀態(tài)的影響.

圖1 跑道模型結(jié)構(gòu)分解(cm)

跑道冰雪實驗系統(tǒng)如圖2所示,當(dāng)實驗系統(tǒng)實際運行時,將跑道模型置于高低溫試驗箱或者冬季戶外冰雪環(huán)境中,模擬冬季機場跑道表面實際情況,運行狀態(tài)如圖3所示.

圖2 跑道冰雪實驗系統(tǒng)

圖3 實驗系統(tǒng)實際運行

1.2 數(shù)據(jù)采集與分類

通過實驗系統(tǒng)模擬冬季機場道面環(huán)境,共采集到 2 592 像素×1 944 像素的圖片 5 668 張,并根據(jù)北海道大學(xué)低溫科學(xué)研究所對冰雪的分類方式[15-16]與ICAO發(fā)布的GRF標(biāo)準(zhǔn)中的跑道表面污染物分類,結(jié)合文獻[17]中的冰雪狀態(tài)圖像灰度區(qū)分表,得到如表1所示的道面冰雪狀態(tài)分類標(biāo)準(zhǔn).將由實驗系統(tǒng)采集的 5 668 張冰雪污染物圖片劃分為6類:雪、雪漿、融雪、凍冰、濕冰、水,如圖4所示.使用Labelimg工具對圖像進行標(biāo)注,生成xml類型的標(biāo)簽文件.

表1 跑道冰雪狀態(tài)分類

圖4 冰雪狀態(tài)

2 基于多尺度特征的冰雪狀態(tài)感知模型

YOLOX-s算法是2021年曠視科技研究院提出的高性能One-Stage目標(biāo)檢測網(wǎng)絡(luò)[14].它巧妙地將解耦頭、數(shù)據(jù)增強、無錨點等目標(biāo)檢測領(lǐng)域優(yōu)秀進展應(yīng)用到Y(jié)OLO上,其網(wǎng)絡(luò)結(jié)構(gòu)由3個部分組成,如圖5所示.其中Backbone部分即主干特征提取網(wǎng)絡(luò)使用的是CSPDarknet53網(wǎng)絡(luò),Neck部分加強特征提取網(wǎng)絡(luò)使用的是路徑聚合網(wǎng)絡(luò)(Path-Aggregation Network,PANet),Prediction部分即檢測頭使用了3個解耦頭(Decoupled Head).Backbone部分對輸入圖片進行淺層特征提取得到3個特征層,Neck部分再對3個特征層進行深層特征提取,最終再分別傳入3個Decoupled Head進行目標(biāo)框檢測,得到檢測結(jié)果[14].

圖5 YOLOX-s網(wǎng)絡(luò)結(jié)構(gòu)

基于YOLOX-s框架,在CSPDarknet53主干特征提取網(wǎng)絡(luò)中引入GC block,將提取后的3個特征圖經(jīng)過BiFPN加強特征提取,得到3個具有不同尺度信息的特征圖,再引入ASFF自適應(yīng)地學(xué)習(xí)各尺度特征,增強特征融合效果,最后使用α-EIoU損失函數(shù)代替原有的IoU損失函數(shù),提高模型精度和加快收斂速度.改進后的YOLOX-s(Improved YOLOX-s,IYOLOX-s)網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示.

圖6 IYOLOX-s網(wǎng)絡(luò)結(jié)構(gòu)

2.1 基于GC block的主干特征提取網(wǎng)絡(luò)

主干網(wǎng)絡(luò)提取特征的能力可以直接影響目標(biāo)檢測效果,在對圖片淺層特征提取階段使用改進的CSPDarknet53作為主干網(wǎng)絡(luò).由于卷積受限于局部感知的特點,只可以對局部區(qū)域進行上下文建模,限制感受野的大小.并且在道面冰雪污染物圖像中,冰雪晶體狀態(tài)呈現(xiàn)大小和形狀不同的特點,且有灰塵等雜質(zhì)以及相干斑噪聲的干擾,不易進行狀態(tài)感知.所以引入GC block到CSPDarknet53特征提取網(wǎng)絡(luò)的CSP結(jié)構(gòu)后,不僅可以提取全局上下文信息,以此獲得更豐富的淺層和深層特征,還可以大大降低計算量.

如圖7所示,GC block[18]由非局部均值模塊(Non-Local block,NL block)[19]、壓縮激勵模塊(Squeeze-Excitation block,SE block)[20]組合而成,組合過程及機理如下.圖中:C為特征層的通道數(shù);H為特征層高度;W為特征層寬度;r為縮減比例.

圖7 組合機理

Step1簡化并融合NL block.

圖7中,xi為輸出信號代表當(dāng)前位置的像素,xj為所有與xi位置特征相似、大小相等的像素,NL block利用嵌入高斯計算wij,其表示xi與xj之間的歸一化注意力權(quán)重即兩者位置的相關(guān)性,可以使兩者相隔一定距離的xi與xj建立聯(lián)系來增強識別效果,同時還可以明顯降低圖像中的噪聲,計算公式為

(1)

式中:f(xi,xj)為xi與xj的關(guān)聯(lián)系數(shù);C(x)為歸一化因子;m為任意位置像素點;xm為任意位置的像素;Wq、Wk為卷積操作.

由于NL block以其他位置xj的信息為基礎(chǔ)去增強當(dāng)前xi的信息,xi均需計算與其他xj的關(guān)系,導(dǎo)致計算量激增[18].所以,GC block對其先簡化再融合.如圖7所示,簡化后的NL block(Simplified Non-Local block,SNL block)不再對xi進行操作,將原始NL block中的Wq卷積模塊移除,以節(jié)省計算成本,此外再將Wv卷積模塊移至下方乘法運算后來替換Wz,形成Context Modeling模塊.GC block將該模塊融合,繼承了NL block適應(yīng)特征之間長距離依賴的性能.wij由式(1)簡化如下,即GC block中的全局注意力池化的權(quán)重αj:

(2)

式中:Np=H×W表示特征層中位置的數(shù)量.

Context Modeling模塊數(shù)學(xué)表達式∑?jαjxj如下:

(3)

Step2引入SE block.

GC block在融合NL block的過程中對其進行了簡化,在減少計算量的同時,會犧牲一定的準(zhǔn)確率,為此引入SE block中Transform模塊.

GC block引入SE block中Transform模塊,并在線性激活函數(shù)ReLU非線性激活前加入層標(biāo)準(zhǔn)化LN(Layer Normalization,LayerNorm),可以降低優(yōu)化難度,提高網(wǎng)絡(luò)泛化能力,彌補主干特征提取網(wǎng)絡(luò)重復(fù)堆疊相同函數(shù)導(dǎo)致提取的特征缺乏多樣性的問題,進而填補步驟一所損失的準(zhǔn)確率,改進后的Transform模塊數(shù)學(xué)表達式δ(·)為

δ(·)=Wv2ReLU(LN(Wv1(·)))

(4)

式中:Wv1、Wvw分別為兩次卷積操作.

Step3特征融合.

如圖7所示,GC block融合SNL block中Context Modeling模塊,引入SE block中添加層標(biāo)準(zhǔn)化的Transform模塊,再使用相加操作進行特征融合,得到最終輸出結(jié)果:

zi=F(xi,δ(∑jαjxj))=xi+

(5)

2.2 基于BiFPN的加強特征提取網(wǎng)絡(luò)

圖8 PANet網(wǎng)絡(luò)結(jié)構(gòu)

圖9 BiFPN網(wǎng)絡(luò)結(jié)構(gòu)

改進之后的加強特征提取網(wǎng)絡(luò)如圖10所示.

圖10 改進后網(wǎng)絡(luò)結(jié)構(gòu)

圖中:ω1～ω9表示可學(xué)習(xí)的參數(shù).YOLOX-s通過CSPDarknet53主干網(wǎng)絡(luò)提取出3個有效特征層,然后輸入PANet,但是PANet有5個輸入特征層,因此將PANet簡化為3個輸入特征層(記作PANet-s),網(wǎng)絡(luò)結(jié)構(gòu)如圖10(a)所示,同理也對BiFPN做上述簡化操作(記作BiFPN-s),以此來減少計算量,提高精度,并與YOLOX-s網(wǎng)絡(luò)結(jié)構(gòu)相匹配,網(wǎng)絡(luò)結(jié)構(gòu)如圖10(b)所示.

對不同尺度特征進行融合時,通常將所有尺度特征視作同等重要,賦予相同特征權(quán)重,再進行相加等融合操作,但是不同尺度特征對融合的貢獻是不一樣的,在融合過程中會丟失一些有用的信息.BiFPN為每個尺度的特征賦予不同權(quán)重,讓網(wǎng)絡(luò)自主學(xué)習(xí)不同尺度特征的重要性[23].加權(quán)特征融合表達式為

(6)

式中:Ii、O分別為融合前和融合后的特征;ωi和ωj為可學(xué)習(xí)的權(quán)重;ε為遠小于1的極小量,用來保證數(shù)值穩(wěn)定.

(7)

(8)

(9)

(10)

式中:Resize是對輸入特征進行上采樣(Upsample)或下采樣(Downsample)操作.

2.3 引入自適應(yīng)空間特征融合結(jié)構(gòu)

本文使用BiFPN-s代替原有的PANet-s,以此提高網(wǎng)絡(luò)對多尺度特征的提取能力,同時在BiFPN-s的尾部添加ASFF結(jié)構(gòu)[23],進一步增強多尺度特征融合效果.其本質(zhì)是自適應(yīng)地學(xué)習(xí)各尺度特征融合的空間權(quán)重,以此來抑制加強特征提取網(wǎng)絡(luò)中不同尺度的不一致性缺點,使得多尺度的特征被自適應(yīng)地融合,達到最優(yōu)融合效果.ASFF結(jié)構(gòu)如圖11所示.

圖11 ASFF結(jié)構(gòu)

如圖11所示,Level 1、Level 2、Level 3分別是通過BiFPN-s提取得到的加強特征層,以ASFF-3為例,經(jīng)過BiFPN-s得到的特征層Level 1、Level 2,對其進行1*1卷積操作將其通道數(shù)壓縮成與Level 3相同,再分別對其進行4倍、2倍上采樣形成與Level 3相同維度的特征圖,記作Resize_Level 1與Resize_Level 2,接著對Resize_Level 1、Resize_Level 2和Level 3進行1*1卷積操作得到權(quán)重參數(shù)αij、βij、γij,最后將權(quán)重參數(shù)與Resize_Level 1、Resize_Level 2和Level 3相乘并求和得到特征融合后的ASFF-3,上述過程可由下式來描述:

(11)

對于通過道面冰雪污染物微觀晶體狀態(tài)來對其狀態(tài)進行感知,需要底層特征中的細(xì)粒度特征來辨識,通過在BiFPN-s的尾部引入ASFF結(jié)構(gòu),使每一層的權(quán)重參數(shù)與特征相乘再相加來實現(xiàn)融合,學(xué)習(xí)了空間濾波沖突信息以抑制不同尺度的不一致性,從而使得提取的特征更加層次化,并且?guī)缀鯖]有引入推理開銷,提升了模型的訓(xùn)練效率.

2.4 損失函數(shù)

YOLOX-s的損失函數(shù)由3個部分組成:邊界框定位損失函數(shù)Lloc、分類損失函數(shù)Lcls、置信度損失函數(shù)Lconf,本文的損失函數(shù)為L=Lloc+Lcls+Lconf.對于定位損失函數(shù)Lloc,YOLO系列最早使用的是IoU損失函數(shù)LIoU,其原理為1減去預(yù)測框和真實框的交集與預(yù)測框和真實框的并集之比,計算公式為

(12)

式中:A為預(yù)測框的面積;B為真實框的面積.IoU損失函數(shù)具有尺度不變性、非負(fù)性、同一性等特點,且輸出值在0～1之間,能夠較好地體現(xiàn)預(yù)測框和真實框的檢測效果.但實際會存在預(yù)測框與真實框沒有相交的情況,此時LIoU恒為1,因此沒有梯度的回傳將無法繼續(xù)學(xué)習(xí),而且IoU損失函數(shù)針對預(yù)測框和真實框的位置關(guān)系無法做出判斷,更無法反映預(yù)測框和真實框的相交情況.

因此文獻[24]中提出使用GIoU損失函數(shù)LGIoU,在IoU損失函數(shù)的基礎(chǔ)上引入預(yù)測框和真實框的最小外接矩形,計算公式為

(13)

式中:C′為最小外接矩形的面積.引入最小外接矩形不僅可以反映重疊區(qū)域的面積,還可以計算非重疊區(qū)域的比例,因此GIoU損失函數(shù)能夠更好地反映預(yù)測框和真實框的重合程度與遠近距離.此外由于最小外接矩形的存在,使得GIoU損失函數(shù)在兩個矩形框不重合時,也可以繼續(xù)計算回傳梯度,模型進而可以繼續(xù)學(xué)習(xí).GIoU損失函數(shù)雖然解決了IoU損失函數(shù)的上述兩個問題,但是當(dāng)兩框相互包含時,GIoU損失函數(shù)會退化成IoU損失函數(shù),在水平和垂直方向上,誤差很大,導(dǎo)致收斂速度大大減緩.

所以本文采用EIoU損失函數(shù)[25]來替換GIoU損失函數(shù),并根據(jù)文獻[26]對EIoU損失函數(shù)增加冪指數(shù)α且α=3,變成α-EIoU損失函數(shù)Lα-EIoU,以加快收斂速度,其計算原理如圖12所示.圖中:b和bgt分別為預(yù)測框和真實框的中心點;ρ(·)為兩個中心點的歐氏距離;c、cw、ch分別為預(yù)測框和真實框最小外接矩形的對角線距離以及寬度和高度;w、wgt、h、hgt分別為預(yù)測框和真實框的寬度和高度.α-EIoU損失函數(shù)使用最小化兩個框中心點的歐氏距離替代GIoU損失函數(shù)中最小外接矩形,同時分開計算目標(biāo)框的長和寬.α-EIoU損失函數(shù)包含3個部分:重疊損失LIoU、中心距離損失Ldis、寬高損失Lasp,計算公式為

圖12 α-EIoU計算原理

(14)

由于EIoU損失函數(shù)將目標(biāo)框的長、寬分開計算,彌補了GIoU損失函數(shù)在水平和垂直方向上誤差大的問題,并且在EIoU損失函數(shù)的基礎(chǔ)上增加α(α=3),進一步加快收斂速度和提高精度.圖13為4種損失函數(shù)L在同一數(shù)據(jù)集上的效果對比.圖中:N為迭代次數(shù).從圖中可以看出,α-EIoU損失函數(shù)在訓(xùn)練初期下降速度更快,當(dāng)?shù)螖?shù)N=5時,train_loss和val_loss就已經(jīng)達到了6以下,最后能達到2左右,比其他3種損失函數(shù)更容易收斂,定位精度更高.

圖13 4種損失函數(shù)效果對比

3 實驗驗證

3.1 模型環(huán)境設(shè)置

在訓(xùn)練環(huán)境方面,操作系統(tǒng)為Windows10,CPU為Intel(R) Xeon(R) CPU E5-2680 v4 @ 2.40 GHz,內(nèi)存為64 GB,GPU為NVIDIA GeForce RTX 3080Ti,顯存為12 GB.使用Pytorch 1.7.1深度學(xué)習(xí)框架,底層使用CUDA 11.0作為并行計算框架.

在訓(xùn)練策略方面,將數(shù)據(jù)集圖片按照8∶1∶1的比例劃分為訓(xùn)練集、測試集和驗證集,為防止工作站性能不足,將訓(xùn)練分為兩個階段,分別是凍結(jié)階段和解凍階段,凍結(jié)階段、解凍階段迭代次數(shù)均為75次,批處理量(batchsize)為64,圖片尺寸為640 像素×640 像素.

3.2 評價指標(biāo)

(1) 平均準(zhǔn)確率(Average Precision,φAP),

(15)

式中:μTP(True Positive)為感知正確的正樣本;νFP(False Positive)為感知錯誤的正樣本;P(R)為PR曲線中P(Precision)值即準(zhǔn)確率值,R(Recall)為召回率.

(2) 平均準(zhǔn)確率均值(mean Average Precision,ψmAP),

(16)

式中:M為冰雪污染物的種類數(shù);φAP(i)為第i類冰雪污染物的平均準(zhǔn)確率.

(3) 平均召回率均值(mean Recall,φmR),

(17)

式中:θFN(False Negative)為感知錯誤的負(fù)樣本;Ri為第i類冰雪污染物的召回率.

(4) 檢測速度,使用每秒幀數(shù)(Frames Per Second, FPS)作為檢測速度評估指標(biāo).

3.3 實驗結(jié)果

3.3.1對比實驗結(jié)果及分析 目標(biāo)檢測算法主要分為兩種:① Two-Stage目標(biāo)檢測算法,最具代表性的有R-CNN、Fast R-CNN、Faster R-CNN等;② One-Stage目標(biāo)檢測算法,最具代表性的有YOLO和單次多邊框檢測(SSD)等.將IYOLOX-s與其中部分算法進行性能對比,如表2 所示.可以看出算法IYOLOX-s對于道面冰雪狀態(tài)感知獲得了較好的效果,與Faster R-CNN相比,使得雪、雪漿、融雪、凍冰、濕冰、水6種冰雪狀態(tài)的φAP分別提高了8.13%、7.33%、10.99%、8.24%、8.96%、5.94%,ψmAP提高了8.26%,φmR提高了13.2%,檢測速度提高了5 幀/s,由于IYOLOX-s算法在速度、精度和召回率都比Faster R-CNN高,由此可見One-Stage目標(biāo)檢測算法更適合于道面冰雪狀態(tài)的感知;與SSD相比,使得6種冰雪狀態(tài)的φAP均有7%～12%不同程度的增幅,此外ψmAP提高了10.16%,φmR提高了15.11%,檢測速度提高了7 幀/s;與YOLOv5-s和YOLOX-s相比,雪的φAP分別提高了7.55%、6.04%,雪漿的φAP分別提高了6.12%、3.29%,融雪的φAP分別提高了9.81%、4.76%,凍冰的φAP分別提高了6.26%、4.70%,濕冰的φAP分別提高了8.13%、5.75%,水的φAP分別提高了5.06%、3.54%,ψmAP分別提高了7.15%、4.68%,φmR分別提高了10.83%、4.43%,但是檢測速度分別降低了2、1 幀/s,IYOLOX-s相較于YOLOX-s在損失1 幀/s的基礎(chǔ)上,ψmAP、φmR分別提高了4.68%、4.43%是可以接受的.此外,不同網(wǎng)絡(luò)模型訓(xùn)練結(jié)果對比如圖14所示.IYOLOX-s訓(xùn)練150次的ψmAP曲線均在另4種目標(biāo)檢測算法之上,可見IYOLOX-s算法在道面冰雪狀態(tài)感知中比其他主流目標(biāo)檢測算法有著一定的優(yōu)勢.

表2 不同網(wǎng)絡(luò)模型測試結(jié)果對比

圖14 不同網(wǎng)絡(luò)模型訓(xùn)練結(jié)果對比

3.3.2消融實驗結(jié)果及分析 消融實驗可以用來檢驗各種改進的有效性.為了驗證IYOLOX-s算法中各改進的有效性,將其分為5組進行訓(xùn)練測試.第1組(G1)為原始YOLOX-s算法,第2組(G2)為在主干特征提取網(wǎng)絡(luò)中添加GC block,第3組(G3)是在G2的基礎(chǔ)上將原始的加強特征提取網(wǎng)絡(luò)PANet改成BiFPN-s,第4組(G4)是在G3的基礎(chǔ)上引入ASFF結(jié)構(gòu),第5組是在G4的基礎(chǔ)上使用α-EIoU損失函數(shù).表3為5組消融實驗結(jié)果,表中“√”代表使用該改進方法,“×”代表不使用改進方法.在表3中,通過G2與G1相比較,在主干特征提取網(wǎng)絡(luò)中添加GC block,ψmAP、φmR分別提高了1.29%、1.10%,這是因為冰雪晶體狀態(tài)大小不一、形狀不同,且圖像中有相干斑噪聲干擾,影響CSPDarknet53主干網(wǎng)絡(luò)提取特征,通過加入GC block,實現(xiàn)對全局上下文的建模獲取全局信息,獲得更豐富的淺層和深層特征,使得感知效果變好;通過G3與G2相比較,使用BiFPN-s代替原始PANet-s,在輸入層與輸出層之間增加跳躍鏈接,使輸出層不僅可以得到自下而上已參與特征融合的信息,還可以保留原始節(jié)點未參與特征融合的信息,進一步加強特征提取,使得ψmAP、φmR分別提高了1.07%、1.11%;通過G4與G3相比較,在BiFPN-s得到的3個加強特征層中,大、小目標(biāo)分別在高層、底層被檢測到,因此引入ASFF結(jié)構(gòu),自適應(yīng)地學(xué)習(xí)各尺度特征映射融合的空間權(quán)重,通過學(xué)習(xí)權(quán)重參數(shù)將各層的特征融合到一起,使得ψmAP、φmR分別提高了1.08%、1.16%;通過G5與G4相比較,使用α-EIoU代替IoU更好地反映真實框與預(yù)測框的重合程度與遠近距離,進一步提高收斂速度,使得ψmAP、φmR分別提高了1.24%、1.06%,表明α-EIoU損失函數(shù)提高了感知精度.

3.3.3感知效果對比及分析 圖15和16分別為使用YOLOX-s和IYOLOX-s感知出來的結(jié)果.通過兩者的對比,可以看出對于雪、雪漿、融雪、凍冰、濕冰這5種冰雪晶體狀態(tài),YOLOX-s均存在1處漏檢,并且感知精度基本上都要比IYOLOX-s低,說明對于冰雪晶體狀態(tài)圖像而言,IYOLOX-s感知效果要優(yōu)于YOLOX-s感知效果.

圖15 YOLOX-s感知結(jié)果

4 結(jié)語

通過搭建跑道冰雪實驗平臺模擬冬季機場跑道環(huán)境,采集道面冰雪狀態(tài)微觀圖像,并根據(jù)冰雪狀態(tài)分類制作數(shù)據(jù)集.基于YOLOX-s提出IYOLOX-s模型,把GC block應(yīng)用到CSPDarknet53中,在保持精度的同時增強全局建模,減少計算量;使用BiFPN-s作為加強特征提取網(wǎng)絡(luò),保證較高推理速度前提下,提高感知精度;在BiFPN-s的基礎(chǔ)上引入ASFF結(jié)構(gòu),自適應(yīng)地學(xué)習(xí)空間權(quán)重參數(shù),讓特征更好地進行融合,提高了狀態(tài)感知準(zhǔn)確率;使用α-EIoU損失函數(shù),更好地反映預(yù)測框與真實框的重合度與遠近距離,提高收斂速度.實驗結(jié)果表明,使用IYOLOX-s模型,在每個冰雪狀態(tài)類別的感知都有較好的表現(xiàn),雪、雪漿、融雪、凍冰、濕冰、水6種狀態(tài)的精度分別提高了6.04%、3.29%、4.76%、4.70%、5.75%、3.54%,平均精度達到了91.53%,為新模式下保障冬季民航機場的安全高效運行提供決策依據(jù).

目前,機場跑道冰雪狀態(tài)感知依舊存在許多不足,如冰雪狀態(tài)圖像分類仍存在很大的細(xì)分空間;通過實驗平臺采集圖像,易受冰雪表面灰塵、道面凹凸不平以及不良光照干擾,對微觀冰雪結(jié)構(gòu)識別造成困難.以上問題需要對圖像進行有針對性的預(yù)處理,完成圖像增強和重建等工作.此外,改進后的感知模型相比改進前在檢測速度上略有下降,說明檢測速度還有提升空間,以上問題均是后續(xù)工作的重點研究方向.