基于U-ResNet的機(jī)場(chǎng)視頻圖像能見(jiàn)度檢測(cè)

王興隆，陳仔燕

(中國(guó)民航大學(xué)空中交通管理學(xué)院，天津 300300)

1 引言

隨著我國(guó)高速路網(wǎng)、航空領(lǐng)域的不斷發(fā)展，國(guó)家對(duì)于保障人民正常出行、安全出行的需求日益激增，為了更好地保障人民的生命財(cái)產(chǎn)安全，保證人們的正常交通出行，對(duì)于能見(jiàn)度檢測(cè)的研究成為了保證高速公路安全行車、航班正常起降不可或缺的一環(huán)。目前能見(jiàn)度檢測(cè)的主要方法有傳統(tǒng)檢測(cè)方法、基于場(chǎng)景深度的方法和基于深度學(xué)習(xí)的方法，所采用的圖像數(shù)據(jù)，主要來(lái)源于相機(jī)或視頻獲取到的圖像。

采用傳統(tǒng)的圖像處理或機(jī)器學(xué)習(xí)等方法進(jìn)行能見(jiàn)度檢測(cè)近年來(lái)有不少進(jìn)展。例如，姚鎮(zhèn)海等人[1]將高速公路視頻圖像利用圖像灰度值均方差與能見(jiàn)度觀測(cè)值建立計(jì)算模型。孟穎等人[2]將監(jiān)控視頻幀轉(zhuǎn)為灰度圖像并結(jié)合自適應(yīng)導(dǎo)向?yàn)V波算法和四叉樹(shù)圖像分割算法，提取圖像中的空氣透射率及大氣光值等特征參數(shù)，然后依據(jù)設(shè)備與物的實(shí)際距離等估測(cè)能見(jiàn)度。郜婧婧等人[3]利用高速公路視頻數(shù)據(jù)，采用霍夫變換提取道路興趣域，根據(jù)亮度對(duì)比檢測(cè)人眼可分辨最遠(yuǎn)像素點(diǎn)作為標(biāo)點(diǎn)，最后基于暗原色先驗(yàn)原理求取目標(biāo)點(diǎn)的透色率，以此得到能見(jiàn)度值。張瓊雄等人[4]先是利用Canny算子提取圖像的邊緣信息特征，然后利用基于邊緣存量的神經(jīng)網(wǎng)絡(luò)進(jìn)行能見(jiàn)度的檢測(cè)，平均誤差為9.6%。雖然傳統(tǒng)的圖像處理和機(jī)器學(xué)習(xí)等方法，對(duì)于特定場(chǎng)景的能見(jiàn)度檢測(cè)有一定的效果，但泛化性較差，不能滿足實(shí)際應(yīng)用需求。

若已知拍攝相機(jī)或圖像內(nèi)物體位置等數(shù)據(jù)時(shí)，可用基于景深等方法對(duì)能見(jiàn)度進(jìn)行檢測(cè)。例如，周凱等人[5]利用暗通道估計(jì)大氣透射率并計(jì)算景深信息，再結(jié)合最小圖像熵計(jì)算得出能見(jiàn)度值。徐敏等人[6]首先對(duì)圖像進(jìn)行特征提取、閾值分割和形態(tài)學(xué)處理，然后利用大氣退化模型和暗通道原理估計(jì)透射率，再利用同一場(chǎng)景不同角度兩幅圖像的像素突變點(diǎn)和攝像機(jī)內(nèi)部參數(shù)估計(jì)景深得到大氣消光系數(shù)，以此估計(jì)圖像的能見(jiàn)度。基于景深的方法與相機(jī)的位置或圖像中物體的位置有著明確的依賴關(guān)系(依賴攝像機(jī)內(nèi)部參數(shù)等)，計(jì)算起來(lái)也相當(dāng)復(fù)雜，且不利于場(chǎng)景轉(zhuǎn)換的能見(jiàn)度檢測(cè)。而且大部分設(shè)備(例如激光能見(jiàn)度儀)存在檢測(cè)能見(jiàn)度方面對(duì)團(tuán)霧檢測(cè)精度不高、檢測(cè)范圍小、覆蓋成本高的問(wèn)題。

近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)[7-11]已經(jīng)成功地應(yīng)用于圖像識(shí)別、目標(biāo)檢測(cè)、語(yǔ)音識(shí)別、機(jī)器翻譯、自動(dòng)汽車駕駛、目標(biāo)追蹤和生物信息學(xué)等多個(gè)領(lǐng)域[12]，越來(lái)越多的研究人員開(kāi)始認(rèn)識(shí)到深度學(xué)習(xí)的強(qiáng)大性能和優(yōu)勢(shì)。例如，厙向陽(yáng)等人[13]基于改進(jìn)的殘差網(wǎng)絡(luò)(Residual Network，ResNet)對(duì)小型車輛目標(biāo)進(jìn)行檢測(cè)，并表現(xiàn)出了良好效果。但是，國(guó)內(nèi)外學(xué)者較少地將深度學(xué)習(xí)應(yīng)用于機(jī)場(chǎng)能見(jiàn)度檢測(cè)。

為了解決傳統(tǒng)方法泛化性差、場(chǎng)景深度計(jì)算方法的設(shè)備費(fèi)用高等問(wèn)題，和利用深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)大學(xué)習(xí)能力，本文基于氣象光學(xué)視程提出了一種基于U型深度殘差網(wǎng)絡(luò)(U-ResNet)的機(jī)場(chǎng)能見(jiàn)度檢測(cè)模型。U型網(wǎng)絡(luò)可以有效融合圖像的不同尺度的特征信息圖。ResNet不僅能夠加速超深神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，而且可以大幅提升深度網(wǎng)絡(luò)的準(zhǔn)確率[12]。本文利用U-ResNet得到帶有能見(jiàn)度信息的特征圖，再與Koschmieder定律相結(jié)合計(jì)算能見(jiàn)度值。這種方法能夠?qū)⑸疃葘W(xué)習(xí)模型與理論定律方法有效地結(jié)合起來(lái)，提高能見(jiàn)度檢測(cè)的準(zhǔn)確率。利用機(jī)場(chǎng)視頻圖像數(shù)據(jù)多次迭代訓(xùn)練模型后得到一個(gè)良好的能見(jiàn)度檢測(cè)模型。最后，將該模型用于自定義的視頻圖像上進(jìn)行機(jī)場(chǎng)能見(jiàn)度的檢測(cè)，取得了不錯(cuò)的效果。

2 相關(guān)理論與方法

2.1 能見(jiàn)度檢測(cè)原理

氣象光學(xué)視程(Meteorological Optical Range，MOR)是指色溫為2700K的白熾燈發(fā)出的平行光束的光通量在大氣中衰減降低到它起始值的5%的距離[14]，并且MOR可以根據(jù)Koschmieder定律[15]計(jì)算得到。Koschmieder定律如下

F=F0e-σz

(1)

式中，F(xiàn)為背景于目標(biāo)物體的相對(duì)亮度差，以此體現(xiàn)觀測(cè)的光照強(qiáng)度。F0表示入射的光照強(qiáng)度，為常數(shù)。σ為衰減系數(shù)，與霧的厚度有關(guān)。σ越大，表示霧越濃。z為觀測(cè)員距離目標(biāo)物的距離，可表示為MOR。則

(2)

由此可見(jiàn)，MOR的估計(jì)關(guān)鍵在于求得衰減系數(shù)σ。

2.2 U型網(wǎng)絡(luò)

U型網(wǎng)絡(luò)(U Network，U-Net)[16]是比較早使用全卷積網(wǎng)絡(luò)進(jìn)行語(yǔ)義分割的算法之一。U取自于該模型包含壓縮路徑和擴(kuò)展路徑的對(duì)稱U形結(jié)構(gòu)，如圖1所示。

圖1 U型網(wǎng)絡(luò)架構(gòu)[16]

網(wǎng)絡(luò)輸入一張572×572的圖像，輸出為388×388的分割結(jié)果圖。具體地，輸入圖像經(jīng)過(guò)多層下采樣卷積模塊得到尺度為28×28的特征圖，然后由多層上采樣反卷積模塊恢復(fù)圖像特征維度的同時(shí)提取特征信息。圖中灰色箭頭稱為跳躍連接(Skip Connection)，每次下采樣都會(huì)有一個(gè)跳躍連接與對(duì)應(yīng)的上采樣進(jìn)行級(jí)聯(lián)，這種不同尺度的特征融合對(duì)上采樣恢復(fù)像素大有幫助。原因是高層(淺層)下采樣倍數(shù)小，特征圖具備更加細(xì)致的圖特征，底層(深層)下采樣倍數(shù)大，信息經(jīng)過(guò)大量濃縮，空間損失大，但有助于目標(biāo)區(qū)域判斷，當(dāng)高層與底層的特征進(jìn)行融合時(shí)，感受野效果往往會(huì)非常好。因此，結(jié)合U-Net網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)勢(shì)，設(shè)計(jì)本文模型最后輸出帶有能見(jiàn)度信息的特征圖。

2.3 殘差網(wǎng)絡(luò)

殘差網(wǎng)絡(luò)(ResNet)由何愷明等人[11]在2015年提出，ResNet的基本組成部件為殘差單元(ResNet Unit)，解決了過(guò)擬合、梯度爆炸或消失等一系列深度學(xué)習(xí)重要問(wèn)題，影響至今。

圖2 殘差單元

如圖2所示，ResNet Unit分為兩類，但都由卷積(Convolution，Conv)核、批處理歸一化(Batch Normalization，BN)和線性整流函數(shù)(Rectified Linear Unit，ReLU)堆疊而成。設(shè)第n個(gè)ResNet Unit的輸入為xn，則當(dāng)前ResNet Unit的輸出xn+1由式(3)計(jì)算得到：

xn+1=f(F(xn，Wn)+xn)

(3)

其中，F(xiàn)(xn，Wn)為殘差函數(shù)；Wn是F(xn，Wn)對(duì)應(yīng)的權(quán)值參數(shù)；f(·)是非線性激活函數(shù)ReLU。對(duì)于圖像深層特征的提取與保留，ResNet有著非常好的效果。

3 U-ResNet

3.1 基本思想

對(duì)于能見(jiàn)度檢測(cè)問(wèn)題，由于傳統(tǒng)的圖像處理和機(jī)器學(xué)習(xí)等方法的泛化性差，和場(chǎng)景深度計(jì)算方法的設(shè)備費(fèi)用高等問(wèn)題，本文提出了一種簡(jiǎn)單而有效的U型殘差網(wǎng)絡(luò)模型(U-ResNet)模型用于機(jī)場(chǎng)視頻圖像的能見(jiàn)度檢測(cè)。如圖3所示，U-ResNet減少了原有U-Net網(wǎng)絡(luò)中過(guò)多的上、下采樣，并在提取特征保持維度的部分采用ResNet的殘差模塊，通過(guò)殘差學(xué)習(xí)模塊避免卷積神經(jīng)網(wǎng)絡(luò)過(guò)深而導(dǎo)致模型退化問(wèn)題，從而尋求最優(yōu)的深度卷積神經(jīng)網(wǎng)絡(luò)模型。U-ResNet輸出的是帶有能見(jiàn)度信息的特征圖，再與Koschmieder定律相結(jié)合即可計(jì)算得到MOR。

圖3 U-ResNet網(wǎng)絡(luò)結(jié)構(gòu)

3.2 網(wǎng)絡(luò)架構(gòu)

能見(jiàn)度檢測(cè)屬于回歸性任務(wù)，而U-Net主要用于圖像分割，ResNet被用作目標(biāo)分類、檢測(cè)等任務(wù)圖像特征提取的骨干網(wǎng)絡(luò)，Koschmieder定律是被大家認(rèn)可的用于計(jì)算MOR的理論方法，本文所提出的U-ResNet模型有效地將這4者融合到了一起。總的來(lái)說(shuō)，本文以U-Net為基礎(chǔ)框架進(jìn)行改進(jìn)對(duì)機(jī)場(chǎng)視頻圖像進(jìn)行下采樣和上采樣(逆卷積，Transposed Convolution，ConvT)提取圖像特征和輸出帶有能見(jiàn)度信息的特征圖；網(wǎng)絡(luò)深層圖像特征提取部分采用了5個(gè)ResNet Unit，用于深入挖掘圖像中各種特征信息。ResNet Unit中以跳躍特征層的方式連接不同感受野的特征圖，這樣可以簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)并更加均勻化，從幾何角度理解就是設(shè)計(jì)了一個(gè)更為優(yōu)化的平直的流行，使得網(wǎng)絡(luò)收斂性更好，從而能夠避免網(wǎng)絡(luò)優(yōu)化時(shí)發(fā)生退化和爆炸等問(wèn)題；此外，5個(gè)堆疊式的ResNet Unit設(shè)計(jì)，可以線性增強(qiáng)網(wǎng)絡(luò)提取到的特征信息；U-ResNet輸出帶有能見(jiàn)度信息的特征圖，并采用平均池化(Average Pooling)方法得到σ為衰減系數(shù)，最后根據(jù)Koschmieder定律可以計(jì)算得到機(jī)場(chǎng)的氣象光學(xué)視程(MOR)。U-ResNet是有較強(qiáng)學(xué)習(xí)能力的全卷積網(wǎng)絡(luò)和公認(rèn)的Koschmieder定律的有效結(jié)合，可以根據(jù)不同場(chǎng)景的視頻圖像數(shù)據(jù)學(xué)習(xí)到不同的網(wǎng)絡(luò)參數(shù)，可以實(shí)現(xiàn)端到端學(xué)習(xí)，該網(wǎng)絡(luò)泛化性強(qiáng)，成本低，不依賴高精度的相機(jī)設(shè)備。

表1 U-ResNet詳細(xì)信息

U-ResNet模型架構(gòu)細(xì)節(jié)如表1所示。首先，將原始圖片大小為1280×720的灰度圖像，轉(zhuǎn)換成224×224維度的RGB圖像。將圖像的輸入像素點(diǎn)作為矩陣的元素，可以構(gòu)建一個(gè)224×224的矩陣T(i，j)，i，j=1，2，…，224。再將待處理圖像經(jīng)過(guò)Conv卷積模塊得到64張112×112維度的特征圖。通過(guò)最大池化(Max Pooling)將特征圖維度壓縮到56×56。然后，經(jīng)過(guò)下采樣得到的特征圖作為ResNet的輸入，ResNet由5個(gè)相同的殘差單元(ResNet Unit)組成。ResNet Unit中Conv1-5卷積核大小均為3×3，采用ReLU作為非線性激活函數(shù)。ResNet的輸出經(jīng)過(guò)兩次反卷積模塊ConvT1和Conv2，64個(gè)特征圖維度會(huì)恢復(fù)到224×224，并且再利用Conv6卷積模塊進(jìn)行特征的保留與提取。最后，維度為224×224×64的特征圖被Conv7卷積模塊提取特征并壓縮成1×1×1帶有能見(jiàn)度信息的特征圖。通過(guò)帶有能見(jiàn)度信息的特征圖F，定義如下公式可求得衰減系數(shù)σ

(4)

再根據(jù)式(2)可以計(jì)算得到MOR的能見(jiàn)度估計(jì)值MOR′。U-ResNet網(wǎng)絡(luò)的損失函數(shù)采用MOR′與真實(shí)值MOR差值的絕對(duì)值，如式(5)所示。以降低損失函數(shù)值為目的，優(yōu)化器選擇Adam[17]，通過(guò)梯度下降來(lái)不斷優(yōu)化模型參數(shù)，使模型估計(jì)越來(lái)越準(zhǔn)確。

(5)

其中，n為一批圖像數(shù)量(Batch Size)。

3.3 度量指標(biāo)

機(jī)場(chǎng)能見(jiàn)度檢測(cè)估計(jì)屬于回歸任務(wù)，為了驗(yàn)證模型得到的能見(jiàn)度估計(jì)值的精度，本文采用決定系數(shù)R2作為評(píng)估能見(jiàn)度精度的度量指標(biāo)，來(lái)判斷U-ResNet的能見(jiàn)度檢測(cè)估計(jì)值與真實(shí)值的擬合程度，如式(6)所示。

(6)

此外，本文仍采用平均相對(duì)誤差ε來(lái)體現(xiàn)U-ResNet對(duì)于機(jī)場(chǎng)能見(jiàn)度檢測(cè)估計(jì)的好壞情況，如式(7)所示。

(7)

其中，N為機(jī)場(chǎng)視頻圖像樣本的總數(shù)量。ε值越小說(shuō)明U-ResNet的能見(jiàn)度檢測(cè)結(jié)果越接近真實(shí)值。

4 實(shí)驗(yàn)結(jié)果與分析

本文在一個(gè)機(jī)場(chǎng)視頻數(shù)據(jù)集上對(duì)所提出的U-ResNet模型的性能進(jìn)行了實(shí)驗(yàn)評(píng)估。首先給出了數(shù)據(jù)集的介紹，然后提供了模型的實(shí)驗(yàn)設(shè)置等情況，最后利用度量指標(biāo)來(lái)衡量模型的實(shí)驗(yàn)結(jié)果。

4.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本文所使用的視頻數(shù)據(jù)是某機(jī)場(chǎng)利用R06氣象觀測(cè)站架設(shè)的高清視頻監(jiān)控設(shè)備在霧天天氣所采集到的，時(shí)間為2020年3月13日00：00：26開(kāi)始至11：47：48。由于07：59：45后沒(méi)有標(biāo)簽(沒(méi)有MOR真實(shí)值)，本文將2020年3月13日00：00至07：59時(shí)間段的數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)。首先，將機(jī)場(chǎng)視頻提取為一幀一幀的圖像。然后，本文將這個(gè)時(shí)間段的圖像數(shù)據(jù)按照8：2比例分為訓(xùn)練集和測(cè)試集，采用式(5)優(yōu)化模型，使用決定系數(shù)R2驗(yàn)證模型并保留最優(yōu)的模型參數(shù)。具體數(shù)據(jù)集劃分情況如表2所示。實(shí)驗(yàn)參數(shù)設(shè)置如表3所示。實(shí)驗(yàn)環(huán)境如表4所示。

表2 實(shí)驗(yàn)數(shù)據(jù)劃分情況

表3 實(shí)驗(yàn)參數(shù)設(shè)置

表4 實(shí)驗(yàn)環(huán)境

4.2 機(jī)場(chǎng)能見(jiàn)度檢測(cè)結(jié)果與分析

經(jīng)過(guò)視頻取幀處理后，本文選取北京時(shí)間2020年3月13日0：00至3月13日7：59的1474張機(jī)場(chǎng)視頻圖像作為訓(xùn)練集樣本，369張作為測(cè)試集樣本，對(duì)基于視頻數(shù)據(jù)的U-ResNet模型進(jìn)行訓(xùn)練和測(cè)試。U-ResNet網(wǎng)絡(luò)訓(xùn)練過(guò)程的損失函數(shù)loss值如圖4所示。

由圖4可知，損失函數(shù)loss值隨著迭代次數(shù)逐漸減小，偶爾存在少許的波動(dòng)。損失值逐漸減小的趨勢(shì)表明U-ResNet模型在不斷優(yōu)化。如圖5所示，是U-ResNet對(duì)于測(cè)試集機(jī)場(chǎng)能見(jiàn)度檢測(cè)的衰減系數(shù)σ值。如圖6所示，是MOR真實(shí)標(biāo)簽值與U-ResNet檢測(cè)估計(jì)值的對(duì)比。

圖4 U-ResNet訓(xùn)練時(shí)的loss值

圖5 測(cè)試集的衰減系數(shù)σ

圖6 MOR真實(shí)標(biāo)簽值與U-ResNet檢測(cè)估計(jì)值

由圖5、6分析可知，基于U-ResNet模型機(jī)場(chǎng)能見(jiàn)度的估計(jì)值與樣本數(shù)據(jù)真實(shí)值變化趨勢(shì)一致且偏差很小，并且衰減系數(shù)σ的變化趨勢(shì)與能見(jiàn)度的估計(jì)值和真實(shí)值的趨勢(shì)相一致，σ的變化趨勢(shì)滿足Koschmieder定律。由此可以說(shuō)明基于視頻數(shù)據(jù)的U-ResNet模型的能見(jiàn)度估計(jì)的效果趨勢(shì)是可靠的。為了驗(yàn)證U-ResNet模型估計(jì)的能見(jiàn)度精度情況，本文對(duì)測(cè)試集計(jì)算了決定系數(shù)R2和平均相對(duì)誤差ε，結(jié)果如表4所示。

表5 U-ResNet能見(jiàn)度估計(jì)的度量指標(biāo)

決定系數(shù)R2值在0.98左右，平均相對(duì)誤差ε在0.08，說(shuō)明U-ResNet對(duì)于機(jī)場(chǎng)能見(jiàn)度檢測(cè)估計(jì)值與真實(shí)標(biāo)簽值非常接近，體現(xiàn)出了模型精度的優(yōu)異性能。此外，本文隨機(jī)選取了6張MOR不同檔次(1600、1000、900、500、450、40)的機(jī)場(chǎng)視頻圖像，并用訓(xùn)練好的U-ResNet模型輸出帶有能見(jiàn)度信息特征圖，如圖7所示。

圖7 帶有能見(jiàn)度信息的特征圖可視化

由圖7可知，隨著時(shí)間的推移，能見(jiàn)度越來(lái)越低。第一張圖中可以看到機(jī)場(chǎng)信號(hào)塔柱的輪廓，隨著能見(jiàn)度加重，能見(jiàn)度則越來(lái)越低，物體的輪廓也越來(lái)越模糊。此外，隨著時(shí)間的推移，圖中黑色的陰影部分越來(lái)越大，在原圖中對(duì)應(yīng)著時(shí)間的位置，說(shuō)明U-ResNet模型能夠感知到時(shí)間與能見(jiàn)度信息的相關(guān)變化，綜合了圖像能見(jiàn)度信息特征和時(shí)間序列信息的多模態(tài)信息特征。

5 結(jié)論

本文提出了基于U-ResNet的機(jī)場(chǎng)視頻圖像能見(jiàn)度檢測(cè)模型，避免了傳統(tǒng)方法和場(chǎng)景深度方法所帶來(lái)的泛化性差、精度不高、成本較高等問(wèn)題，并且能夠有效解決從視頻圖像數(shù)據(jù)到氣象光學(xué)視程(MOR)不同模態(tài)結(jié)合的端到端學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，本文所提模型在跨度較大的MOR情況下有較好的檢測(cè)估計(jì)表現(xiàn)，帶有能見(jiàn)度信息的特征圖、衰減系數(shù)估計(jì)值等體也現(xiàn)出了U-ResNet模型中間環(huán)節(jié)的性能情況。