基于深度學習的霧天夜間機場能見度預測方法

徐悅，袁寶璽，2，米辰，齊樂

（1.西京學院，陜西西安，710123；2.陜西省組合與智能導航重點實驗室，陜西西安，710100）

0 引言

能見度是反映大氣透明度的一個指標，具體定義為視力正常的人能從背景中識別出具有一定大小的目標物的最大距離。影響能見度的因子主要有大氣透明度、氣溶膠的化學成分、氣象因子等，當出現降雨、霧、霾、沙塵暴等天氣過程時，能見度較差。能見度與人們的日常生活息息相關，例如在航空領域，習慣用跑道能見度反映機場附近霧和霾的大小，夜間其定義為可見跑道邊燈的最大距離。一般情況下，當機場能見度只有400 m左右時，會禁止航班起降。能見度預測是高速公路管理部門和航空公司十分關注的問題。

當前階段，能見度預測有兩種主流方式。第一種方式是通過其他氣象要素的數值預報，并擬合能見度與這些要素的實時關系，通過間接預測的方式得到未來能見度的預測結果。張德山等[1]通過分析影響首都機場高速公路能見度的6種典型地面天氣形勢場, 確定大氣穩定度、低層水汽含量、低空大氣中懸浮顆粒物3個基本氣象要素作為預報因子,通過多項指標進行預測能見度。這類方法只能簡單的預測能見度的大致變化趨勢。第二種方法是將能見度的預測看作時間序列問題，并通過機器學習的方法進行時間序列預測。Debashree Dutta等[2]利用人工神經網絡（ANN）模型預測霧期間機場上空間可視性。方法僅使用過去的氣象數據作為輸入，并在計算過程中采用較少的物理先驗知識，這將大大簡化模型。相對的，這也會使得預測模型的可解釋性變差。

在統計學預測方法領域中，大量的機器學習方法被廣泛的應用，如支持向量機，隨機森林，樸素貝葉斯算法等。這些方法通過數據間的關系擬合完成預測。隨著深度學習的發展，特別是卷積神經網絡在圖像領域的廣泛應用，通過精確的圖像定位，我們可以得到更加接近人類觀察的實時的能見度預測結果。在文獻[12]中，我們通過使用目標檢測網絡YOLOv5(YOU ONLY LOOK ONCE V5)檢測白天霧天情況下的地標得到白天的能見度數值。本文將在文獻[12]的基礎上進一步研究基于深度學習的霧天夜間機場能見度預測方法。本文在使用Unet網絡從背景中分割出地標的基礎上，結合攝像機成像模型，提出一種基于深度學習的霧天夜間能見度預測方法，用檢測到的夜間地標遠近判斷能見度的大小。

1 基于U-net的霧天夜間機場能見度檢測過程

本文提出基于U-Net的霧天夜間機場能見度預測方法。首先建立訓練模型數據集，使用U-Net網絡對夜間機場數據集中的跑道燈進行分割,然后建立攝像機成像模型通過地標點和攝像機的位置信息計算出跑道燈的距離信息，最終根據能檢測到的最遠跑道燈的距離得到能見度數值。

1.1 數據集

選取某市機場大霧天氣下機場場景視頻，為了提高識別系統在不同時間段的檢測能力，從不同時間段機場視頻監控中分幀出6000張圖片作為實驗數據集，從圖1可以看到由于黑夜和濃霧的影響，地標很模糊。按照5:1的比例分為訓練集和測試集。如圖1所示為夜間機場數據集樣本圖像。圖中包含有霧黑夜背景，一個燈塔和數個目標跑道燈圖像。首先將6000張圖片使用 Labelme 工具進行人工標注，然后使用隨機裁剪、隨機縮放、隨機排布的方式進行拼接，得到增廣之后的數據集。mask文件中為二值圖像，只將圖像分為兩類，黑色為背景，白色為地標（本數據集中為燈塔和跑道燈）。

圖1 夜間機場數據集樣本

1.2 U-Net網絡

U-Net網絡由下采樣路徑和上采樣路徑組成，如圖2所示，網絡中多次重復卷積、Relu激活函數和max pooling等層。下采樣路徑每次經池化層變換后，特征通道數擴大一倍；上采樣路徑中首先使用反卷積，每次反卷積進行之后對特征通道的數量減半，特征圖大小增加一倍。在進行反卷積操作后將結果與對應的修剪過后特征圖進行拼接。對拼接后的特征圖進行2次卷積和Relu激活。最后用 1×1 的卷積層將64維通道特征圖映射到2維圖像上，最終獲得分割結果。

圖2 U-Net網絡

U-Net網絡模型中只有卷積層和池化層，沒有全連接層，網絡中較淺的高分辨率層與較深的層分別解決像素定位與分類問題，從而可以實現像素級別的分類分割。U-Net網絡的上下采樣所使用的卷積層數量是相同的，且使用skip connection結構將上下采樣層直接連接，這樣使得下采樣獲得的特征可以直接傳輸到上采樣層，這使得U-Net網絡的像素定位更加準確，分割精度更高。

1.3 能見度檢測方法

本文提出基于U-Net的霧天夜間機場能見度檢測方法主要包括兩部分，第一建立攝像機成像模型通過地標點和攝像機的位置信息計算出地標點距離信息，第二根據能檢測到的最遠地標點的距離得到能見度數值。

(1)攝像機成像模型

在相機成像模型中，將三維世界坐標系中的物體投影為二維圖像平面上的像素點，總共涉及四個坐標系和三次坐標系轉換，四大坐標系分別是世界坐標系(x w,y w,zw)相機坐標系(xc,y c,zc)、圖像坐標系(x,y)和像素坐標系(u,v)，圖像坐標系以圖像的中心為坐標原點，像素坐標系以圖像的左上角為坐標原點，具體的轉換過程如圖3所示。

圖3 坐標系轉換流程圖

(2)單目測算目標點與攝像機距離

單目測距算法的目的就是將單張圖像從二維坐標系轉換到三維坐標系，確定物體在世界坐標系中的位置，獲取物體的距離信息。本文利用檢測到的4個跑道燈作為控制點，通過跑道燈的世界坐標使用EPnP算法計算得到攝像機的三維坐標，從而最終得到攝像機和檢測到的各個地標之間的距離，最遠地標距離就是能見度。

首先結合上文所述的計算機成像模型，使用跑道燈在世界坐標系中的物理位置，已知4個跑道燈在世界坐標系中的三維坐標為:

在攝像頭采集到的二維圖像中，通過U-Net檢測跑道燈，在像平面中，跑道燈的坐標表示為:

其中n=4為跑道燈控制點的數量。

將跑道燈的世界坐標(xi,y i,zi)和在像平面中的坐標(x i,yi)作為EPnP算法的輸入，可以計算出攝像機的世界坐標，記為( x,y,z)。

因為跑道燈在世界坐標系中的坐標位置是已知的，因此我們可以使用三維坐標點的歐氏距離公式得到跑道燈相對于攝像機的距離：(3)式中的d就是我們需要求解的攝像機到各個目標的距離。最后我們將最遠地標距離就是作為此時的能見度。

2 實驗結果

將機場大霧天氣下機場數據集輸入基于U-Net的霧天夜間機場能見度檢測系統，輸出地標分割結果示例如圖5所示，然后擬合分割得到的每個地標外接框，如圖6所示，最后根據人工標注信息的外接框和本文算法檢測得到的外接框計算交并比（IOU）進而統計精確率和召回率。

圖4 機場大霧天氣實際拍攝圖，透過濃霧，人眼可以看到有9個跑道燈

圖5 分割結果

圖6 將分割結果擬合得到外接框，然后畫到原圖中和人工標注結果進行比較。紅色方框為本文算法檢測結果，青色邊框為人工標注結果的外接框

IOU的計算公式為：

精確率的計算公式為：

式中TP（True Positive）指正確檢測的正樣本數，FP（False Positive）指被錯誤的識別為正樣本的負樣本數。

召回率的公式為：

FN（False Negative）指被錯誤的識別為負樣本的正樣本數。使用算法檢測和人工標注的外接框的IoU作為判斷正樣本是否為得到正確檢測。本文設置IoU=0.5作為閾值，每50張圖片取平均得到精確率如圖7和圖8所示的精確率和召回率隨測試樣本變化圖示。

圖7 IoU=0.5時，地標檢測精確率統計，平均值為0.80

圖8 IoU=0.5時，地標檢測召回率統計，平均值為0.79

實驗結果表明本文的地標檢測算法平均準確率達到80%左右的情況下，能夠以79%的召回率檢測到霧天夜間機場的跑道燈。

3 結束語

本文首先使用在U-Net網絡的分割出夜間濃霧中的地標，然后建立攝像機成像模型計算出跑道燈距離信息，最終計算得到能見度數值。在夜間濃霧干擾下，本文的分割算法在檢測平均準確率達到80%左右的情況下，能夠以79%的召回率檢測到的霧天夜間地標，具有成本低、準確率高的優點，具有很大的推廣價值。