基于多尺度深度學習的航空影像路面交通標志辨識研究

劉巖

(南京理工大學, 計算機科學與工程學院, 江蘇, 南京 210094)

0 引言

隨著科技水平的快速發展,交通運輸也愈發便利,人們在選擇長途出行所乘坐的工具時,不僅限于地面,還包括安全系數高、用時短的航空設備。航空航天制造業技術[1]發展至今,不但為大規模人口移動提供了可靠工具,還為國防安全添磚加瓦,提升了國家競爭力。航空設備在駕駛途中準確辨識路面交通標志,有利于及時調整限速、了解路況改變,因此,提升航空影像路面交通標志的辨識能力,是當下社會的熱議話題。

陳朋弟等[2]通過高質量無人機采集300個路面交通標志,并組成路面交通標志數據集,然后以Mask R-CNN區域候選網絡為基礎,構建基于路面交通標志數據集的特征辨識模型,將平均精度算法代入特征辨識模型中修改特征初始參數,使模型內數據集所描述的路面交通標志辨識度提升,實現航空影像路面交通標志的辨識,該方法存在圖像清晰度低的問題。楊凱等[3]通過全景影像定位系統自動定位路面交通標志,并以RGB格式將定位獲取的路面交通標志存儲在HSV空間中,再利用形態學運算提取路面交通標志特征,并將路面交通標志特征輸入以HOG-LBP融合特征辨識函數為基礎構建的匹配最佳模型中,實現航空影像路面交通標志的辨識,該方法存在召回率低的問題。BOUGUEZZI等[4]提出了一種基于改進自正則激活函數SigmaH的交通標志識別方法。利用自正則非單調激活函數替換雙曲正切激活函數,以此獲得SigmaH。采用卷積塊注意模塊提取交通標志特征將三重態中心損失與Softmax激活函數結合作為損失函數,以最大化正確識別率,但是該方法存在召回率較低的問題。趙樹恩等[5]通過限制對比度直方圖均衡算法獲取航空影像路面交通標志基于色彩、飽和度、色明度的均衡化系數,并將均衡化系數代入膨脹卷積--VGG模型中,使路面交通標志的均衡化系數進一步分割,得到更為真實的圖像增強數據,實現航空影像路面交通標志的辨識,該方法存在準確率低的問題。

為了解決上述方法中存在的問題,提出基于多尺度深度學習的航空影像路面交通標志辨識方法。

1 航空影像路面交通標志圖像的采集和預處理

1.1 航空影像路面交通標志圖像的采集

辨識航空影像路面交通標志的第一步是利用攝像機采集路面交通標志圖像。采用12機位攝像機拍攝路面交通標志。12機位攝像機支持高清畫面輸出,可以全方位采集航空影像路面交通標志圖像,受環境因素影響較低,因此可以滿足航空影像路面交通標志辨識的精度要求。像機光圈與地面形成的夾角決定攝像機的光軸參數,路標拍攝場景如圖1所示。

圖1 路標拍攝場景示意圖

圖1中,r=10 m,i=30 m,α=50°,β=90°,根據路標拍攝場景所涉及的實景數據,可通過自動化測量方法推測攝像機光圈與地面形成的夾角度數。自動化測量方法的表達式如下:

(1)

航空影像路面交通標志主要分為警示、禁止及指示3種類型,且由于每種類型的路標位置不同,故攝像裝置在采集各類型的路面交通標志圖像時,攝像機光圈與地面所形成的夾角度數各不相同。以上述路標拍攝場景為例,在已知攝像機光圈與地面形成的夾角度數的前提下,可以利用夾角計算公式獲取攝像機基于該路面交通標志的光軸參數,以此達到成功采集路面交通標志圖像的目的。夾角計算公式的表達式如下:

(2)

式中,e表示夾角計算常數,u表示攝像機光軸參數的獲取率,m表示攝像機光軸參數的獲取誤差。

1.2 航空影像路面交通標志圖像的預處理

攝像機在采集航空影像路面交通標志圖像的過程中,常由于硬件設備問題或外界因素干擾而存在圖像采集結果粗糙、色彩飽和度低下等問題,為了提升路面交通標志圖像的清晰度,避免由于圖像失真或外界因素影像而導致后續航空影像路面交通標志辨識結果誤差,需要在辨識任務前,對航空影像路面交通標志圖像進行預處理。航空影像路面交通標志圖像預處理主要分為圖像顏色標準化處理[6]和圖像分量閾值化處理。

(1) 圖像顏色標準化處理

在路面交通標志圖像中,每種顏色都具有獨特的意義,想要從基數龐大的路標圖像中精確提取目標特征,需要充分考慮圖像色彩區域所涵蓋的語義信息。經過攝像機采集的路面交通標志圖像,其色彩區域所涵蓋的語義信息表達力下降,使圖像特征提取難度進一步提升,為了增加圖像特征的提取率,需要利用RGB三維空間分割方法處理采集到的路面交通標志圖像,從而獲取可操作性更強的色彩標準化圖像。

RGB三維空間分割方法處理路面交通標志圖像的具體過程如下:首先利用耦合函數提取路面交通標志圖像中全部色彩的標定值,考慮到路面交通標志圖像常見色彩構成為紅色、藍色、黃色和白色,因此在成功獲取基于路面交通標志圖像的色彩標定值后,將色彩標定值輸入顏色閾為紅色、藍色、黃色和白色的RGB三維空間模型內,該模型由27個標準色彩映射點組成,色彩標定值會根據智能群體算法[7]選取最適映射點,當所有色彩的標定值與對應映射點成功結合后,模型啟動色彩標準化方法,使路面交通標志圖像的顏色標準化。RGB三維空間模型的示意圖如圖2所示。

圖2 RGB三維空間模型示意圖

耦合函數的表達式如下:

(3)

式中,α表示耦合常數,β表示色彩標定值提取系數,d表示色彩標定值提取率,l表示色彩標定值提取誤差。

智能群體算法的表達式如下:

P=φij(xn-xm)dxdy

(4)

式中,φij表示智能群體常數,xn表示最適映射點選取系數,xm表示最適映射點選取誤差。

色彩標準化方法的表達式如下:

(5)

式中,λk表示色彩標準化常數,Sn表示路面交通標志圖像參數,z表示路面交通標志圖像的色彩標準化系數。

(2) 圖像分量閾值化處理

圖像分量閾值化處理是以顏色標準化處理結束的路面交通標志圖像為基礎,通過自適應圖像處理算法[6]獲取圖像分量值,并利用閾值化函數將圖像分量值閾值化,進而達到銳化圖像細節、提升圖像清晰度的目的。自適應圖像處理算法的表達式如下:

(6)

式中,v表示自適應圖像處理常數,C表示圖像分量值獲取系數,Tsr表示圖像分量值獲取誤差。

閾值化函數的表達式如下:

(7)

式中,ηn表示閾值化常數,ηm表示圖像分量值閾值化系數,φnm表示圖像分量值閾值化誤差。

2 基于多尺度深度學習的航空影像路面交通標志辨識

2.1 提取航空影像路面交通標志圖像特征

航空影像路面交通標志的辨識建立在圖像特征成功提取的基礎上,經過預處理的路面交通標志圖像無論是在圖像色彩飽和度方面還是圖像清晰度方面均表現出良好的特征提取性能,分別從顏色、紋理、形狀3個方向提取路面交通標志圖像的特征。

(1) 顏色特征提取

顏色特征是指參與構成路面交通標志圖像的主要色彩,從單一的色彩角度觀察路面交通標志圖像,能夠代表顏色特征的色彩在整幅圖像中具有標志性和整體性。提取路面交通標志圖像顏色特征的具體步驟如下:首先利用顏色直方圖函數構建基于路面交通標志圖像的顏色矩陣,然后利用概率密度函數規劃矩陣中心,要求中心矩位置滿足圖像灰度直方圖函數,當中心矩權重向量滿足二維空間下圖像灰度直方圖函數的非負階數時,顏色矩陣整體變量穩定,可以通過線性變換[8]提取基于路面交通標志圖像的顏色特征。顏色直方圖函數的表達式如下:

(8)

式中,F(w)表示顏色直方圖常數,g0表示顏色矩陣的權重,gτ表示顏色矩陣的構建系數。

概率密度函數的表達式如下:

(9)

式中,δ表示概率密度常數,tr表示矩陣中心規劃系數,f(r)表示矩陣中心規劃誤差。

圖像灰度直方圖函數的表達式如下:

L=t0x+ω0

(10)

式中,t0x表示圖像灰度直方圖常數,ω0表示圖像灰度直方圖的斜率。

線性變換的表達式如下:

(11)

式中,X1表示線性變換常數,X2表示顏色特征提取率,h表示顏色特征提取誤差。

(2) 紋理特征提取

紋理特征提取是指通過紋理特征提取算法[9]獲取路面交通標志圖像中反映灰度方向的差分值。常見的紋理特征提取算法包括結構方法、信號處理方法、幾何方法、模型方法和統計方法,其中統計方法是最常應用于路標圖像紋理特征提取的方法。

利用統計方法提取路面交通標志圖像的紋理特征的具體步驟為任取圖像中的任一點,設該點坐標為(α0,β0),則與該點坐標鄰近的另一點坐標為(αr,βr),視這兩點為一個計算單位,利用灰度聯合概率函數獲取基于兩點坐標的差分值,再重復此項操作,將多組差分值組合在一起,構成包含紋理特征統計量信息的灰度共生矩陣,最后在灰度共生矩陣中添加統計方法,實現路面交通標識圖像紋理特征的提取[10]。灰色聯合概率函數的表達式如下:

(12)

統計方法的表達式如下:

(13)

式中,uidm表示統計常數,γ表示灰度共生矩陣參數,vm表示圖像紋理特征提取系數。

(3) 形狀特征提取

路面交通標志圖像的形狀特征提取過程被詳細分為輪廓特征提取和區域特征提取兩部分,輪廓特征提取主要依靠Hough變換方法,區域特征提取主要依靠傅里葉輪廓描述法。Hough變換方法的表達式如下:

(14)

傅里葉輪廓描述法的表達式如下:

(15)

式中,θ表示傅里葉輪廓描述常數,a表示區域特征提取系數,b表示區域特征提取誤差。

2.2 基于多尺度深度學習的航空影像路面交通標志圖像特征聚類

以DAE網絡為基礎,結合EDFCC算法構建基于航空影像路面交通標志圖像特征的多尺度深度學習聚類模型。該聚類模型包括8層神經網絡結構,且每層神經網絡所包含的神經元數量不等,設第一層為α,則第二層為α+x1,第三層為α+x2,以此類推。根據標量原理推斷聚類模型中神經元數量的遞進關系,可知其滿足波段函數的曲線變化情況。標量原理的表達式如下:

(16)

波段函數的表達式如下:

(17)

將航空影像路面交通標志圖像特征輸入多尺度深度學習聚類模型中,模型聚類航空影像路面交通標志圖像特征的具體步驟如下:聚類模型會在接收到航空影像路面交通標志圖像特征的第一時間開啟模型內設像素點解碼器,使圖像特征能夠以像素點為單位逐層訓練,進而減少由于輸入數據的特征向量混亂,而導致最終獲取的圖像特征聚類結果誤差的問題。聚類模型的基礎框架為DAE網絡,該網絡與EDFCC算法結合后,保留了初始化網絡收斂能力,即當聚類模型接收到的航空影像路面交通標志圖像特征參數較大時,聚類模型會依靠DAE網絡的初始化收斂能力,約束每一層神經網絡結構的權重,使圖像特征參數較大的訓練數據能夠通過這種控制手段,降低運算成本,提升聚類精確度。EDFCC算法的表達式如下:

(18)

聚類模型輸出經過逐層訓練的航空影像路面交通標志圖像特征,實現航空影像路面交通標志圖像的聚類,根據模型輸出的聚類結果即可實現航空影像路面交通標志圖像的辨識。

3 實驗與結果

為了驗證基于多尺度深度學習的航空影像路面交通標志辨識研究的整體有效性,需要對其測試。

選擇4幅差異性較大的航空影像路面交通標志圖像作為試驗圖像,且依照每幅路標圖像準備300張相同樣式的圖像,組成以4幅航空影像路面交通標志圖像為首的4組數據集。將4組數據集混合在一起,構成樣本數量為1200幅的試驗數據集,選取該數據集的10%、30%和60%,重新組成路標圖像無序的3組試驗對象(試驗對象A、試驗對象B、試驗對象C)。

(1) 圖像清晰度

不同方法針對路面交通標志的辨識度主要與所采集的路面交通標志圖像的清晰度有關。不同方法基于路面交通標志圖像的采集方式不同,最終獲取的圖像清晰度也不同。采用不同方法采集4幅路面交通標志圖像,其圖像清晰度對比如圖3所示。

(A) 文獻[2]方法 (B) 文獻[3]方法

(C) 本文方法 (D) 文獻[4]方法圖3 不同方法采集4幅路面交通標志圖像的清晰度對比

由圖3可知,采用本文方法采集的路面交通標志圖像清晰度較高,說明所提方法的路面交通標志辨識度較高。采用文獻[2]方法、文獻[3]方法和文獻[4]方法采集的路面交通標志圖像清晰度較低,說明文獻[2]方法、文獻[3]方法和文獻[4]方法的路面交通標志辨識度較低。由此可見,本文方法針對航空影像路面交通標志的辨識性能明顯優于傳統方法。

在此基礎上,為了進一步驗證不同方法采集到的路面交通標志圖像是否清晰,比較了不同方法采集到的圖像信噪比,圖像信噪比越高,圖像越清晰,比較結果如表1所示。

表1 圖像信噪比

分析表1可知,文獻[2]方法的平均信噪比為36.3 dB,文獻[3]方法的平均信噪比為34.2 dB,文獻[4]方法的平均信噪比為41.1 dB,與這幾種方法相比,本文方法的信噪比為53.2 dB,說明本文方法采集到的路面交通標志圖像清晰度更高,可以為后續的航空影像路面交通標志辨識奠定堅實的基礎。

(2) 召回率

召回率計算公式如下:

(19)

式中,tp表示辨識正確的正例,fn表示辨識正確的負例。

分別采用本文方法、文獻[2]方法、文獻[3]方法、文獻[4]方法辨識3組試驗對象的航空影像路面標志圖像,將不同方法的辨識結果輸入上述召回率計算公式中,不同方法的召回率如圖4所示。

圖4 不同方法的召回率

由圖4可見,本文方法基于3組試驗對象的召回率均不低于90%,說明本文方法在面對任意數量的航空影像路面交通標志圖像時,均能保持良好的辨識能力,即本文方法針對航空路面交通標志圖像的辨識能力較強。這是因為本文方法以DAE網絡為基礎,結合EDFCC算法構建基于航空影像路面交通標志圖像特征的多尺度深度學習聚類模型,并將經過預處理及特征提取的航空影像路面交通標識圖像輸入該模型中,根據圖像特征的聚類結果實現航空影像路面交通標志圖像的辨識。文獻[2]方法、文獻[3]方法、文獻[4]方法的召回率分別低于50%、80%、84%,說明文獻[2]方法、文獻[3]方法、文獻[4]方法在面對任意數量的航空影像路面交通標志圖像時,二者的圖像辨識能力均較差,即文獻[2]方法、文獻[3]方法、文獻[4]方法針對航空路面交通標志圖像的辨識能力較差。經上述對比可知,本文方法針對航空影像路面交通標志的辨識能力明顯優于傳統方法。

(3) 準確率

準確率的計算公式如下:

(20)

式中,tp表示辨識正確的正例,tn表示辨識錯誤的負例,fp表示辨識錯誤的正例,fn表示辨識正確的負例。

分別采用本文方法、文獻[2]方法、文獻[3]方法和文獻[4]方法辨識3組試驗對象的航空影像路面標志圖像,將不同方法的辨識結果輸入上述準確率計算公式中,不同方法的準確率如圖5所示。

圖5 不同方法的準確率

由圖5可見,本文方法基于3組試驗對象的召回率均不低于90%,說明本文方法在面對任意數量的航空影像路面交通標志圖像時,其辨識能力均較強。文獻[2]方法和文獻[3]方法、文獻[4]方法的召回率分別低于40%、60%、80%,說明文獻[2]方法和文獻[3]方法、文獻[4]方法在面對任意數量的航空影像路面交通標志圖像時,二者的辨識能力較差。經上述對比,進一步驗證了本文方法針對航空影像路面交通標志圖像的辨識性能更強。

4 總結

交通行駛安全的提升有助于家庭乃至社會的穩定,航空技術作為信息化時代背景下的常用交通設備,其駕駛過程中能否有效辨識路面交通標志圖像,是影響航班行駛安全的重要因素之一,為了提高航空影像路面交通標志圖像的辨識能力,提出基于多尺度深度學習的航空影像路面交通標志辨識研究的方法。如何在保證航空影像路面交通標志辨識性能的同時,縮減路面交通標志圖像的識別時間,是研究人員下一步工作的重點。