戶外天氣狀況分類識別①

史 靜, 朱 虹, 韓 勇

(西安理工大學(xué) 自動化與信息工程學(xué)院,西安 710048)

用天氣預(yù)報來獲得天氣狀態(tài)的模式已經(jīng)被大家熟知并廣泛應(yīng)用. 但是,對于視頻監(jiān)控領(lǐng)域,如果需要24小時全天候的室外監(jiān)控系統(tǒng),利用圖像畫面自動判斷天氣狀況,是一個必須面對的問題. 然而,由于監(jiān)控場景的景物豐富性,使得天氣變化在畫面上呈現(xiàn)的信息很弱,這就使得基于圖像來進(jìn)行天氣狀態(tài)的估計[1-5]成為難點(diǎn)問題.

文獻(xiàn)[1]通過提取圖像中天空,陰影,反光,對比度,霧等特征,然后利用一種投票機(jī)制完成對天氣狀況的分類估計; 文獻(xiàn)[2]通過提取圖像的功率譜斜率特征,對比度特征,噪聲特征,飽和度特征進(jìn)行訓(xùn)練,實(shí)現(xiàn)對天氣狀況的分類估計. 文獻(xiàn)[3]利用HSI顏色直方圖等特征,識別輔助駕駛系統(tǒng)中的晴天和雨天的天氣狀態(tài). 文獻(xiàn)[4]利用圖像的天空,陰影,雨,雪的特征對陰晴雨雪四類天氣進(jìn)行分類.

這些方法不是應(yīng)用領(lǐng)域有所局限,就是在提取特征方面較為復(fù)雜[6,7],鑒于此本文利用詞袋模型和空間金字塔匹配對圖像的天氣狀態(tài)進(jìn)行判別.

首先,采用SIFT特征[8]描述子提取特征,并且對其采用K-Means聚類構(gòu)建詞袋模型的字典,再用字典對每一個圖像進(jìn)行量化形成字典原子[9,10]的統(tǒng)計直方圖.然后,通過空間金子塔匹配模型[11,12]分層統(tǒng)計每一個子塊的字典原子的統(tǒng)計直方圖,最后將利用空間金字塔匹配模型生成的特征作為圖像的特征訓(xùn)練和測試分類器. 其處理流程如圖1所示.

圖1 圖像分類流程圖

1 天氣狀態(tài)識別的詞包模型

用于天氣狀態(tài)分類識別的詞包模型[13]的構(gòu)建,主要分為特征提取,視覺詞典的構(gòu)造,圖像的詞典結(jié)構(gòu)描述,空間金字塔的匹配幾個方面.

1.1 特征提取

晴天相比于陰天,在畫面上呈現(xiàn)的視覺特性是明亮、清晰. 考慮大場景的多樣性,本文采用了具有平移、旋轉(zhuǎn)、縮放、甚至仿射變換保持不變性的圖像SIFT特征. 如圖2所示,是對一幅圖像提取SIFT特征的示例. 圖(b)標(biāo)出了SIFT特征的位置、方向和大小,圖中箭頭的長度表示大小,箭頭為方向,箭頭的起點(diǎn)為特征位置.

圖2 圖像的SIFT特征示例

1.2 視覺詞典的構(gòu)造

將每一個SIFT特征描述子看做詞匯,借助KMeans聚類算法將詞義相近的詞匯進(jìn)行合并. 首先,從訓(xùn)練樣本中隨機(jī)選出一部分圖像,對其SIFT特征描述子進(jìn)行聚類,聚類中心作為字典原子,組成視覺詞典.因為這里的聚類中心是構(gòu)建詞典的字典原子,所以,聚類的類別數(shù)越多,則表明字典越豐富. 綜合考慮對場景特征的表達(dá)能力,本文設(shè)置的聚類類別數(shù)為200.

1.3 圖像的詞典結(jié)構(gòu)描述

圖像的詞典結(jié)構(gòu)描述就是求取圖像的每個字典原子的統(tǒng)計直方圖,一般該直方圖是詞典中的用詞頻次構(gòu)成,為了更加細(xì)致地表述詞典原子的影響程度,本文提出了一種基于最小二乘的詞典原子影響程度統(tǒng)計方法,具體描述如下.

設(shè)D=[d1,d2,···,dm]是n×m的矩陣,列向量di為第i個n維的字典原子.s是一個SIFTn維的描述子,x為m的列向量,表示每一個字典原子di對該SIFT特征描述子的影響程度,則：

為了選取最合適的x讓式(1)成立,引入殘差平方和函數(shù)E：

如果矩陣DTD非奇異則x有唯一解：

對于一幅圖像的SIFT特征描述子的集合S={s1,s2,···,sk}來說經(jīng)過上述運(yùn)算可得到x1,x2,···,xk的一組字典表示系數(shù),則該幅圖像的量化直方圖X為：

1.4 空間金字塔匹配

為了彌補(bǔ)BOF模型中圖像空間信息的不足的缺點(diǎn)而引入金字塔匹配,金字塔匹配是為了獲得多尺度的圖像詞典結(jié)構(gòu)特征.

首先,對圖像求取SIFT特征,然后對SIFT特征圖像進(jìn)行尺度劃分,將圖像劃分為0,…,L個尺度,如圖3所示,將圖像分為3個尺度level 0,level 1,level 2. 這里我們將圖像的尺度l下的圖像劃分稱為劃分為2l-1×2l-1的子圖像塊. 那么對于圖3我們將會將將圖像依次分為1,4,16個圖像子塊,再對每一個圖像塊我們將會依據(jù)上述利用圖像的詞典結(jié)構(gòu)描述得到圖像塊的量化直方圖,那么我們將會得到 2l-1×2l-1個直方圖.然后將每一個尺度下的所有直方圖拼接成一個直方圖,由于不同尺度對于圖像描述的貢獻(xiàn)不同,不同尺度下我們將賦予不同的權(quán)值,顯然大尺度的權(quán)重小,而小尺度的權(quán)重大,因此定義權(quán)重為這樣我們在進(jìn)行圖像各個尺度下的直方圖拼接是對于不同的尺度圖像塊乘以相應(yīng)的權(quán)重. 最后將得到的這個拼接的直方圖就稱為金字塔特征.

圖3 空間金字塔特征

2 天氣狀態(tài)識別分類器的設(shè)計

鑒于支持向量機(jī)(SVM)[14]在解決小樣本非線性及高維模式識別問題中所表現(xiàn)出的特有優(yōu)勢,本文采用了SVM分類器和隨機(jī)森林分類進(jìn)行分類融合[15],完成對天氣狀況的分類識別.

對文獻(xiàn)[1]中數(shù)據(jù)庫的2000個測試樣本,有978個落在支持向量之間,而其中有304個是錯分類的樣本.為此,對小置信樣本的再處理,是提高識別準(zhǔn)確率的有效手段.

本文對第一次分類的結(jié)果,采用隨機(jī)森林進(jìn)行二次分類. 進(jìn)行二次分類后錯誤樣本數(shù)從336個降到了314個,識別率從83.2%提高到了84.3%.

3 實(shí)驗結(jié)果及分析

本文采用文獻(xiàn)[1]提供的圖像數(shù)據(jù)集. 數(shù)據(jù)集由陰天與晴天兩類圖像組成,該圖像集共有1萬張圖像,其中每類樣本有5000張. 圖4為該數(shù)據(jù)集的部分圖像.

圖4 文獻(xiàn)[1]數(shù)據(jù)集的部分圖像

對于兩分類問題,即使是隨機(jī)猜也能達(dá)到50%的準(zhǔn)確率. 為了更好的表達(dá)算法的有效性,本文采用文獻(xiàn)[1]提出的歸一化識別率：

表1給出了與已有算法的對比測試實(shí)驗結(jié)果,采用了文獻(xiàn)[1]中的圖像集,利用80%的圖像作為訓(xùn)練樣本訓(xùn)練SVM分類器和隨機(jī)森林分類器,20%用于測試. 這里,對訓(xùn)練樣本隨機(jī)選取了5次后得到的實(shí)驗結(jié)果的均值和方差作為分類的準(zhǔn)確率. 可以看到,本文所提出的方法具有較小的方差和較大的歸一化識別率.由此也驗證了本文算法的有效性.

為了進(jìn)一步驗證本文方法的有效性[16],由于天氣狀態(tài)分類問題圖像測試庫缺乏,本文對自己采集的兩類場景圖像庫進(jìn)行測試,圖5為本測試集的部分樣本.

圖5 本文數(shù)據(jù)集中的部分圖像

表1 實(shí)驗結(jié)果對比(單位：%)

本測試集陰天圖像有289張,晴天圖像有352張,試驗中每類圖像抽取200張用于訓(xùn)練,其余的圖像用于測試. 本次實(shí)驗通過對5次的實(shí)驗結(jié)果分析可知傳統(tǒng)識別率可以達(dá)到92.53+0.16%.

4 結(jié)論

本文利用圖像場景分類的方法對于基于圖像的天氣場景分類方法進(jìn)行分類. 利用BOF模型和空間金字塔匹配求解基于圖像的天氣狀態(tài)識別問題,本文提出了最小二乘求解的最優(yōu)系數(shù)更加準(zhǔn)確地刻畫每一個字典原子的影響. 在分類方面本文提出了利用支持向量機(jī)隨機(jī)森林進(jìn)行兩次分類,提高了算法的識別準(zhǔn)確率.

1 Lu CW,Lin D,Jia JY,et al. Two-class weather classification. Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus,OH,USA. 2014. 3718-3725.

2 李騫,范茵,張璟,等. 基于室外圖像的天氣現(xiàn)象識別方法.計算機(jī)應(yīng)用,2011,31(6)：1624-1627.

3 Roser M,Moosmann F. Classification of weather situations on single color images. Proceedings of IEEE Intelligent Vehicles Symposium. Eindhoven,The Netherlands. 2008.798-803.

4 Zhang Z,Ma HD,Fu HY,et al. Scene-free multi-class weather classification on single images. Neurocomputing,2016,207：365-373. [doi：10.1016/j.neucom.2016.05.015]

5 Lalonde JF,Efros AA,Narasimhan SG. Estimating the natural illumination conditions from a single outdoor image.International Journal of Computer Vision,2012,98(2)：123-145. [doi：10.1007/s11263-011-0501-8]

6 Lowe DG. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision,2004,60(2)：91-110. [doi：10.1023/B：VISI.0000029664.99615.94]

7 Yan XS,Luo YP,Zheng XM. Weather recognition based on images captured by vision system in vehicle. Proceedings of the 6th International Symposium on Neural Networks：Advances in Neural Networks. Wuhan,China. 2009. 390-398.

8 Milborrow S,Nicolls F. Active shape models with SIFT descriptors and MARS. Proceedings of 2014 International Conference on Computer Vision Theory and Applications(VISAPP). Lisbon,Portugal. 2014. 380-387.

9 徐健,常志國,趙小強(qiáng),等. 基于自適應(yīng)梯度最速下降的分類字典訓(xùn)練算法. 計算機(jī)工程,2013,39(5)：225-229.

10 Ye MC,Qian YT,Zhou J,et al. Dictionary learning-based feature-level domain adaptation for cross-scene hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing,2017,55(3)：1544-1562. [doi：10.1109/TGRS.2016.2627042]

11 彭天強(qiáng),栗芳. 哈希編碼結(jié)合空間金字塔的圖像分類. 中國圖象圖形學(xué)報,2016,21(9)：1138-1146. [doi：10.11834/jig.20160903]

12 de Souza Gazolli KA,Salles EOT. Exploring neighborhood and spatial information for improving scene classification.Pattern Recognition Letters,2014,46：83-88. [doi：10.1016/j.patrec.2014.05.009]

13 Zhou L,Zhou ZT,Hu DW. Scene classification using a multi-resolution bag-of-features model. Pattern Recognition,2013,46(1)：424-433. [doi：10.1016/j.patcog.2012.07.017]

14 Shao L,Liu L,Li XL. Feature learning for image classification via multiobjective genetic programming. IEEE Transactions on Neural Networks and Learning Systems,2014,25(7)：1359-1371. [doi：10.1109/TNNLS.2013.2293418]

15 Ding M,Antani S,Jaeger S,et al. Local-global classifier fusion for screening chest radiographs. Proceedings of SPIE Medical Imaging 2017：Imaging Informatics for Healthcare,Research,and Applications. Orlando,FL,USA. 2017. 10138：101380A.

16 Geng YY,Liang RZ,Li WZ,et al. Learning convolutional neural network to maximize Pos@Top performance measure.arXiv：1609.08417,2016.