紅外視頻圖像的行人檢測算法

王 姮,游斌相,劉桂華,張 進

(1.西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621010;2.國網(wǎng)重慶市電力公司電力科學(xué)研究院,重慶 401123)

紅外視頻圖像的行人檢測算法

王 姮1,游斌相1,劉桂華1,張 進2

(1.西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621010;2.國網(wǎng)重慶市電力公司電力科學(xué)研究院,重慶 401123)

在光照不足、對比度較低的夜晚，紅外輻射成像技術(shù)具有較好的成像效果。一個魯棒性好、可靠性強的紅外環(huán)境行人檢測方法，對拓展紅外成像技術(shù)的應(yīng)用具有重要意義。對此，提出了一套高效可行的紅外環(huán)境下行人檢測方案。首先，使用高斯混合模型進行圖像分割，獲取前景區(qū)域。高斯混合模型具有對運動敏感的特征，在運動目標(biāo)檢測過程中不僅可以實時更新背景，而且還能有效地消除陰影區(qū)域。然后，提取方向梯度直方圖(HOG)特征。HOG是在圖像的局部方格單元上操作的，所以它對圖像幾何、光學(xué)的形變都能保持很好的不變性；HOG可以允許行人有一些細微的肢體動作，這些細微的動作可以被忽略而不影響檢測效果。最后，使用Adaboost算法進行分類識別。試驗結(jié)果表明，該方法在紅外環(huán)境下的行人識別率高達99%，能較好地滿足應(yīng)用需求。

行人檢測； 高斯混合； 運動目標(biāo)檢測； 方向梯度直方圖； Adaboost算法； 二分類； 識別率

0 引言

紅外圖像雖然分辨率較低，但其具有不受環(huán)境影響的優(yōu)點，在夜間也可檢測并分割出諸如行人等目標(biāo)溫度高于環(huán)境溫度的前景目標(biāo)。其在安全監(jiān)控、自動駕駛以及軍事等領(lǐng)域有著廣泛的應(yīng)用，在安全監(jiān)控報警領(lǐng)域的應(yīng)用尤為廣泛；但是目前大多報警裝置仍使用觸發(fā)報警模式，誤報率較高。

近年來，國內(nèi)外已有不少關(guān)于紅外環(huán)境下的行人檢測[1-3]方法。Lin等[4]使用背景幀差法分割前景移動目標(biāo)，提取幾個輪廓特征點并計算相關(guān)系數(shù)，最后用神經(jīng)網(wǎng)絡(luò)進行分類。Lakshmi等[5]利用行人特征分割出感興趣區(qū)域后，采用曲波變換來獲取特征數(shù)據(jù)，最后使用支持向量機(support vector machine，SVM)對這些數(shù)據(jù)作分類處理。王路杰[6]在針對紅外圖像行人檢測算法中，利用不同區(qū)間的亮度直方圖(different bins histogram of intensity，DBHOI)和亮度直方圖(histogram of intensity，HOI)作為行人特征描述子，然后采用Adaboost的分類方法對描述子進行分類檢測。芮挺等[7]采用多層網(wǎng)絡(luò)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)對行人的檢測。楊陽等[8]利用直方圖統(tǒng)計顯著性映射算法獲取紅外圖像的顯著圖，統(tǒng)計關(guān)注點的分布，然后確定分割閾值，并結(jié)合先驗概率構(gòu)建基于形狀的級聯(lián)模版樹，最后在分割圖像上根據(jù)匹配值確定行人的位置。

雖然各個模型在人形檢測上都有不錯的表現(xiàn)，但大多是以犧牲計算時間為代價。本文以混合高斯作分割，然后提取方向梯度直方圖(histogram of oriented gradient，HOG) 特征，最后使用Adaboost進行分類。

1 系統(tǒng)檢測流程

紅外環(huán)境下的行人檢測總體流程如下：①獲取紅外圖像；②對原始紅外圖像進行濾波處理；③進行圖像前景分割；④對分割出來的區(qū)域進行特征提取；⑤對提取出來的特征進行分類識別，判別其是否是行人。

本文利用高斯混合背景建模進行分割，然后提取HOG特征，最后使用Adaboost分類器來檢測行人。從相機獲得圖像后，首先通過混合高斯模型檢測運動目標(biāo)，然后計算運動目標(biāo)區(qū)域的HOG特征。使用Adaboost分類器對獲得的HOG特征進行分類。若分類器分類結(jié)果是行人，則生成檢測日志；若分類器結(jié)果不是行人，則獲取下一幀圖像進行處理。

1.1 圖像分割

圖像分割就是把圖像分成若干個特定的、具有獨特性質(zhì)的區(qū)域。同時圖像分割也是一種基本的計算機視覺技術(shù)，是運動分析和運動跟蹤的基礎(chǔ)。

圖像分割算法有很多種，Jeon等[9]首先連續(xù)取十幀圖像構(gòu)建出一個背景圖像，然后將獲取的新圖像與背景圖像相減，從而獲得前景圖像。Lin等采用幀間差分法進行圖像的分割[4]。Zhao等[10]利用輪廓顯著圖作分割。Wang等[11]使用高斯混合背景建模來分離前景和背景。背景消除法與幀間差分法類似，適用于背景較為固定不變的場景，多用于室內(nèi)。輪廓顯著圖需要對輪廓進行多次計算，運算量較其他方法大得多。高斯混合模型利用當(dāng)前幀和視頻序列中的當(dāng)前背景幀進行加權(quán)平均來更新背景，魯棒性強且適用范圍廣。

1.2 高斯混合模型

在高斯混合背景模型中，認(rèn)為像素之間的顏色信息互不相關(guān)，對各像素點的處理都是相互獨立的。對于視頻圖像中的每一個像素點，可將其值在序列圖像中的變化看作不斷產(chǎn)生像素值的隨機過程，即用高斯分布來描述每個像素點的顏色呈現(xiàn)規(guī)律。在馬義德等[12]的研究中，在模型學(xué)習(xí)方面,均值與方差采用了不同的學(xué)習(xí)率。其中，均值更新采用自適應(yīng)的學(xué)習(xí)率,方差的學(xué)習(xí)率取固定值，引入權(quán)值均值概念；結(jié)合權(quán)值進行像素點的前景和背景分類，并利用了背景圖像消除陰影。較傳統(tǒng)方法而言，該方法具有更好的學(xué)習(xí)能力。

高斯模型由均值和方差這兩個參數(shù)完全決定,對均值和方差的學(xué)習(xí),采取不同的學(xué)習(xí)機制,將直接影響模型的穩(wěn)定性、精確性和收斂性。文獻[12]采用式(1)對均值更新：

(1)

方差的更新方程為：

(2)

式中：ρσ=0.002為學(xué)習(xí)率。

該學(xué)習(xí)機制使均值收斂快而準(zhǔn)，方差收斂相對較快、比較平穩(wěn)。

雖然高斯混合能有效地消除陰影區(qū)域，但其對運動比較敏感的特性也會對結(jié)果造成干擾。特別是在夏天，環(huán)境溫度較高，若遇大風(fēng)引起某些背景移動的情況，背景很容易被誤認(rèn)為是前景。所以后期的特征提取和分類識別是很有必要的。

1.3 特征提取

在提取出紅外圖像的熱點區(qū)域后，必須進一步確認(rèn)熱點區(qū)域是否為行人。這就需要對每個區(qū)域進行描述，獲得該區(qū)域的特征向量，并使用分類器來分類。為了便于后續(xù)的統(tǒng)一計算，且考慮到紅外圖像分辨率較低的情況，先將提取出來的目標(biāo)前景區(qū)域縮放至64×128像素，再提取HOG特征。HOG是目前用于人形描述最常用的特征方法之一。

HOG特征計算首先對圖像作灰度化處理，接著使用式(3)作歸一化處理。其目的是調(diào)節(jié)圖像的對比度，降低圖像局部的陰影和光照變化所造成的影響，同時可以抑制噪聲的干擾。

P(x,y)=I(x,y)γ

(3)

式中：I(x,y)為當(dāng)前像素值；P(x,y)為歸一化后的像素值。

根據(jù)式(4)～式(7)，計算每個像素點的梯度，可有效地捕獲輪廓信息，同時進一步弱化光照的干擾。

Gx(x,y)=P(x+1,y)-P(x-1,y)

(4)

Gy(x,y)=P(x,y+1)-P(x,y-1)

(5)

(6)

(7)

式中：Gx(x,y)、Gy(x,y)、G(x,y)和α(x,y)分別為像素點(x,y)的水平方向梯度、垂直方向梯度以及梯度幅值和梯度方向。

接下來，將圖像劃分成若干個小細胞，統(tǒng)計每個細胞的梯度直方圖，可獲得每個細胞的特征描述。然后將多個細胞構(gòu)成一個塊，把塊內(nèi)每個細胞的特征描述串聯(lián)到一起，即可獲得該塊的特征描述。最后將圖像內(nèi)所有塊的特征表述串聯(lián)起來即可得到整幅圖像的HOG特征。

1.4 Adaboost算法

分類是識別系統(tǒng)中極為重要的一環(huán)，分類的好壞直接關(guān)系到整個識別系統(tǒng)的好壞。Adaboost是目前最好的二分類算法之一，最早由Freund等提出[13]。其核心思想是針對同一個訓(xùn)練集訓(xùn)練不同的弱分類器，然后把這些弱分類器集合起來，構(gòu)成一個強分類器。Adaboost使用各種方法構(gòu)建子分類器，并給各子分類器分配一個適當(dāng)?shù)臋?quán)值，最后將其總和作為一個完整的分類器。Adaboost分類器構(gòu)造簡單、精確度高。其數(shù)學(xué)表達式一般為：

(8)

式中：αt為每個弱分類器對應(yīng)的權(quán)重值；ht為弱分類器；T為迭代次數(shù)。

Adaboost迭代算法大致可分為初始化權(quán)重、弱分類器的訓(xùn)練以及強分類器的合成3個步驟。首先初始化訓(xùn)練數(shù)據(jù)的權(quán)值分布。如果有N個樣本，則每一個訓(xùn)練樣本最開始時都被賦予相同的權(quán)重1/N，接著訓(xùn)練弱分類器。在具體訓(xùn)練過程中，如果某個樣本點已經(jīng)被準(zhǔn)確地分類，那么在構(gòu)造下一個訓(xùn)練集中，它的權(quán)重就被降低；否則，它的權(quán)重就得到提高。權(quán)重更新后的樣本集被用于訓(xùn)練下一個分類器，整個訓(xùn)練過程如此迭代地進行下去。最后，將各個訓(xùn)練得到的弱分類器組合成強分類器。

2 試驗結(jié)果分析

在獲取原始紅外圖像后，首先對其進行灰度化處理，然后使用高斯混合背景建模的方法提取出前景移動目標(biāo)，接著計算提取出來的目標(biāo)區(qū)域的HOG特征向量，最后使用Adaboost來分類。采用高斯混合背景建模，運動目標(biāo)提取前后的對比圖如圖1所示。

圖1 運動目標(biāo)提取前后對比圖

在使用Adaboost分類前，首先需要對分類器進行訓(xùn)練。試驗中的樣本庫均為實際采樣。其中負(fù)樣本主要有水杯、窗簾飄動等其他干擾產(chǎn)生的噪聲圖片；正樣本有正常行走、跑動、正面、側(cè)面、半身等各種情況的圖片。

樣本學(xué)習(xí)數(shù)量越大，訓(xùn)練出來的分類效果也越好。通過試驗，比較了多種特征與分類算法，其結(jié)果如圖2所示。

圖2 行人識別率結(jié)果曲線

在使用Adaboost作為分類器的情況下，低樣本時，識別率隨著訓(xùn)練樣本數(shù)量的增加而增高。當(dāng)樣本數(shù)量大于1 500時，識別率增加緩慢。同樣，在使用SVM作為分類器的情況下，低樣本時識別率隨著訓(xùn)練樣本數(shù)量增加而增高；當(dāng)樣本數(shù)量大于2 000時，識別率基本保持穩(wěn)定。從試驗過程和試驗結(jié)果來看，使用本文方法來檢測紅外環(huán)境下的行人效果更好。

3 結(jié)束語

對基于紅外環(huán)境的行人檢測技術(shù)進行了研究，并提出了一種基于高斯混合模型、Adaboost算法的行人檢測方法。試驗表明，該方法對于紅外環(huán)境下的行人檢測具有良好的效果，識別率高達99.1%，證明了此方法的可行性和優(yōu)越性。

[1] QI B,JOHN V,LIU Z,et al. Pedestrian detection from thermal images:a sparse representation based approach[J]. Infrared Physics & Technology,2016,76(2):157-167.

[2] LENAE K,MAUROVIE I,PETROVIE I.Moving objects detection using a thermal camera and IMU on a vehicle[C]//International Conference on Electrical Drives and Power Electronics. IEEE,2015.

[3] TEUTSCH M,MUELLER T,HUBER M,et al. Low resolution person detection with a moving thermal infrared camera by hot spot classification[C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops. IEEE Computer Society,2014:209-216.

[4] LIN C F,CHEN C S,HWANG W J,et al. Novel outline features for pedestrian detection system with thermal images[J]. Pattern Recognition,2015,48(11):3440-3450.

[5] LAKSHMI A,FAHEEMA A G J,DEODHARE D. Pedestrian detection in thermal images:an automated scale based region extraction with curvelet space validation[J]. Infrared Physics & Technology,2016,76(3):421-438.

[6] 王路杰. 基于紅外圖像的行人檢測算法研究[D]. 杭州：杭州電子科技大學(xué),2015.

[7] 芮挺,費建超,周遊,等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的行人檢測[J]. 計算機工程與應(yīng)用,2016,52(13):162-166.

[8] 楊陽,楊靜宇. 基于顯著性分割的紅外行人檢測[J]. 南京理工大學(xué)學(xué)報(自然科學(xué)版),2013,37(2):51-56.

[9] JEON E S,KIM J H,HONG H G.Human detection based on the generation of a background image and fuzzy system by using a thermal camera[J]. Sensors,2016,16(4):453.

[10]ZHAO X,HE Z,ZHANG S,et al. Robust pedestrian detection in thermal infrared imagery using a shape distribution histogram feature and modified sparse representation classification[J]. Pattern Recognition,2014,48(6):1947-1960.

[11]WANG J T,CHEN D B,CHEN H Y,et al. On pedestrian detection and tracking in infrared videos[J]. Pattern Recognition Letters,2012,33(6):775-785.

[12]馬義德,朱望飛,安世霞,等. 改進的基于高斯混合模型的運動目標(biāo)檢測方法[J]. 計算機應(yīng)用,2007,27(10):2544-2546.

[13]FREUND Y,SCHAPIRE R E.A decision-theoretic generalization of on-line learning and an application to boosting[C]//European Conference on Computational Learning Theory,1995:119-139.

Algorithm of Pedestrian Detection in Thermal Images

WANG Heng1,YOU Binxiang1,LIU Guihua1,ZHANG Jin2
(1.College of Information Engineering,Southwest University of Science and Technology,Mianyang 621010,China； 2.National Electricity Science Research Institute of Chongqing Electric Power Company,Chongqing 401123,China)

Infrared radiation imaging technology could reach a good imaging effect even in low illumination and contrast of night. A good robustness and reliability of the pedestrian detection method has a important significance on extending the application of infrared imaging technology. So,this paper puts forward a set of effective and feasible solutions of the pedestrian detection in infrared environment. Firstly,using gaussian mixture model for image segmentation to obtain the foreground area.Gaussian mixture model is sensitive to the motion object. It not only can update the background in real-time,but also can effectively eliminate the shadow area during moving object detection.And then,extracting the HOG feature.The HOG operates is on the local grid cells of the image,so it maintains good invariance for the geometrical and optical deformations of the image. Besides,the HOG allows pedestrians to have subtle body movements that can be ignored without affecting the detection results.Finally,using Adaboost to make classification. Experimental results show that this method recognition rate is as high as 99% in the infrared environment,and it can satisfy the market needs.

Pedestrian detection; Gaussian mixture model; Moving object detection; Histograms of oriented gradients(HOG); Adaboost; Two classification; Recognition efficiency

四川省重點實驗室開放基金資助項目(13zxtk0504)、西南科技大學(xué)校創(chuàng)新團隊基金資助項目(14tdtk01)

王姮(1971—)，女，碩士，教授，主要從事機器人技術(shù)及應(yīng)用、自動化技術(shù)的研究。E-mail：wh839@qq.com。 游斌相(通信作者)，男，在讀碩士研究生，主要從事機器視覺、模式識別技術(shù)的研究。E-mail：744710304@qq.com。

TH86;TP391.4

A

10.16086/j.cnki.issn1000-0380.201707021

修改稿收到日期:2017-01-07