基于一種改進(jìn)的HOG-SVM的紅外視頻圖像人形檢測方法

丁 飛， 劉桂華， 高軍強(qiáng)

(西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621010)

基于一種改進(jìn)的HOG-SVM的紅外視頻圖像人形檢測方法

丁 飛， 劉桂華， 高軍強(qiáng)

(西南科技大學(xué)信息工程學(xué)院，四川 綿陽 621010)

為了實(shí)時(shí)、高效地檢測紅外視頻圖像中不同姿態(tài)的人形目標(biāo)，提出了基于改進(jìn)的方向梯度直方圖-支持向量機(jī)(HOG-SVM)紅外視頻熱圖像人形識(shí)別算法。首先，采用鏈碼跟蹤方法提取視頻中的輪廓區(qū)域，并計(jì)算輪廓的最小長寬比，實(shí)現(xiàn)人形輪廓的預(yù)判斷，從而剔除了圖像中小型和大型干擾物；其次，為了縮短特征提取的時(shí)間，將篩選出的輪廓圖片統(tǒng)一縮放到64×128像素，再提取該輪廓區(qū)域的HOG特征；最后，建立1 300張包含各種紅外人形姿態(tài)的訓(xùn)練樣本數(shù)據(jù)庫，基于SVM原理訓(xùn)練得到關(guān)于紅外人形的線性目標(biāo)分類模型，最終實(shí)現(xiàn)了實(shí)時(shí)、高效檢測紅外視頻人形目標(biāo)的目的。搭建仿真平臺(tái)進(jìn)行試驗(yàn)并分析所得數(shù)據(jù)；分析結(jié)果表明，該算法具備各種人形姿態(tài)識(shí)別的魯棒性，3 m之內(nèi)對(duì)人形姿態(tài)的識(shí)別率可達(dá)到95%，且運(yùn)行時(shí)間短，可滿足系統(tǒng)的實(shí)時(shí)性要求。

機(jī)器人； 紅外熱成像儀； 圖像； 檢測； 支持向量機(jī)； 數(shù)據(jù)

0 引言

在視頻監(jiān)控中，對(duì)移動(dòng)目標(biāo)進(jìn)行檢測、識(shí)別并自動(dòng)報(bào)警一直都是熱門的研究問題，其在車輛安全、安全監(jiān)控以及機(jī)器人技術(shù)等領(lǐng)域都有著重要的應(yīng)用。過去十幾年，行人檢測技術(shù)已經(jīng)有了很多成熟的算法，但至今依然存在許多問題和難點(diǎn)。紅外熱成像具有全天候24 h監(jiān)視、背景簡單、雨霧天氣不受光線影響等優(yōu)勢，這使得紅外視頻監(jiān)控的應(yīng)用更為廣泛[1]。

倪福川等[2]提出了一種基于矩不變量的分級(jí)識(shí)別人的“頭肩像”技術(shù)。方亞軍等[3]提出了一種基于獨(dú)立模板匹配的方法。Harsh Nanda[4]提出了一種概率模板的紅外視頻人形檢測方法，檢測低分辨率以及殘缺不全的紅外視頻中的人形目標(biāo)，但概率模板匹配耗時(shí)且識(shí)別率較低。胡景榮等[5]提出對(duì)靜態(tài)圖像作小波變換，提取目標(biāo)局部突出特征，結(jié)合動(dòng)態(tài)幀的步態(tài)特征，最后利用支持向量機(jī)(support vector machine, SVM)進(jìn)行學(xué)習(xí)與識(shí)別分類。Jakir Hossen等[6]使用光流法來分離運(yùn)動(dòng)目標(biāo)，用PCA方法識(shí)別人形的可疑行為。D.Tome等[7]提出更加復(fù)雜的行人檢測算法，使用了改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)，該方法準(zhǔn)確性較高，但系統(tǒng)運(yùn)行時(shí)間長。

針對(duì)以上問題，本文提出了改進(jìn)的方向梯度直方圖-支持向量機(jī)(histogram of oriented gradient-support vector machine, HOG-SVM)紅外視頻圖像的人形檢測方法。首先使用鏈碼跟蹤法提取紅外圖像的目標(biāo)輪廓，使用最小長寬比對(duì)輪廓目標(biāo)進(jìn)行預(yù)判斷。其次，對(duì)每一個(gè)目標(biāo)輪廓進(jìn)行SVM分類，快速識(shí)別出人形目標(biāo)。為了訓(xùn)練出有效、穩(wěn)定的SVM模型，制作1 300張紅外人形圖像作為人形訓(xùn)練數(shù)據(jù)庫，以達(dá)到更高的識(shí)別率。

1 紅外視頻圖像的人形檢測原理

紅外視頻圖像和其他視頻圖像相比，其背景簡單、干擾物較少，有利于檢測目標(biāo)輪廓[8]。但是紅外視頻中的人形形態(tài)容易受外界因素干擾，比如光照強(qiáng)度、衣服的材質(zhì)、戴帽子圍脖、距離的遠(yuǎn)近等，這使得鏡頭中的人形會(huì)出現(xiàn)拉伸、斷裂，導(dǎo)致不易分辨出人形特征。

Danal的HOG-SVM方法需對(duì)每一幅圖像進(jìn)行不同尺度的搜索，降低了算法的運(yùn)算效率。為了解決這個(gè)問題，在保證識(shí)別率的基礎(chǔ)上，首先提取目標(biāo)物體的輪廓，將每個(gè)提取出來的輪廓縮放為固定大小，采用最小外接矩形結(jié)合頭肩分離處理的方法優(yōu)化人形頭肩斷裂的情況；然后，提取該輪廓的HOG特征；最后，使用SVM對(duì)該輪廓進(jìn)行分類識(shí)別。這樣能有效避免對(duì)圖像的盲目搜索，達(dá)到快速識(shí)別的效果。系統(tǒng)框圖如圖1所示。

圖1 系統(tǒng)框圖

2 輪廓提取

紅外圖像的成像原理是普朗克定律。由于目標(biāo)物體本身放出熱量形成的紅外熱圖像，相對(duì)于其他視頻圖像，具有背景簡單、干擾物較少的優(yōu)勢，所以可對(duì)視頻圖像中的目標(biāo)進(jìn)行輪廓提取，再剔除小型目標(biāo)以及大型目標(biāo)。

鏈碼跟蹤方法(即Freeman鏈碼)[9]示意圖如圖2所示。其定義為：任選一個(gè)像素點(diǎn)P作為參考點(diǎn)，與其相鄰的像素分別在8個(gè)不同的位置上，給他們賦予方向值0～7,如圖2(a)所示。0～7位鏈碼方向值所指方向是以中心點(diǎn)(即參考點(diǎn)P)水平方向以東的點(diǎn)(即數(shù)值0)為起始，依次按逆時(shí)針方向旋轉(zhuǎn)45°，如圖2(b)所示。

圖2 鏈碼跟蹤方法示意圖

輪廓的跟蹤可以按照鏈碼的方向進(jìn)行，下一跟蹤點(diǎn)的獲取依賴上一輪廓點(diǎn)，從而避免了對(duì)所有像素點(diǎn)的掃描，提升了輪廓跟蹤的效率。Freeman編碼實(shí)例如圖3所示，其為一個(gè)8×8的點(diǎn)陣圖，其中一條線段以S為起始點(diǎn)、E為終點(diǎn)，此線段就可表示為L=43 322 100 000 066。

圖3 Freeman編碼實(shí)例

輪廓提取的目標(biāo)可能是行人、燈光、動(dòng)物，所以要根據(jù)最小外接矩形的長寬比排除一些干擾物。本文算法中將長/寬(高/寬)的比值記為R，則最小外接矩形算法判斷人形的過程如下。

(1)如果人形目標(biāo)區(qū)域的寬度大于或等于像素寬度的1/4，那么判定物體距離攝像頭較近，目標(biāo)的上半?yún)^(qū)域出現(xiàn)在鏡頭中，最小外接矩形的長寬比R≤1，則判定出現(xiàn)的目標(biāo)物體可能是人；

(2)如果人形目標(biāo)區(qū)域的寬度小于像素寬度的1/4，則表示目標(biāo)物體距離攝像頭較遠(yuǎn)；此時(shí)，最小外接矩形的長寬比R≥1.2，則判定目標(biāo)物體可能是人。

在人形輪廓提取的過程中，人的頸部容易被圍脖或其他衣物遮擋，造成頸部亮度不明顯，使頸部的輪廓提取失敗，出現(xiàn)了頭肩部分離的情況,不利于后續(xù)的特征分析及檢測識(shí)別。為了優(yōu)化這一現(xiàn)象，需要對(duì)頭肩分離的情況作出判斷并進(jìn)行相應(yīng)的優(yōu)化處理。本文算法作出以下4點(diǎn)判斷(以下試驗(yàn)數(shù)據(jù)基于的圖像分辨率大小為600×400像素，且所有閾值的設(shè)定是經(jīng)重復(fù)多次的試驗(yàn)經(jīng)驗(yàn)值)。頭肩分離與拼接對(duì)比如圖4所示。

圖4 頭肩分離與拼接對(duì)比圖

①假設(shè)在目標(biāo)輪廓提取之后，有2個(gè)外接矩形出現(xiàn)，分別記為矩形A(頭部)和矩形B(肩部以下)，頭肩分離及人體放大效果如圖4(a)所示。

②矩形A和矩形B的上下間隔的像素距離很小，且小于閾值50個(gè)像素點(diǎn)。

③矩形A的垂直中心線與矩形B的垂直中心距離位置相差很小，且小于閾值20個(gè)像素點(diǎn)。

④矩形B的像素面積比矩形A的像素面積大6倍。

同時(shí)滿足以上4個(gè)條件的，可以判斷人形的頭肩部是分離狀態(tài)，且矩形A和矩形B屬于同一個(gè)人形目標(biāo)，則將A、B拓展為一個(gè)整體，計(jì)入一個(gè)最小外接矩形。圖4(b)是進(jìn)行閉運(yùn)算更改后的效果。

3 特征描述和制作紅外人形數(shù)據(jù)庫

HOG特征[10]是一種特征描述算子,可以對(duì)人體目標(biāo)信息和運(yùn)動(dòng)信息形成豐富的特征集。HOG算法的基本思想是：局部目標(biāo)的表象和形狀能夠被梯度強(qiáng)度在梯度方向上的分布很好地描述。其基本步驟如下：

①進(jìn)行灰度化處理；

②采用Gramma校正法對(duì)輸入圖像進(jìn)行顏色空間的標(biāo)準(zhǔn)化，即歸一化處理；

③計(jì)算圖像中每個(gè)像素的梯度(包括大小和方向)，這主要是為了捕獲輪廓信息，同時(shí)進(jìn)一步弱化光照的干擾；

④將圖像劃分為細(xì)胞單元(cell)；

⑤統(tǒng)計(jì)每個(gè)cell的直方圖(不同梯度的個(gè)數(shù))，即可形成每個(gè)cell的描述符；

⑥將幾個(gè)cell組成一個(gè)block，一個(gè)block內(nèi)所有的cell的描述符串起來便得到該block的HOG描述符；

⑦將圖像內(nèi)的所有block的HOG特征描述符串起來，即可得到該圖像的HOG特征描述符。

3.1 改進(jìn)的HOG特征描述

一般情況下，基于HOG算法的行人檢測是利用一個(gè)64×128像素塊的窗口(window)在一幀圖像上進(jìn)行光柵掃描，水平方向和垂直方向上的掃描步長均為8像素。

HOG算法原理如圖5所示。由圖5可知，細(xì)胞單元、塊單元、窗口之間的像素關(guān)系。每個(gè)細(xì)胞單元有9維的直方圖，把上、下、左、右4個(gè)相鄰的cell視為1個(gè)像素塊(block),即1個(gè)block的直方圖維數(shù)是 4×9=36維，每個(gè)window包含15×7 = 105個(gè)block，計(jì)算出1個(gè)窗口就是105×36 = 3 780維。本試驗(yàn)的圖像分辨率是600×400,設(shè)定的window的大小是64×128像素，滑塊在水平方向和垂直方向都間隔8個(gè)像素進(jìn)行搜索，那么每張圖片window的運(yùn)算周期是[(600-64)/8+1]×[(400-128)/8+1]=2 380，使檢測的效率較低。

圖5 HOG算法原理圖

由于紅外視頻圖像對(duì)于熱源物體顯示區(qū)域色彩高亮，一般與背景無溫度差的物體就會(huì)呈現(xiàn)和背景相似的顏色。人形的顯示為高亮色彩，提取輪廓相對(duì)簡單。為了降低運(yùn)算周期，首先對(duì)提取出的輪廓通過最小外接矩形進(jìn)行篩選，然后將篩選出的輪廓統(tǒng)一縮放為64×128像素大小的圖片，即將一幅600×400像素圖像替換為一個(gè)64×128像素的window窗口大小的目標(biāo)圖像，然后運(yùn)用HOG算法進(jìn)行特征提取，運(yùn)算周期從2 380下降到個(gè)位數(shù)級(jí)別，大大提升了運(yùn)算效率。

3.2 紅外圖像的樣本庫制作

SVM分類器計(jì)算流程[11]如圖6所示,它包括訓(xùn)練模塊、乘法累加器模塊和比較器模塊。

圖6 SVM分類器計(jì)算流程圖

由圖6可知，訓(xùn)練模塊采用SVM對(duì)紅外行人檢測數(shù)據(jù)庫進(jìn)行訓(xùn)練，本試驗(yàn)測試了兩種數(shù)據(jù)庫。第一種是INRIA[10]行人檢測庫，包含了2 000張正樣本和1 000張負(fù)樣本。INRIA數(shù)據(jù)庫中的行人主要是可見光下的行人庫，包含了各種人的形態(tài)、衣著打扮、姿勢以及背景。第二種是為了更加詳細(xì)地描述紅外人形的特征,所制作的新紅外人形數(shù)據(jù)庫，命名為INFIMG，其包含1 300張正樣本、1 000張負(fù)樣本。樣本像素大小統(tǒng)一為64×128，人的形態(tài)有直立、彎腰、戴帽子、側(cè)身、半身，以及單人和多人、近景和遠(yuǎn)景下的人形。

4 試驗(yàn)數(shù)據(jù)分析

本試驗(yàn)采用改進(jìn)的HOG- SVM方法來識(shí)別紅外視頻圖像下的人形。試驗(yàn)中，仿真平臺(tái)硬件環(huán)境為：CPU采用Intel酷睿i5-2430，CPU主頻為2.4 GHz，2 GB內(nèi)存的PC機(jī)；采用非接觸式LCIR-1501在線式紅外熱成像儀，通過RJ45網(wǎng)絡(luò)輸入，視頻的幀率是27 fps，視頻分辨率為600×400像素。

①本試驗(yàn)SVM的訓(xùn)練數(shù)據(jù)庫圖像使用的是INFIMG庫。測試樣本是在不同距離情況下拍攝的紅外人形視頻，隨機(jī)抽取200張圖片。本文對(duì)這兩種訓(xùn)練數(shù)據(jù)在不同距離下的識(shí)別率進(jìn)行了對(duì)比，結(jié)果如圖7所示。

圖7 不同數(shù)據(jù)庫的樣本識(shí)別率對(duì)比曲線

通過對(duì)比可知，INRIA數(shù)據(jù)庫的識(shí)別效果不如INFIMG數(shù)據(jù)庫。

為說明本文提出的基于輪廓改進(jìn)的HOG算法對(duì)運(yùn)算效率有顯著的提升效果，從視頻圖像中隨機(jī)使用300張圖片，對(duì)這兩種方法進(jìn)行對(duì)比。一種是使用Danal的HOG-SVM特征提取方法，另一種是使用本文算法。兩種方法的運(yùn)行時(shí)間對(duì)比結(jié)果如圖8所示。

圖8 傳統(tǒng)方法與本文算法運(yùn)行時(shí)間對(duì)比圖

本文算法對(duì)紅外視頻中人形各種姿勢以及多人狀態(tài)的識(shí)別效果較好，且運(yùn)行比較穩(wěn)定。軟件集成和結(jié)果顯示使用的是MFC開發(fā)環(huán)境，能有效識(shí)別各種人形姿態(tài)。

5 結(jié)束語

本文提出了基于輪廓的HOG-SVM對(duì)紅外視頻的人形檢測方法。該方法首先提取每幀圖片有輪廓的目標(biāo)區(qū)域；再用最小外接矩形長寬比判別出符合要求的人形輪廓區(qū)域，對(duì)提取出的輪廓進(jìn)行HOG特征描述；最后使用線性SVM進(jìn)行分類，達(dá)到人形識(shí)別的目的。該方法提高了算法的運(yùn)行效率，以及紅外視頻下的人形識(shí)別率。試驗(yàn)結(jié)果表明，相對(duì)于傳統(tǒng)的HOG-SVM的方法，該方法節(jié)約了運(yùn)行時(shí)間，平均每幀圖像(600×400像素)減少的時(shí)間約為45 ms，極大地滿足了27 fps的處理時(shí)間要求，而且對(duì)各種人形姿勢具有較高的識(shí)別率。

[1] NAVARRO E,FERNANDEZ C A，MARTINEZ T A.Intelligent multisensory system in support of information society in support of information society[J].International Journal of System Science,2014,45(4):711-713.

[2] 倪福川，賀貴明，龍磊.基于不變矩的人形“頭肩像”識(shí)別技術(shù)[J].計(jì)算機(jī)工程，2005,31(10):174-176.

[3] FANG Y J,YAMADA K,NINOMIYA Y,et al.A shape-independent-method for pedestrian detection with far-infrared-images[J].IEEE Transactions on Vehicular Technology,2004,53(6):1679-1697.

[4] NANDA H,DAVIS L.Probabilistic template based pedestrian detection in infrared videos[J].Intelligent Vehicle Symposium,2002(1):15-20.

[5] 胡景榮，洪昆，茹華所.一種基于SVM的人形識(shí)別算法[J].昆明理工大學(xué)學(xué)報(bào)(理工版)，2010,35(5):70-73.

[6] HOSSEN J,JACOBS E,JACOBS K.Human suspicious activity recognition in thermal infrared video[R].Infrared Sensors,Devices,and Applications IV,2014:9220.

[7] TOME D,MONTI F,BAROFFIO L,et al.Deep convolutional neural networks for pedestrian detection[J].Computer Vision and Pattern Recognition,2016(47),482-489.

[8] 汪金禮，王皓，袁寶紅.紅外視頻監(jiān)控中的人體目標(biāo)檢測[J].測試技術(shù)學(xué)報(bào)，2014,28(1):39-43.

[9] 陳士金，湯漾平，鄧勇.基于鏈碼的輪廓跟蹤技術(shù)在二值圖像中的應(yīng)用[J].華中理工大學(xué)學(xué)報(bào)，1998,26(12):26-28.

[10]DANAL N,TRIGGS B.Histograms of oriented gradients for human detection[J].Computer Vision and Pattern Recognition,2005(1):886-893.

[11]徐淵，許曉亮，李才年，等.結(jié)合SVM分類器與HOG特征提取的行人檢測[J].計(jì)算機(jī)工程，2016,42(1)：56-65.

Humanoid Detection Method Based on Improved HOG-SVM for Infrared Video Images

DING Fei,LIU Guihua,GAO Junqiang

(School of Information Engineering,Southwest University of Science and Technology，Mianyang 621010，China)

In order to detect humanoid target with different postures in infrared video images in real time and with high efficient,based on improved HOG-SVM,the humanoid recognition algorithm for infrared thermal video images is proposed.Firstly,the chain code tracing method is applied to extract the contour area in video,and the minimum length width ratio is calculated to realize the pre-judgment of the humanoid contour;thus the small,medium and large sized distractors are removed.Then,in order to shorten the searching period of feature extraction,the contour images extracted are unified scaling into 64×128 pixels,and the HOG characteristics of the contour area are extracted.Finally,the database of training samples containing 1,300 infrared humanoid postures is established,the classification model of linear targets of infrared humanoid is obtained based on training method using SVM principle,thus the purpose of real time and high efficient detection of infrared video of humanoid target is reached.The simulation platform is set up for testing and analyzing the data obtained;the results of analysis show that the algorithm possesses robustness to recognize various humanoid postures,the recognition rate of the humanoid postures is up to 95% within 3 meters,and the running time is short.It can satisfy the real time requirement of the system.

Robot； Infrared thermal imaging instrument； Image； Measurement; Support vector machine； Data

資金項(xiàng)目:四川省科技廳資金資助項(xiàng)目(13zxtk05)、西南科技大學(xué)創(chuàng)新團(tuán)隊(duì)基金(14tdtk01)

丁飛(1991—)，女，在讀碩士研究生，主要從事機(jī)器視覺及模式識(shí)別的研究。E-mail：1134174002@qq.com。 劉桂華(通信作者)，女，博士，教授，主要從事機(jī)器人場景智能感知、圖像處理、機(jī)器視覺方向的研究。E-mail：liughua_swit@163.com。

TH6;TP391.41

A

10.16086/j.cnki.issn 1000-0380.201702012

修改稿收到日期:2016-07-22