紅外圖像中基于似物性與稀疏編碼的行人檢測

魏 麗，丁 萌，曾麗君

?

紅外圖像中基于似物性與稀疏編碼的行人檢測

魏 麗1，丁 萌2,3，曾麗君1

（1.南京航空航天大學金城學院，江蘇 南京 210016；2.南京航空航天大學民航學院，江蘇 南京 210016；3.光電控制技術重點實驗室，河南 洛陽 471023）

行人檢測是計算機視覺的經(jīng)典問題。針對紅外圖像中的行人檢測問題，提出了一種基于似物性和稀疏編碼及空間金字塔特征提取的行人檢測方法。首先，針對紅外圖像的特點，利用基于頻域殘差的顯著性分析方法得到紅外圖像的顯著圖，在此基礎上提出了一種似物性計算方法，進而得到不同區(qū)域的似物度得分，并根據(jù)得分提取出感興趣區(qū)域；其次，以尺度不變特征轉(zhuǎn)換為基礎，將稀疏編碼和空間金字塔算法應用于非監(jiān)督特征學習實現(xiàn)對感興趣區(qū)域的特征提取；最后，利用線性支持向量機構(gòu)建分類器實現(xiàn)對圖像中每個感興趣區(qū)域的行人檢測。實驗結(jié)果驗證了本文提出的感興趣區(qū)域提取算法和針對單幅紅外圖像行人檢測算法的有效性。

紅外圖像；行人檢測；似物性；頻域殘差；稀疏編碼；空間金字塔

0 前言

行人檢測（pedestrian detection）一直是計算機視覺、模式識別領域研究的熱點之一[1]。從單幅圖像中實現(xiàn)對行人進行檢測的算法主要由2部分組成：感興趣區(qū)域（region of interest, ROI）的獲取和識別算法設計。

ROI獲取也稱為目標候選區(qū)域確定，其主要目的是從圖像中首先確定可能包括行人的區(qū)域，確定ROI區(qū)域就可以避免了識別算法對整個圖像區(qū)域的遍歷，即傳統(tǒng)意義上的滑窗法（slide window），這可以降低行人檢測算法的運算量，提高算法的實時性。現(xiàn)有的ROI獲取方法總體上可以分為靜態(tài)背景下基于序列圖像的方法和動態(tài)背景下基于單幅圖像的方法，本文所研究的主要是動態(tài)背景下基于單幅紅外圖像的行人檢測方法。近年來，基于顯著性（saliency）分析的ROI區(qū)域獲取方法成為研究熱點[2-4]，由此實現(xiàn)了行人檢測從滑窗到選擇窗（Selected Window）轉(zhuǎn)變，通過對顯著圖窗口的似物性得分（objectness score）的計算[5-6]，確定窗口中的存在目標的可能性，由此實現(xiàn)對窗口的選擇，達到ROI區(qū)域提取的目的。

不同于一般的行人檢測算法所針對可見光圖像，本文所研究的紅外圖像其在色彩、紋理、邊緣信息方面的豐富程度都遠遠不及前者。因此，現(xiàn)有的許多基于色彩、邊緣等的顯著性分析方法無法有效在紅外圖像中加以利用。為此，針對紅外圖像中的ROI區(qū)域提取問題提出了一種基于紅外圖像頻域殘差的ROI區(qū)域提取算法。

識別算法一般由2個部分組成，即特征提取與分類器設計。在行人檢測的識別算法中，最為經(jīng)典方法是HOG+SVM的方法[7]，即利用方向梯度直方圖（histogram of gradient, HOG）進行特征提取，利用支持向量機（support vector machine, SVM）進行分類器訓練。在HOG特征的基礎上，近年來又出現(xiàn)了共生梯度方向直方圖特征、二階梯度方向直方圖、局部二值模式（LBP）以及cell-LBP特征等。在分類器算法方面，又先后出現(xiàn)了最小二乘SVM、Adaboosting等[8-12]。

近年來，隨著深度學習（deep learning）、稀疏編碼（sparse coding）等方法出現(xiàn)，傳統(tǒng)的特征提取方法逐漸被取代。ScSPM（sparse coding spatial pyramid matching）就是建立在稀疏編碼和特征池化基礎上的特征提取方法[13-14]。其將傳統(tǒng)的特征提取升華為無監(jiān)督特征學習，在相同分類器的前提下，利用ScSPM特征學習獲取的特征向量所得到的識別準確率有顯著提高。由于本文所研究的對象是紅外圖像，因此傳統(tǒng)的基于可見光圖像所開發(fā)的特征提取方法在識別過程中的效果不是十分理想，為此，本文在SCSPM架構(gòu)的基礎上，利用非監(jiān)督特征學習實現(xiàn)行人的特征提取，在此基礎上利用SVM實現(xiàn)行人檢測。

本文針對單幅紅外圖像提出了一種基于窗口似物性得分和非監(jiān)督特征學習的行人檢測方法。該方法首先利用頻域顯著性分析方法計算窗口似物性得分，根據(jù)得分獲取圖像中的ROI區(qū)域，在此基礎上利用非監(jiān)督特征學習方法對ROI區(qū)域進行特征提取，進而利用SVM分類器實現(xiàn)ROI區(qū)域的行人檢測。

1 ROI區(qū)域獲取

相比于可見光圖像，紅外圖像的紋理、色彩及邊緣信息的豐富程度較低，因此現(xiàn)有的許多基于紋理、邊緣等信息的顯著性分析方法都無法有效地用于紅外圖像。為此，利用基于頻域殘差（spectral residual, SR）的顯著性分析方法實現(xiàn)對ROI區(qū)域的提取。基于SR的顯著性分析方法是由Hou等人首先提出的，SR的基本步驟如下[2]：

輸入：紅外圖像X

輸出：顯著圖S

步驟1：計算X的傅里葉變換F；

步驟2：計算傅里葉變換的對數(shù)幅值：＝lg(|F|);

步驟3：求出傅里葉變換的相位角：＝Angle(F);

步驟4：對對數(shù)幅值進行均值濾波處理：L’＝ AverageFilter(L);

步驟5：計算頻譜殘差：R＝L-L’;

步驟6：生成殘差傅里葉變換：F’＝Exp(R)*Exp(iP);

步驟7：利用傅里葉反變換計算顯著性圖：S＝ InverseFourierTransform(F’).

在利用SR算法計算出紅外圖像X對應的頻域殘差顯著圖S前需要對圖像進行成比例縮小（縮小系數(shù)），這樣做的目的是為了確保對顯著度局部峰值對目標區(qū)域的集中。在得到顯著圖S后，通過設置閾值threshold，得到顯著圖對應的二值圖T，將二值圖T的每個像素與顯著圖S的對應像素相乘得到合成圖M。在此基礎上，計算不同窗口區(qū)域的似物性得分score：

式中：表示二值圖的相應窗口范圍內(nèi)的所有點的像素值之和；表示合成圖的相應窗口范圍內(nèi)的所有點的像素值之和。

在行人檢測中確定搜索窗口區(qū)域的大小范圍為從原始圖像高度30%～80%作為搜索窗口的高度變化范圍，搜索窗口的寬度為對應高度的50%。圖1為ROI區(qū)域確定方法流程圖。圖2為ROI區(qū)域確定過程中得到的中間結(jié)果和最終結(jié)果，圖2(e)中的數(shù)字為score值（為了顯示方便僅取score值的整數(shù)部分）。

2 行人特征提取

以尺度不變特征（scale-invariant feature transform, SIFT）為基礎利用稀疏編碼在SPM架構(gòu)下建立目標的稀疏特征是由Yu Kai等[13]人最早提出的，該特征是建立非監(jiān)督特征學習的基礎上，相較于傳統(tǒng)的SIFT、HOG、LBP等特征提取方法，其得到的特征向量其對于不同目標可分性越高，可以利用簡單的分類器完成不同類型的分類。本文所采用的特征提取方法如下：

輸入：待提取特征的圖像塊，即單個ROI區(qū)域

輸出：特征向量

圖1 ROI獲取算法流程

圖2 ROI獲取結(jié)果

步驟1：將圖像塊大小縮放為固定大小；本文將所有圖像塊固定為128×64pixel。

步驟2：將圖像塊分成若干子區(qū)域，每個子區(qū)域的大小為g1×g1；其中相鄰兩個子區(qū)域之間的重疊度為g2，在本文中g1＝16，g2＝10，由此共得到19×9＝171個子區(qū)域（如圖3）。

步驟3：對每個子區(qū)域提取一個SIFT特征，即一個128維向量，因此對一個128×64pixel圖像塊，共得到171個128維特征向量。

步驟4：利用稀疏字典計算每個特征向量的稀疏表示；在本文中選擇的字典規(guī)模為128×1024，即每個特征向量的稀疏表示為一個1024維的稀疏向量。

步驟5：對圖像塊進行金字塔表示，將根據(jù)不同的劃分尺度，對二維平面圖像進行不同尺度的劃分。當劃分尺度＝0時，不對圖像進行劃分，即原始圖像，把它看作金字塔的第1層。當＝1時，將圖像平均分成4個部分，作為金字塔的第2層。依次類推，對于劃分尺度，將圖像平均分成22τ份，對應金字塔的第＋1層；在本文中＝3層（＝0,1,2），可得到1＋4＋16＝21個圖像子塊。

步驟6：對每個圖像子塊中對應的稀疏向量進行特征池化（pooling）。本文利用最大值池化（max-pooling）進行特征融合，該方法最大的優(yōu)點是對局部噪聲有魯棒性。

步驟7：特征合并完成目標特征提取，通過最大值特征池化共得到21個1024維融合特征向量，將這21個特征首尾相接得到一個長度為1024×21＝21504維的特征向量，完成目標的特征提取。

圖3 圖像塊劃分

3 分類器設計

分類器一直以來都是模式識別研究的重點，模式識別理論誕生于20世紀60年代，在20世紀70年代成為一門獨立的學科體系。模式識別方法大體上可以分為4類：統(tǒng)計模式識別、句法模式識別、模糊模式識別、神經(jīng)網(wǎng)絡模式識別。前兩者是較為古老的模式識別方法，當前基于神經(jīng)網(wǎng)絡的模式識別是較常用的方法，其中以小樣本學習理論與支持向量機成為新的研究與應用熱點。本文利用SVM為基礎設計分類器。

基于機器學習的識別算法由2個部分組成：第一是離線的學習（learning）過程，就是將包含行人的ROI區(qū)域作為正樣本，不包含行人的作為負樣本，并預先抽取出來作為訓練樣本，利用監(jiān)督學習的方法訓練分類器，所有的訓練原本都需要首先進行尺寸上的統(tǒng)一，在此基礎上提取出特征向量及其對應的標簽（label），完成訓練后得到表征分類器的參數(shù)，由于這一訓練過程是預先完成的，因此稱為離線訓練過程。第二是在線識別（recognition）的過程，利用離線訓練得到的分類器，在線對提取出的ROI區(qū)域進行特征提取，將其特征向量送入分類器，得到其對應的識別標簽，根據(jù)標簽就可以判斷每個ROI區(qū)域中是否包含行人。

在利用SVM訓練分類器過程中，對訓練樣本中負樣本的選擇參考該樣本的似物性得分，對于似物性較高的負樣本，在隨機訓練過程中的選中概率較高，該類負樣本的用于訓練的重復度也較高。這是因為ROI獲取過程中得到這類負樣本的概率較高，故分類器應該能夠重點剔除這類負樣本。

4 實驗分析

4.1 ROI區(qū)域獲取算法實驗驗證

圖4為3幅行人檢測的紅外圖像，分別拍攝于室內(nèi)弱光環(huán)境、室外白天環(huán)境與室外夜晚環(huán)境，從圖中可見，人體溫度與周圍環(huán)境溫度之間有著明顯區(qū)別。圖5為利用本文提出的ROI獲取算法得到的3幅圖像的ROI區(qū)域，由圖可見提出的方法均能將行人包含在ROI區(qū)域中，由此證明了本算法的有效性。同時，圖5中每個ROI區(qū)域上方對應的數(shù)字為其score值（為顯示方便取整值），從獲取的score值可見，行人目標的顯著性明顯，由此證明了采用頻域殘差算法的有效性。

4.2 識別算法實驗驗證與比較

使用相同的SVM分類器，針對兩種不同的特征提取方法，對本文所使用的特征提取方法和常用的HOG法針對紅外圖像中的行人識別的準確率進行比較。所選擇的訓練樣本和測試樣本完全相同，通過選擇訓練樣本的數(shù)量的不同，得到的識別結(jié)果如表1所示。在實驗中，共有正樣本318個，負樣本685個，分4組進行實驗，每組訓練樣本的數(shù)量分別為：第1組正樣本100個，負樣本200個；第2組正樣本150個，負樣本300個；第3組正樣本200個，負樣本400個；第4組正樣本250個，負樣本500個。所有剩余樣本作為測試樣本，每組樣本隨機抽取10次，得到的識別結(jié)果如表1所示。圖6為每組樣本數(shù)量的平均識別率，從該圖可見，本文利用的基于ScSPM的分類器的識別率明顯高于基于HOG的分類器的識別率。此外，訓練樣本數(shù)量的增加也有助于提高分類器的識別率。

圖4 用于行人檢測的紅外圖像

圖5 ROI區(qū)域獲取

Fig.5 ROI detection

圖6 不同訓練樣本數(shù)量的平均識別率

4.3 行人檢測實驗驗證

利用第4組訓練樣本得到的分類器對圖2與圖5的ROI區(qū)域進行識別，得到的行人檢測的結(jié)果如圖7所示，由圖7可見，本文提出的方法可以有效地從紅外圖像中完成行人檢測。

5 結(jié)論

針對單幅紅外圖像，研究了一種基于似物性得分和稀疏編碼空間金字塔特征提取的行人檢測方法，在紅外圖像頻域顯著性分析的基礎上提取出ROI區(qū)域，利用非監(jiān)督特征學習與SVM實現(xiàn)對圖像中的行人檢測，驗證了該算法針對單幅紅外圖像行人檢測的有效性。本文的主要特點如下：

1）根據(jù)紅外圖像特點，利用頻域殘算法獲取紅外圖像的顯著圖；

2）提出了一種基于頻域殘差顯著圖的窗口似物性得分計算方法；

3）將窗口似物性得分作為得到選擇訓練樣本負樣本的重要參考，有針對性地進行分類器訓練。

表1 本文方法和HOG法對紅外圖像中的行人識別的準確率比較

圖7 行人檢測結(jié)果

Fig.7 Results of pedestrian detection

[1] Dollar P, Wojek C, Schiele B, et al. Pedestrian detection: An evaluation of the state of the art[J]., 2012, 34(4): 743-761.

[2] Hou X D, Zhang L. Saliency detection: a spectral residual approach[C]//on(), USA: IEEE, 2007: 1-8.

[3] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//(), USA: IEEE, 2009: 1597-1604.

[4] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection[C]//(), USA: IEEE, 2010: 2376-2383.

[5] Alexe B, Deselaers T, Ferrari V. Measuring the objectness of image windows[J]., 2012, 34(11): 2189-2202.

[6] 柯洪昌, 孫宏彬. 圖像序列的顯著性目標區(qū)域檢測方法[J]. 中國光學,2015, 8(5): 768-774.

KE Hong-chang, SUN Hong-bin. A saliency target area detection method of image sequence[J]., 2015, 8(5): 768-774.

[7] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]//(), USA: IEEE, 2005(1): 886-893.

[8] Geronimo D, Lopez A M, Sappa A D, et al. Survey on pedestrian detection for advanced driver assistance systems[J]., 2010, 32(7): 1239-1258.

[9] Dollar P, Wojek C, Schiele B, et al. Pedestrian detection: A bench- mark[C]//(), USA: IEEE, 2009: 304-311.

[10] 張春鳳, 宋加濤, 王萬良. 行人檢測技術研究綜述[J]. 電視技術, 2014, 38(3): 157-161.

ZHANG Chunfeng, SONG Jiatao, WANG Wanliang. Survey on pedestrian detection technology[J]., 2014, 38(3): 157-161.

[11] 許騰, 黃鐵軍, 田永鴻. 車載視覺系統(tǒng)中的行人檢測技術綜述[J].中國圖象圖形學報, 2013, 18(4): 359-367.

XU Teng, HUANG Tiejun, TIAN Yonghong. Survey on pedestrian detection technology for on-board vision systems[J]., 2013, 18(4): 359-367.

[12] 侯旺，孫曉亮，尚洋，等紅外弱小目標檢測技術研究現(xiàn)狀與發(fā)展趨勢[J]. 紅外技術, 2015, 37(1): 1-10.

HOU Wang, SUN Xiao-liang, SHANG Yang, et al. Present state and perspectives of small infrared targets detection technology[J]., 2015, 37(1): 1-10.

[13] Yang J C, Yu K, Gong Y H, et al. Linear spatial pyramid matching using sparse coding for image classification[C]//(), USA: IEEE, 2009: 1-8.

[14] Bao C Q, He L T, Wang Y L. Linear spatial pyramid matching using non-convex and non-negative sparse coding for image classification[C]//(), China: IEEE, 2015: 186-190.

Pedestrian Detection Based on Objectness and Sparse Coding in a Single Infrared Image

WEI Li1，DING Meng2，ZENG Lijun1

(1.,,210016,; 2.,,210016,3.471023,)

Pedestrian detection is a classic issue of computer vision. For the pedestrian detection problems in a single infrared image, this paper proposes a pedestrian detection method based on objectness, sparse coding and spatial pyramid matching. The algorithm can be divided into three phases. Firstly, the saliency map is computed based on spectral residual, and the paper presents an objectness score computation based on saliency map and selects regions of interest according to the score of different sub-windows. Secondly, scale-invariant feature transform, sparse coding and spatial pyramid matching are used to extract the feature vectors of the regions of interest. Finally, linear support vector machine is used to build a classifier and detect pedestrian in each region of interest. The experimental results verify the effectiveness of objectness score computation and the proposed algorithm for infrared images.

infrared image，pedestrian detection，objectness，spectral residual，sparse coding，spatial pyramid matching

TP391.4

A

1001-8891(2016)09-0752-06

2016-01-21；

2016-05-10.

魏麗：（1982-），女，江蘇鎮(zhèn)江人，講師，碩士，紅外圖像分析、信號處理。

丁萌：（1981-），男，江蘇儀征人，副教授，博士，計算機視覺與模式識別。

航空科學基金（20155152041），國家自然科學基金（61203170），中國博士后基金特別資助（2013T60539），中央高校基本科研業(yè)務費（NS2016061）。