面向輔助駕駛的夜間行人檢測方法*

莊家俊 劉瓊

(華南理工大學軟件學院∥計算機科學與工程學院，廣東廣州510006)

基于視頻的行人檢測是計算機視覺領域中的一個研究熱點，是車輛輔助駕駛系統中保障行人與駕駛員安全的重要功能模塊，具有重要的應用價值.駕駛員在夜間行車時的視覺范圍受到較大限制，相對于白天，在夜晚與行人發生交通事故的概率更高［1-2］，因此探索夜間行人檢測方法的需求和意義更大.當前，多數夜間行人檢測系統以紅外攝像頭為基礎.Viola等［3-4］提出了基于Haar-like特征和AdaBoost算法的瀑布型級聯分類器，該方法具備一定的實時性，但與人臉相比，行人模式具有更大的外觀差異，直接應用于行人檢測的效果并不理想;O’Malley等［5］利用方向梯度直方圖(HOG)特征對遠紅外行人進行描述，結合支持向量機(SVM)實現行人檢測，該方法檢測效果較好，但計算開銷稍大，在Matlab平臺下檢測速度為1～2幀/s;利用Haar-like特征計算速度快、HOG特征描述能力強的特點，Ge等［6］提出一種基于Haar-like和HOG特征及Gentle-AdaBoost算法的兩級樹型結構的近紅外行人檢測器，在保證檢測性能的同時于一定程度上降低了運算復雜度;梁英宏［7］利用遠紅外圖像中人體比背景亮的特點，通過檢測圖像中的高亮區域，利用其灰度-投影直方圖進行行人檢測，該方法復雜度小，容易實現，但其僅在簡單場景下可行，且虛警較多;Bertozzi等［8］根據行人的步態模式建立4個人體概率模板，再通過模板計算各像素的聯合概率判斷輸入圖像是否包含人體，計算開銷較低，但這種模板建立模式比較適合站立且腿部可見的行人;Sun等［9］提出一種描述性能較強的多級二元模式(PBP)特征，在多級網格劃分密度下利用每個網格中紋理信息的空間布局來描述紅外行人的對稱性特點，并采用SVM實現行人檢測，檢測性能優于文獻［5］采用的HOG描述子，但PBP特征計算開銷較高，在Visual C++環境中也僅有平均10幀/s的處理速度.

面向輔助駕駛的行人檢測方法受其應用條件和需求限制，必須具備良好的實時性和較高的準確度［10］.上述多數基于機器學習的檢測方法雖具備較高的準確度，但其高計算復雜度的不足制約了算法的實時性.文中在前人研究成果的基礎上，采用單目遠紅外攝像頭，提出一種基于概率模板匹配的夜間行人檢測方法，并將該方法分為3個階段來介紹:(1)利用局部水平鄰域像素的灰度統計特性，獲得局部分割閾值，實現輸入圖像的二值化，并對分割結果進行形態學處理，通過8連通標記提取出感興趣區域(ROIs);(2)采用人工分割獲得的訓練樣本建立多尺度行人概率模板，對ROIs進行匹配判別;(3)結合目標跟蹤和概率模板匹配，進行多幀處理結果的綜合判斷.

1 ROIs的提取

ROIs提取是為了提取紅外圖像中可能存在行人的區域，以降低計算開銷，便于后續目標檢測，包括圖像分割、形態學處理和ROIs選取.

1.1 圖像分割

遠紅外圖像是熱圖像，一般情況下，人體散發的熱量高于周圍環境散發的熱量，對應到圖像中則表現為行人區域比周圍背景亮［6］，如圖1所示.從每一條水平線方向看，行人區域的像素比兩邊的背景亮，且在邊緣位置有一個突變，因此可利用局部水平鄰域像素的灰度統計特性實現圖像的二值化.文中采用一種局部閾值分割算法，按式(1)和(2)分別計算圖像中每個像素的兩個閾值，即低閾值TL和高閾值TH:

式中，(i，j)為當前水平鄰域中心像素點的坐標，I(z，j)是局部水平鄰域中像素(z，j)的灰度值，ω為水平鄰域的半寬度，σ為該鄰域像素灰度值標準差的平方根為控制參數，用于調節TH的取值.輸入圖像中坐標為(i，j)的像素點的二值化結果I'(i，j)由式(3)確定:

圖1 行人區域灰度分布拓撲圖Fig.1 Topographic surface of intensity in a pedestrian area

由上述分析可以得出，半寬度ω較大時，局部水平鄰域將同時包含目標及其兩邊背景區域的像素，獲取的高低閾值較為合理，更能凸顯目標區域并抑制兩邊背景，故分割后人體的完整性較好，但計算開銷也較大;半寬度ω較小時，局部水平鄰域像素可能全部落入目標內部，這時局部鄰域灰度同質性較高，導致得到較大的TL，容易降低分割后目標的完整度.另一方面，控制參數較大時，得到的TH較大，也可能降低分割后目標的完整度;控制參數較小時，容易導致分割結果中包含較多的噪聲.采用通過大量實驗確定參數的方式，文中發現當ω和分別為12和2時，分割算法對輸入圖像具有較好的二值化效果，如圖2所示.

圖2 圖像的二值化效果及候選區域選取Fig.2 Binary segmentation result of an input image and corresponding candidates selection

1.2 形態學處理

為了消除二值圖像中的噪聲和填補弱連接區域，先后采用形態學腐蝕與膨脹操作來改善圖像中的連通區域.由于二值化階段采用了水平鄰域像素的灰度統計特性計算分割閾值，當連續多個水平鄰域中的絕大部分像素位于人體內部時，獲得的閾值TH和TL可能偏高，容易造成二值圖像中行人區域上下部位的弱連接甚至“斷裂”現象.為緩解該問題，文中采用1×3的結構元素進行腐蝕操作以濾除噪聲，繼而采用3×3的結構元素進行膨脹運算以填補弱連接區域.圖2(a)為實拍的紅外圖像，對其處理后的二值化效果見圖2(b)，圖中所有區域均采用8連通標記獲得.

1.3 ROIs選取

圖2(b)表明，二值圖像中連通區域數量較多，且大部分屬于非行人區域.如果對所有區域進行后續檢測，不僅計算開銷較大，而且容易出現虛警.因此，可利用一些先驗知識對這些區域進行過濾.根據行人區域最小外接矩形寬高比的統計分布(見圖3)以及行人在圖像中可能出現的位置信息(即行人位于路面上的物理約束)，過濾了絕大多數明顯的非行人區域，有效地提升了系統的執行效率，最終獲取的ROIs如圖2(a)所示.

圖3 行人區域寬高比分布Fig.3 Distribution of aspect ratio of pedestrian regions

2 基于概率模板的行人檢測

行人檢測是車輛輔助駕駛系統的核心組成部分，與ROIs提取階段不同，其必須具備出色的分類性能.基于知識的檢測方法通過人為歸納出描述行人的某些特征或規律來判別行人模式，普遍具有計算復雜度低的優點.

考慮到行人是非剛體，姿態多樣化容易造成行人類內方差較大，所需建立的形狀/輪廓模板的數量將非常龐大(如文獻［11］中構造了近1000個行人輪廓模板)，在真實硬件平臺(如DSP)上實現時需要較大的存儲和匹配計算開銷.行人概率模板是對行人外觀模式的一種歸納，模板數量容易控制，在檢測階段可方便地通過模板與輸入圖像的相似性匹配程度來確認行人.

2.1 訓練樣本及其預處理

與基于機器學習的檢測方法類似，文中也需要利用行人樣本來構建概率模板.運動方向的不同是造成行人外觀模式多樣性的主要原因之一，如圖4所示.不同于文獻［8］的方法，為降低行人類內方差，提高每一個概率模板對相應姿態下行人外觀模式的歸納準確度，根據不同的運動方向，文中將樣本集劃分為沿著攝像頭運動(包括踩單車、跑步和行走等運動方式)、橫跨攝像頭由右向左運動和橫跨攝像頭由左向右運動3個子類，每個子類中各包含80個樣本.這種劃分方式使得在檢測階段不僅能判斷ROIs是否包含行人，而且即使在不加入目標跟蹤與行為分析模塊時也能對行人的運動方向進行估計.

圖4 部分訓練樣本Fig.4 Some examples of training dataset images

接下來，對所有樣本進行預處理，包括尺度調整和0-1二值化.首先將所有樣本通過插值調整至96像素×40像素.其次，在觀察了大量樣本的灰度分布情況后，發現每個樣本中屬于人體的像素高于周圍背景的像素灰度值，且多數情況下高于該局部區域的平均灰度值，為此，選取每個樣本的灰度均值作為對該樣本進行0-1二值化時的動態閾值，以凸顯行人的高亮像素區域.

2.2 概率模板的構建

根據樣本集的劃分方式，分別對應建立3個運動方向的行人概率模板，如圖5所示.每個模板中相應的像素取值代表該像素在該類樣本中高于樣本灰度均值的頻率，即該像素隸屬于人體區域的概率.

圖5 行人概率模板Fig.5 Pedestrian probabilistic templates

由于攝像頭安裝在運動平臺上，因此圖像中行人的成像尺寸是不斷變化的，而且受特定應用背景的限制，即使及時檢測到車輛前方近距離處的行人，也難以保證駕駛員擁有足夠的反應時間來采取緊急應對措施，因此檢測位于中遠距離(15m之外)處的目標顯得更有意義.文中采用的遠紅外攝像頭的空間分辨率(352×288)較低，位于中遠距離外的行人成像尺寸較小，而且這類目標通常數量較多，若將每一個ROI調整至與模板同等大小的尺寸，所需的插值運算開銷較大，會影響系統的實時性.因此，文中將上述大尺度行人概率模板通過降采樣的方式重新建立3個尺度(分別是96像素×40像素、64像素×24像素和24像素×10像素)下的概率模板，分別對應位于近(15 m之內)、中(15～45 m之間)、遠(約45m之外)距離下的目標匹配運算.

2.3 行人檢測

受人體手臂擺動幅度的影響，ROIs的寬度變化較大，不適合估計當前目標的距離.文中根據視頻中所有行人樣本高度的統計分布規律，利用高度估計當前ROIs與攝像頭之間的距離.將高度多于64像素的ROIs視為近距離目標，高度在24～64像素之間的視為中距離目標，其余的視為遠距離目標.進而對ROIs進行尺度調整，使其與相應距離下模板的尺度相同，并對其進行0-1二值化處理(與訓練樣本的處理過程相同).進一步根據式(4)與相應尺度下的3個模板進行匹配運算:

式中，C為匹配值，R為進行預處理后的ROI，P為概率模板，n為R和P的像素數.

式(4)表明，當概率模板P中某個像素取值大于0.5且感興趣區域R中相應像素取值也大于0.5時，即P中該像素隸屬于人體而R中該像素也隸屬于人體時，該像素將對最終的匹配值C賦予正貢獻;同理，當P和R中某個像素取值同時小于0.5時，該像素也對C賦予正貢獻;反之，則對C賦予負貢獻.故式(4)表征了ROI各像素對匹配值C的聯合貢獻和.其中分母的作用在于將匹配值C規范化到［-0.5，0.5］之間，C 值越大表明匹配程度越高.

3 多幀校驗/目標跟蹤

由于動態場景的復雜多變和不穩定分割，難以保證目標在每一幀中都能被準確分割，容易造成目標的漏檢，若能利用前一幀的檢測結果估計目標在后一幀中的位置與尺寸，將估計結果與后一幀的分割結果一起作為ROIs，通過模板匹配進行判別，可提高對單個目標的檢測率;若能準確分割出后一幀中的目標，那么前一幀的估計結果將與后一幀的分割結果相互重疊，此時則采用極大化抑制的方法進行區域合并，形成一個完整的ROI.雖然部分干擾源(如樹干、燈柱、郵筒等)的外形輪廓與行人相似度較大，在匹配階段容易產生虛警，但一般來說，行人可在連續多幀中被持續檢測到，而干擾源僅在個別幀中被誤檢，因此通過多幀的檢測結果進行綜合判斷有利于抑制虛警.

行人與背景相對于攝像頭的運動主要是由車輛的運動引起的，故相鄰兩幀中同一目標的位置與尺寸變化較小，可近似將該目標在視頻中的運動視為勻加速運動，其運動狀態可表示為 S={x，dx，y，dy，w，dw，h，dh}.其中，x與 y分別為目標在圖像中水平與垂直方向的起始位置坐標，dx與dy為位置的變化量，w與h分別為目標的寬度與高度，dw與dh分別為w與h的變化量.

目標檢測系統中常用的跟蹤算法有Kalman濾波［6，12］和粒子濾波算法［13-14］等，其中粒子濾波算法計算量大，與實際應用存在距離.鑒于Kalman濾波算法具備較強的實時性，而本系統中目標的運動近似為勻加速運動，因此可利用Kalman濾波算法來估計目標在視頻中的線性運動狀態.以x方向為例，即對狀態 Sx={x，dx，w，dw}，其 Kalman 濾波的狀態方程和觀測方程可表示為

4 方法的實現與結果分析

4.1 概率模板性能的比較

文中從實拍視頻中分別提取1200個行人樣本和1000個與行人外形相似的干擾樣本，以測試概率模板對目標匹配的性能，并與文獻［8］中的方法進行比較，匹配結果使用接受者操作特性曲線(ROC)進行評估，如圖6所示.

圖6 不同概率模板匹配性能的比較Fig.6 Comparison of matching performance of different probabilistic templates

圖6表明，在目標匹配階段，文中的模板建立方式優于文獻［8］中的方法.原因在于文獻［8］是通過行人樣本的步態模式建立相應的概率模板，使得運動方向不同但腿部模式一致的樣本被歸納到同一個概率模板中，這有悖于本研究基于運動方向劃分多個子類樣本以降低行人樣本類內方差的做法，因此影響了每一個概率模板對相應姿態下行人外觀模式的歸納準確度.

匹配階段的時間復雜度由式(4)決定.在模板建立之后，式中的分母項可以事先獲得，故實際計算時間開銷取決于ROI的像素數n.因此每個ROI與模板之間相似度匹配過程的時間復雜度為O(n)，是一個線性時間復雜度，表明該方法具備較高的執行效率.值得指出的是，通過設置合適的閾值(匹配值)，概率模板匹配法亦可在級聯檢測框架中作為前端分類器.

4.2 行人檢測實驗與結果分析

為了驗證文中方法的實際性能，從拍攝總長約為80min的視頻中抽取4個片段，對應郊區(廣州大學城)和市區(廣州大道南)兩種場景的視頻各占2個片段，每段視頻長度均為30s(即每段包含750幀圖像)，并人工標注了視頻中的所有行人目標，作為方法驗證的客觀標準.文中將檢測率定義為正確檢測到行人的幀數與含有行人的總幀數的比值，虛警率定義為出現誤檢測的幀數與總幀數的比值.

測試實驗運行在Intel Dual-Core E5800 3.2GHz的PC平臺上，用Matlab實現，圖7為部分檢測結果.圖中實線矩形為正確檢測到的行人區域，點線矩形為漏檢的行人(圖中在漏檢位置用“miss”標識)，虛線矩形為虛警(圖中在虛警位置用“FA”標識).實線矩形下方的數字為對被檢測到的行人運動方向的判斷情況，根據模板構建階段對樣本集的劃分，數字“1”表示目標沿著攝像頭運動，“2”表示橫跨公路由右向左運動，“3”表示橫跨公路由左向右運動.

圖7 部分實測結果Fig.7 Some detection results

方法的統計性能見表1，除了系統級的檢測率與虛警率，表中也給出了兩種場景中出現的行人總數、實際被檢出的個數和虛警數(一幀可能存在多個虛警)，便于從分類器級的角度考察文中方法對行人目標的檢測性能.

表1 文中方法的性能統計Table 1 Statistical performance of the proposed method

表1表明，文中方法在郊區路段的檢測效果較好，因場景相對簡單，漏檢數較少，虛警率也較低，獲得了不低于90%的檢測率和不高于10%的虛警率.但在市區路段，場景復雜度的提高導致行人與背景的對比度下降，甚至與背景融為一體，在ROIs提取階段難以連續、準確地選取目標，造成后續檢測與跟蹤環節較難填補該漏檢目標，使得總體檢測率有一定幅度的降低，檢測率約為75%;同時，場景中干擾熱源的顯著增多導致較多的虛警產生，虛警率約為22%.Matlab平臺下，文中方法在行人檢測階段的處理速率為4～8幀/s(取決于ROIs的數量)，若改為VC或專用圖像處理平臺，實時性將得到進一步的提高.

5 結語

文中提出一種面向車輛輔助駕駛的夜間行人檢測方法，從局部雙閾值分割算法獲得的二值圖像中提取潛在的行人區域，并與離線構造的多尺度概率模板通過相似度匹配進行行人檢測，最后對被檢目標通過多幀校驗的方式進行魯棒的綜合判斷.相對于基于機器學習的檢測方法，該方法所需訓練樣本數量較少，且無需收集大量的“困難”負樣本以應對分類器推廣性能的問題.實驗結果表明文中方法檢測效果較好，實時性可得到保障，具有一定的應用前景，但在市區場景中虛警率偏高.下一步將考慮結合運動方向和更多的人體形態特征，進一步提高概率模板歸納行人外觀模式的準確度，并抑制系統的虛警率.

［1］Soga M，Hiratsuka S，Fukamachi H，et al.Pedestrian detection for a near infrared imaging system［C］∥Proceedings of IEEE Conference on Intelligent Transportation Systems.Beijing:IEEE，2008:1167-1172.

［2］Gerónimo D，López A M，Sappa A D，et al.Survey of pedestrian detection for advanced driver assistance systems［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(7):1239-1258.

［3］Viola P，Jones M.Rapid object detection using a boosted cascade of simple features［C］∥Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai:IEEE，2001:511-518.

［4］Viola P，Jones M，Snow D.Detecting pedestrians using patterns of motion and appearance［C］∥Proceedings of IEEE International Conference on Computer Vision.Nice:IEEE，2003:734-741.

［5］O’Malley R，Jones E，Glavin M.Detection of pedestrians in far-infrared automotive night vision using region-growing and clothing distortion compensation［J］.Infrared Physics ＆ Technology，2010，53(6):439-449.

［6］Ge J F，Luo Y P，Tei G.Real-time pedestrian detection and tracking at nighttime for driver-assistance systems［J］.IEEE Transactions on Intelligent Transportation Systems，2009，10(2):283-298.

［7］梁英宏.紅外視頻圖像中的人體目標檢測方法［J］.紅外與激光工程，2009，38(5):931-935.Liang Ying-hong.Human detection method in infrared video images［J］.Infrared and Laser Engineering，2009，38(5):931-935.

［8］Bertozzi M，Broggi A，Gomez C H，et al.Pedestrian detection in far infrared images based on the use of probabilistic templates［C］∥Proceedings of IEEE Intelligent Vehicles Symposium.Istanbul:IEEE，2007:327-332.

［9］Sun H，Wang C，Wang B L，et al.Pyramid binary pattern features for real-time pedestrian detection from infrared videos［J］.Neurocomputing，2011，74(5):797-804.

［10］郭烈，高龍，趙宗艷.基于車載視覺的行人檢測與跟蹤方法［J］.西南交通大學學報，2012，47(1):19-25.Guo Lie，Gao Long，Zhao Zong-yan.Pedestrian detection and tracking based on automotive vision ［J］.Journal of Southwest Jiaotong University，2012，47(1):19-25.

［11］Gavrila D M.A bayesian，exemplar-based approach to hierarchical shape matching ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29(8):1408-1421.

［12］Gavrila D M，Munder S.Multi-cue pedestrian detection and tracking from a moving vehicle［J］.International Journal of Computer Vision，2007，73(1):41-59.

［13］Giebel J，Gavrila D M，Schn?rr C.A Bayesian framework for multi-cue 3D object tracking［C］∥Proceedings of EuropeanConferenceonComputerVision.Prague:Springer-Verlag，2004:241-252.

［14］趙運基，裴海龍.基于增量學習的關節式目標跟蹤算法［J］.華南理工大學學報:自然科學版，2012，40(3):88-93.Zhao Yun-ji，Pei Hai-long.Articulated object tracking algorithm based on incremental learning［J］.Journal of South China University of Technology:Natural Science Edition，2012，40(3):88-93.