基于彩色和紅外特征的多模式行人檢測方法

趙晨，孟朝暉

（河海大學江蘇南京210000）

?

基于彩色和紅外特征的多模式行人檢測方法

趙晨，孟朝暉

（河海大學江蘇南京210000）

摘要：針對日常生活中的行人安全問題，本文采用一種基于彩色和紅外特征的多模式行人檢測方法，提高行人檢測的精度。本文通過分類檢測障礙物和行人區(qū)域的顏色和紅外特征，設(shè)計一個多模式三焦框架，將檢測得到的多模式圖像特征結(jié)合在一起，促進多模式行人檢測的發(fā)展。實驗結(jié)果表明，當顏色、視差和紅外特征結(jié)合使用時，該方法檢測性能顯著提高。

關(guān)鍵詞：模式識別；行人安全；行人檢測；紅外

行人安全是一個具有全球性意義的問題。全球每年117萬的交通事故死亡人數(shù)中，65%與行人相關(guān)。發(fā)達國家，如美國，每年交通事故死亡人數(shù)中行人死亡占10.9%；發(fā)展中國家，行人死亡比例和數(shù)量更龐大，據(jù)統(tǒng)計，中國和印度行人死亡量占所有的交通死亡量的一半以上。這一問題已引起各相關(guān)研究領(lǐng)域的強烈關(guān)注，目前不論從車輛還是從交通基礎(chǔ)設(shè)施方面，計算機視覺在行人檢測和跟蹤方面的研究越來越深入。

行人檢測以往的關(guān)注重點是，提取用于識別行人區(qū)域的一整套特征訓練集，使用單一攝像機檢測擁擠而多變場景中行人。從單目圖像中提取特征，最常用的分類方法是支持向量機（SVM）［1-2］的方法，此外還有模板匹配、卷積神經(jīng)網(wǎng)絡(luò)和Chamfer距離匹配等。單臺攝像機法被限制在一個臨界區(qū)內(nèi)，為實現(xiàn)單目圖像中較好的行人檢測，達到準確可靠的深度估計目的，需使用一個安置在立體視覺配置上的多目攝像系統(tǒng)。立體視覺攝像系統(tǒng)［3］利用稠密立體匹配來確定候選行人區(qū)域，并確定行人離攝像機的距離，紅外立體攝像系統(tǒng)將紅外特征的優(yōu)勢與立體視覺固有的強大深度估計結(jié)合起來［4］。

文中利用可見光圖像和紅外圖像在同一個場景提取的信息具有互補性的特點，將二者結(jié)合。普通數(shù)字視頻攝像機捕捉的是一個場景中目標的反射光，紅外攝像機是對目標熱輻射特性的捕獲，兩種特征結(jié)合可以提高檢測的魯棒性。為了能更好的記錄單一模式立體圖像，還需要一致匹配技術(shù)［5］，而在多模式多維系統(tǒng)中，目標在視頻圖像和紅外圖像中有不同表現(xiàn)形式，使得尋找強健的一致匹配技術(shù)非常困難。實驗測試平臺由一臺彩色和一臺紅外攝像機組成，使用單峰圖像法進行基于立體視覺檢測的對比實驗。分析檢測到的障礙物和行人區(qū)域中的有用的彩色和紅外特征，利用由一對立體彩色攝像機和一臺獨立的紅外相機組成多模式三焦框架，通過校準三目攝像裝置，得到精確魯棒的彩色、視差和紅外特征記錄。實驗證實彩色、視差和紅外信息相結(jié)合，在行人檢測中有更顯著的效果。

1　基于立體的行人檢測

分析立體影像中行人的基本步驟是檢測障礙物并在三維空間中定位。采用Labayrade等人［6］提出的立體圖像障礙物檢測方法，利用v-視差概念確定場景中的障礙。v-視差是一個立體視差圖像的柱狀圖，積累圖像中每一行當前差異值，當相機與成像場景相對平行時，目標呈現(xiàn)在不同視差域平面上［7］。為了實現(xiàn)彩色和紅外立體影像行人檢測對比分析，使用v-視差方法檢測障礙物，實現(xiàn)彩色和紅外立體影像無修改采集，根據(jù)兩種方法性能生成障礙物區(qū)域魯棒性立體視差。具體實現(xiàn)步驟如下：

第一步，進行稠密立體匹配，得到目標場景的視差估計，選擇由Kono1jge［8］提出的一致匹配算法，得到彩色和紅外視差圖像，如圖1所示。

圖1　彩色圖像和紅外圖像的視差圖

第二步，生成u-和v-視差圖像。u-視差圖像顯示每列u的密度差異，3個不同的水平區(qū)域，對應于場景中3個行人，其頂部跨越整個區(qū)域，顯示出背景平面，并可過濾處理。v-視差直方圖表示行v的密度差異，顯示用于背景及包含行人視差差異范圍的高密度垂直峰值，其中每一行的向下傾斜趨勢被用來估計場景中的地平面。

第三步，估計地平面。對v-視差圖像中視差d的每一列，選擇最低的像素位置作為候選地平面點，該位置的值超過設(shè)定閾值。通過擬合候選點到一個穩(wěn)健線性回歸方程估計地平面，回歸方程利用加權(quán)最小二乘法，使用雙平方加權(quán)函數(shù)權(quán)重迭代，利用魯棒性點候選集和迭代直線擬合一個密集立體，估計得到彩色立體和紅外立體影像中的地平面。

第四步，生成候選邊界框。邊界框候選區(qū)域從u-和v-視差圖像感興趣區(qū)域（ROI）中提取出來。u-視差圖像的ROIs通過掃描圖像的行得到，用于直方圖值超過設(shè)定閾值的連續(xù)跨度；v-視差圖像的ROIs通過選擇列提取，該列地平面上方直方圖值的總和大于閾值。候選邊界框是從基于視差值的u-和v-視差圖像的ROIs中選擇出來的。對于一個給定的視差d，邊界框的寬度是由u-視差圖像中ROIs確定，高度是由v-視差圖像中ROIs確定。大邊界框與背景區(qū)域被過濾出來，而其余的候選區(qū)域如圖2所示。

圖2　彩色和紅外圖像的候選區(qū)域邊界框

第五步，對候選區(qū)域過濾合并。圖2候選區(qū)域邊界框有多個重疊，當與行人相關(guān)的視差跨越一段范圍值，尤其是當行人靠近攝像機時，會出現(xiàn)這種情況。設(shè)與邊界框相關(guān)的視差值相近時，合并明顯重疊的候選區(qū)域，最終的行人候選邊界框如圖3所示。

圖3　彩色和紅外立體圖像融合后最終的行人候選區(qū)域邊界框

由于捕獲的視頻幀不包括非行人障礙，如其他車輛或騎車的人，實驗才取得了比較高的檢出率，所以實驗假設(shè)，檢測到的障礙物區(qū)域被認為是一個行人。實驗要實現(xiàn)的是底層障礙的高檢出率和緩解碰撞，而實際情況下，檢測到的障礙包括駕駛過程中遇到的各種對象，并非只有行人，過濾檢測到的障礙物對識別行人來說是必不可少的。通過學習和試探性地選擇行人邊界框特征，如大小、視差和縱橫比等，來過濾掉場景中與目標相連的邊界框［7］。

雖然彩色和紅外立體分析可以分別組合［7］，但更經(jīng)濟可取的解決辦法是把色彩、視差及紅外特征組合到一個綜合檢測框架中。提出一個由一臺彩色攝像立體對和一臺獨立的紅外攝像機組成的多模式三焦框架，設(shè)計集成色彩、視差和紅外特征的行人檢測器，產(chǎn)生比單獨使用各個特征更高的檢出率。

2　用于行人檢測的多模式三焦框架

色彩、視差及紅外圖像特征的優(yōu)勢可以通過使用一個三目攝像機的方法合并，使用立體圖像視差估計，記錄紅外圖像中對應像素、矩陣的集合與三幅圖像之間的對應關(guān)系。通過對應點的最小化代數(shù)誤差來估計三焦點矩陣向量，對應點通過三焦點圖像得到，三焦點圖像使用與立體校準相同的校準技術(shù)，要計算三焦點矩陣向量需要在點估計中使用更多的關(guān)聯(lián)平滑誤差。

三焦點矩陣向量T=［T1，T2，T3］，其中Tj是第j張圖像中的一個3×3的矩陣。這個張量標記可以確定標準的二視圖幾何參數(shù)，如基礎(chǔ)矩陣F、極點e和投影矩陣P。給定一個對應點x′?x″，通過（1）估算得到轉(zhuǎn)移到第3幅圖像的點x。

利用Da1a1和Trjggs［8］提出的方法，提取方向梯度直方圖特征。對于每一個彩色、視差和紅外圖像，計算一個X×Y×Z元的直方圖，其中X，Y和Z分別是直方圖寬度、高度和梯度方向的大小。實驗中，使用一個4×4×8元的直方圖，為每個圖像類型產(chǎn)生128元的特征向量。使用支持向量機的彩色、視差和紅外特征的組合，徑向基函數(shù)作為核函數(shù)類型，訓練行人檢測器。

圖4　彩色和紅外立體圖像行人檢測最終結(jié)果

3　用于行人檢測的交叉譜一致性立體匹配

多模式三焦框架顯示出用于行人檢測的彩色、視差和紅外特征整合的優(yōu)勢，利用互譜立體研究實現(xiàn)一致性立體匹配。為了得到準確強健的記錄，使用交叉譜立體圖像中用于區(qū)域匹配的算法［5］。提供有統(tǒng)計置信度值的魯棒視差估計，用于有初始對象分割的圖像中。

由于成像特性差異較大，匹配集中于初始分割估計的前景像素。為了在運動車輛中獲得分割，使用基于光流的方法來檢測場景中移動的行人。實驗表明，這種方法在速度較低（＜10米/小時）時是比較穩(wěn)健的。以下是匹配方法的流程圖：

已知在水平方向lu和垂直方向lv運動的光流估計及遮擋區(qū)域locc，估計前景區(qū)域Rf，是有水平方向或者垂直方向的無遮擋的運動。用式（2）進行形態(tài)學平滑估計。

固定一幀前景圖像中的窗口，并沿著第二幀圖像滑動到對應窗口完成匹配。已知圖像高度和寬度w，對于每一列i∈0，…，w，令WC，i作為一個高度是h*、寬度是M的彩色圖像的參考窗口。給定的場景寬度M通常小于場景中目標物體的寬度，實驗設(shè)定M為31，高度h*是參考窗口內(nèi)最大前景跨度。紅外圖像中對應窗口WI，i，d高度h*，位于i+d列，d是視差偏移，對于給定的列i，參考窗口是確定的，取值范圍為d∈dmjn，…，dmax。

已知兩個對應的窗口WC，i和WI，i，d，通過線性量化圖像，兩種類型圖像塊之間的相似性，可以通過它們之間的公用信息Fcm（C，I）測定。

其中PC，I（c，i）是聯(lián)合概率密度函數(shù)，而PC（c）和PI（i）分別是彩色和紅外圖像塊的邊緣概率密度函數(shù)。PC，I（c，i）表示歸一化的二維圖像密度直方圖，而邊緣概率通過直方圖的一維值決定的。定義兩對應窗口之間的交互信息為Ic，i，i為參考窗口中心，而c+i是移動窗口的中心。對于每一列，有d∈dmjn，…，dmax，選擇最佳視差d*i作為最大共有信息。

分配一個值d*i給參考窗口中所有前景像素，定義一個大小為（h，w，dmax-dmjn+1）的視差值矩陣作為視差范圍。對于每個前景像素，給定參考窗口WC，i，（u，v）∈（WC，iI Rf，c），累積視差值矩陣到DC（u，v，d*i）。由于對應窗口是M，視差值矩陣的每一列都將有M個值。對于圖像中每個像素（u，v），DC是對應窗口的匹配視差分布。假定人與相機距離是固定的，較好的匹配應有大量數(shù)據(jù)，用于一個獨立視差值，而不好的匹配是分布在整個范圍內(nèi)的視差值，最好的視差值和每個像素對應的置信度，

對于一個像素（u，v），E*C（u，v）是最佳視差值D*C（u，v）的數(shù)量。D*I和E*I通過視差轉(zhuǎn)移，對齊于彩色圖像，之后用“和”運算組合。對于所有像素（u，v），都有E*C（u，v）＞0和E*I（u，v）＞0。

產(chǎn)生的視差圖像D*（u，v）可用于記錄場景中多個對象。圖5顯示通過算法推導得到的圖像記錄結(jié)果，紅外前景像素（綠色）覆蓋彩色前景像素（紫色）顏色，交叉譜一致性立體匹配成功覆蓋場景中3人的前景區(qū)域。

圖5　結(jié)合彩色和紅外視差圖D*C和D*I產(chǎn)生視差圖像

分析行人區(qū)域交叉譜的立體一致匹配，目標是從行人的不同位置、相機距離及閉和水平匹配成功。我們認為視覺上的對齊是正確的，而未對齊、丟失或部分對齊的區(qū)域是不正確的。表1總結(jié)我們的實驗分析。

表1　行人區(qū)域的交叉譜立體配準

4　結(jié)束語

該算法通過實驗比較表明，基于彩色和紅外的立體視差都能在低誤報（＜＜1%）情況下非常準確的進行行人檢測（＞98%）。由于產(chǎn)生彩色和紅外圖像的物理過程不同，每種模式提取的特征在很大程度上是獨立的。該法表明彩色和紅外圖像特征可以用于行人分類，并與多模式三焦框架結(jié)合用于行人檢測。多模式三焦框架用一個獨立的紅外攝像機來準確記錄每幀圖像的像素，證明融合彩色、視差和紅外特征的訓練行人檢測器，有比單獨使用單峰或立體特征探測器更高的精度。雖然初始分割的要求限制了該方法的通用性和魯棒性，但這對交叉譜立體匹配算法的發(fā)展是很好的第一步。

行人安全是安全駕駛許多方面中的一個，從一個多模式三焦或交叉譜立體解決方案中提取的多模式特征集，可提供強大且統(tǒng)一的框架，用于分析車載環(huán)境以及更高層次的駕駛員意圖分析，但在實際應用中還有很多問題亟待解決，需要從計算機視覺方面進一步探索研究。

參考文獻：

［1］Andreone L，Be11ottj F，De G1orja A，et a1. SVM -based pedestrjan recognjtjon on near-jnfrared jmages［J］. Internatjona1 Symposjum on Image & Sjgna1 Processjng & Ana1ysjs，2005：274-278.

［2］張祥合.復雜場景中目標識別與分類的仿生原理和方法［D］.長春：吉林大學，2012.

［3］Zhao L，Thorpe C E. Stereo-and neura1 network-based pedestrjan detectjon［J］. Inte11jgent Transportatjon Systems IEEE Transactjons on，2000，1（3）：148-154.

［4］Bertozzj M，Broggj A，Caraffj C，et a1. Pedestrjan detectjon by means of far-jnfrared stereo vjsjon［J］. Computer Vjsjon & Image Understandjng，2007，106（23）：194-204.

［5］Krotosky S J，Trjvedj M M. Mutua1 jnformatjon based regjstratjon of mu1tjmoda1 stereo vjdeos for person trackjng［J］. Computer Vjsjon & Image Understandjng，2007，106：270 -287.

［6］Labayrade R，Aubert D，Tare1 J. Rea1 tjme obstac1e detectjon jn stereovjsjon on non f1at road geometry through″v -djsparjty″representatjon［C］//IEEEInte11jgent Vehjc1e Symposjum. IEEE，2002：646-651.

［7］孔慶群，高偉.視差計算的層級模型［J］.中國科學：信息科學，2013（9）：1111-1123.

［8］Da1a1 N，Trjggs B. Hjstograms of Orjented Gradjents for Human Detectjon［C］//Nu11. IEEE Computer Socjety，2005：886-893.

Multl-Pattern methods to Pedestrlan detectlon based on the color and lnfrared features

ZHAO Chen，MENG Zhao-huj
（Hohai University，Nanjing 210000，China）

Abstract:Be djrected agajnst the pedestrjan safety prob1ems jn daj1y 1jfe，thjs paper uses a mu1tj-pattern method to pedestrjan detectjon based on the co1or and jnfrared features，jn order to jncrease the accuracy of pedestrjan detectjon. Through the c1assjfjcatjon detectjon on co1or and jnfrared features of obstac1e objects and pedestrjan regjon，wepropose a mu1tj-pattern trjfoca1 frameworkto combjne detected mu1tj-pattern-jmage features，thjs paperpromotes the deve1opment of mu1tj-pattern pedestrjan detectjon. The experjmenta1 resu1tsdemonstrate that the detectjon performance js sjgnjfjcant1yhjgher when co1or，djsparjty，and jnfrared features areused together.

Key words:pattern recognjtjon；pedestrjan safety；pedestrjan detectjon；jnfrared

中圖分類號：TN0

文獻標識碼：A

文章編號：1674-6236（2016）07-0055-03

收稿日期：2015-05-11稿件編號：201505090

作者簡介：趙晨（1988—），女，山東煙臺人，碩士。研究方向：計算機視覺。