基于區(qū)域定位與輪廓分割的紅外目標(biāo)檢測(cè)

張寶華，劉 鶴

(內(nèi)蒙古科技大學(xué)信息學(xué)院，包頭014010)

引 言

基于序列圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺和圖像處理領(lǐng)域的重要研究方向，被廣泛應(yīng)用于視頻監(jiān)控、模式識(shí)別、自動(dòng)控制等諸多領(lǐng)域。可見光和紅外圖像是目標(biāo)檢測(cè)的主要研究對(duì)象，可見光圖像在夜晚和暴雨、大霧等極端天氣條件下，難以有效地檢測(cè)運(yùn)動(dòng)目標(biāo);相比而言，紅外圖像即使在夜晚和光線不足的條件下，也能捕捉跟蹤運(yùn)動(dòng)目標(biāo)，因此，基于紅外序列圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)受到學(xué)者重視。LI在提取感興趣區(qū)域基礎(chǔ)上，利用小波分析和支持向量機(jī)實(shí)現(xiàn)了熱紅外運(yùn)動(dòng)目標(biāo)檢測(cè)［1］，提高了檢測(cè)的方法的魯棒性;ZIN將多特征融合后利用混合特征分析實(shí)現(xiàn)了近紅外紅外目標(biāo)檢測(cè)，擴(kuò)展了檢測(cè)方法的應(yīng)用范圍［2］;GENIN采用基于高斯混合模型的匹配濾波器，實(shí)現(xiàn)在非平穩(wěn)背景下的紅外點(diǎn)目標(biāo)檢測(cè)［3］;ELGUEBALY構(gòu)造多維非對(duì)稱廣義高斯混合模型實(shí)現(xiàn)對(duì)紅外行人目標(biāo)進(jìn)行檢測(cè)［4］。LI和 WANG 等人［5-6］結(jié)合形態(tài)學(xué)及其改進(jìn)方法檢測(cè)紅外運(yùn)動(dòng)目標(biāo)，優(yōu)化了原有方法，檢測(cè)準(zhǔn)確率進(jìn)一步得到提高。

幀間差分法、光流法、背景差分法等方法是主要的紅外序目標(biāo)檢測(cè)方法，其中以背景差分法應(yīng)用最廣泛［7-8］，通過(guò)獲取背景模型并比較當(dāng)前幀與背景模型的差異，檢測(cè)出序列圖像中的運(yùn)動(dòng)目標(biāo)。背景模型的精度決定背景差分法的有效性，若背景建模過(guò)程發(fā)生場(chǎng)景變動(dòng)、成像設(shè)備顫動(dòng)等情況，會(huì)嚴(yán)重降低圖像的對(duì)比度和信噪比，影響對(duì)紅外目標(biāo)的識(shí)別。基于高斯混合模型的背景建模方法，采用多個(gè)高斯分量模擬背景信息，根據(jù)背景信息變化有效地檢測(cè)出運(yùn)動(dòng)目標(biāo)，但當(dāng)高斯混合模型初始化，新模型建立以及學(xué)習(xí)率不匹配時(shí)都會(huì)產(chǎn)生虛影現(xiàn)象，為了克服這一缺陷，作者提出了一種基于脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse coupled neural network，PCNN)和高斯混合模型(Gaussian mixture model，GMM)的目標(biāo)檢測(cè)算法，通過(guò)分水嶺算法結(jié)合表征目標(biāo)區(qū)域離散像素點(diǎn)的空間信息得到閉合區(qū)域，再通過(guò)基于PCNN的分割算法消除虛影，最終檢測(cè)出完整的紅外運(yùn)動(dòng)目標(biāo)。

1 高斯混合模型

STAUFFER等人提出了GMM的表達(dá)形式［9］，能夠檢測(cè)復(fù)雜背景下的運(yùn)動(dòng)目標(biāo)，其基本思想是:序列圖像中各像素點(diǎn)在不同時(shí)刻的灰度值相互獨(dú)立且具有相同分布，用3個(gè)～5個(gè)獨(dú)立高斯分布表示像素點(diǎn)在一段時(shí)間內(nèi)的取值x1，x2，…，xt，從而得到該點(diǎn)的概率分布函數(shù)，即P(xt):

式中，ωi，t表示t時(shí)刻像素點(diǎn)屬于第i個(gè)高斯分布的權(quán)重，ui，t為高斯模型均值，T 為經(jīng)驗(yàn)常數(shù)，Σi，t為高斯模型的協(xié)方差，σi，t為標(biāo)準(zhǔn)差，I為單位矩陣，m 為當(dāng)前時(shí)刻像素值xt的維數(shù)，η為高斯模型的概率密度函數(shù)。高斯混合模型在學(xué)習(xí)過(guò)程中根據(jù)新一幀的圖像信息對(duì)權(quán)重、均值、協(xié)方差更新。將當(dāng)前時(shí)刻像素值xt與K個(gè)高斯模型匹配，若xt與第i個(gè)高斯模型的差小于2．5倍標(biāo)準(zhǔn)差σi，t，則認(rèn)為與當(dāng)前模型匹配，并通過(guò)下式更新:

式中，α為學(xué)習(xí)率，表示運(yùn)動(dòng)目標(biāo)融入背景的速度;ρ為權(quán)值;Mt=1時(shí)表示匹配，Mt=0表示不匹配。不匹配時(shí)，減小權(quán)重，且不對(duì)均值，方差進(jìn)行更新。將K個(gè)高斯模型按照 ωi，t/σi，t的比值降序排列，若 xt與 K 個(gè)高斯模型都不匹配，則把排在最后的高斯模型使用新的模型代替，新模型的均值為xt，標(biāo)準(zhǔn)差和權(quán)值分別為初始值。每次更新后，對(duì)權(quán)值進(jìn)行歸一化處理，使各權(quán)重的和始終為1。

由于與xt最為匹配的高斯模型具有最大權(quán)值和最小標(biāo)準(zhǔn)差，可以根據(jù)與xt的匹配度對(duì)K個(gè)高斯模型排序，以確定背景區(qū)域和運(yùn)動(dòng)目標(biāo);處于排序靠前的高斯模型對(duì)應(yīng)穩(wěn)定背景，而靠后的高斯模型對(duì)應(yīng)運(yùn)動(dòng)目標(biāo)。將K個(gè)高斯模型排序中的前b個(gè)作為像素背景模型B，Q表示背景高斯模型在像素點(diǎn)的概率分布中所占的最小比例，如下式所示:

2 基于GMM的紅外目標(biāo)檢測(cè)算法

2．1 提取目標(biāo)區(qū)域

紅外序列圖像(見圖1a)受隨機(jī)噪聲干擾嚴(yán)重，由高斯混合模型檢測(cè)得到代表運(yùn)動(dòng)目標(biāo)的像素點(diǎn)集夾雜部分離散點(diǎn)，因而構(gòu)成的目標(biāo)區(qū)域不連續(xù)，如圖1b所示。為了獲得輪廓清晰、結(jié)構(gòu)完整的目標(biāo)區(qū)域，需要獲取像素點(diǎn)所在區(qū)域的外圍輪廓信息，外圍輪廓對(duì)應(yīng)于序列圖像中運(yùn)動(dòng)目標(biāo)邊緣灰度值變化劇烈的區(qū)域，而圖像的空間頻率能表示圖像中灰度值變化的劇烈程度。所以計(jì)算圖像的空間頻率(spatial frequency，SF)可以準(zhǔn)確定位紅外目標(biāo)邊緣。首先將原矩陣AM×N圍繞邊界進(jìn)行鏡像反射擴(kuò)展為A1，A1=A(M+2)×(N+2)×A(M+2)×(N+2)，然后根據(jù)下式求出圖像的空間頻率矩陣C(x，y):

Fig.1 Extraction of infrared closed areaa—original image b—discrete target c—target edge d—closed target

根據(jù)圖像的空間頻率信息可以快速獲取圖像的邊緣，如圖1c所示。再通過(guò)沉浸法分水嶺變換［10］，將得到的若干個(gè)閉合區(qū)域合并為同一區(qū)域，實(shí)現(xiàn)將離散的像素點(diǎn)合并為閉合聯(lián)通的目標(biāo)區(qū)域，如圖1d所示。分水嶺算法運(yùn)算速度快，因此適合處理序列圖像。

2．2 消除虛影現(xiàn)象

虛影現(xiàn)象的產(chǎn)生主要由于以下原因:首先，高斯混合模型的初始化參量大多源于經(jīng)驗(yàn)值，不同圖像取值相同;其次，圖像內(nèi)容劇烈變化時(shí)，需建立新的初始模型代替原有模型中排序最低的模型，當(dāng)前模型就不再可靠;最后，高斯混合模型的學(xué)習(xí)率過(guò)大時(shí)，速度緩慢的目標(biāo)融入背景時(shí)，背景更新相對(duì)加快，需不斷建立新模型代替舊模型。上述現(xiàn)象都會(huì)產(chǎn)生虛影現(xiàn)象，無(wú)法獲取完整的運(yùn)動(dòng)目標(biāo)。

為了消除虛影現(xiàn)象，首先需要選定虛影區(qū)域位置，作者利用PCNN能夠通過(guò)同步脈發(fā)放行為獲取圖像空間特征分布信息的特點(diǎn)，通過(guò)計(jì)算圖像的局部能量，將其作為PCNN的外部刺激，通過(guò)脈沖獲取圖像的點(diǎn)火映射圖，點(diǎn)火映射圖中不同的點(diǎn)火次數(shù)對(duì)應(yīng)不同的灰度范圍，灰度值越大，點(diǎn)火往往次數(shù)越高，記錄像素點(diǎn)的點(diǎn)火次數(shù)可以得到灰度值較高的目標(biāo)區(qū)域［11］，但由于PCNN有時(shí)會(huì)過(guò)度分割出同樣具有較高灰度值的背景區(qū)域。將2.1節(jié)中得到的運(yùn)動(dòng)目標(biāo)區(qū)域與PCNN算法得到的分割目標(biāo)進(jìn)行與操作，可以檢測(cè)出準(zhǔn)確的運(yùn)動(dòng)目標(biāo)。

PCNN模型的數(shù)學(xué)描述可以分為以下步驟。

(1)神經(jīng)網(wǎng)中各神經(jīng)元都處于熄火狀態(tài):

(2)將分解系數(shù)輸入網(wǎng)絡(luò)，通過(guò)接收域、調(diào)制域和脈沖產(chǎn)生域，逐點(diǎn)計(jì)算Uxy(n)和Txy(n-1)，并比較兩者大小以決定是否產(chǎn)生點(diǎn)火事件。

PCNN在迭代操作過(guò)程中的神經(jīng)元由接收域、調(diào)制域和脈沖產(chǎn)生域組成:

式中，x和y表示圖像各像素點(diǎn)橫縱坐標(biāo)值，n代表迭代次數(shù)，Sxy代表輸入激勵(lì)，F(xiàn)xy表示反饋通道輸入，Wxy為突觸聯(lián)接權(quán)，Uxy表示神經(jīng)元的內(nèi)部活動(dòng)項(xiàng)，Yxy表示神經(jīng)元的脈沖輸出，它的值為0或者1，Txy是動(dòng)態(tài)閾值，V1和V2為歸一化常數(shù)，α1和α2為調(diào)節(jié)對(duì)應(yīng)式子的常量，β表示鏈接強(qiáng)度。如果Uxy(n)＞Txy(n)，則神經(jīng)元激發(fā)產(chǎn)生脈沖，否則神經(jīng)元不激發(fā)，不產(chǎn)生脈沖輸出。

2．3 算法步驟

本算法具體步驟如下:(1)通過(guò)高斯混合模型獲得代表運(yùn)動(dòng)目標(biāo)的像素點(diǎn)，并將其二值化;(2)計(jì)算二值化圖像的空間頻率，得到目標(biāo)邊緣信息;(3)根據(jù)邊緣信息，通過(guò)分水嶺算法，得到閉合的運(yùn)動(dòng)目標(biāo)區(qū)域;(4)計(jì)算每一幀圖像的局部能量，通過(guò)PCNN進(jìn)行分割，獲得潛在的目標(biāo)區(qū)域;(5)將高斯混合檢測(cè)出目標(biāo)區(qū)域同PCNN分割目標(biāo)區(qū)域進(jìn)行與運(yùn)算得到當(dāng)前幀的最終運(yùn)動(dòng)目標(biāo)。圖2為本算法的流程圖。

Fig.2 Algorithm flowchart

首先，計(jì)算當(dāng)前幀圖像(infrared image sequences)的局部能量圖(local energy map)，并將局部能量圖作為PCNN的激發(fā)源獲取的每個(gè)像素點(diǎn)的點(diǎn)火次數(shù)(firing times)，根據(jù)點(diǎn)火次數(shù)可以分割出紅外目標(biāo)區(qū)域。同時(shí)，再將當(dāng)前幀圖像經(jīng)過(guò)GMM后獲取離散的運(yùn)動(dòng)運(yùn)動(dòng)目標(biāo)(discrete objects)。然后根據(jù)離散目標(biāo)的空間頻率(spatial frequency)，獲取目標(biāo)邊緣，采用對(duì)于邊緣信息敏感的分水嶺算法(watershed algorithm)實(shí)現(xiàn)離散目標(biāo)的填補(bǔ)，得到閉合目標(biāo)(closed target)。最后，將PCNN獲取的紅外目標(biāo)區(qū)域和GMM獲取的運(yùn)動(dòng)目標(biāo)進(jìn)行與計(jì)算獲取當(dāng)前幀圖像完整的運(yùn)動(dòng)目標(biāo)(mov

ing object)。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證算法的有效性，通過(guò)2組對(duì)比實(shí)驗(yàn)來(lái)證明本算法的效果，實(shí)驗(yàn)數(shù)據(jù)來(lái)源于Oklahoma大學(xué)Visual Computing and Image Processing實(shí)驗(yàn)室。第1組實(shí)驗(yàn)如圖3所示，序列圖像共有300幀，每幀圖像大小320pixel×240pixel，圖3a為序列圖像的第12幀、第17幀、第23幀;圖中人物處于運(yùn)動(dòng)狀態(tài)，高斯模型的初始化過(guò)程產(chǎn)生了虛影，如圖3b所示;通過(guò)PCNN對(duì)3a進(jìn)行分割，得到二值化的運(yùn)動(dòng)目標(biāo)區(qū)域，如圖3c所示，由于背景中部分區(qū)域的灰度值和目標(biāo)灰度值接近，出現(xiàn)欠分割現(xiàn)象。將高斯混合模型獲取的運(yùn)動(dòng)目標(biāo)與PCNN分割得到的目標(biāo)區(qū)域進(jìn)行與運(yùn)算，得到的二值化圖像映射到原始圖像圖3a中，獲得完整的運(yùn)動(dòng)目標(biāo)，如圖3d所示，圖3f和圖3g分別為采用背景差分法和幀間差分法檢測(cè)到的運(yùn)動(dòng)目標(biāo)，比較圖3d～圖3f，可看到圖3d與原圖目標(biāo)最接近。

Fig.3 The first set of experimental resultsa—original image b—ghosting target c—closed target d—PCNN segmentation target e—the method in this paper f—background subtraction g—fame difference method

第2組實(shí)驗(yàn)如圖4所示，序列圖像共有258幀，每幀圖像大小320pixel×240pixel。圖4a為序列圖像中的第43幀、第78幀和第112幀，人物從交匯到離開。通過(guò)高斯混合模型得到的運(yùn)動(dòng)目標(biāo)如圖4b所示，運(yùn)動(dòng)目標(biāo)不是閉合的，伴隨著虛影現(xiàn)象。通過(guò)分水嶺變換，填補(bǔ)目標(biāo)內(nèi)部的孔洞如圖4c所示，再經(jīng)過(guò)PCNN獲取目標(biāo)區(qū)域，如圖4d所示，通過(guò)與計(jì)算得到完整的運(yùn)動(dòng)目標(biāo)，如圖4e所示，圖4f和圖4g分別為采用背景差分法和幀間差分法檢測(cè)到的運(yùn)動(dòng)目標(biāo)。上述實(shí)驗(yàn)中，背景差分法通過(guò)比較序列圖像與背景圖像的灰度差判斷運(yùn)動(dòng)目標(biāo)，但是由于背景圖像無(wú)法實(shí)時(shí)更新，會(huì)產(chǎn)生較大誤差。幀間差分法根據(jù)相鄰兩幀圖像的灰度差來(lái)判斷運(yùn)動(dòng)目標(biāo)，對(duì)于紅外圖像而言，由于目標(biāo)的灰度值近似相等，所以不能準(zhǔn)確判斷運(yùn)動(dòng)目標(biāo)。通過(guò)比較，本文中的方法檢測(cè)到的運(yùn)動(dòng)目標(biāo)比上述兩種方法更加精確。

Fig.4 The second set of experimental resultsa—original image b—ghosting target c—closed target d—PCNN segmentation target e—the method in this paper f—background subtraction g—fame difference method

Table 1 SSIM of target region

作者根據(jù)客觀評(píng)價(jià)指標(biāo)對(duì)算法進(jìn)一步做了定量分析。結(jié)構(gòu)相似度(structural similarity，SSIM)表示兩幅圖像的結(jié)構(gòu)相似度，越大說(shuō)明越相似。通過(guò)將傳同方法檢測(cè)出的紅外運(yùn)動(dòng)目標(biāo)和原始圖像中紅外運(yùn)動(dòng)目標(biāo)分別求取結(jié)構(gòu)相似度，如表1所示，可以看到用作者的方法得到的SSIM高于其它方法，說(shuō)明了本文中算法的有效性。

4 結(jié)論

紅外圖像受噪聲干擾嚴(yán)重，傳統(tǒng)的基于高斯混合模型的檢測(cè)方法效果不理想，作者提出了改進(jìn)算法，將分水嶺算法引入?yún)^(qū)域檢測(cè)中，實(shí)現(xiàn)對(duì)紅外目標(biāo)的定位;再利用PCNN的脈沖激發(fā)點(diǎn)火特性消除虛影，實(shí)現(xiàn)對(duì)紅外運(yùn)動(dòng)目標(biāo)的精確檢測(cè)。實(shí)驗(yàn)結(jié)果表明，算法能夠克服模型初始化參量設(shè)置、模型轉(zhuǎn)換等對(duì)目標(biāo)檢測(cè)產(chǎn)生的不利影響，效果好于傳統(tǒng)方法。

［1］ LI J F，GONG W G，LI W H，et al.Robust pedestrian detection in thermal infrared imagery using the wavelet transform ［J］.Infrared Physics＆ Technology，2010，53(4):267-273.

［2］ ZIN T T，TIN P，HIROMITSU H.Pedestrian detection based on hybrid features using near infrared images［J］.International Journal of Innovative Computing Information and Control，2011，7(8):5015-5025.

［3］ GENIN L，CHAMPAGNAT F，BESNERAIS G L.Single frame IR point target detection based on a Gaussian mixture model classification［C］//Electro-Optical and Infrared Systems:Technology and ApplicationsⅨ.Edinburgh，United Kingdom:SPIE，2012:854111.

［4］ ELGUEBALY T， BOUGUILA N.Finiteasymmetricgeneralized Gaussian mixture models learning for infrared object detection［J］.Computer Vision and Image Understanding，2013，117(12):1659-1671.

［5］ LI Y，WANG J B，LU J J，et al.Single frame infrared image targets detection based on multi-mixture filters model［J］.Advanced Materials Research，2012，486(3):1389-1392(in Chinese).

［6］ WANG Y Y，ZHANG Y Sh，HE P.Research on IR target-detecting method based on morphology and entropy［J］.Laser ＆ Infrared，2012，42(5):513-517(in Chinese).

［7］ WANG Y Zh，LIANG Y，PAN Q，et al.Spatiotemporal background modeling based on adaptive mixture of Gaussians［J］.Acta Automatica Sinica，2009，35(4):371-378(in Chinese).

［8］ WEI Zh Q，JI Y P，F(xiàn)ENG Y W.A moving object detection method based on self-adaptive updating of background ［J］.Acta Electronica Sinica，2005，33(12):2261-2264(in Chinese).

［9］ STAUFFER C，GRIMSON W E L.Adaptive background mixture models for real-time tracking［C］//Computer Society Conference on Computer Vision and Pattern Recognition.New York，USA:IEEE，1999:252.

［10］ VINCENT L，SOILLE P.Watersheds in digital spaces:an efficient algorithm based on immersion simulations［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1991，3(6):583-598.

［11］ ZHANG B H，LIU H，ZHANG Ch T.Medical image fusion algorithm based on texture extraction by means of bidimensional empirical mode decomposition［J］.Laser Technology，2014，38(4):463-468(in Chinese).