基于高斯金字塔與雙邊濾波的隱藏目標(biāo)檢測

呂寶嶺， 李雷星， 李 錦， 郭 拓

(1.陜西科技大學(xué)電子信息與人工智能學(xué)院， 西安 710021； 2.陜西科技大學(xué)電氣與控制工程學(xué)院， 西安 710021)

對運動目標(biāo)的檢測，是計算機視覺領(lǐng)域的重要的研究方向之一。對隱藏目標(biāo)的微小運動進行檢測，在生物學(xué)上，可以發(fā)現(xiàn)對人類而言未知的生物及人類主動探索的目標(biāo)生物；對于生物探索、野外救援以及生物多樣性保護有一定的應(yīng)用價值；在軍事領(lǐng)域，對偽裝目標(biāo)的檢測關(guān)系著軍事安全。因此，對偽裝目標(biāo)的微小運動進行檢測具有重要意義。在人類生活環(huán)境中，物體無時無刻不在發(fā)生運動。然而，人類的視覺感知系統(tǒng)存在有限的感知域[1]，生物的運動變化很微小時，僅僅憑借人類視覺感知難以準(zhǔn)確捕捉到，但其卻可能包含生物特征、脈搏頻率等信息，因此需要對感知范圍以外的微小運動做檢測。運動目標(biāo)檢測方法主要包括幀間差分法[2]、背景差分法[3]、光流法[4]等。光流法依據(jù)運動目標(biāo)的光流特性隨時間變化來檢測運動[5]，但計算復(fù)雜、抗噪性能差，檢測效果并不理想。背景差分法，對背景的建模要求較高，當(dāng)光照等外界條件發(fā)生突變時，會導(dǎo)致較大的檢測結(jié)果誤差。幀差法檢測目標(biāo)時，需要在視頻序列里兩個相鄰幀之間做時間差分閾值化，從而得到檢測結(jié)果。其優(yōu)點是計算簡便，實現(xiàn)難度小，而且在動態(tài)環(huán)境中適應(yīng)性很好。這些檢測方法可用于自適應(yīng)目標(biāo)檢測[6]等。

最早進行微小運動檢測的是美國麻省理工學(xué)院(Massachusetts Institute of Technology，MIT)的Freeman團隊[7]。Liu等[8]提出一種用于視頻檢測的運動放大技術(shù)(motion magnification)，對目標(biāo)特征點聚類跟蹤后放大運動幅度。Wu等[9]提出歐拉視頻放大技術(shù)(eulerian video magnification，EVM)，先做色彩空間轉(zhuǎn)換，再提取感興趣部分放大微小運動，處理過程十分耗時。為了精準(zhǔn)判定放大參數(shù)，Sushma等[10]又提出了一種半自動的視頻中微小運動放大 (semi-automated magnification of small motions in videos，SAM)方法，從前兩幀視頻幀差中提取信息來自動確定參數(shù)，但是提取結(jié)果不太準(zhǔn)確。雷林等[11]提出了自動檢測及放大視頻中的微小運動方法和使用基于S變換[12]的微小運動檢測方法。這些對微小運動進行的檢測技術(shù)，目前已經(jīng)取得了一定的顯著成就，應(yīng)用在了很多行業(yè)中，如視覺可視化、脈搏運動分析、非接觸式醫(yī)療檢測[13]等，應(yīng)用范圍很廣。但是傳統(tǒng)方法本身有耗時大、速度不夠快、對設(shè)備要求高等缺點。

要想從復(fù)雜的自然圖像序列中完整地檢測出運動的目標(biāo)，只依靠一種檢測算法，很難達到較高的檢測精度和效率，因此融合多種檢測方法的研究越來越受到重視。針對當(dāng)前已有檢測方法存在的缺陷，提出以幀差法為基礎(chǔ)，將高斯金字塔算法和雙邊濾波算法相結(jié)合的檢測方法，期望同時適用于對野外自然環(huán)境下的偽裝生物目標(biāo)的微小運動檢測，及日常生活環(huán)境中的生命特征檢測。

1 相關(guān)工作

1.1 高斯金字塔

高斯金字塔由很多組金字塔構(gòu)成且每組包含若干層。這種模型通常分成兩個步驟:先是對圖像做低通濾波，達到平滑效果，接著對得到的平滑幀圖，做抽樣或插值，即可獲得一系列的縮小或放大的圖像。將這些圖像組合在一起，構(gòu)造出高斯金字塔，結(jié)構(gòu)如圖1所示。

圖1 金字塔結(jié)構(gòu)圖

當(dāng)分辨率有差異時，獲得的檢測結(jié)果的特征也有差異。高分辨率情況下，對目標(biāo)的細節(jié)的分辨，可以取得很好的效果，但是同時大量的背景噪聲在動態(tài)背景中產(chǎn)生的干擾十分嚴(yán)重。與此相反，當(dāng)處于低分辨率情況時，背景噪聲基本沒有影響，但很難取得目標(biāo)的構(gòu)造特性。此外，還可能會弄丟圖像結(jié)構(gòu)細節(jié)。

對圖像序列進行高斯金字塔采樣，每一級與它的前一級之間的采樣過程如式(1)所示：

(1)

式(1)中:Gk(x，y)為第k層高斯金字塔圖像；G0為原始圖像；G1為高斯金字塔第1層，依次類推。w(m，n)=h(m)h(n)是有低通特性的窗口函數(shù)，其中h為高斯密度分布函數(shù)。

對視頻圖像序列做高斯金字塔多尺度分解后的結(jié)果如圖2所示。從林鴟、手臂、嬰兒的結(jié)果圖可以看出，從左至右圖像尺度依次縮小，經(jīng)過采樣，更容易觀察出圖像的輪廓信息。

圖2 圖像的高斯金字塔分解

1.2 快速雙邊濾波算法

圖像中相鄰位置的像素點在空域內(nèi)有相連的關(guān)系，但是噪聲及其附近的像素點不相關(guān)。根據(jù)噪聲和像素點之間的獨立性，選擇在空域濾波[14]去噪，采用空域濾波中的快速雙邊濾波法[15]，其優(yōu)點是可以保邊去噪，原理圖如圖3所示，圖3中的點A為任一像素點。

圖3 雙邊濾波原理圖

進行雙邊濾波[16]時，要考慮像素點的空域信息和值域信息。它包括高斯模板和創(chuàng)建的模板這兩個模板。計算公式如式(2)、式(3)所示：

(2)

(3)

對于將要濾波的點來說，其鄰域內(nèi)像素點的權(quán)重跟兩個像素點的距離、相似度有關(guān)。結(jié)合空間距離、相似程度，得出雙邊濾波的結(jié)果。計算公式如式(4)、式(5)所示：

(4)

(5)

式中:h(x)為點x濾波后的灰度值；獲得權(quán)重的方法是計算c、s，其中c代表的是closeness，即基于高斯空間的權(quán)重；s為像素之間相似程度的高斯權(quán)重[17]，像素點的像素值，用f(x)來表示，從f(x)到h(x)，表示濾波之前和濾波之后的圖像；k-1(x)為歸一化因子；k(x)的作用是對得到的結(jié)果進行單位化。

視頻圖像序列中的噪聲往往和目標(biāo)信息混雜在一起，濾除噪聲時可能會丟失一部分圖像邊緣細節(jié)。在運動檢測中使用雙邊濾波可以保留邊界的細節(jié)，并且模糊變化不明顯的區(qū)域，可獲得出色的濾波效果。

1.3 幀間差分檢測算法

通常情況下，視頻在時間上都是連續(xù)的。但是相連的視頻幀之間還是會有變化的，不同情況下的變化不同。環(huán)境場景內(nèi)不存在目標(biāo)時，連續(xù)幀圖之間變化不明顯；若存在運動物體，則發(fā)生明顯變化。幀間差分法[18]借鑒此思想，幀間差分法的基本流程圖如圖4所示。

圖4 幀間差分法基本流程圖

將圖像序列里連續(xù)的第k-1幀和第k幀圖像，分別用Ik-1(i，j)和Ik(i，j)來表示。其差分過程如式(6)所示：

D(k，k-1)(i，j)=|Ik(i，j)-Ik-1(i，j)|

(6)

式(6)中:D(k，k-1)為差分圖像序列。

接著對差分圖像進行二值化，得到二值化[19]后的圖像R(k，k-1)(i，j)。設(shè)定一個閾值T，若某點的像素值比T大，將像素值設(shè)為255作為二值化圖像前景，反之，則當(dāng)作背景，像素值設(shè)為0。對D進行二值化過程如式(7)所示：

(7)

式(7)中:R(k，k-1)(i，j)為二值化后的圖像。

對視頻圖像做幀間差分處理時，需要注意閾值T的選取，可能會受到環(huán)境里光線的變化等情況的影響。若想更好地抑制噪聲，閾值T就不能取的過小；同時，以防遮蓋住差分圖像里的目標(biāo)的一些信息，它的取值必須在合適的范圍里，不能太大。通過幀間差分法可以獲取運動目標(biāo)的存在區(qū)域，但同時會存在空洞效應(yīng)。

選取野外自然環(huán)境下的林鴟、室內(nèi)環(huán)境中的靜止手臂、熟睡中的嬰兒，其相鄰幀間差分結(jié)果分別如圖5(a)～圖5(c)所示。

從圖5可以看出，圖5(a)紅色方框標(biāo)記的主體目標(biāo)中，兩幅圖像素點分布不同，左圖的左下區(qū)域黑色像素點密度大，而右圖對應(yīng)位置則大部分為空白。圖5(b)紅色方框標(biāo)記的主體目標(biāo)中，左圖輪廓線條連貫流暢且較粗，輪廓線周圍像素點分布較緊密，右圖線條較細且有中斷部分，輪廓線周圍像素點分布較分散。圖5(c)紅色方框標(biāo)記的主體目標(biāo)中，左圖目標(biāo)像素排列呈從左上至右下方向的趨勢，中間有一較大空白區(qū)域，右圖目標(biāo)像素點排列基本分布于整個框中，不再大多集中于左上角分布，而是向右下分散，而右下方向位置對應(yīng)于嬰兒的身體部分，說明嬰兒的呼吸引起的肚皮起伏，這種呼吸引起的微小運動變化在幀間差分結(jié)果圖中體現(xiàn)了出來。

圖5 幀間差分圖

以上分析表明，幀差法檢測出了目標(biāo)的運動變化。幀間差分的運算量比較小，實時性也強，并且對環(huán)境光線的變化也沒那么的敏感，但僅僅用這個方法檢測出來的目標(biāo)，內(nèi)部不是很完整，有“空洞”。

2 基于高斯金字塔與雙邊濾波相結(jié)合的微小運動檢測

2.1 高斯金字塔分解結(jié)合雙邊濾波

不同尺度視角看到的大自然性狀各異，計算機無法預(yù)知圖像中物體的尺度，因此，需要同時考慮圖像在多尺度下的描述[20]。對人類的視角而言，金字塔模型對圖像的尺度表達特別直觀，所以對視頻幀采用金字塔分解，分解過程如圖6所示。

G0為原始圖像；G1為高斯金字塔第1層；G2為第2層；G3為第3層

視頻圖像在獲取過程中難免會產(chǎn)生各式各樣的噪聲，比如光照、相機抖動、圖像傳感器等帶來的噪聲，再加上環(huán)境中本身已有的噪聲，影響最終檢測結(jié)果。傳統(tǒng)的濾波方法，在消除噪聲時也使圖像的邊緣變平滑，造成圖像目標(biāo)邊緣細節(jié)缺失。而快速雙邊濾波是在空域矩陣中模糊去噪，值域矩陣內(nèi)保護邊緣，去噪的同時可以保留邊緣，濾波示意圖如圖7所示。圖7(a)是濾波前的圖像，含有許多不規(guī)則噪聲，且邊緣不清晰；圖7(b)是一個濾波模板，圖7(c)是濾波后的圖像，噪聲基本濾除且邊緣清晰。

圖7 雙邊濾波示意圖

僅使用幀差法的情況下，目標(biāo)的微小運動檢測變化效果一般。將高斯金字塔分解與雙邊濾波相結(jié)合，不僅提升了檢測速度，還很好地反映了偽裝目標(biāo)[21]的微小運動變化。

2.2 微小運動檢測流程

對獲取的視頻幀進行灰度轉(zhuǎn)換，經(jīng)過快速雙邊濾波去噪后，并對圖像序列進行視頻重建。此時再對視頻進行幀差處理，進一步提取圖像局部顯性特征，使目標(biāo)的圖像的局部信息得到更完整的表達。實驗流程如圖8所示。

圖8 基于高斯金字塔與雙邊濾波的微小運動檢測流程圖

3 實驗結(jié)果與分析

3.1 實驗對象及配置

將本文采集到的視頻分解成視頻幀建立數(shù)據(jù)集，選取500幀圖像進行測試。第一段“偽裝大師”林鴟的視頻數(shù)據(jù)來源于網(wǎng)絡(luò)，第二段視頻為室內(nèi)拍攝作者2靜止不動的手臂，第三段來源于MIT的計算機科學(xué)與人工智能(computer science and artificial intelligence，CSAIL)實驗室視頻數(shù)據(jù)庫。分別對自然環(huán)境下一動不動的林鴟、手臂脈搏跳動、熟睡嬰兒呼吸進行微小運動變化檢測。實驗平臺的配置如下:處理器為Intel(R) Core(TM) i5-3210 M CPU @2.50 GHz 2.50 GHz，軟件環(huán)境為matlabR2017b、python3.8.2及opencv。

3.2 實驗結(jié)果對比

以野外自然環(huán)境下的林鴟、室內(nèi)環(huán)境中靜止的手臂部分以及熟睡中呼吸的嬰兒為檢測對象，將本文檢測方法與幀差法、雙邊濾波結(jié)合幀差法、高斯金字塔分解結(jié)合幀差法做對比，檢測結(jié)果如圖9～圖11所示。

選取第6幀和第34幀的檢測結(jié)果圖，依次是原始圖像，幀差法結(jié)果圖，雙邊濾波結(jié)合幀差法結(jié)果圖，高斯分解結(jié)合幀差法結(jié)果圖，本文方法檢測結(jié)果圖。從圖9可以看出，本文方法檢測到的林鴟的微小運動范圍更大，變化效果更明顯。

圖9 林鴟的檢測結(jié)果對比

選取第43幀和第78幀的檢測結(jié)果圖，從圖10可以看出，本文方法檢測到的手臂脈搏跳動的邊緣變化效果更明顯。

圖10 手臂的檢測結(jié)果對比

選取第17幀和第56幀的檢測結(jié)果圖，圖片次序同圖10。從圖11可以看出，本文方法檢測到的嬰兒呼吸的輪廓變化效果更明顯。

圖11 嬰兒的檢測結(jié)果對比

從以上檢測結(jié)果圖可以看出，對圖像直接做幀差法和經(jīng)過雙邊濾波再幀差，所達到的效果相差不是很大，但比其他兩種方法的檢測速度更慢。這是因為圖片經(jīng)過高斯金字塔分解后尺寸縮小，進一步減小了數(shù)據(jù)處理量，提升了檢測速度。雖然4種方法都不同程度的檢測到了運動變化，但針對不同環(huán)境下、不同對象的微小運動，本文方法檢測出的運動變化最明顯，得到的檢測效果明顯優(yōu)于其他3種方法，說明本文方法的魯棒性和判斷相較于其他幾種方法更好。

3.3 實驗結(jié)果分析

將本文方法與對比方法在數(shù)據(jù)集上的整體性能進行對比分析，將從檢測速度和幀差結(jié)果圖相似度兩個方面做評價。分別對4種算法進行不同的組合，針對視頻序列偽裝的林鴟、靜止的手臂以及熟睡的嬰兒得到的不同算法下檢測速度的結(jié)果比較，如表1所示。

表1所示為檢測速度的對比結(jié)果。從表1的第4列可以看出，僅僅使用傳統(tǒng)的幀間差分法所達到的檢測速度最慢，以幀間差分法作為基準(zhǔn)，分別觀察其他三種算法得到的檢測結(jié)果的速度。可以看出當(dāng)對數(shù)據(jù)集做高斯金字塔分解后檢測速度明顯提升，說明高斯金字塔分解可以有效提高檢測速度。相比傳統(tǒng)幀差法等，本文方法的檢測速度分別提高了4.23、4.83、3.36倍，檢測速度達到最快，實驗范圍內(nèi)最高可以達到56.76 frame/s。

表1 不同算法檢測速度比較

此外，還以相似度做評價指標(biāo)來評價檢測方法性能。相似度可選擇哈希算法[22]或結(jié)構(gòu)相似性(structural similarity index，SSIM)法[23]來檢測。對每種方法的幀差結(jié)果圖，分別做相似度檢測。如果得到的檢測結(jié)果相似度越高，說明幀差圖越相似，則它們之間的運動變化越不明顯，對微小運動變化的檢測效果越差。SSIM算法的檢測結(jié)果在[0，1]之間，在這個范圍內(nèi)，檢測值越大，相似度越高。對每種方法實驗后得到的結(jié)果做SSIM相似度檢測，如圖12所示。

從圖12可以看出，在3種不同的視頻狀態(tài)下，本文方法的SSIM檢測相似度均為最低，說明幀差結(jié)果圖之間的相似性最低，差別最大，則說明微小運動變化反應(yīng)的越明顯。尤其是當(dāng)處理的圖片尺寸較小時，檢測效果更好。

圖12 幀差結(jié)果圖的SSIM相似度檢測曲線

4 結(jié)論

提出的基于高斯金字塔與快速雙邊濾波相結(jié)合的算法，以幀間差分為基礎(chǔ)，對視頻中偽裝目標(biāo)的微小運動進行檢測。將高斯金字塔的空間分解優(yōu)勢及雙邊濾波保邊去噪的優(yōu)勢，與幀差法簡潔高效的特點融合，完成了對視頻目標(biāo)的微小運動檢測。實驗結(jié)果表明，采用基于高斯金字塔和雙邊濾波相結(jié)合的運動檢測方法，提高了存在微小運動目標(biāo)的視頻的檢測速度，達到56.76/s，速度大幅提升，比傳統(tǒng)幀差法等用時短，得到的微小運動變化結(jié)果也更顯著，具有較高的魯棒性。下一步將在本文檢測方法的基礎(chǔ)上對多尺寸目標(biāo)檢測做進一步研究，提高算法實時性。