基于時(shí)域和梯度的運(yùn)動(dòng)目標(biāo)識別跟蹤算法

韓曉微, 岳高峰, 謝英紅

(沈陽大學(xué) 信息工程學(xué)院, 遼寧 沈陽 110044)

隨著人工智能技術(shù)的進(jìn)步,計(jì)算機(jī)視覺技術(shù)也得到了迅速的發(fā)展.對存在干擾噪聲的視頻信息處理是目前的熱門研究,視頻中前景運(yùn)動(dòng)目標(biāo)的識別和跟蹤已經(jīng)廣泛應(yīng)用于各個(gè)領(lǐng)域[1].視頻內(nèi)容分析涵蓋目標(biāo)檢測、目標(biāo)識別、行為判斷、場景理解等內(nèi)容[2],其中運(yùn)動(dòng)目標(biāo)檢測作為視頻內(nèi)容分析的基礎(chǔ)和前提,多年來受到研究者的廣泛關(guān)注.

幀差法[3]是最常用的運(yùn)動(dòng)目標(biāo)檢測和分割方法之一,算法的不足在于對于比較大的、顏色一致的運(yùn)動(dòng)目標(biāo),檢測算法中的空洞問題將會(huì)嚴(yán)重影響運(yùn)動(dòng)目標(biāo)的識別.背景差法[4]是運(yùn)動(dòng)檢測中最常用的一種方法,它將輸入圖像與背景圖像進(jìn)行比較,直接根據(jù)灰度等統(tǒng)計(jì)信息的變化來分割運(yùn)動(dòng)目標(biāo).目標(biāo)跟蹤可以解釋為對視頻序列的每幀圖像進(jìn)行分析和處理,從中可以找到目標(biāo)的比例[4]、顏色[5]、形狀[6]、模式[7]等信息,并通過前后幀圖像之間的關(guān)系計(jì)算出目標(biāo)的軌跡[8].目前,在實(shí)際應(yīng)用中主要的跟蹤算法有凸輪移位[9]、卡爾曼濾波[10]、粒子濾波[11]、支持向量機(jī)[12]等.然而,由于目標(biāo)跟蹤過程中存在遮擋、陰影、尺度變化等問題,傳統(tǒng)的目標(biāo)跟蹤算法只能處理特定的問題,而且只能在短期內(nèi)實(shí)現(xiàn)良好的跟蹤效果,TLD是Kalal提出的一種有效的長期跟蹤算法[13].該算法將傳統(tǒng)的跟蹤算法和檢測算法相結(jié)合,解決了跟蹤過程中遇到的局部遮擋和變形問題,當(dāng)跟蹤器無法跟蹤時(shí),探測器可以再次檢測到目標(biāo),使跟蹤器從丟失狀態(tài)中恢復(fù)跟蹤.CamShift[14]算法基本思想是對視頻圖像的所有幀作MeanShift運(yùn)算,CamShift算法受到越來越多的關(guān)注,這種算法精度較高,容易實(shí)現(xiàn),但是其對光線變化較為敏感,對于遮擋問題也沒有良好的表現(xiàn).魯棒性也是很多學(xué)者研究的方向,提高算法的魯棒性和實(shí)時(shí)性,是目標(biāo)跟蹤技術(shù)的關(guān)鍵問題.而如何有效、快速抽取出監(jiān)控視頻中的前景目標(biāo)信息,是非常重要而基礎(chǔ)的問題,在存在背景干擾以及相機(jī)晃動(dòng)的情況下運(yùn)動(dòng)前景目標(biāo)的檢測也是目前研究的熱門問題[15].

本文采用基于時(shí)域分析的多均值前景目標(biāo)的提取方法,首先考慮時(shí)間域上視頻的形成,將圖片中的區(qū)域劃分為變化區(qū)域和運(yùn)動(dòng)區(qū)域,使用時(shí)域分析的多均值前景目標(biāo)的提取方法,使用閉運(yùn)算策略對提取的前景目標(biāo)進(jìn)一步優(yōu)化,采用高斯去噪的方法來消除背景的噪聲,設(shè)計(jì)梯度分量的目標(biāo)精確跟蹤算法,從而達(dá)到穩(wěn)定的跟蹤效果.基于時(shí)域和梯度的目標(biāo)識別跟蹤算法是本文著重研究的內(nèi)容.

1 識別算法設(shè)計(jì)

首先構(gòu)造提取前景目標(biāo)(例如人、車、動(dòng)物等)的數(shù)學(xué)模型,并對該模型設(shè)計(jì)有效的求解方法.固定場景中,連續(xù)圖像間的差異直接反映了視頻中的運(yùn)動(dòng)信息,所以大部分算法基于相鄰2幀圖像之間的差異計(jì)算運(yùn)動(dòng)顯著圖,另一方面,時(shí)空濾波代表著另一類運(yùn)動(dòng)顯著性檢測方法,本文將通過時(shí)域分析突出場景中的運(yùn)動(dòng)目標(biāo),算法本質(zhì)是基于幀差法的,但與其不同的是,融入了經(jīng)典算法中迭代的思想,也就意味著本文算法并不依賴于局部的條件,而是在時(shí)間域和全局上進(jìn)行本質(zhì)分析及優(yōu)化,提出了改進(jìn)算法,優(yōu)化了幀差法識別精度較差的問題.

首先做如下定義:相鄰2幀圖像之間的變化區(qū)域定義為R,場景中的運(yùn)動(dòng)目標(biāo)區(qū)域定義為S.如圖1所示,可以得到運(yùn)動(dòng)目標(biāo)合集為連續(xù)2幀圖像之間的變化區(qū)域的子集,即Rt,t-1?St∪St-1,其中St與St-1分別表示t時(shí)刻與t-1 時(shí)刻輸入圖像中的運(yùn)動(dòng)目標(biāo)區(qū)域,Rt,t-1表示t時(shí)刻與t-1 時(shí)刻輸入圖像之間的變化區(qū)域;連續(xù)2個(gè)變化區(qū)域的交集為當(dāng)前時(shí)刻場景中的運(yùn)動(dòng)目標(biāo),即St=Rt,t-1∩Rt,t+1如圖1所示.

圖1運(yùn)動(dòng)目標(biāo)檢測原理圖
Fig.1Trinciplediagramofmovingtargetdetection

式(2)中GS(x,y)為均值濾波處理完的圖像,FS(x,y)為包含運(yùn)動(dòng)目標(biāo)的圖像,m為該模板中包含當(dāng)前像素在內(nèi)的像素總個(gè)數(shù),圖2為識別算法對3組視頻的測試結(jié)果.

噪聲的干擾是圖像領(lǐng)域不可避免的問題,在各種計(jì)算機(jī)視覺運(yùn)用中有著重要的意義.針對復(fù)雜場景圖像噪聲大的情況,對于算法進(jìn)行必要的濾波是非常重要的,常用的方法難以解決噪聲去除與邊緣模糊的矛盾,針對圖像邊緣和平滑區(qū)域像素值的離散程度,進(jìn)行了算法優(yōu)化設(shè)計(jì),采用了可以自適應(yīng)調(diào)節(jié)模板大小和方差的高斯濾波器,將其作為濾波算法的內(nèi)核,在處理后的結(jié)果上,進(jìn)行形態(tài)學(xué)閉運(yùn)算操作,為了達(dá)到良好的效果,對上述方法進(jìn)行局部迭代優(yōu)化,結(jié)果表明,該算法能取得較好的去噪效果,如圖3所示.

圖2 3組視頻的測試結(jié)果Fig.2 Testing results of three videos

圖3識別算法效果
Fig.3Effectofrecognitionalgorithm

2 跟蹤算法設(shè)計(jì)

面對跟蹤場景復(fù)雜的情況,保證跟蹤任務(wù)的精確性和實(shí)時(shí)性成為當(dāng)下亟待解決的問題,監(jiān)控?cái)z像頭發(fā)生晃動(dòng)或偏移時(shí),視頻也會(huì)發(fā)生短暫的抖動(dòng)現(xiàn)象,如果設(shè)計(jì)的算法對這種現(xiàn)象的目標(biāo)跟蹤有良好的跟蹤性能,那證明算法在性能方面有著良好的普適性.

背景和前景的最大區(qū)別在于,前景在時(shí)間序列上進(jìn)行的是某一方向的軌跡運(yùn)動(dòng),而背景則為一定區(qū)域的晃動(dòng),針對這個(gè)特征,提出使用基于梯度分量的前景目標(biāo)檢測方法.首先使用九宮格的提取方法,為簡化計(jì)算,在第1幀圖像中,選取O(0,0)點(diǎn)作為基準(zhǔn)點(diǎn),對九宮格的灰度值進(jìn)行平均化處理,將平均值賦值給九宮格中心點(diǎn),記為P1點(diǎn),在第2幀圖像中搜尋相同九宮格,滿足6個(gè)格即視為找到目標(biāo).再用同樣的提取方法處理抖動(dòng)后的第2幀圖像,中心點(diǎn)記為P2,連接OP1和OP2作為2個(gè)向量,對OP1和OP2作向量減法形成新的向量P1,2,建立坐標(biāo)系求出的水平偏移量tx和垂直偏移量ty(式(3)、式(4)),如圖4所示.

f(x,y+1)+f(x+1,y-1)+f(x+1,y)+f(x+1,y+1)],

(3)

(4)

式中:i表示第幾幀圖;P代表某點(diǎn)坐標(biāo);f(x,y)代表某一點(diǎn)的像素值.

圖4 梯度化原理圖Fig.4 Gradient schematic diagram

仿射變換是進(jìn)行穩(wěn)像的重要手段,技術(shù)比較成熟,基本原理為

(5)

通過以上處理后,可得到式中的幾個(gè)參數(shù),對每一幀圖像進(jìn)行處理,可以發(fā)現(xiàn)相機(jī)抖動(dòng)問題轉(zhuǎn)化為近似靜態(tài)背景提取前景目標(biāo)問題,但這并不是完整的靜態(tài)背景,針對這種近似靜態(tài)背景提取前景目標(biāo)問題,通過最小梯度方法,將每張圖像中的運(yùn)動(dòng)目標(biāo)選取出來,選取一定數(shù)量的圖片,對每張圖片選取的向量點(diǎn)進(jìn)行提取,在圖像上顯示為前景目標(biāo)的輪廓,如圖5所示,至此,經(jīng)過上述處理,可以實(shí)時(shí)得到目標(biāo)的運(yùn)動(dòng)狀態(tài)及方向.

(6)

圖5 前景目標(biāo)提取原理圖Fig.5 Principle of foreground object extraction

使用MATLAB對上述算法進(jìn)行編程,由圖6可以看出,在沒有前景目標(biāo)的前提下,背景中不含噪聲點(diǎn),效果較好,圖7為有前景目標(biāo)的情況運(yùn)行圖,該視頻為晃動(dòng)情況下拍攝,結(jié)果表明存在一定擾動(dòng)情況下,本算法對前景目標(biāo)提取有著明顯的效果,可以完整地將所有運(yùn)動(dòng)目標(biāo)選出.

圖6 背景提取圖Fig.6 Background extraction

圖7前景提取圖
Fig.7Foregroundextraction

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)環(huán)境

本文所使用的攝像頭為海康威視DS-2CD4032FWD-SDI相機(jī),支持實(shí)時(shí)視頻輸出分辨率為HDTV1080p(符合SMPTE274M標(biāo)準(zhǔn))和HDTV720p(符合SMPTE296M標(biāo)準(zhǔn)),圖像處理環(huán)境為深度學(xué)習(xí)服務(wù)器,運(yùn)算系統(tǒng)環(huán)境為Ubuntu 14.04,編程語言為Python.

3.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文所設(shè)計(jì)的算法,分別進(jìn)行了夜晚、白天、相機(jī)晃動(dòng)、目標(biāo)高速移動(dòng)4組實(shí)驗(yàn)場景,每種場景選擇6幀圖片作為展示,夜晚與白天場景可以驗(yàn)證算法對光照情況的敏感性;相機(jī)晃動(dòng)場景下的跟蹤是對算法魯棒性的檢驗(yàn);對于目標(biāo)跟蹤而言,準(zhǔn)確性是必要的,但是在滿足準(zhǔn)確性的同時(shí)如果可以保證實(shí)時(shí)性,這樣算法才有實(shí)際意義,故文本特別設(shè)計(jì)了一組在高速路上的目標(biāo)跟蹤實(shí)驗(yàn),用來檢驗(yàn)算法實(shí)時(shí)性,實(shí)驗(yàn)結(jié)果如圖8所示.

圖8 實(shí)際跟蹤圖Fig.8 Actual tracking picture(a)—夜晚; (b)—白天; (c)—相機(jī)晃動(dòng); (d)—目標(biāo)高速移動(dòng).

從圖8可以看出,本文所設(shè)計(jì)的算法在多種場景下的跟蹤效果良好,跟蹤穩(wěn)定,具有一定的魯棒性,對于存在光照變化、部分遮擋以及噪聲干擾的情況都能夠?qū)崿F(xiàn)穩(wěn)定識別和跟蹤,算法實(shí)時(shí)性較好,不易發(fā)生跟蹤目標(biāo)丟失的情況.

3.3 誤差分析

取成功率為跟蹤成功的幀數(shù)和視頻總幀數(shù)之比,算法耗時(shí)為每2幀之間求和的平均值,比CamShift算法成功率增加了18.3%,比TLD和CamShift算法,在耗時(shí)上分別降低12.6%和22.7%,如表1所示.

表1 算法跟蹤性能比較

4 結(jié) 論

本文認(rèn)真分析了當(dāng)下主流的目標(biāo)跟蹤算法,并對目標(biāo)的運(yùn)動(dòng)做了本質(zhì)研究,針對現(xiàn)有算法在提取前景目標(biāo)上復(fù)雜度過高及不易實(shí)現(xiàn)的問題,提出了一種新型的基于時(shí)域和梯度的目標(biāo)識別跟蹤算法,實(shí)驗(yàn)結(jié)果表明,本文算法可以穩(wěn)定地跟蹤目標(biāo),對一些較為復(fù)雜的場景也具有適用性,在保證成功率的基礎(chǔ)上,相比TLD、Camshift算法,在耗時(shí)上分別降低12.6%、22.7%.但是本文算法在存在大面積干擾時(shí)容易出現(xiàn)誤差,這也是后續(xù)進(jìn)一步研究的工作.