基于車(chē)輛特征的關(guān)鍵幀提取方法研究

王正玉,李 勃,張明輝,歐玉榮（昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明650051）

隨著網(wǎng)絡(luò)和多媒體技術(shù)的飛速發(fā)展，視頻得到了廣泛應(yīng)用，其數(shù)量迅速增加。為了方便對(duì)這些數(shù)據(jù)進(jìn)行有效的索引和管理，視頻檢索技術(shù)得到廣泛的研究,其中，就需采用有效的鏡頭分割和關(guān)鍵幀技術(shù)。利用關(guān)鍵幀技術(shù)對(duì)視頻數(shù)據(jù)庫(kù)進(jìn)行有效的快速查詢(xún)、檢索和瀏覽，可以大大減輕工作量。

關(guān)鍵幀是鏡頭中最重要、最具代表性的圖像幀，它反映了一個(gè)鏡頭的主要內(nèi)容。針對(duì)關(guān)鍵幀這些特點(diǎn)，關(guān)鍵幀的提取有兩個(gè)基本要求[1]：一方面必須反映鏡頭中的主要事件，即描述要盡可能準(zhǔn)確和完整；另一方面要求數(shù)據(jù)量小，即計(jì)算不能太復(fù)雜。當(dāng)前一般采用的關(guān)鍵幀選取原則較為保守，即“寧錯(cuò)勿少”，這樣在保證完整地描述一個(gè)鏡頭內(nèi)容的同時(shí)造成了大量的冗余。為解決這一問(wèn)題，本文針對(duì)交通監(jiān)控視頻中相關(guān)車(chē)輛的檢索，提出一種基于車(chē)輛自身特征的關(guān)鍵幀提取方法，此算法有效地避免了冗余。

1 常用的主流關(guān)鍵幀提取方法

目前的關(guān)鍵幀提取方法依據(jù)是否基于壓縮域可分為非壓縮域和壓縮域方法，依關(guān)鍵幀來(lái)源可分為關(guān)鍵幀重組和關(guān)鍵幀提取，其中，關(guān)鍵幀提取是目前主流方法。典型的關(guān)鍵幀提取算法主要分為四類(lèi)：(1)基于鏡頭邊界提取關(guān)鍵幀[1]，該方法將鏡頭的首幀和尾幀作為鏡頭的關(guān)鍵幀，簡(jiǎn)單易行，關(guān)鍵幀數(shù)目確定,但是效果不穩(wěn)定。(2)根據(jù)相鄰幀間的距離提取關(guān)鍵幀。若距離大于某個(gè)預(yù)先設(shè)定的閾值，則產(chǎn)生一個(gè)新關(guān)鍵幀。該方法較為靈活，但只對(duì)相鄰幀進(jìn)行距離計(jì)算。容易漏檢，且對(duì)于重復(fù)畫(huà)面多的鏡頭容易產(chǎn)生冗余。(3)基于運(yùn)動(dòng)分析的方法，例如WOLF[2]的光流法，分析計(jì)算鏡頭中的運(yùn)動(dòng)量，在其局部最小值處選取關(guān)鍵幀，反映了視頻數(shù)據(jù)的靜止，該方法所需計(jì)算量較大，時(shí)間效率降低，WOLF方法中的局部最小值也不一定準(zhǔn)確。(4)基于聚類(lèi)法提取關(guān)鍵幀，其基本思想是首先從一個(gè)初始化的聚類(lèi)出發(fā)，將樣本集中的每個(gè)元素分配給某個(gè)聚類(lèi)，以達(dá)到系統(tǒng)或用戶(hù)的要求，這種方法效果較好，但是比較復(fù)雜，實(shí)現(xiàn)起來(lái)有一定的困難，而且計(jì)算量較大。

2 改進(jìn)的針對(duì)于車(chē)輛檢索的關(guān)鍵幀提取方法

改進(jìn)的針對(duì)于車(chē)輛檢索的關(guān)鍵幀提取方法的主要思想如下。

(1)在鏡頭分割完畢的基礎(chǔ)上，選取鏡頭的第一幀、中間幀和最后一幀作為候選關(guān)鍵幀。

(2)對(duì)選取的關(guān)鍵幀進(jìn)行簡(jiǎn)單的預(yù)處理操作，如圖像平滑等。由于通過(guò)CCD攝像頭采集視頻圖像的過(guò)程中容易受到攝像頭、視頻采集卡、天氣、人為干擾、車(chē)輛的顛簸抖動(dòng)等因素的影響，圖像中往往會(huì)出現(xiàn)一些不規(guī)則的隨機(jī)噪聲。采用適當(dāng)?shù)姆椒ń翟耄梢悦黠@提高對(duì)運(yùn)動(dòng)車(chē)輛的檢測(cè)率和識(shí)別率。例如，本文采用中值濾波[3]處理圖像后，可以有效地去除不規(guī)則的噪聲點(diǎn),如圖1所示。

(3)物體的形狀特征對(duì)物體的識(shí)別有重要作用[4]，本算法采用對(duì)校正后的圖像進(jìn)行圓檢測(cè)[5]方式，識(shí)別帶有車(chē)輛的圖像。

對(duì)于圓檢測(cè)，本算法首先想到的是利用圓的幾何性質(zhì):圓周上任意兩條不平行弦的中垂線(xiàn)相交點(diǎn)即為圓心,每次同時(shí)選取不在同一條直線(xiàn)上的 3個(gè)點(diǎn) (x1，y1)、(x2，y2)和 (x3，y3)來(lái)確定一個(gè)圓，圓心坐標(biāo)可由這 3個(gè)點(diǎn)的坐標(biāo)獲得。原理如下：

①用S代表所截取的待檢測(cè)的圖像中的所有邊緣點(diǎn)的集合。從S中隨機(jī)選取不在同一條直線(xiàn)上的3個(gè)像素點(diǎn)確定一個(gè)圓。本文通過(guò)減少隨機(jī)采樣點(diǎn)數(shù)來(lái)解決這個(gè)問(wèn)題。考慮到一個(gè)邊緣點(diǎn)的八鄰域像素，如果邊緣點(diǎn)數(shù)目少于3個(gè)，認(rèn)為這個(gè)點(diǎn)就是無(wú)效采樣點(diǎn)。設(shè)隨機(jī)采樣的前 兩個(gè) 點(diǎn)為 s1（x1，y1）、s2（x2，y2），且使 s1s2≥T，其中T為一個(gè)設(shè)定的閾值。s3（x3，y3）則從 s1s2中垂線(xiàn)的一端去搜索，這樣做是為了減少待檢測(cè)圓的搜索次數(shù)。

② 由 s1（x1，y1）、s2（x2，y2）和 s3（x3，y3）這 三 點(diǎn) 確 定 的候選圓的圓心(a1，a2)與半徑r為：

③ 確定完候選圓以后，任取一個(gè)特征點(diǎn) si(xi，yi)，該點(diǎn)到圓心的距離與侯選圓半徑r的差值為:

設(shè) δ為判別點(diǎn)到圓靠近程度的閾值，若 dd＜δ，則 si點(diǎn)在這個(gè)圓上。下一步就是對(duì)在這個(gè)圓上的邊緣點(diǎn)進(jìn)行累計(jì)計(jì)算。

為了減少計(jì)算量，考慮到圓必定在其外接正方形之內(nèi)，所以不必對(duì)外接正方形之外的那些像素進(jìn)行計(jì)算，可以減少大量的計(jì)算時(shí)間。取邊緣厚度為一個(gè)較小數(shù)t，對(duì)于邊緣點(diǎn) s 中的點(diǎn) si(xi,yi),若滿(mǎn)足 xi＞a1+r+t、xi＜a1-rt、yi＞a2+r+t或 yi＜a2-r-t中任意一個(gè)，則不必計(jì)算該點(diǎn)到圓心的距離di，而是繼續(xù)對(duì)下一個(gè)邊緣點(diǎn)進(jìn)行計(jì)算判定。假設(shè)初始化計(jì)數(shù)器為M，集合中最少點(diǎn)數(shù)為m，S中的點(diǎn)數(shù)為n，真實(shí)圓的閾值為 Mmin，邊緣厚度為t。檢測(cè)到的真實(shí)圓的個(gè)數(shù)為j，并初始j=0。該算法的具體描述如圖2所示,實(shí)現(xiàn)的結(jié)果如圖3所示。

3 實(shí)驗(yàn)結(jié)果與分析

為了檢測(cè)本算法的效果，分別設(shè)計(jì)了4組測(cè)試實(shí)驗(yàn)，每組所涉及的含有車(chē)輛關(guān)鍵幀與不含有車(chē)輛關(guān)鍵幀數(shù)量各不相同，呈遞增狀。其中，每組實(shí)驗(yàn)中所用的含有車(chē)輛關(guān)鍵幀里，盡量選用具有不同車(chē)型車(chē)輛的關(guān)鍵幀作為測(cè)試用例，以達(dá)到涵蓋各種情況的目的。實(shí)驗(yàn)結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果數(shù)據(jù)

實(shí)驗(yàn)結(jié)果表明，將本算法應(yīng)用在交通視頻中有關(guān)車(chē)輛的關(guān)鍵幀提取方面錯(cuò)誤率低、冗余度小且遺漏程度很低。本算法針對(duì)車(chē)輛自身特征對(duì)帶有車(chē)輛幀的提取達(dá)到了令人較滿(mǎn)意的效果。本算法中還可以靈活地加入車(chē)輛的其他特征(如車(chē)牌等)，以取得更好的效果。

為了解決交通視頻中有關(guān)車(chē)輛的關(guān)鍵幀提取問(wèn)題，本文提出了一種基于車(chē)輛自身特征的關(guān)鍵幀提取方法，即基于圓檢測(cè)的車(chē)輛關(guān)鍵幀提取法。實(shí)驗(yàn)結(jié)果表明該方法切實(shí)可行。由于實(shí)驗(yàn)中選用的車(chē)輛圖片以正側(cè)面為主，與現(xiàn)實(shí)中任意方位角的車(chē)輛相比，還只是較特殊的一類(lèi)，若要實(shí)現(xiàn)任意方位角的車(chē)輛幀提取，還要添加一些其他車(chē)輛特征，或者實(shí)現(xiàn)對(duì)圖片中車(chē)輛傾斜角的矯正等，以達(dá)到顯示圖中車(chē)輛正側(cè)面的效果。要使此算法具有普遍性，還需要繼續(xù)深入研究。

[1]季春.視頻檢索中關(guān)鍵幀抽取方法的研究[D].南京:南京理工大學(xué)，2005.

[2]WOLF W.Key frame selection by motion analysis[C].IEEE Proceedings of International Confenence Acoust，Speech，and Sigal Proc，1996.

[3]王耀南，李樹(shù)濤,毛建旭，等.計(jì)算機(jī)圖像處理與識(shí)別技術(shù)[M].北京:高等教育出版社,2003.

[4]王立國(guó).支持向量機(jī)多類(lèi)目標(biāo)分類(lèi)器的結(jié)構(gòu)簡(jiǎn)化研究[J].中國(guó)圖象圖形學(xué)報(bào)，2005，10(5)：571-574.

[5]XU L，OJA E， KULTANEN P.A new curve detec tion method：randomized Hough transform(RHT)[J].Pattem Recognition Letters，1990，II(5)：33l-338.