基于TBGC的航拍視頻車輛檢測(cè)算法

郭迎春 鄭婧然 于洋

摘要 針對(duì)移動(dòng)航拍視頻中車輛檢測(cè)準(zhǔn)確度低的問題，提出一種基于三鄰域點(diǎn)二值梯度輪廓（Three-neighbor-point Binary Gradient Contour，TBGC）特征的航拍車輛檢測(cè)算法。對(duì)相鄰幀圖像進(jìn)行SURF（speeded-up robust features）特征點(diǎn)提取匹配，利用角度判別剔除錯(cuò)誤匹配點(diǎn)完成圖像配準(zhǔn)，采用幀間差分獲得運(yùn)動(dòng)目標(biāo)的候選區(qū)域。由于傳統(tǒng)二值梯度輪廓（Binary Gradient Contours，BGC）特征忽略中心像素特性，提出基于3×3鄰域相鄰像素點(diǎn)量化操作的TBGC特征。提取候選區(qū)域的TBGC特征，并利用支持向量機(jī)（Support Vector Machine， SVM）完成最終的航拍視頻車輛檢測(cè)。實(shí)驗(yàn)中利用提出的TBGC特征在8個(gè)數(shù)據(jù)集上分別與BGC1、LBP、HOG特征進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明TBGC算法的檢測(cè)率明顯優(yōu)于傳統(tǒng)經(jīng)典算法，平均檢測(cè)率為93.09%，并且具有較好的魯棒性。

關(guān) 鍵 詞 航拍視頻;車輛檢測(cè);支持向量機(jī);TBGC特征

中圖分類號(hào) TP391.41? ? ?文獻(xiàn)標(biāo)志碼 A

Abstract To improve the vehicle detection precision in aerial video， a vehicle detection method for aerial video is proposed based on three-neighbor-point binary gradient contour （TBGC） features. First， the extraction of speed-up robust features （SURF） was extracted and matched for adjacent frame images， and error-matching points were eliminated by angle discrimination to realize image registration. Then， the candidate regions of the moving target were obtained according to the frame difference. Since the traditional binary gradient contour （BGC） features ignore the pixel characteristics at the center， the TBGC features based on the comparison of adjacent pixel points in a 3 × 3 neighborhood were proposed. In this way， the TBGC features in candidate regions were extracted， and support vector machine （SVM） was used to complete the vehicle detection in aerial video at last. In the experiment， the proposed TBGC features were compared with features of BGC1， LBP， and HOG on eight datasets respectively. Experimental results show that the detection rate of TBGC algorithm is obviously better than the traditional classical algorithms， with an average detection rate of 93.09% and stronger robustness.

Key words aerial video; vehicle detection; support vector machine; TBGC features

0 引言

現(xiàn)今無人機(jī)航拍技術(shù)已經(jīng)應(yīng)用到交通運(yùn)輸、工業(yè)、農(nóng)業(yè)、軍事等各個(gè)領(lǐng)域中，進(jìn)行交通管控、環(huán)境保護(hù)、災(zāi)后救援、軍事偵查等，并在相關(guān)領(lǐng)域中發(fā)揮著重要的作用。與傳統(tǒng)的地面監(jiān)控視頻相比，無人機(jī)航拍視頻具有監(jiān)控范圍大、使用方便靈活，能夠更好地檢測(cè)快速移動(dòng)目標(biāo)等優(yōu)勢(shì)，因此，針對(duì)航拍視頻的目標(biāo)檢測(cè)研究已經(jīng)逐漸成為計(jì)算機(jī)視覺領(lǐng)域的一個(gè)研究熱點(diǎn)[1]。 然而對(duì)于車輛檢測(cè)問題，由于航拍視頻覆蓋場(chǎng)景面積較大、關(guān)鍵目標(biāo)較小、背景復(fù)雜，且目標(biāo)車輛易受光照變化、遮擋、相機(jī)抖動(dòng)以及姿態(tài)變化等因素影響[2]，因此航拍視頻中的車輛檢測(cè)仍然是一個(gè)具有挑戰(zhàn)性的課題。

近年來國(guó)內(nèi)外的相關(guān)研究已經(jīng)取得了一定的成果，大體上可以分為基于特征的方法和基于深度學(xué)習(xí)的方法。在基于特征的方法中，方向梯度直方圖（Histogram of Oriented Gradient，HOG）是最為有效的特征之一。Xu等[3]通過道路方向旋轉(zhuǎn)圖像，將HOG與支持向量機(jī)（Support Vector Machine，SVM）結(jié)合可以實(shí)現(xiàn)快速且高精度的目標(biāo)檢測(cè)，并采用自適應(yīng)交換策略提高檢測(cè)效率，但是無法檢測(cè)到轉(zhuǎn)彎處的車輛。Madhogaria等 [4]利用HOG+SVM檢測(cè)目標(biāo)，并結(jié)合馬爾科夫隨機(jī)場(chǎng)刪除虛假目標(biāo)，與其他方法相比，顯著降低了誤報(bào)率，但是因訓(xùn)練圖像的尺寸固定，需要手動(dòng)設(shè)置參數(shù)，靈活性較差。文獻(xiàn)[5]增加了紋理和顏色信息，并結(jié)合改進(jìn)HOG特征作為特征描述符，檢測(cè)的準(zhǔn)確率進(jìn)一步提高，但是用時(shí)長(zhǎng)，計(jì)算量大。由于HOG特征不具有旋轉(zhuǎn)不變性，Liu等[6]在原有經(jīng)典HOG特征的基礎(chǔ)上，提出具有旋轉(zhuǎn)不變性的Fourier-HOG特征。Kamenetsky等[7]將該特征用于航拍圖像，取得顯著的效果。但是Fourier-HOG胞元只能描述局部區(qū)域信息，當(dāng)對(duì)一個(gè)較大區(qū)域進(jìn)行描述時(shí)，需要計(jì)算該區(qū)域的區(qū)域描述符，特征維數(shù)較大，算法效率較差。文獻(xiàn)[8]采用光照不變特征減少Fourier-HOG特征的提取區(qū)域，從而減少運(yùn)行時(shí)間，但是算法的時(shí)間復(fù)雜度依然很高。與HOG特征相比，由于尺度不變特征變換（Scale-Invariant Feature Transform， SIFT）特征能夠檢測(cè)到部分被陰影或樹木遮擋的車輛，因此該特征也是航拍車輛檢測(cè)常用的特征之一。Moranduzzo等[9]考慮到特征的尺度不變性和旋轉(zhuǎn)不變性，利用SIFT關(guān)鍵點(diǎn)進(jìn)行像素點(diǎn)檢測(cè)，通過SVM對(duì)SIFT關(guān)鍵點(diǎn)分類得到車輛的關(guān)鍵點(diǎn)集，該方法主要降低了虛警率，但是關(guān)鍵點(diǎn)的分類精度不夠。同時(shí)，文獻(xiàn)[10]通過基于地理信息系統(tǒng)的篩選評(píng)估方法，進(jìn)一步降低了虛警率，但是仍有部分車輛的漏檢。此外，HOG空間金字塔（Spatial Pyramid of HoG，PHOG ）特征[11]、Haar-like特征[12]、快速旋轉(zhuǎn)不變特征[13]、旋轉(zhuǎn)不變矩陣（Rotation-Invariant Matrix，RIM）[14]以及結(jié)合方向梯度角[15]和徑向梯度方向特征的序數(shù)金字塔編碼方法[16]也被應(yīng)用到航拍車輛檢測(cè)中。

深度學(xué)習(xí)目前也廣泛用于航拍車輛檢測(cè)領(lǐng)域，但是檢測(cè)效果無法達(dá)到基于特征的方法[17]。Chen等[18]針對(duì)深層卷積神經(jīng)網(wǎng)絡(luò)（DNN）只能提取同一尺寸特征的缺陷，提出混合的深層卷積神經(jīng)網(wǎng)絡(luò)，通過將最后一個(gè)卷積層和DNN的最大池化層的映射劃分為多個(gè)可變接收域來提取可變尺寸特征。該方法在衛(wèi)星圖像上獲得了顯著的效果。文獻(xiàn)[17]利用卷積神經(jīng)網(wǎng)絡(luò)提取特征并結(jié)合SVM分類進(jìn)行目標(biāo)檢測(cè)。該方法在準(zhǔn)確性和計(jì)算時(shí)間上都優(yōu)于現(xiàn)有的方法。但只是找到了車輛的位置區(qū)域，并沒有精確地檢測(cè)到每輛車，并且誤檢率較高。Deng等[19]提出了一個(gè)精確車輛推薦網(wǎng)絡(luò)，可以檢測(cè)出航拍圖像中的車輛，并利用車輛屬性學(xué)習(xí)網(wǎng)絡(luò)獲得車輛的位置信息。該方法相比于其他的方法魯棒性更好，準(zhǔn)確性更高，但是不適用于車輛高度集中的區(qū)域，具有局限性。

無論是基于特征的方法還是基于深度學(xué)習(xí)的方法，算法本質(zhì)都是用特征來表征目標(biāo)。文獻(xiàn)[20]對(duì)局部二值模式（Local Binary Patterns，LBP）和二值梯度輪廓（Binary Gradient Contours，BGC）特征做了3組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)表明BGC特征具有更好的目標(biāo)表述能力以及旋轉(zhuǎn)平移不變性。考慮到航拍視頻中目標(biāo)車輛由于攝像機(jī)的拍攝角度以及姿態(tài)變化，具有比較復(fù)雜的形態(tài)，本文以BGC特征為基礎(chǔ)，對(duì)BGC的第1種模式BGC1進(jìn)行改進(jìn)，提出基于三鄰域點(diǎn)二值梯度輪廓（Three-neighbor-point Binary Gradient Contour，TBGC）特征的航拍車輛檢測(cè)算法，首先針對(duì)航拍視頻序列進(jìn)行圖像配準(zhǔn)，利用幀間差分得到車輛候選區(qū)域，最終使用TBGC特征結(jié)合SVM完成精確的車輛檢測(cè)。

1 總體架構(gòu)

本文采用的無人機(jī)采集的航拍視頻序列，由于視頻中存在相對(duì)運(yùn)動(dòng)，所以首先進(jìn)行基于SURF（Speeded- Up Robust Features）特征點(diǎn)[21]的圖像配準(zhǔn)，使得相鄰幀在同一圖像坐標(biāo)系下;然后利用幀間差分法獲得運(yùn)動(dòng)目標(biāo)候選區(qū)域;最后對(duì)運(yùn)動(dòng)目標(biāo)候選區(qū)域進(jìn)行TBGC特征提取，利用SVM對(duì)特征分類提取的先驗(yàn)?zāi)Ｐ瓦M(jìn)行目標(biāo)分類，進(jìn)而得到精確的檢測(cè)結(jié)果。圖1是整體車輛檢測(cè)的流程圖。

2 航拍目標(biāo)車輛檢測(cè)

2.1 圖像配準(zhǔn)

對(duì)于視頻序列[Ijj=1，...，n]的相鄰兩幀圖像[Ij]和[Ij+1]，分別提取SURF特征點(diǎn)，得到兩幀圖像的特征點(diǎn)集A和B，對(duì)特征點(diǎn)集A和B進(jìn)行匹配，最后再利用隨機(jī)采樣一致算法（Random Sample Consensus， RANSAC）[22]剔除錯(cuò)誤的匹配點(diǎn)對(duì)。匹配結(jié)果如圖2所示。

圖2是經(jīng)過RANSAC算法之后的匹配效果圖，仍然存在錯(cuò)誤的匹配點(diǎn)對(duì)。考慮到航拍序列的特點(diǎn)，相鄰幀圖像之間存在的是平移和旋轉(zhuǎn)的微小運(yùn)動(dòng)，所以一對(duì)匹配點(diǎn)可以計(jì)算出一個(gè)角度，所有特征點(diǎn)對(duì)之間的角度差異會(huì)很小，因此本文采用基于角度判定的策略剔除錯(cuò)誤匹配點(diǎn)。匹配點(diǎn)間的角度計(jì)算公式為

計(jì)算所有匹配點(diǎn)對(duì)間的角度集合[C=θ1，θ2，...，θm]，升序排序得到集合[D=θ′1，θ′2，...，θ′m]，取集合D的前1/4角度值計(jì)算平均角度值[θ]，其中，前1/4角度值是經(jīng)過實(shí)驗(yàn)具有最好處理效果的取值，最后根據(jù)式（2）計(jì)算[Ti]。

[Ti]為每個(gè)角度對(duì)應(yīng)的特征點(diǎn)對(duì)正確與否的判斷函數(shù)，其中[i]表示每一對(duì)特征點(diǎn)。如果[Ti]為1，說明是匹配正確的特征點(diǎn)對(duì)，反之，則為匹配錯(cuò)誤的特征點(diǎn)對(duì)，并剔除。圖3為特征點(diǎn)剔除后匹配結(jié)果。

剔除錯(cuò)誤的匹配點(diǎn)對(duì)后，采用雙三次插值進(jìn)行仿射變換，得到配準(zhǔn)圖。在圖像配準(zhǔn)之后，本文采用幀間差分的方法獲得候選目標(biāo)運(yùn)動(dòng)區(qū)域，圖4為幀間差分檢測(cè)結(jié)果，從中可以看出仍存在很多非車輛區(qū)域，即誤檢區(qū)域。為了進(jìn)一步完成目標(biāo)車輛區(qū)域精確檢測(cè)，采用基于特征訓(xùn)練的分類方法。第一步首先對(duì)訓(xùn)練集的正負(fù)樣本提取TBGC特征，然后通過SVM對(duì)樣本進(jìn)行訓(xùn)練獲得TBGC特征的分類模型。第二步是對(duì)幀差后獲得的目標(biāo)候選區(qū)域進(jìn)行識(shí)別，對(duì)目標(biāo)候選區(qū)域提取TBGC特征，依據(jù)第一步得到的分類模型得到精確的檢測(cè)結(jié)果。

2.2 BGC特征

二值梯度輪廓（Binary Gradient Contours，BGC）由Fernández等提出。基于預(yù)先定義的路徑，使用來自3×3鄰域的順時(shí)針方向選擇的成對(duì)像素值比較，得到3×3鄰域中心像素點(diǎn)的二進(jìn)制描述符，表示該像素點(diǎn)的BGC值。BGC的編碼路徑不同，則其計(jì)算方式也不同。Fernández等提出了3種不同的路徑，單回路二值梯度輪廓（BGC1），雙回路二值梯度輪廓（BGC2），三回路二值梯度輪廓（BGC3），圖5是3種路徑的表述方式。

2.3 TBGC特征

根據(jù)Antonio Fernández等[20]的實(shí)驗(yàn)效果可知，BGC1比BGC2和BGC3的紋理描述能力更強(qiáng)，但是由于BGC1的編碼方式過于簡(jiǎn)單，易受到噪聲的影響，所以本文對(duì)BGC1進(jìn)行了改進(jìn)，使其能夠更好地描述目標(biāo)的紋理特征。

BGC1特征是根據(jù)3×3鄰域窗口內(nèi)順時(shí)針方向的鄰域像素點(diǎn)之間關(guān)系編碼得到的，由于只考慮到了鄰域像素點(diǎn)之間關(guān)系而忽略了中心像素點(diǎn)的影響，而中心像素點(diǎn)又是一個(gè)很重要的點(diǎn)，往往比周圍的點(diǎn)包含更多的信息，所以本文提出加入中心像素點(diǎn)以及3×3鄰域窗口內(nèi)逆時(shí)針方向的鄰域像素點(diǎn)之間關(guān)系的TBGC特征，使得提取的紋理信息更加豐富，增加了對(duì)噪聲的魯棒性，有更好的鑒別能力。圖6是TBGC算法示意圖。

圖6中，首先以第一個(gè)3×3窗口的像素點(diǎn)[I7]為例，[I7]分別與[I0]，[Ic]，[I6]相鄰的3個(gè)像素點(diǎn)進(jìn)行像素值的大小比較。其像素路徑編號(hào)[0，7，6，5，4，3，2，1，0]，計(jì)算二值梯度輪廓的像素對(duì)為[0，7，c，7，6，7，7，6，c，6，5，6，...，1，0，c，0，7，0]，其中c代表的是中心像素點(diǎn)，稱為TBGC。具體的計(jì)算公式（5）～（7）如下：

[g1=sI7-I0，sI6-I7，sI5-I6，sI4-I5，sI3-I4，sI2-I3，sI1-I2，sI0-I1] ， （5）

[g2=sI7-I6，sI6-I5，sI5-I4，sI4-I3，sI3-I2，sI2-I1，sI1-I0，sI0-I7] ， （6）

[g3=sI7-Ic，sI6-Ic，sI5-Ic，sI4-Ic，sI3-Ic，sI2-Ic，sI1-Ic，sI0-Ic] ， （7）

式中：[g1]表示在順時(shí)針方向，中心點(diǎn)3×3鄰域窗口下，每個(gè)鄰域像素點(diǎn)與相鄰像素點(diǎn)順時(shí)針方向獲得的二進(jìn)制編碼;同理，[g2]表示每個(gè)鄰域像素點(diǎn)與相鄰像素點(diǎn)逆時(shí)針獲得的二進(jìn)制編碼;[g3]則表示每個(gè)鄰域像素點(diǎn)與中心像素點(diǎn)比較獲得的二進(jìn)制編碼。[s（x）]為公式（4）表示的符號(hào)函數(shù)。

最終，TBGC特征的二進(jìn)制編碼[g]的計(jì)算公式為

[g=g1 & & g2 & & g3] 。 （8）

公式（8）還可表示為

[g=[g1 & & g2 & & g3]=[s7，s6，…，s1， s0]]? ? ? ? [g=[g1g2g3]=[s7，s6，???，s0]] 。 （9）

通過以上公式，依次計(jì)算所有…像素點(diǎn)的TBGC值，進(jìn)而得到TBGC特征直方圖。像素點(diǎn)[Ix，y]TBGC值如式（10）所示：

[TBGCIx，y=j=70sj×2j]， （10）

式中[sjj=0，1，...7]為公式（9）中[g]的每一個(gè)二進(jìn)制值。

在此基礎(chǔ)上，利用目標(biāo)車輛的正負(fù)樣本結(jié)合TBGC特征訓(xùn)練分類模型，并利用建立好的模型對(duì)幀間差分得到的候選運(yùn)動(dòng)區(qū)域進(jìn)行二次篩選，得到最終的車輛檢測(cè)結(jié)果，實(shí)際的檢測(cè)結(jié)果在實(shí)驗(yàn)中說明。

3 實(shí)驗(yàn)結(jié)果及分析

本文的實(shí)驗(yàn)數(shù)據(jù)集分別是公共數(shù)據(jù)集VIVID的數(shù)據(jù)集Egtest01-Egtest05、公共數(shù)據(jù)集KIT AIS中的MunichCrossroad01以及自建的兩個(gè)視頻序列DJI_0006和Video2。其中，Egtest01-Egtest02背景簡(jiǎn)單，且無人機(jī)運(yùn)動(dòng)緩慢;Egtest03背景與運(yùn)動(dòng)目標(biāo)的顏色和紋理相近;Egtest04的分辨率較低;Egtest05背景復(fù)雜，光照變化明顯;MunichCrossroad01背景復(fù)雜，視頻中出現(xiàn)樹木和光照變化;Video2的背景復(fù)雜，但攝像機(jī)運(yùn)動(dòng)緩慢，背景變化較小;DJI_0006的特點(diǎn)是背景復(fù)雜且無人機(jī)運(yùn)動(dòng)較快，背景運(yùn)動(dòng)明顯。圖7是不同數(shù)據(jù)集示意圖。

利用不同的數(shù)據(jù)集，本文從圖像配準(zhǔn)、車輛識(shí)別以及視頻車輛檢測(cè)三個(gè)方面進(jìn)行詳細(xì)的實(shí)驗(yàn)并分析。首先將本文方法與經(jīng)典的RANSAC算法進(jìn)行對(duì)比，說明圖像配準(zhǔn)算法的有效性。實(shí)驗(yàn)中利用本文提出的TBGC特征分別與傳統(tǒng)BGC1特征和經(jīng)典特征進(jìn)行比較，進(jìn)一步說明提出算法的優(yōu)勢(shì)。最后，將本文提出的TBGC特征應(yīng)用到航拍視頻序列中，與最新的算法進(jìn)行對(duì)比，說明本文算法的有效性。

3.1 圖像配準(zhǔn)

圖像配準(zhǔn)實(shí)驗(yàn)分別在背景變化劇烈的MunichCrossroad01和DJI_0006數(shù)據(jù)集上進(jìn)行測(cè)試，表1是2個(gè)數(shù)據(jù)庫圖像配準(zhǔn)的實(shí)驗(yàn)結(jié)果。表中，N代表兩幀圖像的特征點(diǎn)數(shù)目，[TP]代表匹配正確的特征點(diǎn)對(duì)數(shù)，[FP]代表匹配錯(cuò)誤的特征點(diǎn)對(duì)數(shù)，P代表匹配正確率[P=TP/TP+FP]。由表1的數(shù)據(jù)可以看出，本文提出的判定角度剔除外點(diǎn)策略在兩個(gè)數(shù)據(jù)集上測(cè)試的特征點(diǎn)的匹配正確率分別為0.985 0和0.990 9，明顯高于基于RANSAC的0.880 4和0.964 8。圖8是分別在MunichCrossroad01、DJI_0006兩個(gè)數(shù)據(jù)集上的匹配結(jié)果。

從兩組圖中可以看出，基于RANSAC的特征點(diǎn)匹配效果圖中，明顯存在角度值偏差較大的錯(cuò)誤特征點(diǎn)對(duì)，而基于本文方法的匹配效果圖則可以看出，由于加入角度判定處理，處理結(jié)果中并不存在如RANSAC算法中的角度偏差大的匹配點(diǎn)對(duì)，因此相對(duì)效果更好。圖9是分別在MunichCrossroad01、DJI_0006兩個(gè)數(shù)據(jù)集上的基于RANSAC算法和基于本文方法的背景補(bǔ)償圖，以及幀間差分獲得的車輛候選區(qū)域。

在MunichCrossroad01、DJI_0006兩個(gè)數(shù)據(jù)集上的配準(zhǔn)圖9a）、b）可以看出，在圖9a）中右下角以及圖9b）左側(cè)邊界中間車道的車輛區(qū)域，本文的算法比傳統(tǒng)的RANSAC算法的補(bǔ)償效果好;并從兩個(gè)數(shù)據(jù)集的幀差圖9c）、d）可以明顯地看出，本文算法實(shí)現(xiàn)的幀差效果顯著地減少了誤檢率。其中，在MunichCrossroad01數(shù)據(jù)集中其他未標(biāo)注的車輛均是靜止的車輛。

3.2 車輛識(shí)別

本文的訓(xùn)練數(shù)據(jù)從不同航拍數(shù)據(jù)集上隨機(jī)得到的，包含有不同背景和不同方向車輛的圖像為正樣本，不包含車輛的圖像為負(fù)樣本，部分樣本如圖10所示。提取樣本的TBGC特征，然后利用SVM訓(xùn)練分類，最后利用測(cè)試集驗(yàn)證特征的有效性。由于數(shù)據(jù)集是航拍視頻序列，所以本文的測(cè)試集是分別從以上8個(gè)視頻序列上截取獲得的。

為了驗(yàn)證本文提出TBGC特征的有效性，與BGC1、LBP、HOG特征進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

在實(shí)驗(yàn)中，訓(xùn)練集樣本數(shù)為5 156個(gè)，測(cè)試集Egtest01- Egtest05樣本數(shù)均為500，Munich Crossroad01樣本數(shù)為348，Video2和DJI_0006的樣本數(shù)分別為74、146。正負(fù)樣本比例為1∶1。

表2可以明顯看出，本文提出的TBGC相對(duì)于原特征BGC1，在不同的測(cè)試集下準(zhǔn)確率有了顯著提高，除了Egtest03外均達(dá)到的90%以上。在Egtest03數(shù)據(jù)集上，由于目標(biāo)車輛與背景的像素差較小，且與訓(xùn)練的正樣本的車型差別較大，所以相對(duì)效果較差，識(shí)別率較低;在Egtest01數(shù)據(jù)集上由于背景單一，所以準(zhǔn)確率達(dá)到了99.6%，在復(fù)雜背景或具有不同姿態(tài)和光照的車輛的其他數(shù)據(jù)集上，本文提出的特征也平均達(dá)到了94%以上，提高了近10%到20%。TBGC特征較原BGC1特征充分考慮到鄰域像素點(diǎn)周圍的像素點(diǎn)以及中心像素點(diǎn)對(duì)鄰域像素點(diǎn)的量化的影響，使得TBGC特征可以提取更豐富的紋理信息，魯棒性更強(qiáng)，效果更好。同時(shí)，TBGC與LBP相比，LBP只是考慮中心像素點(diǎn)與鄰域像素點(diǎn)的關(guān)系進(jìn)行量化，同上，不如TBGC考慮的充分。與HOG相比，由于航拍序列環(huán)境復(fù)雜多變，而HOG描述子對(duì)噪點(diǎn)相當(dāng)敏感，且航拍車輛的姿態(tài)多變，所以通過HOG特征得到的形狀信息不定，而TBGC側(cè)重于紋理信息，因此，效果更好。

為了更好地看出實(shí)驗(yàn)的有效性，本文畫出相應(yīng)了PR曲線和ROC曲線，如圖11所示。

圖11a）為不同特征的PR曲線圖，從圖中可以看出本文提出的TBGC特征在相同的召回率的情況下，檢測(cè)精度P比BGC1、LBP和HOG的精度高，明顯代表本文特征的紅色線位于代表其他特征的線的上方，表明本文提出的特征要比其他的特征效果好。圖11b）是不同特征的ROC曲線，從圖中可以看出，代表本文特征的紅線相比于代表其他特征的線要更靠近于縱軸，更位于圖的上方，所以，可以明顯地看出紅線下方的面積值會(huì)更大，即AUC值更大。因此，相對(duì)于BGC1、LBP和HOG特征，本文提出的特征TBGC的效果更好。

圖12為車輛誤識(shí)別即未檢出的情況示意。如圖12a）、b）分別是圖像模糊且具有陰影導(dǎo)致車輛與背景間的像素差特別小，進(jìn)而車輛的紋理特征不明顯;車輛在圖像中所占的比例太小。以上兩種情況均導(dǎo)致了車輛的誤識(shí)別。

3.3 視頻車輛檢測(cè)

在航拍序列上進(jìn)行圖像配準(zhǔn)后，首先利用幀間差分法獲得目標(biāo)候選區(qū)域，然后提取該區(qū)域的TBGC特征，將其輸入到訓(xùn)練好的模型當(dāng)中，最后根據(jù)分類器的分類標(biāo)簽判斷出目標(biāo)候選區(qū)域是車輛還是非車輛。本文將在VIVID數(shù)據(jù)集的Egtest01-Egtest05、MunichCrossroad01、Video2和DJI_0006視頻序列上進(jìn)行實(shí)驗(yàn)。

圖13是8個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)效果圖，可以看出基于TBGC特征的車輛識(shí)別，明顯減少了幀差帶來的誤檢，其中，在MunichCrossroad01數(shù)據(jù)集中其他未標(biāo)注的車輛均是靜止的車輛。

為了量化分析檢測(cè)的準(zhǔn)確性，定義召回率R、精度P和綜合評(píng)價(jià)指標(biāo)F值。

式中：TP表示檢測(cè)到的正確的目標(biāo)數(shù);FN表示漏檢的目標(biāo)數(shù);FP值表示誤檢的目標(biāo)數(shù)。表3是不同視頻序列的P、R、F值。

從表3中看出，不同視頻序列都表現(xiàn)出良好的實(shí)驗(yàn)效果。VIVID數(shù)據(jù)集上目標(biāo)運(yùn)動(dòng)相對(duì)緩慢，且圖像分辨率低，所以P值、R值和F值相對(duì)居中;其中，Egtest04數(shù)據(jù)集由于分辨率低，幀差出現(xiàn)漏檢，所以在整體的實(shí)驗(yàn)效果上相對(duì)較差;Video2數(shù)據(jù)集的背景復(fù)雜，但是因?yàn)槠浔尘斑\(yùn)動(dòng)特別小，誤差小且能夠更好地得到運(yùn)動(dòng)目標(biāo)區(qū)域，所以效果會(huì)比VIVID數(shù)據(jù)集的效果好一點(diǎn);MunichCrossroad01和DJI_0006屬于背景復(fù)雜，背景運(yùn)動(dòng)明顯的視頻序列，F(xiàn)值分別達(dá)到了0.943 2和0.927 4。

從本文的實(shí)驗(yàn)效果中可以得知，在目標(biāo)與背景顏色特別接近時(shí)，由于紋理差別太小，本文提出的TBGC特征無法識(shí)別出目標(biāo);在目標(biāo)進(jìn)出視頻時(shí)，車輛過于不完整時(shí)，會(huì)出現(xiàn)漏檢;同時(shí)幀間差分方法當(dāng)目標(biāo)候選區(qū)域是背景區(qū)域且與訓(xùn)練時(shí)的車輛紋理特別接近時(shí)，會(huì)出現(xiàn)誤檢的情況。

4 總結(jié)

本文針對(duì)航拍車輛檢測(cè)準(zhǔn)確率低的情況，提出基于TBGC特征的幀間差分航拍車輛檢測(cè)算法。TBGC特征充分考慮3×3鄰域窗口內(nèi)順時(shí)針和逆時(shí)針方向的鄰域像素點(diǎn)以及中心像素點(diǎn)對(duì)中心像素點(diǎn)量化的影響，使得提取的紋理信息更加豐富，增加了對(duì)于噪聲的魯棒性，具有更好的鑒別能力，通過實(shí)驗(yàn)證明了本文提出方法的有效性。但是在實(shí)際的測(cè)試中，對(duì)于紋理不明顯的車輛，TBGC特征會(huì)失效，同時(shí)幀間差分法對(duì)于與背景顏色相近的顏色車輛會(huì)漏檢，針對(duì)這兩個(gè)問題，本文將進(jìn)行進(jìn)一步研究。

參考文獻(xiàn)：

[1]? ? KUMAR R. Aerial video survelliance and exploitation[M]//Video-Based Surveillance Systems. Springer， Boston， MA， 2002： 29-38.

[2]? ? 劉亞偉，李小民. 無人機(jī)航拍視頻中目標(biāo)檢測(cè)和跟蹤方法綜述[J]. 飛航導(dǎo)彈，2016（9）：53-56，70.

[3]? ? XU Y Z，YU G Z，WANG Y P，et al. A hybrid vehicle detection method based on viola-jones and HOG + SVM from UAV images[J]. Sensors，2016，16（8）：1325.

[4]? ? MADHOGARIA S，BAGGENSTOSS P，SCHIKORA M，et al. Car detection by fusion of HOG and causal MRF[J]. IEEE Transactions on Aerospace and Electronic Systems，2015，51（1）：575-590.

[5]? ? CHEN Z Y，WANG C，LUO H，et al. Vehicle detection in high-resolution aerial images based on fast sparse representation classification and multiorder feature[J]. IEEE Transactions on Intelligent Transportation Systems，2016，17（8）：2296-2309.

[6]? ? LIU K，SKIBBE H，SCHMIDT T，et al. Rotation-invariant HOG descriptors using fourier analysis in polar and spherical coordinates[J]. International Journal of Computer Vision，2014，106（3）：342-364.

[7]? ? MORANDUZZO T，MELGANI F. Detecting cars in UAV images with a catalog-based approach[J]. IEEE Transactions on Geoscience and Remote Sensing，2014，52（10）：6356-6367.

[8]? ? 毛征，劉松松，張輝，等. 不同光照和姿態(tài)下的航拍車輛檢測(cè)方法[J]. 北京工業(yè)大學(xué)學(xué)報(bào)，2016，42（7）：982-988.

[9]? ? MORANDUZZO T，MELGANI F. A SIFT-SVM method for detecting cars in UAV images[C]//2012 IEEE Iternational Geoscience and Remote Sensing Symposium，22-27 July 2012，Munich，Germany，2012：6868-6871.

[10]? MORANDUZZO T，MELGANI F. Automatic car counting method for unmanned aerial vehicle images[J]. IEEE Transactions on Geoscience and Remote Sensing，2014，52（3）：1635-1647.

[11]? POOSTCHI M，PALANIAPPAN K，SEETHARAMAN G. Spatial pyramid context-aware moving vehicle detection and tracking in urban aerial imagery[C]//2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance （AVSS），29 Aug. -1 Sept. 2017，Lecce，Italy，2017：1-6.

[12]? XU Y Z，YU G Z，WU X K，et al. An enhanced viola-jones vehicle detection method from unmanned aerial vehicles imagery[J]. IEEE Transactions on Intelligent Transportation Systems，2017，18（7）：1845-1856.

[13]? MALAGI V P， BABU D R R. Rotation-invariant fast feature based image registration for motion compensation in aerial image sequences[C]//Proceedings of International Conference on Cognition and Recognition. Springer， Singapore， 2018： 211-221.

[14]? WANG G L，WANG X C，F(xiàn)AN B，et al. Feature extraction by rotation-invariant matrix representation for object detection in aerial image[J]. IEEE Geoscience andRemote Sensing Letters，2017，14（6）：851-855.

[15]? LIN Y D，HE H J，YIN Z K，et al. Rotation-invariant object detection in remote sensing images based on radial-gradient angle[J]. IEEE Geoscience and Remote Sensing Letters，2015，12（4）：746-750.

[16]? WANG G L，F(xiàn)AN B，ZHOU Z L，et al. Ordinal pyramid coding for rotation invariant feature extraction[J]. Neurocomputing，2017，242：150-160.

[17]? AMMOUR N，ALHICHRI H，BAZI Y，et al. Deep learning approach for car detection in UAV imagery[J]. Remote Sensing，2017，9（4）：312.

[18]? CHEN X Y，XIANG S M，LIU C L，et al. Vehicle detection in satellite images by hybrid deep convolutional neural networks[J]. IEEE Geoscience and Remote Sensing Letters，2014，11（10）：1797-1801.

[19]? DENG Z P，SUN H，ZHOU S L，et al. Toward fast and accurate vehicle detection in aerial images using coupled region-based convolutional neural networks[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，10（8）：3652-3664.

[20]? FERNáNDEZ A，áLVAREZ M X，Bianconi F. Image classification with binary gradient contours[J]. Optics and Lasers in Engineering，2011，49（9/10）：1177-1184.

[21]? BAY H，ESS A TUYTELAARS T，et al Speeded-up robust features （SURF）[J]. Computer Vision and Image Understanding，2008，110（3）：346-359.

[22]? CHUM O， MATAS J， KITTLER J. Locally optimized RANSAC[C]//Joint Pattern Recognition Symposium. Springer， Berlin， Heidelberg， 2003： 236-243.

[責(zé)任編輯 田 豐]