遙感衛星明視視頻中飛機目標的跟蹤算法

趙春暉, 劉海燕

(哈爾濱工程大學 信息與通信工程學院, 黑龍江 哈爾濱 150001)

隨著對地觀測技術的發展,遙感圖像在軍事和民用領域的應用范圍日趨廣泛[1].基于遙感圖像的視頻跟蹤在現代戰爭情報搜集中起著重要的作用.當前傳統攝像監控視頻運動目標跟蹤算法較為成熟,但是衛星視頻目標跟蹤與其相比具有觀測尺度不同導致衛星視頻的運動目標較多,環境較為復雜、傳感器搭載平臺不同導致衛星視頻中目標具有與背景的對比度低及信噪比低的特點,難以完整地將目標和背景區分開來,以及空間分辨率不同導致衛星視頻運動目標所占像素較少,缺乏紋理信息等差異,這些差異導致傳統監控視頻的運動目標跟蹤算法應用到衛星視頻上存在較多問題[2].

目前,目標跟蹤領域的方法主要是相關濾波類方法和深度學習方法.相關濾波類方法(correlation filter,CF)是目前跟蹤效果較好、速度較快的一類方法.代表性的算法有CSK算法、KCF算法、CN算法等.相對于機器學習方法,目標跟蹤領域特征才是最重要的,KCF算法在CSK算法的基礎上擴展了多通道梯度的HOG特征,CN算法在CSK算法的基礎上擴展了多通道顏色特征.在實際應用中上述算法都具有較優的表現.

在衛星視頻中,飛機相對大范圍圖像來說目標較小,特征不明顯.但是可以利用地物分布背景顏色基本為灰色而飛機顏色為白色這一顏色特征進行跟蹤.所以本文應用了CN(color name)算法對衛星視頻中的飛機進行跟蹤[3].該算法主要是利用多通道顏色特征進行跟蹤,然后再通過對顏色特征進行PCA[4]降維,去除顏色特征中的冗余信息,使得對目標的外觀描述更加精確和魯棒.但是CN跟蹤算法需要人工給定視頻第一幀中目標的位置,存在較大誤差,而且針對不同的視頻需要人工重新給定位置,過程較為煩瑣.因此,本文提出了一種全自動跟蹤的框架.首先利用變化檢測提取出目標的潛在運動區域,然后在該區域附近利用目標檢測算法檢測目標的位置,根據目標檢測算法的結果進行目標跟蹤.并且,針對CN跟蹤算法存在一旦跟丟目標就無法重新找回目標的問題,提出每隔一定幀間隔做一次檢測.該方法相比原始的CN算法,跟蹤準確率更高,魯棒性更強.本文通過利用真實遙感視頻數據進行仿真,驗證了所提方法的優越性.

1 本文方法

針對場景復雜的遙感衛星視頻數據,本文采用的是一種能夠利用CN跟蹤算法進行全自動跟蹤的框架.該框架無需提前人工標定視頻第一幀中目標的位置和大小,直接輸入視頻即能得到完整的視頻跟蹤結果.采用的方法是首先利用變化檢測的方法得到遙感視頻中目標飛機的潛在局部運動區域,然后由Faster R-CNN算法[5]進行局部圖像檢測,檢測得到運動目標的初始位置,然后根據檢測得到的結果由CN跟蹤算法進行跟蹤.并且,針對CN跟蹤算法存在丟失目標無法重新找回的情況,本文也提出利用循環檢測的方式,每隔一定幀間隔做重復檢測,將檢測到的目標的最新位置更新給跟蹤框,保證即便目標出現丟失,跟蹤框也能有機會獲取跟蹤目標的位置,從而繼續跟蹤目標.本文所提算法的總體設計流程圖如圖1所示.

圖1 總體設計流程圖Fig.1 Flow chart of overall design

1.1 幀間差分法

幀間差分[6]是指先將兩個連續的視頻序列幀作差分處理,再把得到的圖像進行二值化運算:假設Ik(x,y)為視頻當中的第k幀,Ik-1(x,y)為第k-1幀,將這兩相鄰圖像進行差分運算,可得到它們的差分圖像Dk(x,y).預先設定閾值為T,如果差分圖像Dk(x,y)中像素點的絕對值大于T,則認為它是前景像素,反之,則是背景像素.

幀間差分法的運算比較簡單,易于實現,但閾值的選取十分關鍵,閾值設定過低不能良好地抑制噪聲,抗干擾能力差;閾值設定過高,會遺漏部分目標,導致結果不完整.閾值通常可以通過多次人工調整獲得.

1.2 Faster R-CNN檢測算法

本文的目標檢測算法采用Faster R-CNN算法[7].Faster R-CNN算法是在R-CNN、Fast R-CNN算法的基礎上發展而來的,是R-CNN系列算法中精度最高、速度最快的檢測算法.

Faster R-CNN算法主要分為4個步驟,分別是生成候選區域、使用深度網絡提取特征、特征送入分類器進行分類[8]以及使用回歸器精細修正候選框位置[9].Faster R-CNN使用RPN(region proposal network)提取region proposal,然后利用Fast R-CNN對RPN提取的region proposal進行檢測并識別proposal中的目標.

RPN是一個全卷積神經網絡[10],它的作用是輸入任意大小的圖像進入RPN,輸出一系列的矩形框作為region proposal.首先輸入任意大小的圖片,然后進行一系列卷積操作,在conv5-3卷積層輸出的卷積特征映射(feature map)上用一個3×3的卷積核進行卷積,輸出對應維度的全連接特征.在特征后會產生兩個分支的全連接層,為回歸層(reg-layer)和分類層(cls-layer)[11].回歸層用于預測proposal的坐標(x,y)和寬高(w,h),分類層用于判定該proposal是前景還是背景.用3×3的卷積核進行卷積操作保證了分類層和回歸層關聯了conv5-3的全部特征空間[12].利用Faster RCNN算法可以檢測出圖像中的飛機目標.

2 自適應顏色屬性的CN跟蹤算法

CN算法是一種自適應顏色屬性的實時視覺跟蹤算法.該算法是在CSK算法[13]的基礎上發展而來,CSK目標跟蹤算法只用到了灰度信息進行訓練,CN算法通過把顏色特征加入CSK跟蹤算法中,將RGB三種顏色細化為黑、藍、棕、灰、綠、橙、粉、紫、紅、白、黃這11種顏色特征,但是高維顏色特征帶來跟蹤效果增加的同時也會導致計算量的急劇增加,算法的實時性也會急速下降,因此該算法加入PCA降維方法,將11維顏色特征降為2維,通過實時地選擇顏色特征達到減小計算量的目的.

2.1 正則風險最小化

假設訓練樣本為(x1,y1),…,(xm,ym),分類器f(x)通過訓練樣本達到最小正則風險的目的.線性分類器表示為

(x)=〈w,x〉+b.

(1)

其中〈*,*〉表示點積,那么最小化問題為

(2)

式中:L(y,f(x))表示損失函數;λ是防止過擬合的正則化參數.其中,CN算法采用的是正則最小二乘分類器(RLS)[14],損失函數為L(y,f(x))=(y-f(x))2.據線性最小二乘,由式(1)、式(2)得:

w=(XHX+λI)-1XHy.

(3)

其中:XH=(X*)T,X是由一個樣本的特征向量占一行組成的樣本矩陣;X*表示X的共軛矩陣;T表示矩陣的轉置運算;XH即表示X的共軛轉置矩陣;y是對應每個樣本的回歸值yi組成的列向量;I是單位矩陣.

2.2 檢測器

(4)

2.3 PCA算法

在顏色特征方面, CN算法是利用PCA降維算法對11維的顏色屬性降維以保存其關鍵信息[15].PCA算法是將要處理的原始數據通過線性變換為一組線性無關的數據表示, 是一種常用的數據分析方法. PCA算法的操作是輸入一個圖像序列, 接著根據主元的排序去除其中的次要分量, 以達到壓縮信息的目的. 在數學上,用方差反映變量信息的多少,方差越大則數據越離散, 在所有線性無關組合變量中按方差從大至小依次稱為第一主成分、第二主成分、第三主成分等.通過對若干個主成分進行加權求和, 可得到每個主成分的最終評價值,權數則為每個主成分的方差貢獻率,權數越大則該主成分越能反映原數據的信息.

3 實驗仿真與分析

3.1 遙感視頻數據

本文采用的數據集來源于“吉林一號”遙感衛星采集的真實飛機飛行視頻數據. 數據集共含有4段視頻. 視頻一數據拍攝于突尼斯, 視頻二和視頻三均拍攝于美國明尼阿波利斯, 視頻四拍攝于巴林穆哈拉格. 視頻長度均在25～30 s之間, 速度為25 f·s-1, 一幀圖像像素大小為4 096×2 304,視頻總幀數為750. 其中視頻場景如圖2所示.

實驗仿真環境為MATLAB R2017b,通過MATLAB編程語言對算法性能進行詳盡論證.實驗操作平臺為Inter(R) Core(TM) i5-6500處理器,主頻為3.20 GHz,內存為32.0 GB,系統類型為64位操作系統.

3.2 前期Faster R-CNN訓練實驗

在跟蹤算法實驗之前,需要先進行Faster R-CNN算法的訓練實驗,訓練得到一個檢測效果良好的網絡才能滿足本文對檢測部分的要求.在本部分實驗中,訓練數據集來源于從GoogleEarth截取的歷史影像,實驗數據集采用540張遙感飛機圖像,圖像分辨率為460×340.在開始訓練網絡之前需要人工對數據集中的圖像制作標簽.

在訓練網絡時, 需要針對數據集的特點, 以及測試結果不斷調整實驗參數, 最終本文訓練Faster R-CNN網絡采用的實驗參數如表1所示.

采用上述實驗參數訓練網絡,得到的檢測準確率可達88.9%.用訓練好的網絡測試本文所用視頻數據的結果如圖3所示.

圖3FasterR-CNN算法檢測視頻三結果

Fig.3ResultsofvideothreedetectedbyFasterR-CNNalgorithm

3.3 跟蹤實驗結果

在本文中,變化檢測部分是對視頻圖像進行幀間差分從而找到視頻中運動著的目標,然后對運動目標附近的區域進行小范圍圖像截取.為了找到視頻中的運動目標,本文設定利用視頻第1幀和第10幀圖像做幀間差分,然后將差分圖像轉換為二值圖像,閾值T設為25.另外,由于本實驗采用的視頻數據左上角有漢字logo,所以需要將漢字logo區域的值均設為0.由于得到的二值圖像可能存在較多噪聲,所以需要對二值圖像再進行一次處理,只保留聯通區域較大的部分,本實驗中此處閾值設為150.通過上述一系列操作,可得存在潛在運動目標的二值圖像,實驗結果如圖4所示.

圖4 視頻三變化檢測處理后結果Fig.4 Change detection processing results of video three(a)—第1幀圖像; (b)—第10幀圖像; (c)—差分圖像.

由變化檢測得到飛機運動的起始局部區域,然后在該區域內利用Faster R-CNN算法進行檢測,得到飛機的初始位置,再將局部區域中飛機的坐標值映射到原本的遙感視頻圖像中,CN算法根據該初始坐標值作為運動目標在第1幀中的位置進行跟蹤.視頻一實驗結果如圖5所示.

由上述實驗結果可以看出,本文所提出的方法從視頻第1幀開始直到視頻最后1幀都能完整地跟蹤目標運動過程,在跟蹤過程中并未出現跟蹤不上或者跟蹤目標丟失的問題.可以看出本文方法在真實遙感視頻數據上具有良好的效果.

為了驗證本文所提方法的有效性,實驗采用中心位置誤差(center location error, CLE)、距離精度(distance precision, DP)和速度(speed)這3個指標作為評價指標來對跟蹤效果進行評估.其中,中心位置誤差為跟蹤到的目標中心位置與標準目標中心位置之間的歐氏距離,單位為像素,具體計算公式為

距離精度DP為中心位置誤差小于某一閾值的幀數占視頻總幀數的百分比,DP的值越大,表明符合條件的幀數越多,跟蹤效果越好,該閾值設為20.speed是算法運行的速度,是視頻總幀數與運行時間的比值.speed的值越大,表明算法運行速度越快,性能越好.實驗測試視頻的結果可如表2所示.

圖5 視頻三實驗結果Fig.5 Experimental results of video three

圖6 視頻二第40幀、70幀和130幀實驗結果Fig.6 Experimental results of the 40th, 70th, and 130th frame of video two(a)—未使用本文方法; (b)—使用本文方法.

表2 實驗結果Table 2 Experimental results

為防止出現CN跟蹤算法存在的目標跟丟無法找回的情況,本文提出每隔一定幀間隔做一次檢測的辦法.當目標脫離跟蹤框時,跟蹤框停留在跟丟的位置,但是目標仍在運動,所以要想跟蹤框能夠重新跟蹤上目標,必須要更新跟蹤框的位置.因此,本文采取的做法是從視頻第一幀開始每隔一定幀做一次檢測,然后將檢測得到的目標坐標重新賦值給跟蹤框,這樣能夠保證跟蹤框及時獲取目標的最新位置,即便出現跟丟的情況也能通過檢測重新找回目標.

本實驗中設置的循環檢測的幀間隔數為50幀,即每隔50幀做一次循環檢測.該值可依據實際情況進行調整.實驗結果如圖6所示.

在圖6a中,視頻的第40幀時,目標飛機已經開始脫離跟蹤框,若不做任何處理,視頻的第70幀和第130幀都無法準確地跟蹤運動飛機,意味著目標飛機從第40幀開始已經跟丟.但是運用了本文提出的循環檢測方法之后,在第50幀進行了一次檢測,飛機的最新位置已被獲取并重新賦值給跟蹤算法,在第70幀時跟蹤框已經找到目標并進行準確地跟蹤.實驗驗證了本文所提出方法的有效性,在一定程度上也提高了算法的魯棒性.

4 結 論

由于遙感衛星視頻的特殊性導致傳統的目標跟蹤算法難以運用到遙感衛星視頻上,本文所提出的利用變化檢測得到運動目標的潛在區域,再利用目標檢測算法與目標跟蹤算法相結合的方式,在真實遙感視頻數據上具有優異的表現力.并且,本文針對CN跟蹤算法存在的一旦丟失目標就無法重新找回的問題提出利用每隔一定幀間隔重新做一次循環檢測的方法,很好地解決了該問題.

但是,本文所提出的方法也存在一定的缺陷.由于CN跟蹤算法是單目標跟蹤算法,無法進行多個目標的跟蹤,要想對多目標進行跟蹤,仍需對CN跟蹤算法進行擴展.所以,該方法仍有待改進.