基于先驗顯著性的衛星視頻微小運動車輛檢測

雷俊鋒，董宇軒，眭海剛

（1.武漢大學電子信息學院，湖北武漢430072；2.武漢大學測繪遙感信息工程國家重點實驗室，湖北武漢430079）

1 引 言

視頻衛星作為一種新型對地觀測衛星，通過“凝視”成像方式［1］對某一區域進行連續觀測，特別適用于動態目標的觀測。近年來，我國的視頻衛星發展十分迅速，其中長光衛星技術有限公司于2015年發射的兩顆視頻衛星-吉林一號（1星，2星）的各項技術指標均達到較高水準。該實時視頻衛星支持全球業務，包括石油儲存檢測、災害響應、生態系統擾動檢測和船舶車輛跟蹤［2］等。

當今智能交通系統的主要數據源一般來自地面固定或空中的攝像機、傳感器。這類圖像的主要缺點是空間覆蓋有限，因此研究人員開始關注更高的空間。衛星視頻在廣域監控領域具有巨大的優勢和潛力，如城市的交通監控、建筑的三維重建［3］和地震救援工作等。為了有效地監控城市地區的場景，一個主要且關鍵的任務就是檢測和識別衛星視頻中捕捉到的移動車輛。然而，在衛星視頻中檢測微小運動車輛存在諸多挑戰。

在衛星視頻中，車輛目標非常小［4］，每輛車通常只有幾個像素。基于深度學習的目標檢測算法諸如YOLOV3［5］，FAST-RCNN［6］等，由于卷積操作的局限性很難完成對幾個像素目標的特征提取，多被用于超過0.5 m分辨率的監測系統；基于全卷積網絡的目標分割方法如邊緣敏感的顯著性網絡BASNet［7］，在背景復雜的衛星視頻中常常會受到多種干擾，在先驗信息不足的情況下大概率會將路障或者道路邊的建筑誤檢為目標。

在這種情況下，運動信息常常是最穩健的特征，改進的視覺背景提取（Improved Visual Back?ground extractor，ViBe）等算法［8-10］可以實現視頻中運動車輛檢測，該類方法通過與建立的背景模型進行比較，在圖像中搜索變化像素。但由于成像系統中噪聲影響以及背景的運動，該類方法容易產生視差引起的虛影。文獻［11］提出了針對成像系統的3種場景差別補償和更新的檢測方法，能有效處理強視差下的誤檢測，但在處理小目標時的檢測能力不佳。

Larsen等人［12］用橢圓斑點的檢測策略檢測車輛，利用具有多種經典特征的KNN（K-Near?est-Neighbor）分類器將車輛與非車輛目標分離。Liu［13］提出了一種改進的形態學重建方法來建立復雜背景的衛星圖像模型，采用歸一化差分設計方向濾波器來生成用于形態學重建的車輛。然而在衛星視頻序列中，存在著大量類似于車輛的物體，這可能會導致混淆。文獻［14］則是關注于圖像的明暗變化，采用半自動雙閾值技術首先在掩蔽道路上檢測出暗車和亮車。利用相鄰關系和雙區域濾波去除殘留干擾（陰影、車道線和噪聲）。為了解決道路外的干擾，文獻［15］提出采用道路先驗的方法完成預先道路區域的提取，消除了道路外的誤檢，但這種方法適用于長時間不動的凝視衛星，需要多幀的有效圖片進行道路建模提取，在靈活度以及處理速度上有所欠缺。Teng等人［16］采用迭代多網格圖像變形方法計算全局運動場，具有更準確、更省時的優點。文獻［17］則是假設真實的數據存在于一個低維的子空間，通過降維的方法分割目標和背景，增強了數據的可處理性，但降維過程也常常會受到視頻傳輸過程中的噪聲干擾。

現有的多種算法都針對于目標的某一種特征（色彩、形狀）或聚焦于衛星視頻中最為穩健的運動信息，而在復雜的背景以及成像系統的偏移下并不可靠，基于這一情況，通過觀察衛星視頻［18］的特點，發現顯著性映射也能在一定程度上為目標的檢測提供有用的信息，結合運動信息能更好地消除誤檢，設計了一種基于多種先驗約束顯著性的衛星視頻中微小運動車輛檢測方法。本文對文獻［19］提出的人眼視覺模型進行改進來獲得感興趣目標，并通過顯著性映射的空間特性獲得“區域穩定性”映射圖，同時采用背景建模生成圖像的運動熱圖并完成基于超像素的運動區域估計，最后結合多種先驗信息獲得最終的特征映射完成目標二值分割。實驗結果表明，相較于現有算法，所提算法在圖像場境適應性以及檢測指標上取得了更好的結果，具有一定優勢。

2 基于先驗顯著性的衛星圖像微小運動車輛檢測

2.1 人眼顯著性模型［19］及邊界相關性

現有的顯著性檢測方法，多是針對自然圖像中的目標，其圖像色彩鮮明，目標像素占比較大，并不適用于背景復雜、目標小的衛星視頻。

圖1 吉林一號衛星道路影像Fig.1 Road scenes in“Jilin-1”satellite video

圖1 為吉林一號衛星視頻某處道路場景，從圖中可以看出，背景復雜且色彩晦暗，微小車輛（道路中間的白色目標）與邊界擁有較少的“交互性”，與圖像邊界的聯系較少。這里的邊界不是廣義上的圖像線條而是能描述圖像區域布局的界限。

文獻［19］提出了人眼視覺模型，使用邊界相關性公式（1）來描述一個區域的重要性，定義為：

其中：Bd為某個圖像區域邊界的集合，p為其中的一個圖像塊，它表示某個區域與邊界接觸的長度與其面積平方根的比值。

為了解決純粹分割算法可能導致的誤差校正和偽邊界問題，Zhu［19］將圖像抽象為一組規則的超像素來簡化計算。定義每個超像素m所屬的本征區域面積如式（2）所示：

其中：N為超像素的總數，W（m，mi）表示某個超像素mi對m所在的本征區域的貢獻權重。連接所有相鄰的超像素（m，n），計算出它們的平均顏色在CIE-LAB空間中的歐式距離E（m，n），計算出圖像中所有超像素間的互相關性Cc（m，n），σ是貢獻度的閾值。實驗表明［19］當σ取值在［5，15］之間時對不同本征區域分離效果較好。

類似地，Zhu定義某個超像素對本區域邊界接觸的“長度”為：

其中：Q為與m相鄰的超像素個數，δ(mi∈Bd)用來判斷m與相鄰超像素之間是否存在區域邊界，存在則置為1，不存在則置為0。

文獻［19］最終采用了簡化公式（4）來代替式（1）計算超像素與邊界的相關性：

通過簡化后的公式（4）可以利用較可靠且快速的超像素分割來完成相關性模型的計算。

2.2 超像素分割以及參數選擇

簡單線性迭代聚類算法（Simple Linear Itera?tive Cluster，SLIC）［20］生成的超像素如同細胞一般緊湊整齊，領域特征比較容易表達，很適合將基于像素的計算方法拓展到基于超像素的方法。且需要設置的參數非常少，默認情況下只需要設置預分割的超像素數量NR和緊湊性參數NC。對于式（4）提出的計算方法，需要獲得輪廓緊湊的超像素以及盡量避免不同的微小車輛被生硬地分割到相鄰的超像素中，采用Stutz［21］提出的緊湊度（Compactness，CO）和邊界召回率（Bound?ary Recall，BR）來作為超像素分割的評價指標進行參數選取。選取吉林一號衛星圖像中兩個不同數據集的道路區域進行了實驗。圖2是不同NR參數得到的CO指標對比。

圖2 不同NR參數的CO指標對比Fig.2 CO index comparison of different NR parameters

從圖2中的折線圖可以看出，NR從200～400的過程中CO指標較為明顯地上升，而在NR>600后，繼續增加超像素數量對指標的提升很有限，且通過實驗在超像素數量大于700后NR每增加100，計算時間大約增加11%。綜合考慮后選擇NR取值范圍為［500，700］，本文中選取600。

除了超像素數量的選擇，分割緊湊性參數NC也會影響生成超像素的邊界穩定性。對圖2中的數據在NR為600的情況下選取了不同的NC參數進行了實驗，獲得不同BR指標如圖3所示。

圖3 不同NC參數的BR指標對比Fig.3 BR index comparison of different NC parameters

由圖3的折線圖可知，當NC取35～45之間時，能夠獲得最好的BR指標，這表明超像素的邊界能更好地“包裹”住目標，而在NC>50后BR指標逐漸下降。綜合考慮后選擇NC的取值范圍是35～45，本文中選取40。

2.3 多種先驗信息約束

衛星視頻傳輸過程中產生的多種噪聲對單個像素的影響很大，為了將噪聲的影響降到最低，本文在人眼視覺模型的基礎上獲得其他先驗信息，定義不同的約束項來適應衛星圖像的環境。

首先引入文獻［19］定義的超像素與區域邊界的相關性。背景概率Pib作為超像素mi邊界相關性的映射，當超像素與邊界的相關性很大時，很小時該項定義為：其中：σbc是映射超參數，當σbc∈［1，3］時，輸出結果對該參數敏感，最終設置為2。同時，可以得到與之對應的前景概率Pio，當超像素與邊界的相關性很大時，Pio→0，很小時，Pio→1。

由于超像素相鄰區域可能會導致像素值的跳躍性變化。在某些情況下，道路中的車輛會處于鄰接狀態，位于不同超像素中的目標車輛可能產生邊界融合。為了消除因相鄰超像素間局部差異導致的邊界干擾，本文提出了一個新的區域平滑約束項，將每對相鄰的超像素之間的平滑約束定義為：

其中：σ為定義的權重，用歐式距離E（mi，mj）來表示同一個超像素中像素值的接近程度，μ是優化參數，通常取0.1，用來消除在前景背景中的小噪聲。

通過融合多種類型約束，本文將第i個超像素的顯著性定義為Si，構建整個圖像的顯著性代價函數，如式（7）所示：

式（7）中分別用平方差的形式定義了背景、前景和區域平滑三個約束項。用最小二乘法進行優化求解，得到需要的顯著性目標圖。

2.4 基于超像素的運動約束

然而某些顯眼的建筑物或路障也可能獲得和目標相似的顯著性映射，而這些區域靜止不動的特性可以通過生成運動熱圖的方法約束顯著性結果。本文算法將像素引申到超像素，定義了一種基于背景模型的超像素運動熱圖生成方法，步驟如下：

Step1設定距離相近判定的閾值D和近似樣本點數目判定的閾值minT。

Step2對于像素點p，定義OD（v（p））為以像素值v（p）為中心、D為半徑的區域集合。

Step3計算像素點p背景模型樣本集B（p）=｛v1，v2，…vN｝中的樣本落在OD（v（p））中的個數：

Step4若n

其中：Qi為某個像素的運動標志位，P為超參數中包含的像素個數。當時，認為該超像素屬于運動區域。本文用與標記真實運動像素的準確率來驗證這種方法的有效性，給出單像素判決和超像素判決的受試者工作特征（Receiver Operating Characteristic，ROC）曲線對比（彩圖見期刊電子版）。

圖4 不同策略的ROC曲線對比Fig.4 ROC curve comparison of different strategies

從ROC曲線對比可以看出基于超像素能提高對運動像素的檢測準確度。

對于單個顯著性映射或者運動熱圖來說，均存在由于方法缺陷導致的誤檢，例如顯著性無法區分目標車輛和“顯眼”的路障或建筑物，而運動熱圖在自我運動較為頻繁的衛星視頻中也常常有諸多因光照或者畫面晃動導致的誤檢。需要充分利用這兩部分特征完成信息的交流和互補。

2.5 聯合預測

獲得的顯著性映射能較好地反映道路中微小車輛的顯著性強度，但仍然存在缺陷。即得到的顯著性映射是灰度強度圖像，需要進行閾值化操作來得到運動車輛的二值分割。

通過對顯著性映射圖的數據分析發現，采用絕對的閾值化操作是不可取的，相反地，在顯著性映射中強度的多樣性以及變化恰恰包含了更多的信息。通過與周圍背景區域的對比［22］來評估局部圖像像素的顯著性，與邊界相關性較大的區域將會被賦予較高的顯著性值。如圖5所示，少數中類似車道線的區域也會獲得較大的顯著性值，這些區域與其說是誤檢，更多的可以當做背景干擾，顯然這些區域均為假警報，而當待檢車輛與這些干擾背景融合的時候則會引入更多的區分困難。圖中圓形區域以及矩形區域中的目標與道路中背景的關系密切。且均能從顯著性映射圖中獲得像素的響應，基于衛星視頻1.13 m的分辨率并考慮到現實中車輛的平均大小，本文取某個像素的3×3鄰域，認為該尺寸能更好的契合微小車輛的在圖像中的像素占比，反映目標周圍像素的空間變化情況。

圖5 背景融合情況示意圖Fig.5 Schematic diagram of background fusion

將像素p的鄰域定義為：其中，p位于9鄰域的中心位置，下標0處。同時基于該鄰域提出了一種區域穩定性映射，通過前后幀的顯著性映射對比完成時間鄰域濾波，如式（11）所示：

其中：M(pi)和Mn(pi)分別是當前幀以及下一幀中像素p下標為i的鄰域像素值。

雖然由于衛星角度的變化，運動檢測的結果充滿了不確定性，但仍然包含了許多可以利用的信息。

圖6 聯合預測結果Fig.6 Result of joint prediction

對于某像素點的檢測，我們需要同時考慮運動熱圖、顯著性映射以及區域穩定性映射的結果，進行聯合推斷，完成更精確的微小車輛檢測，如圖6所示。圖中利用運動熱圖、區域顯著性圖、以及顯著性穩定特征為線索來構建最終的聯合特征向量。充分利用了時間空間的信息，對大多數車輛均能完成有效地檢測，特別是圖中圓形框標記的與道路邊界或車道線關系密切也能通過多種先驗信息提取出車輛，但對于矩形區域中與道路邊界背景基本完全融合的某些車輛則會漏檢，但也因此減少了因邊界預測將背景誤檢的概率，更多地關注于輪廓清晰的運動車輛。

為了選取最好的顯著性穩定性閾值，選取不同的Pst進行實驗，同時在標注好的數據集上進行受試者曲線面積（Area under Curve，AUC）指標測試，得到圖7的折線圖。可以看出當Pst選取15左右時，能夠獲得最高的AUC指標，完成目標的準確提取。

圖7 不同Pst參數下的指標對比Fig.7 Comparison of indexes under different Pst param?eters

2.6 算法流程

按上述步驟，設計的算法流程如下：輸入為衛星視頻當前幀圖像Xd以及前一幀圖像Xe，輸出為二值化的車輛檢測結果圖Xo。

算法的主要步驟描述如下：

Step1取輸入的當前幀圖像利用簡單線性迭代的方法得到超像素分割結果，根據輸入分辨率自適應地設定合適的分割參數。

Step2通過人眼顯著性模型計算每個超像素與其本征區域的邊界相關性數值，計算公式為：其中L（m）為超像素對本區域接觸“長度”，S（m）為本征區域的面積。

Step4對當前幀圖像Xd以及前一幀圖像Xe利用背景建模的方法獲得運動熱圖，并利用運動熱圖、區域顯著性圖、以及區域穩定特征為線索來構建最終的聯合特征向量獲得最終的預測輸出。

3 實驗結果

為了衡量本文所提算法效果，在長光技術有限公司發射的“吉林一號”［23］第二批光學衛星原始圖像中選取了世界各地不同城市的衛星視頻進行測試。該數據包括美國、土耳其、巴林穆哈拉格等不同城市的影像數據。每一幀衛星圖像的空間分辨率約為1.13 m，對這些視頻截取了不同城市的道路場景視頻來進行道路上車輛的檢測。部分測試圖像如圖8所示。

圖8 部分測試影像數據Fig.8 Part of the test image data

為驗證所提算法（選取參數NC=40，NR=600以及Pst=15）的性能，與近年來部分優秀算法進行了結果對比，包括改進的高斯混合模型（Gaussian Mixture Model，GMMv2）［9］（采用背景門限為0.7高斯模型個數為5的默認參數）；運動目標提取ViBe算法［10］（采用時間采樣因子為16的默認最優參數）；幀間背景融合差分（Differ?ence of Background Fusion between Frames，FBD）［8］（采用方差閾值為0.01的默認參數），以及動態魯棒主成分分析［17］（Dynamic Robust Prin?cipal Component Analysis，DRPCA）。

當前的視頻衛星雖然相較以前已達到了“高分辨”，但通常只能公開獲得精度為米級的圖像。并且衛星視頻拍攝過程中狀態通常難以預測，觀測方式雖稱為“凝視”，但常有細微的拍攝角度變化導致圖像偏移。下面分別對穩定拍攝情況下和拍攝角度變化時獲得的衛星影像進行算法比較。

在圖8中顯示的4種道路場景中，除了美國圣保羅的衛星數據有由衛星角度偏移產生的背景變化外，均為穩定條件下成像。圖9為巴林穆 哈拉格圖像的對比檢測結果。

圖9 巴林穆哈拉登衛星影像效果對比圖Fig.9 Results comparison of Muharag satellite video in Bahrain

圖9 的數據為在巴林穆哈拉登拍攝的衛星影像，此時衛星以較為平穩的狀態對地“凝視”觀測。從結果可以看出GMMv2算法對于運動目標的檢測精度很高，但對于目標輪廓的勾勒較為粗糙；并且會由于光照或影像傳輸過程中引起的背景細微變化產生許多誤檢；ViBe算法召回率很高但道路中的誤檢也較多；FBD算法能達到較高的檢測準確度但由此導致大量漏檢；而基于主成分分析的DRPCA算法則是在道路中間能夠準確地檢測到運動目標，但也會引入建筑物光照變化產生的誤檢。而所提算法在只有少量漏檢的情況下保持了較高的檢測準確度，具有一定的優勢。

為了進一步評估檢測效果，選取檢測準確率（Precision）、召 回率（Recall）和虛警率（False Alarm）來分析檢測效果。其中Precision=TP/（TP+FP）；Recall=TP/TA；False Alarm=FP/（TP+FP）。TA表示人工標注的目標總數；TP表示被正確檢測的目標數目；FP表示把背景錯誤地檢測為目標的數目。取之前4個城市道路中除美國圣保羅之外的3個道路影像各500 frame計算平均指標。結果如表1～表3所示。

從客觀指標結果可以看出，GMMv2算法的召回率較高的同時虛警率也較高，ViBe算法的在召回率較高的前提下無法保證檢測的精度，而FBD算法和DRPCA算法則是在保證準確率和虛警率無法擁有較高的召回率。所提算法在穩定圖像環境下的三種客觀指標相比于其他算法各種指標均較為穩定，在保證低虛警率的同時也能擁有相對較高的準確率和召回率，具有一定的優勢。同時為了更清晰地說明各算法的性能對比，通過上述各數據集的受試者工作特征（Re?ceiver Operating Characteristic，ROC）曲線，計算平均曲線下面積（Area Under Curve，AUC）值。并給出了在配置GTX1050顯卡計算機的平均運行時間，結果如表4，表5所示。

表1 準確率指標對比Tab.1 Comparison of Precision （%）

表2 召回率指標對比Tab.2 Comparison of Recall （%）

表3 虛警率指標對比Tab.3 Comparison of False Alarm （%）

表4 AUC值對比Tab.4 Comparison of AUC

表5 運行時間對比Tab.5 Comparison of time （ms）

從表4，表5的結果可以看出，反映綜合檢測效果的AUC值證明了所提算法在保持一定的運算速度的前提下，總體性能上具有一定的優越性。

衛星視頻相較于傳統的監控視頻一個較大的不同則是拍攝過程中會伴隨衛星角度的細微變化。而這種變化有時是可控的有時則是隨機出現的。為了驗證在該類場景下的對比結果，選取了美國圣保羅拍攝的具有微小角度變化的衛星影像。結果如圖10所示。

圖10 美國圣保羅衛星影像效果對比圖Fig.10 Results comparison of Muharag satellite video in St.Paul，USA

美國圣保羅拍攝的衛星影像有明顯的拍攝角度變化，對于人眼而言可能只是小小的圖片整體偏移，但是對運動目標的檢測會產生很大干擾。從圖10可以看出，各種對比算法在這種惡劣圖像環境下均無法獲得較好的結果產生了大量誤檢。而所提算法雖然有少量誤檢但是整體而言具有較好的抵抗衛星拍攝角度變化的能力。由于其他算法在該環境下的結果較差難以統計，這里只列出所提算法的客觀指標，計算方法同上：Precision=87.4%；Recall=88.6%；False Alarm=12.6%。

對于不同圖像環境中的結果對比后，可以看出所提算法在穩定圖像環境下的三種客觀指標不僅穩定地獲得較好的指標，對衛星拍攝角度發生變化的惡劣圖像環境也表現良好，在算法的魯棒性和適用性上有一定的優勢。

4 其他場景的應用

衛星視頻成像穩定且目標尺度小，將該方法應用到某些圖像環境類似的檢測任務，也能取得不錯的效果，比較典型的是監控攝像頭中的微小運動目標。這些目標由于尺度較小、特征缺失，很難直接用深度學習等方法完成檢測分類。本文所提算法主要有其他兩種應用方向：

（1）對于某些目標尺度過低或者只需要完成目標位置的獲取而忽略分類的情況下，可以通過該方法獲得特定目標的二值分割圖，確定目標的輪廓和位置。

（2）結合深度學習檢測網絡提升對小目標的檢測性能，通過實驗發現圖像輸入的尺寸對小目標在高分辨率圖像中的檢測影響很大，對于分辨率較大的圖像，檢測器也常常會忽略小目標。可以通過本文算法的輸出結果提取可能存在目標的感興趣區域，將該區域裁剪代替整圖輸入，完成對局部小目標檢測的強化。

其他場景的部分實驗結果如圖11所示。

圖11 其他場景下的部分實驗結果Fig.11 Some of the experimental results in other scenarios

從實驗結果可以看出，本文算法在某些類似場景下也能提取到運動的微小目標，具有一定的應用價值。

5 結 論

針對衛星圖像的特點，提出了一種結合多種圖像先驗信息的衛星視頻微小運動車輛檢測方法。該算法在分辨率較低、含有如光照、拍攝角度變化、運動目標紋理特征缺失等特點的衛星視頻上具有很強的場境適用性。并可以發散到圖像環境類似的遠距離監控視頻、圖像環境惡劣的模糊圖像中。與近年來的許多優秀算法對比，所提出的算法能夠在檢測準確率和召回率達到85%的情況下保持低于10%的虛警率，穩定地獲得0.97以上的AUC指標，同時對含有角度變化的衛星視頻也有一定的抗干擾能力。但是本文算法由于定義了運動熱圖，需要相對較為穩定的成像環境，對于無人機、或者劇烈運動的成像系統無法獲得置信度高的運動約束，可能會造成大片運動滯后造成的“鬼影”。同時，多種約束在較好地減少誤檢的同時也可能濾除某些響應較弱的目標，下一步還需要在運動補償穩像以及約束閾值的自適應上進行深入研究。