基于時空域與頻域融合的農村變電站中運動目標檢測算法

劉一凡,蔡振江※,司永勝

（1.河北農業大學機電工程學院，保定 071000；2. 河北農業大學信息科學與技術學院，保定 071000）

0 引 言

中國農村變電站通常規模比較大，電氣設備都比較傳統，設備自動化和智能化程度普遍較低，因此在變電站的日常運行維護中對人力資源的要求相對較高[1-2]。在農村變電站日常巡檢與突發故障檢修時，都需要工作人員進入現場操作。變電站存在大量高危電氣設備，為了保證工作人員的安全與變電站的正常運轉，通常要求工作人員在變電站現場特定的安全（檢修）區域內工作。為了避免出現工作人員離開安全（檢修）區域的情況，需要對在場的工作人員（即運動目標）實時監測。

目前運動目標的智能識別與定位在安全監控領域有著日益廣泛的研究與應用[3-6]。本文結合中國農村變電站電氣設備比較傳統、設備自動化和智能化程度普遍較低特點，采取一種在變電站現場特定的安全（檢修）區域周圍即時架設相機的方法對工作人員實時監控，從而實現站內工作人員監測的遠程化、智能化、自動化，使工作人員的安全性大大提高。其中運動目標的檢測是視頻監測關鍵步驟。目前常見的運動目標檢測算法主要有：背景差分法、幀間差分法、主成分分析法、自適應背景建模算法等。這些檢測算法應用在變電站運動目標檢測中存在背景去除較差、目標信息保留不完整的問題。

背景差分法[7-8]在大部分實際應用中，背景信息極易受到光照變化、目標陰影以及一些目標之外的雜質與噪聲的影響，不適用于變電站戶外監測。幀間差分法[9-12]通常無法提取出目標的完整信息，且在目標運動過慢或者過快的情況下，會出現目標丟失或者誤檢測為2個目標的情況，不適用于監測變電站內不同活動狀態下的工作人員。

近年來，魯棒性主成分分析法（robust principal component analysis，RPCA）受到了廣泛關注與研究[13-14]。目前主要包括：1）基于最小化迭代算法完成快速主成分尋蹤（fast principal component pursuit，FPCP）[15-16]。該算法對于背景動態變化的情況檢測效果不佳。2）基于格拉斯曼流形（Grassman manifold）的自適應子空間跟蹤算法（Grassmannian robust adaptive subspace tracking algorithm，GRASTA）[17]，該算法去除背景效果良好，但運動目標信息保留不完整。

自適應背景建模算法應用廣泛的主要有以下2種：1）混合高斯模型（Gaussian mixture model，GMM）算法[18-22]，該算法可以較完整地提取了運動目標信息，且去除了大部分背景噪聲；2）視覺背景提取（Visual background extractor，ViBe）算法[23-25]，該算法計算復雜度略低于混合高斯模型算法，具有一定的魯棒性和實時性。2種算法都存在一些共性缺點：如會在背景產生ghost鬼影現象；對于背景中的高頻擾動噪聲抑制效果較差；自適應更新的背景模型存在一定程度的滯后性，即檢測到的背景噪聲，可能需要 10幀甚至更多才能將噪聲完全去除，影響變電站監測效率與精度。

針對上述不同算法在農村變電站運動目標監測上存在的問題，本文提出了一種多域融合（時域空域與頻域）的農村變電站運動目標檢測（time-domain space-domain and frequency- domain fusion，TSFF）算法。TSFF算法首先將傳統的 2幀時域運算擴展為連續多幀的時域運算。并選取多幀圖像相同位置處的像素值作為一組時域信號，通過短時傅里葉變換[26-28]對該信號作時頻分析，并結合每幀圖像上目標像素點的水平與垂直 4個方向上擴展鄰域的像素點（空域），依次通過短時傅里葉變換作時頻分析，將目標點與擴展鄰域的視頻幅值的標準差均值結合分析，通過設定雙閾值，最終判斷出目標點是否為背景、擾動噪聲或運動目標。

1 常見運動目標檢測算法原理

在常見的運動目標檢測算法中，通常都是兩幀之間在相同目標點位置作差值運算，只考慮到時域變化。如背景差分法與幀間差分法的本質都是計算不同幀圖像同一像素位置在時域上像素值變化情況；自適應背景建模算法本質是計算生成背景模型，并與含有運動目標圖像幀在時域上作差。其原理可表示為：

式中 m (i , j,n)表示第 n幀圖像 ( i, j)位置處像素值；m(i , j,k)表示第k幀圖像 ( i, j)位置處像素值，當k為n的相鄰幀則為幀間差分法，當k為背景幀則為背景差分法； d ( i,j)表示2幀圖像在 ( i , j)位置的像素差分值。

接著將像素差分值與設定閾值T作比較，小于該閾值則為靜態背景，大于該閾值則為運動目標，最終完成整幅差分圖像的二值化處理。有公式:

式中 ),(jib 表示差分圖像中 ),( ji 位置的像素值，該值為1則為運動目標，該值為0則為靜態背景。

2 TSFF算法檢測原理

TSFF算法首先在時域上選取連續多幀圖像，并在每幀圖像相同位置處選取像素點構成一組時域信號，對該信號作短時傅里葉變換（short time Fourier transform，STFT），轉換到頻域觀察信號幅值波動情況，并在每幀圖像目標點水平與垂直4個方向上擴展鄰域內（空域）各選取2個像素點，分別通過短時傅里葉變換完成時頻分析，最終通過設定雙閾值判斷該像素點的信號特征。具體算法如下：

首先在時域上選取n幀連續圖像構成一組三維時空圖像組 M。在每幀圖像的 ),( ji 位置處選取像素點，構成一組時域空間上的n維向量。該向量可表示為

式中 M ( i,j)表示n幀圖像 ( i , j)位置的n維像素序列。

M ( i,j)可以看成是一組目標點像素值隨時間變化的時域信號向量。本文采用短時傅里葉變換對時域信號向量進行時頻變換。短時傅里葉變換。相較于基于全局處理的傳統傅里葉變換，加入了一個時頻局部化的窗函數，可以有效地分析一組時域信號在不同時刻的功率譜。所以短時傅里葉變換可以看作是移動窗口內依次對信號作傅里葉變換，可表示為

式中 )(uz 為輸入信號； )(tg 為窗函數；f為短時傅里葉變換頻率，由計算傅里葉變換的采樣點數決定；t為短時傅里葉變換的時間，由輸入信號的長度與窗函數的寬度決定；STFT(t,f)為短時傅里葉變換時頻幅值，該值由一個 f行t列的矩陣構成。

窗函數 )(tg 選取與參數設定也十分關鍵。目前常用的窗函數主要包括矩形窗、海明窗與漢寧窗。其中，海明窗在頻率范圍中的分辨率較高，且能量聚集性強，旁瓣幅度較小，計算也比較簡單，因此本文選擇海明窗完成信號處理，有公式

式中N為窗函數的寬度，也稱窗長； RN(t)為矩形窗函數。

就本文需要處理的連續多幀時域向量而言，z ( u)即為式（3）中的 M ( i,j)。結合多幀圖像中目標點信號特征，可以將多幀中像素值變化不大的背景點看作平穩信號；將多幀中像素值變化較大的運動目標或高頻噪聲點看作沖擊信號。對于平穩信號，通過短時傅里葉變換得到的三維頻譜圖表現平穩，沒有明顯的波峰與波谷；對于沖擊信號，通過短時傅里葉變換得到的三維頻譜圖表現波形變化明顯，通常有波峰或波谷。所以本文通過計算時-頻域上短時傅里葉變換時頻幅值Sft( i,j)= STFT(t,f)的均值與標準差并設定閾值來判別信號特征。有公式

式中 ),( jiaf表示目標點 ),(jiM 在每段頻率下不同時間短時傅里葉變換時頻幅值的均值； bf( i,j)表示目標點M ( i ,j)在每段頻率下不同時間短時傅里葉變換時頻幅值的標準差； Cm表示目標點 M ( i,j)在每段頻率幅值標準差的均值。對于平穩信號，計算得到標準差的均值 Cm很小，對于沖擊信號，計算得到標準差的均值 Cm較大。所以本文通過設定閾值 T1首先檢測出連續多幀圖像中不同像素位置為平穩信號或沖擊信號。有公式

式中 mnew( i,j)表示 ( i , j)位置處新生成像素值，標準差的均值 Cm大于閾值 T1像素值為1（白色），反之像素值為0（黑色），生成二值分割圖像。

通過式（9）可以判斷出目標點為平穩信號或沖擊信號。但是沖擊信號可能是目標運動目標，也可能是背景擾動噪聲。且當運動目標鄰域像素值相差不大時導致其時頻幅值波動較小，將其誤檢測為平穩信號。極易出現幀間差分法中運動目標出現的“空洞”現象。針對上述問題，本文在時頻運算的基礎上融合了空域運算，提出在每幀（空域）內結合目標點擴展鄰域像素信息綜合判斷，進一步降低目標點誤識別的概率。通常情況下，視頻幀中的高頻噪聲分布區域零散，像素面積小，而運動目標通常分布區域集中且像素面積較大。所以本文通過結合目標點擴展鄰域像素點在時頻域的短時傅里葉變換進一步判斷目標點的信號特征。為了保證在空域內獲取足夠像素信息判斷目標點的運動情況，同時最大程度減少數據運算量，本文在每幀圖像（空域）上目標點的水平與垂直4個方向上擴展鄰域內各選取2個最外側像素點。有公式

式中nh為第n幀圖像中水平方向上擴展鄰域2個最外側像素點序列；nl為第n幀圖像中垂直方向上擴展鄰域2個最外側像素點序列。

圖1以5幀視頻圖像為例，展示了TSFF算法在時-空域選取像素點的情況。

圖1 連續5幀圖像的像素點Fig.1 Selected pixels of five consecutive video frames

圖1a為 TSFF算法在時-空域選取像素點在連續5幀圖像中的某一位置示意圖；圖 1b為選取像素點的放大顯示。圖中深色圓點表示在5幀圖像中目標點 m (i , j)的位置。白色圓點則表示目標點的擴展鄰域像素點,本文算法只選取最外側的像素點。

結合式（4）和式（5），可以分別計算出擴展鄰域序列 hn與 ln在時-頻域上短時傅里葉變換時頻幅值，分別記為Sft(i±2,j)與Sft(i,j±2)。結合式（6）-式（8），分別計算每組鄰域信號的短時傅里葉變換時頻幅值的均值af(i±2,j)，af(i,j±2)，標準差bf(i±2,j)，bf( i ,j±2)與標準差均值 Cn。本文通過設定閾值 T2與Cn作比較，并結合式（9）中的目標信號特征作進一步判別，判定關系如下

式（12）通過雙閾值最終判斷出目標點的信號特征。當目標點標準差均值大于閾值 T1，首先判定其為沖擊信號，如果目標點鄰域點的標準差均值小于閾值T2，則說明目標點周圍是平穩信號，則該點為高頻噪聲將其去掉，其余點為運動目標點。當目標點標準差的均值小于閾值T1，首先判定其為平穩信號，如果目標點鄰域點的標準差均值大于閾值 T2，則說明目標點周圍是沖擊信號，則該點為像素變化較小的運動目標將其保留，其余點為靜態背景。

本文通過空域時域與頻率的三域融合，提出 TSFF算法，可在連續多幀圖像中，最大程度檢測出運動目標，去除絕大部分背景噪聲。

3 試驗結果與分析

變電站視頻拍攝地點為某縣35 kV變電站，拍攝視頻設備為 Microvision公司的 CCD工業相機，型號為MV-VS220，分辨率為 720×480像素。試驗所用計算機為英特爾I5處理器，2g內存，Win7操作系統，所用程序均為Matlab2014編寫。

首先對文中提到的幀間差分法（IFD）、魯棒性主成分分析法（RPCA）算法中的快速完成主成分尋蹤（FPCP）算法與自適應子空間跟蹤（GRASTA）算法，以及自適應背景更新算法中的視覺背景提取（Vibe）算法與混合高斯模型（GMM）算法與本文提出的TSFF算法作了比較。試驗分別選取了5組變電站不同工作環境下不同工作人員的視頻幀作比較分析。由于在TSFF算法中，必須對連續多幀進行遍歷計算，所以分別選取了5組變電站視頻目標幀的前后相鄰5幀，同時為了彌補在時頻變換時信號長度較短的不足，文本將這相鄰5幀信號重復排列4次，擴展為20幀長的信號。圖2為變電站視頻A處理效果比較，該視頻背景擾動較小，目標運動速率適中；圖3為變電站視頻C處理效果比較，視頻中存在多個運動目標，且目標運動速率較快。圖4為變電站視頻D處理效果比較，背景受到樹葉的高頻噪聲擾動影響。且視頻 A中的運動目標距相機較近，目標圖像占比較大，背景相對簡單；視頻C和D中運動目標距相機較遠，圖像占比較小，背景相對復雜。

圖2 不同算法變電站視頻A處理效果Fig.2 Processed result of substation video A by different algorithm

圖3 不同算法變電站視頻C處理效果Fig.3 Processed result of substation video C by different algorithm

圖4 不同算法變電站視頻D處理效果Fig.4 Processed result of substation video D by different algorithm

同時為了與其他分割算法效果作橫向比較，參數設定統一。其中幀間差分法（IFD）的二值化閾值設定為15；混合高斯模型（GMM）算法濾波器個數為3，初始背景建模幀數為10，學習速率為0.7；ViBe算法樣本集中鄰近像素點個數20，匹配點的個數閾值20，#min =2，更新采樣概率為16。TSFF算法中短時傅里葉變換采用了窗長為3的海明窗，頻率采樣點數為128。試驗結果詳見圖2、3、4。

接下來本文針對圖2中變電站視頻幀短時傅里葉變化部分特征信號的頻譜圖作了展示。詳見圖5。

圖5 不同特征信號頻譜圖Fig.5 Different characteristics of signal spectrum

圖5a展示了5幀圖像中坐標為（110,220）的靜態背景點生成的頻譜圖；圖5b展示了5幀圖像中坐標為（217,398）的運動目標點生成的頻譜圖。通過2幅頻譜圖比較，可以明顯看出：靜態背景點即平穩信號生成的頻譜圖整體較為平緩，沒有明顯的波動；運動目標點即沖擊信號生成的頻譜圖波動明顯，出現多個波峰與波谷。根據這一信號特征，本文通過設定閾值1T，首先分割出連續多幀圖像中的波動明顯的運動信號。接著跟據式（10）～式（12）結合空域中目標點擴展鄰域短時傅里葉變換對目標點信號特征作進一步判斷，最終判別不同目標為靜態背景、運動目標或者高頻噪聲。圖7和圖8分別展示了部分特征信號及其空間擴展鄰域信號的頻譜圖。

圖 6展示了圖 2中變電站視頻圖像幀中坐標為（217,398）的目標點及其空間擴展鄰域4點生成的頻譜圖；圖 7展示了圖 2中變電站視頻圖像幀中坐標為（118,558）的目標點及其空間擴展鄰域4點生成的頻譜圖。通過2幅頻譜圖比較，可以明顯看出在結合空域信息后，可以有助于進一步判斷目標點信號特征：圖 6a中目標點為沖擊信號，圖6b中其4個擴展鄰域點（空域）也為沖擊信號，所以該點判定為運動目標點。在圖7a中，雖然目標點閾值大于1T判定為沖擊信號，但在圖7b中其4個擴展鄰域點（空域）整體評價結果小于2T，所以該沖擊信號目標點最終判定為高頻背景噪聲點剔除。采用本文雙閾值判定算法同樣可以識別出大量誤識別為靜態背景的運動目標點，減少生成目標圖像的空洞現象。

由圖8對比分析，雙閾值算法保留了更多目標有效信息，且背景去噪效果更好。為了更精確地比較幾種算法的性能，本文采用準確率和召回率作為量化指標，有公式

圖6 運動目標點及其擴展鄰域頻譜圖Fig.6 Moving target and extended neighborhood spectrum diagram

圖7 背景噪聲點及其擴展鄰域頻譜圖Fig.7 Background noise and extended neighborhood spectrum diagram

式中P表示檢測準確率；R表示檢測召回率；Nj表示正確檢測出的運動目標像素數；Nz表示算法實際檢測出的運動目標像素數；NG表示真值圖（ground truth）的運動目標像素數；準確率反映了正確檢測的像素數占檢測出的前景總像素數的百分比；召回率反映了正確檢測的像素數占真值圖像素數的百分比。表1列出了圖2、3、4中不同算法檢測效果的準確率與召回率。

本文提出的時空域與頻域融合算法的運動目標信息保留效果在幾種算法中表現最優，召回率為86.10%；背景噪效果（準確率96.68%）與IFD算法相當，整體表現優于其他算法。該算法在較完整保留運動目標信息的同時，最大限度去除了背景，且具有較強的魯棒性，適用于在不同情況下變電站工作人員實時準確監測。

圖8 單閾值與雙閾值的視頻A目標檢測情況Fig. 8 Different video A moving target detection with different threshold

表1 不同算法檢測效果的準確率與召回率Table 1 Performance of different algorithms through precision and recall rate %

4 結 論

1）本文結合中國農村變電站規模比較大，電氣設備比較傳統、設備自動化和智能化程度普遍較低特點，采取一種在變電站現場特定的安全（檢修）區域周圍即時架設相機的方法對工作人員實時監控，該方法成本較低，操作簡單，且監控預警效果良好?，F場工作人員檢測越完整，噪聲去除效果越好，那么對工作人員的檢測與定位越準確，安全性大大提高。

2）結合某農村變電站現場 5組代表性視頻幀處理效果與表1列出的評價標準，幾種算法在不同情況下綜合比較可以得出：幀間差分算法去噪效果良好，但目標保留效果較差；快速主成分尋蹤算法對于高頻噪聲擾動抑制較差（視頻 D樹葉）；自適應子空間跟蹤算法在目標運動較慢時檢測效果嚴重下滑（視頻B）；高斯混合模型算法目標保留效果最優，但是對于陰影與高頻噪聲同樣去除效果一般；視覺背景提取算法對噪聲抑制表現良好，但是目標保留效果整體一般。

3）本文提出的時空域與頻域融合算法在處理不同情況下的視頻幀表現穩定，通過雙閾值的設定，比單閾值處理效果上均有較大程度的提升。且運動目標信息保留效果（召回率86.10%）在幾種算法中表現最優；背景噪效果（準確率96.68%）與IFD算法相當，整體表現優于其他算法。該算法在較完整保留運動目標信息的同時，最大限度去除了背景，且具有較強的魯棒性。適用于在不同情況下變電站工作人員實時準確監測。