基于時間—空間濾波器的視頻異常抖動過濾

龍 年，劉智惠

(湖北工業大學工程技術學院，湖北 武漢 430000)

1 引言

互聯網和多媒體技術的迅猛發展，各種短視頻和音頻飛速發展，人類對多媒體質量的需求也開始飛速增加。各種智能設備的出現，促使人機交互成為可能，人類的生活也開始越來越依賴智能終端設備。視頻的拍攝除了記錄生活[1]，同時也被應用于執行一些較為復雜的任務，例如追蹤以及物體識別等。但是由于受到條件和使用場景的限制，相機會缺乏配套的攝像設備，所以會導致拍攝的視頻經常伴隨劇烈的抖動。這些抖動的存在會導致視頻質量下降，所以對視頻異常抖動進行消除具有十分重要的意義[2]。

國內外相關專家也取得了一些較好的研究成果，例如汪權等人[3]優先通過預處理獲取OCT視網膜圖像邊界，同時采用最小二乘法曲線擬合計算各幀切片圖像的偏移量，最終實現視頻去抖動。熊煒等人[4]利用光流法穩定抖動視頻，同時對預穩定后的角點進行檢測，對仿射變換矩陣進行估計，獲取初始相機路徑。根據卡爾曼濾波對相機路徑進行平滑處理，獲取平滑相機路徑。分析各個路徑之間的關聯性，計算相鄰幀間的補償矩陣，對其進行幾何變換，最終輸出穩定的視頻。由于以上兩種方法未能在實際操作過程中加入視頻異常抖動檢測環節，導致視頻異常抖動消除效果不理想，峰值信噪比大幅度下降，平均編碼時間增加。為此，提出一種基于局部特征約束的視頻異常抖動消除方法，能夠有效減少平均編碼時間，增加峰值信噪比，有效消除視頻中的異常抖動，獲取更加理想的視頻效果。

2 基于局部特征約束的視頻異常抖動檢測

2.1 視頻異常抖動檢測流程

視頻異常抖動檢測在視頻識別領域中占據十分重要的地位[5-6]。以下借助聯合分布結構性假設，分別從時間和空間兩個角度出發，對視頻中存在的異常抖動進行分析研究。確定局部假設后，需要結合分析結果對視頻中不重疊區域的信息進行統計和整理。

優先將視頻異常檢測描述為一個抽象問題，同時將其和視頻設置進行結合，共同進行分析和研究。設定隨機向量集合為x={xν}ν∈V，相應圖為G={V，E}。其中，集合V具有對任意節點進行定義的能力。

如果從虛假設H0能夠獲取基準數據x={xν}ν∈V，則需要滿足以下約束條件：

H0=x×f0(x)

(1)

上式中，H0代表虛假設；x代表基準數據；f0(x)代表基準數據的邊緣分布。

將異常分布設定為在具體坐標位置ν和標度s條件下構成的異常似然混合模型。為了確保整個檢測過程得到有效簡化，以下只考慮在固定標度條件下的混合模型，在上述條件下獲取的先驗概率計算式為：

(2)

上式中，Pν代表似然函數；fν代表邊緣分布。

在上述基礎上，需要在文本局部模型中加入一些較為特殊的符號進行描述。設定ων，s代表以ν為圓心、s為半徑的球體，則：

{ων，ων，s}=u×d(u，ν)×s

(3)

上式中，u代表球體內規定半徑的數量；d(u，ν)代表局部結構；s代表球體半徑。

結合公式(2)，能夠獲取半徑為ε的球體內全部點集合，即：

ων，s=u×V×d(u，ν)≤ε，ν∈ων

(4)

上式中，V代表任意常數。

當分布f0和fν滿足設定的約束條件，則說明異常抖動具有局部分解特征。

設定視頻序列時隙是整個視頻中一個較小的頻段，在一個完整的視頻中共有x(1)，x(2)，…，x(n)個視頻序列時隙。為了方便后續的分析和研究，需要確保各個視頻序列時隙是獨立存在，同時還能夠將視頻劃分為多個長短不一且互不重疊的視頻序列時隙。

針對視頻序列時隙而言，關聯一個圖G={V×T，E}。其中，集合V主要用來連接視頻序列時隙的空間位置，而集合T主要用來連接視頻序列時隙的時間。從理論角度出發，重點對全部像素的位置和時間進行分析，將其劃分為多個規格一致但是長短不同的區域塊。

在進行特征提取的過程中，計算各個視頻序列時隙中像素的平均取值，同時還能夠將像素特征集轉換為有關原子的多維向量，重點需要結合以下幾方面特征進行分析研究：

1)持續性特征

通過背景相減方法對視頻中存在的異常抖動檢測分析。其中，視頻中位數估計主要是借助前景實現的，而背景更新則結束移動平均算法實現。另外，在實際操作的過程中，需要將各個像素標記為背景或者是前景中的一部分。

2)方向特性

需要形成一種全新的光流法，通過這種新的方法完成視頻中運動向量提取。對研究區域進行分析，使運動向量能夠在8個不同的方向運動，同時將幅度取值較小的向量采用特殊的空間維度描述。

3)運動幅度

需要不包含空間維度的運動幅度向量求解原子中全部像素的平均值。

在上述分析的基礎上，分別計算不同視頻的局部K最近鄰距離，結合計算結果，獲取測試和訓練視頻的總體得分，同時將得分結果進行排列，確定視頻中的異常抖動部分。

利用圖1給出基于局部特征約束的視頻異常抖動檢測流程圖。優先對視頻中存在的運動描述符進行特征提取，同時對提取的全部特征進行量化拆分處理；采用時間—空間濾波器對特征描述符進行平滑處理[7-8]，獲取對應的平滑估計。對訓練和測試視頻的局部KNN距離，將獲取的距離值進行統計，獲取兩者的總體分值，將其進行排序，實現視頻異常抖動檢測。

圖1 基于局部特征約束的視頻異常抖動檢測流程圖

2.2 視頻異常抖動消除

當檢測到視頻中的異常部分后，需要將異常抖動消除。進行視頻異常抖動消除的主要目的就是保證整個視頻序列的平穩變換，同時確保視頻的穩定[9-10]。

優先對視頻進行壓縮處理，組建含有稀疏特性的碼流，在碼流中提取編碼端對視頻進行運動估計所形成的運動矢量，同時借助運動矢量對視頻進行運動分析和映射變換。

映射變換是一種2—D平面變換方法，如圖2所示。

圖2 平面上點映射變換

主要用來描述簇內圖像之間的關聯性，同時映射具有不變性。假設一個映射為映影映射，則需要滿足公式(4)中的約束條件：

h(x)=H×x

(5)

上式中，H代表非奇異矩陣。

在處理平面關系的過程中，主要選擇公式(5)的表達形式：

(6)

由于H是一個齊次矩陣，在矩陣中的全部元素都是相互獨立的，所以映射變換共包含8個不同的自由度。以下借助最小二乘準則獲取矩陣H的最優表達形式，即：

(7)

由于運動矢量具有很多參考幀，同時還具有多個不同等級的結構，無法直接用來進行運動分析。為了更好解決上述問題，需要采用運動信息對相機的運動路徑進行歸集。同時在全局運動矢量修正的過程中，需要采用F(t)對相鄰幀的運動矢量進行修正，但是F(t)實際就是在相機相鄰兩幀的運動路徑。以下主要采用視頻編碼對視頻中的運動矢量F(t)進行計算，結合映射變換的傳遞性質，獲取相機在第t幀的運動路徑C(t)，如公式(8)所示：

(8)

上式中，I代表運動矢量。

為了更好地估計相機路徑C(t)，需要使其和相機的實際路徑P(t)盡可能接近，進而要對P(t)進行約束，具體的計算式為：

(9)

上式中，O{P(t)}代表相機實際路徑的約束條件；ωt，r代表高斯權重；λt代表平衡因子；P(r)代表約束估計出的噪聲路徑。

設定穩定視頻幀是通過映射變換獲取的，則這種變換能夠表示為：

B(t)=C-1(t)P(t)

(10)

上式中，B(t)代表穩定視頻幀變換結果。

運動估計是由視頻中的運動信息流構成，結合圖像中各個網絡頂點獲取各個幀內組塊對應的運動信息，通過運動信息得到視頻的具體運動軌跡。

采用單一相機的運動路徑算法能夠精準估算出各個網格的相機運動路徑，即：

ci(t)=fi(t)+fi(t-1)+…fi(0)

(11)

上式中，fi(t)代表在第t幀內第i個網格的運動量，同時該網格的相機路徑ci(t)為相鄰運動矢量之和。其中，第i個網格運動路徑對應的約束條件能夠表示為：

(12)

上式中，{pi(t)}代表第i個網格定點的最優軌跡；pi(t)代表相機相鄰的運動路徑；pi(r)代表相鄰相機的運動矢量。

通過編碼提供的運動流信息，能夠獲取全部網絡的路徑約束條件：

(13)

通過上述約束條件獲取最終值，同時對各個網格的運動矢量bi(t)：

bi(t)=pi(t)-ci(t)

(14)

針對視頻中已經完成更新的運動矢量，獲取圖像在網格中全新的坐標位置，通過位置信息實現圖像的局部映射變換[11-12]，進而組建穩定性更強的視頻幀。

相機路徑估計主要借助多條不同的路徑實現，對全部運動矢量進行修正和篩選，同時使各個運動矢量的初始閾值相同，自適應進行篩選比例調整，促使矢量在目標比例內，具體的計算式如下：

Hng=|dmv-dH|+Nthreshold

(15)

上式中，dmv代表運動矢量確定的偏移距離；dH代表映射變換確定的偏移距離；Nthreshold代表閾值。如果運動矢量經過修正后，整體比例不在設定的范圍內，需要修正閾值，同時保證運動矢量偏移和映射變換偏移兩者更加接近。

在上述分析的基礎上，加入編碼技術進行視頻異常抖動消除，最終獲取穩定的視頻。

3 仿真實驗

為了驗證基于局部特征約束的視頻異常抖動消除方法的有效性，通過PC機進行實驗測試分析。

1)視頻異常抖動消除效果分析

優先驗證所提方法的視頻異常抖動消除效果，設定圖3為未經過處理的異常抖動視頻，即測試圖像，圖4為經過三種不同方法進行抖動消除后的視頻：

圖3 測試對象

圖4中，分析圖4中的視頻能夠看出，經過抖動消除后，視頻中出現的抖動有了明顯的改善。相比另外兩種方法，所提方法能夠更好消除視頻中的異常抖動，同時獲取更加清晰的視頻效果。

圖4 不同方法的視頻異常抖動消除結果

2)峰值信噪比/dB

為了更好分析方法的性能，以下實驗對比不同方法的峰值信噪比，通過峰值信噪比(PSNR)進一步衡量視頻異常抖動消除效果，具體實驗結果如表1所示：

表1 不同方法視頻異常抖動消除前后PSNR對比結果分析

分析表1中的實驗數據可知，三種方法的峰值信噪比處理前有了明顯的提升，說明經過抖動消除后，各個視頻的圖像質量也得到有效改善。所提方法的峰值信噪比取值最高，主要是因為所提方法在進行抖動消除時，加入了視頻異常抖動檢測環節，能夠快速準確識別圖像中的異常，為抖動消除提供依據，進而確保視頻質量得到改善，同時峰值信噪比也隨之增加。

3)平均編碼時間/s

為了更進一步所提方法的優越性，以下實驗測試對比三種不同方法的平均編碼時間，具體實驗結果如圖5所示：

圖5 不同方法的平均編碼時間對比結果

分析圖5中的實驗數據可知，當測試樣本數量持續增加，各個方法的平均編碼時間也會相應增加。但是由于其他兩種方法未能對視頻進行異常抖動檢測，導致整體的平均編碼時間增加，而所提方法的平均編碼時間明顯更低一些。

4 結束語

針對目前已有視頻異常抖動消除方法存在的問題，提出一種基于局部特征約束的視頻異常抖動消除。測試結果表明，所提方法能夠有效增強視頻質量，降低平均編碼時間，提升峰值信噪比，獲取理想的視頻異常抖動消除效果。

雖然現階段所提方法取得了較為顯著的研究成果，但是仍然存在一定的不足，后續將重點針對以下幾方面的內容進行研究：

1)在視頻異常抖動消除后，加入效果評估方法，進一步驗證視頻質量的好壞。

2)擴大研究范圍，使其能夠被應用于各個研究領域中。