基于雙流網(wǎng)絡(luò)的視頻圖像去噪算法

黃異嶸 李汶隆 劉川杰

摘 ?要：該文針對傳統(tǒng)視頻圖像去噪算法因閾值不準(zhǔn)確導(dǎo)致偽影等時域模糊問題，提出了一種基于雙流網(wǎng)絡(luò)的視頻圖像去噪算法。該算法統(tǒng)籌考慮視頻圖像在時間通道與空間通道的關(guān)系屬性，通過效仿人體視覺過程，對視頻幀序列中的時序信息與空間信息進行內(nèi)容理解，以幀間圖像絕對誤差均值MAD的方差來表征視頻序列在時空網(wǎng)絡(luò)中的動靜屬性，并由此計算出動態(tài)可變的去噪閾值，使采用的時空維度去噪算法更科學(xué)、更精準(zhǔn)。

關(guān)鍵詞：視頻圖像;閾值;雙流網(wǎng)絡(luò);去噪算法;方差

中圖分類號：TP391 ? ? ? ? ? ? 文獻標(biāo)志碼：A

0 引言

近年來，隨著神經(jīng)網(wǎng)絡(luò)的迅速發(fā)展，對計算機視覺的研究也越來越深入，并且在視頻圖像數(shù)據(jù)處理方面，二者已緊密結(jié)合起來，便于機器更好地理解圖像，基于圖像內(nèi)容理解的視頻圖像處理技術(shù)正得到廣泛應(yīng)用。

圖像在形成、傳輸、接收和處理過程中容易受到外界干擾，產(chǎn)生一些脈沖噪聲，從而在圖像中產(chǎn)生椒鹽噪聲，這會進一步影響圖像分割、特征提取等后期圖像的應(yīng)用效果[2]。因此，提高信噪比是圖像處理的重要任務(wù)之一。

1 技術(shù)現(xiàn)狀

目前，傳統(tǒng)的視頻圖像去噪方法主要分為空域濾波、時域濾波和時空結(jié)合濾波3種。空域濾波常采用對相鄰像素點進行加權(quán)平均的方式濾波，所以空域濾波去除噪聲的效果較差，并且會犧牲圖像高頻細節(jié)部分，使圖像產(chǎn)生失真。時域濾波由于考慮了視頻圖像在時間上的相關(guān)性，采用IIR濾波算法進行幀間圖像的加權(quán)處理，圖像序列越相似，相關(guān)性越強，去噪效果越好。但對于時空網(wǎng)絡(luò)維度的運動圖像，運動目標(biāo)會產(chǎn)生偽影等時域模糊現(xiàn)象[1]。時空結(jié)合濾波采用對視頻圖像中靜止部分進行時域濾波，對運動部分圖像進行空域濾波的方式，有效地解決了空域濾波去除噪聲較差和時域濾波運動目標(biāo)會產(chǎn)生偽影等時域模糊問題[4]。

現(xiàn)有的時空濾波方法通常采用預(yù)測閾值法[6]來判斷圖像中的運動與靜止部分，當(dāng)幀間像素塊差值大于該閾值時，該區(qū)域像素為運動塊，對該塊進行空域濾波。當(dāng)小于該閾值時，判斷該區(qū)域像素為靜止塊，對該塊進行時域濾波。但現(xiàn)有方式存在2個問題。1）在圖像靜止區(qū)域，當(dāng)噪聲較大時，幀間像素塊差值仍然比較大，因此就會將該塊誤判為運動塊而進行空域濾波。2）在視頻圖像運動區(qū)域，如果閾值選擇比較大，會將該塊判斷為靜止塊進行時域濾波，從而導(dǎo)致圖像時域模糊。

針對傳統(tǒng)方法存在的各種問題，該文重新設(shè)計一種基于雙流網(wǎng)絡(luò)[3]的視頻圖像去噪算法，統(tǒng)籌考慮視頻圖像在時空網(wǎng)絡(luò)之間的關(guān)系屬性，通過效仿人體視覺過程，對視頻幀序列中的時序信息與空間信息進行內(nèi)容理解[5]，以幀間圖像絕對誤差均值MAD的方差來表征視頻序列在時空網(wǎng)絡(luò)中的動靜屬性，由此計算出動態(tài)可變的去噪閾值，再使用基于時空維度的去噪手段。實驗證明，該文所設(shè)計的基于雙流網(wǎng)絡(luò)的視頻圖像去噪算法，可以適配復(fù)雜多變的視頻場景，去噪后的圖像失真度更小，圖像更清晰。

2 雙流網(wǎng)絡(luò)視頻圖像去噪算法

2.1 基本思想

為了克服現(xiàn)有技術(shù)上的缺點，該文提出了一種以雙流網(wǎng)絡(luò)為基礎(chǔ)思想的視頻圖像去噪算法。通過效仿人體視覺過程，對視頻信息進行理解，在處理視頻圖像中的環(huán)境空間信息的基礎(chǔ)上，對視頻幀序列中的時序信息進行理解。其基本思想是將單獨的視頻單幀作為表述空間信息的載體，其中包含環(huán)境、視頻中的運動與靜止的物體等空間信息網(wǎng)絡(luò)。光流信息作為時序信息的載體，用來理解運動的動態(tài)特征，通過時間信息網(wǎng)絡(luò)中圖像的絕對誤差均值MAD，來表征視頻圖像在時間序列的運動狀態(tài)，通過MAD的方差，動態(tài)計算時間通道上視頻幀去噪閾值的大小，使視頻圖像的時空網(wǎng)絡(luò)信息表征更合理，算法實施效果更好。

2.2 算法建模

該文利用視頻圖像時間動態(tài)特性和空間相對關(guān)系進行建模，之后再對不同模型得到的結(jié)果進行融合，主要過程如下。首先，計算去噪閾值權(quán)重。閾值權(quán)重的選擇將直接影響到網(wǎng)絡(luò)的收斂速度及效果，如何選擇一種合適的方式成為了該文首先需要解決的問題。實際視頻圖像中多為白噪聲，服從均值為0、方差為δ的高斯分布，假設(shè)在一定時間范圍沒有運動出現(xiàn)，圖像間的差異主要由噪聲引起，則有：

式中：當(dāng)前處理區(qū)域塊大小為16×16的像數(shù)塊，i與j分別代表像數(shù)塊中行與列編號。用當(dāng)前幀去噪閾值TH和MAD進行比較并判斷，分離出動靜視圖區(qū)域。

最后，通過遍歷一幀圖像，計算出空間信息網(wǎng)絡(luò)中的動靜視圖區(qū)域，再利用形態(tài)學(xué)濾波算法，去除孤立屬性區(qū)域塊，更新視頻幀中動靜區(qū)域。在時間信息網(wǎng)絡(luò)中，對靜止區(qū)域進行IIR濾波，在空間信息網(wǎng)絡(luò)中對運動塊進行空域濾波。

2.3 算法分析

和傳統(tǒng)算法相比，該文通過計算幀間圖像絕對誤差均值（MAD）的方差，以方差來表征當(dāng)前視頻序列在時間網(wǎng)絡(luò)信息中的運動狀態(tài)。使得在對每幀視頻圖像的去噪處理中，在空間網(wǎng)絡(luò)信息中能夠細分出運動區(qū)域和靜止區(qū)域，并分別進行處理。在時間網(wǎng)絡(luò)中，通過視頻幀MAD的方差來計算閾值，動態(tài)地分析視頻序列的運動屬性，使去噪閾值能夠與當(dāng)前的視頻應(yīng)用場景動態(tài)適配。該文采用的去噪算法在實際工程應(yīng)用中，有效地解決了傳統(tǒng)算法在對復(fù)雜環(huán)境下的視頻圖像去噪而產(chǎn)生的偽影等時域模糊問題，對后續(xù)基于視頻圖像的挖掘分析應(yīng)用具有較好的實際意義。

3 結(jié)語

為解決傳統(tǒng)去噪算法中不能很好地進行視頻圖像理解而產(chǎn)生的圖像失真、模糊等問題。該文重點闡述了利用時空雙流網(wǎng)絡(luò)對視頻圖像進行內(nèi)容理解，動態(tài)表征視頻序列在時空網(wǎng)絡(luò)中的運動屬性，在此基礎(chǔ)上進行視頻圖像動靜分離處理與融合。

該文基本思想在于，在時間通道中，以視頻幀MAD來表征視頻序列動態(tài)特征，并用MAD方差來計算去噪閾值權(quán)重。在空間通道中，對單幀視頻圖像中的處理區(qū)域在時間通道中的運動特征進行狀態(tài)分類，以此來確定時空網(wǎng)絡(luò)的濾波算法。在實際應(yīng)用場景中，特別針對復(fù)雜多變的視頻應(yīng)用這一業(yè)內(nèi)較難處理的業(yè)務(wù)場景，該文提出的算法，可動態(tài)、快速地完成收斂，具有較好的場景適應(yīng)性。該文采用的基于雙流網(wǎng)絡(luò)的視頻處理基本思想，也可應(yīng)用于其他視頻圖像處理場景中。

參考文獻

[1]李朋，余諒.一種改進的小波閾值去噪方法[J].現(xiàn)代計算機，2016（7）：72-75.

[2]劉冰，雪梅.基于連續(xù)小波閾值去噪算法的目標(biāo)檢測研究[J].現(xiàn)代計算機，2017（14）：64-68.

[3]湯鵬杰，譚云蘭.基于雙流混合變換CNN特征的圖像分類與識別[J].井岡山大學(xué)學(xué)報，2015，36（5）：53-59.

[4]李竹林.數(shù)字圖像去噪算法的研究與應(yīng)用[D].延安：延安大學(xué)，2015.

[5]陳曉.基于Shearlet變換和深度CNN的圖像去噪研究[D].南京：南京信息工程大學(xué)，2018.

[6]王小玉.基于小波閾值的圖像去噪研究[D].哈爾濱：哈爾濱理工大學(xué)，2016.