雪景視頻中雪花的自動摳取算法研究

包艷霞

（安徽工業職業技術學院，安徽 銅陵 244000）

雪景視頻中雪花的自動摳取算法研究

包艷霞

（安徽工業職業技術學院，安徽 銅陵 244000）

摳圖是圖像視頻處理的一項重要技術，在自然現象的圖案中有著廣泛的應用。文章針對雪花的特征，使用特定的軟摳取算法對雪花進行精確提取，以實現虛擬環境中的飛雪運動的場景。

視頻；軟摳取；形狀濾波器

一、相關工作

當前有不少論文研究如何用計算機視覺技術對自然界的氣候信息進行圖像加工，例如：Li Shen[1]等人討論了如何用視覺技術作天氣預報，Kshitiz Garg等人在[2]研究了如何在雨景中探測雨滴的方法，他們使用時間過濾器，將快速移動的雨滴和慢速移動的其它物體運動區分開，然后進行雨滴消除，他們的算法能消除視頻中的雨滴。

Kshitiz Garg的方法只能適用雨滴，并不適用雪景，在此我們受到Paul Viola的啟發，Paul Viola等人在[3]中提出了一個快速檢測人臉的算法，其原理是設計一系列弱分類器，并用一系列弱分類器組成成強分類器，并最終實現檢測算法。我們也借鑒這種算法，使用一系列弱形狀分類器去識別雪花，我們使用飽和度濾波器，顏色濾波器，時間過濾器，差分濾波器識別雪花，并最終將這一系列過濾器組合成一個強分類器去識別運動中的雪花。

霧，雪，雨，其本質上都是半透明的，霧本身是細小的水滴，能折射光線，是半透明的，而雪雨的特點在于高速運動中產生運動模糊，因此也半透明的，在對這些半透明物體進行摳取時，往往使用matting算法，Kaiming He等人在[4]中提出了一個從圖像中移除霧的算法，這個算法是基于alpha matting，在此，我們也使用這種技術進行摳取。Hai liu等人在[5]中提出了一個增強的軟摳取算法，但這個算法需要用戶指定前景和背景區域，我們根據雪花的一系列特征，對雪花進行自動識別，我們的創新性在于：根據雪景的特點，構造出了在已知前景下的閉形式矩陣，這樣就能更好的進行雪景的摳取。我們的方法能很好的適應雪景的要求，實驗也證明了我們算法的有效性。

二、在視頻中檢測雪花

雪粒子在高速運動中會形成運動模糊，對于一個給定的像素Ii，當雪花經過像素時，參與像素Ii曝光的能量中，不僅有雪花，還來自背景光的能量，我們假設對雪粒子和背景的曝光時間分別為tsnow和tbackground，那么像素Ii可以用如下方式表示：

在式1中，Isnow是雪的實際顏色，一般來說是白色，Ibackground是背景色，α是運動中雪花的透明度，從公式中可以看出，實質上雪花的運動模糊降低了背景的飽和度，由于雪花中心的地帶，對雪的曝光時間比較長，而對背景的曝光時間少，在雪花的邊緣地帶，對背景的曝光時間長，對雪的曝光時間比較少，因此，在雪花中，像素的飽和度在雪花中心地帶比較低，而在邊緣地帶比較高。

我們根據雪花的一系列特征，Isat是雪的飽和度，Iw是像素距離純白色的距離，Idiffsat是飽和度的差分來區別雪花。

I_sat是指像素的飽和度，飽和度越高，就越接近白色，所以越可能是雪花，同時雪花不同于其它物體的特點在于，雪花的飽和度是變化的，在中心地帶高邊緣低，所以我們可以用飽和度的差分I_diffsat來作雪花的特征，I_w則反映了像素顏色和純白色的距離，顯然，越接近純白色，越有可能是雪花。

在時間域上，我們使用相鄰幀中的同一位置的顏色變化去反應特征，由于雪花是運動的，所以我們可以根據雪花在不同幀上同一位置的飽和度變化作為特征，由于雪花是高速運動的，所以在時間域上，飽和度會有很大變化，而對于慢速移動的物體來說，變化就不大。

對于于這四個特征，我們定義了四個形狀濾波器去識別雪粒子，飽和度形狀濾波器、微分形狀濾波器，顏色濾波器。飽和度濾波器和微分濾波器,飽和度濾波器如下圖所示：

圖1 ：飽和度形狀濾波器

在飽和度濾波器中，白色的長方形特征的響應是正的，而黑色的長方形特征響應是負的。當飽和度濾波器對應的中心地帶飽和度高，而邊緣地帶飽和度低時，飽和度濾波器響應較高的值差分濾波器計算差分特征。白色濾波器計算特征Iw。

我們使用四個弱分類器以對圖像中的像素進行分類,每個弱分類器對應于一個形狀濾波器.對應于像素n的弱分類器稱之為，δ（）是一個0-1指示函數，則是第i個形狀濾波器的響應。僅當所有濾波器反饋正值時，一個像素才被識別為雪花。

三、雪花的抽取

由于軟摳取算法需要定義三分圖，也就是已知前景區域、已知背景區域、未知區域，所以在每幀中，我們將定義的前景區域定義為上節算法中探測到雪景區域，然后用以下規則定義背景區域：

根據已知的前背區域和背景區域，我們可能用雪花用alpha matting[6][7]技術抽取出來。

我們找出當前檢測出的雪花區域中最亮的一種顏色當做當前雪的真實顏色，于是我們可以用最大信任度去估計像素的值。

不同于單張圖像中的matting算法[7]，我們的算法中，前景的顏色是固定的，一般是純白色，那么[7]中定義的前背景的信任度距離R（dFi，B）jR（dFi，B）j及權重w（Fi，B）j，可以被簡化為如下公式:

L是軟摳取矩陣，Levin的閉形式摳取矩陣過于復雜，在此，我們對軟摳取矩陣作出簡化。

因此模仿[8][5]，我們可以假定1－α可以在每個像素對應的小鄰域內滿足線性關系，那么，最終的軟摳取問題，可以化簡為以下的能量最小化問題：

將式（9）代入（8）式，并擴展到RGB空間中，得到最終全局優化的結果如下：

在（i,j）行對應的軟摳取矩陣的元素為

在上式中，Σk是一個3*3系數矩陣，ε是一個3*1向量，E是一個3*3全1矩陣，Dj對應于顏色I-F的三通道向量。

于是我們可以通過公式求出θ＝1－α的信息，然后再求出α透明度。

當背景不隨時間而變化時，算法可以被進一步簡化，由于雪花的運動模糊降低了背景的飽和度，所以當背景是不變時，假定同一像素j在各幀中可以表示為一系列數組，。那么最大飽和度的像素可以認為是背景.這樣我們可以將背景用時間濾器[4]求解并表示如下:

在已知背景后，由于已知前景，所以alpha值可以輕松求取，這樣就極大的提高了求取的速度。

以下是一些摳取結果：

圖2 ：雪花的軟摳取結果

［1］Li Shen,Ping Tan,Photometric Stereo and Weather Estimation Using Internet Images,IEEE Conference on Computer Vision and Patten Recognition(CVPR)[R].Florida,US,Jun.2009.

［2］K.Garg and S.K.Nayar.Detection and removal of rain from videos[R].In Computer Vision and PatternRecognition,2004.CVPR 2004.Proceedings of the 2004 IEEE Computer Society Conference on,volume1,pages I–528–I–535 Vol.1,June-2 July 2004.

［3］Paul Viola and Michael Jones.Rapid object detection using a boosted cascade of simple features[R].InComputer Vision and Pattern Recognition,pages 511–518,2001.

［4］Kaiming He,Jian Sun,and Xiaoou Tang.Single image haze removal using dark channel prior[R].ComputerVision and Pattern Recognition,IEEE Computer Society Conference on,0:1956–1963,2009.

［5］Hai Liu,Lizhuang Ma,Xuan Cai,Zhihua Chen,and Yang Shen.A closed-form solution to video mattingof natural snow[J].Inf.Process.Lett.,109(18):1097–1104,2009.

［6］Christoph Rhemann,Carsten Rother,and Margrit Gelautz[R].Improving color modeling for alpha matting.In BMVC,2008.

［7］JueWangand M.F.Cohen.Optimized color sampling for robustmatting[R].In Computer Vision andPattern Recognition,2007.CVPR’07.IEEEConferenceon,pages1–8,2007.

［8］A.Levin,D.Lischinski,and Y.Weiss.A closed form solution to natural image matting[R].In IEEEComputer Society Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,June 2006.

TP391.41

A

1672-0547（2010）03-0071-02

2010-04-25

包艷霞（1980-），女，安徽工業職業技術學院教師，碩士研究生。