區域配對引導的光照傳播視頻陰影去除方法

廖斌 吳文

摘 要：傳統方法在處理自由移動相機捕獲視頻中的陰影時，存在時空不連貫現象。為解決該問題，提出一種區域配對引導的光照傳播陰影去除方法。首先，使用基于尺度不變特征變換（SIFT）特征向量的均值漂移方法分割視頻，通過支持向量機（SVM）分類器檢測出其中的陰影;然后，將輸入視頻幀分解成重疊的二維圖像區域塊，建立其馬爾可夫隨機場（MRF），通過光流引導的區域塊匹配機制，為每一個陰影塊找到最佳匹配的非陰影塊;最后，使用局部光照傳播算子恢復陰影區域塊的光照，并對其進行全局光照優化。實驗結果表明，與傳統基于光照傳播方法相比，所提方法在陰影檢測綜合評價指標上提升約6.23%，像素均方根誤差（RMSE）減小約30.12%，且大幅度縮短了陰影處理時間，得到的無陰影視頻結果更具時空連貫性。

關鍵詞：視頻陰影;區域配對;光照傳播;陰影去除;光流

中圖分類號： TP391.41

文獻標志碼：A

Abstract： In order to solve spatio-temporally incoherent problem of traditional shadow removal methods for videos captured by free moving cameras， a shadow detection and removal approach using region matching guided by illumination transfer was proposed. Firstly， the input video was segmented by using Mean Shift method based on Scale Invariant Feature Transform （SIFT）， and the video shadow was detected by Support Vector Machine （SVM） classifier. Secondly， the input video was decomposed into overlapped 2D patches， and a Markov Random Field （MRF） for this video was set up， and the corresponding lit patch for every shadow patch was found via region matching guided by optical flow. Finally， in order to get spatio-temporally coherent results， each shadow patch was processed with its matched lit patch by local illumination transfer operation and global shadow removal. The experimental results show that the proposed algorithm obtains higher accuracy and lower error than the traditional methods based on illumination transfer， the comprehensive evaluation metric is improved by about 6.23%， and the Root Mean Square Error （RMSE） is reduced by about 30.12%. It can obtain better shadow removal results with more spatio-temporal coherence but much less time.

Key words： video shadow; region matching; illumination transfer; shadow removal; optical flow

0 引言

陰影去除在圖像識別、光照估計、虛擬現實場景生成等領域均起到了至關重要的作用。受陰影檢測識別復雜度的影響，視頻分割與物體檢測識別、圖像/視頻本征分解等領域算法的準確性和效率都會大大降低。此外，提取到的陰影可用于圖像/視頻場景編輯，從而生成更為生動的圖像/視頻效果。因此，視頻陰影去除一直是視頻處理領域的一個研究熱點。

單幅圖像陰影檢測以及去除已經得到較為深入的研究[1-6]。文獻[1]提出了一個基于成對區域的單幅圖像陰影去除方法，使用自定義的低級特征檢測陰影，然后基于物理光照模型去除陰影，但處理高清圖像效率低下;

上述方法均不能建立有效的背景模型，處理后的無陰影視頻在時空域上不能保持一致連貫性。為此，本文提出一種視頻陰影去除框架，能夠高效處理靜態相機或自由移動相機捕獲到的視頻。首先，使用連貫性的塊匹配機制和局部光照傳播最優化技術為每個陰影塊恢復其光照信息;然后，進行全局優化和陰影邊界處理。經過一系列實驗，與已有的基于光照傳播的視頻陰影去除方法相比，所提方法在效率和效果上均有較大的提升。

1 視頻陰影檢測

給定輸入視頻V（x，y，t）。其中：x，y為像素點的坐標;t為時間分量。首先，基于尺度不變特征變換（Scale Invariant Feature Transform，SIFT）對視頻進行均值漂移（Mean Shift）分割;然后，對分割后場景陰影圖像的各個區域分別提取色彩及紋理信息;最后利用文獻[1]中的支持向量機（Support Vector Machine，SVM）方法檢測出視頻中的陰影區域。

1.1 視頻分割

在陰影檢測環節，為了準確檢測出陰影的位置，使用對光照、旋轉、縮放魯棒的SIFT特征向量對視頻進行高維Mean Shift分割。

4 結語

傳統方法處理自由移動相機捕獲到的視頻時，會出現時空不連貫現象，為此本文提出了一種區域配對引導的光照傳播視頻陰影去除方法。首先，基于SIFT特征向量對輸入視頻進行分割，進而使用支持向量機分類器對分割區域進行分類，從而得到輸入視頻的陰影檢測結果;然后，將輸入視頻分割成重疊的二維圖像塊，為輸入視頻建立馬爾可夫隨機場，基于光流引導的塊匹配機制完成陰影區域的標號問題;最后，使用光照傳播技術，先完成圖像塊的局部光照傳播操作，再進行全局優化，即可得到時空連貫的無陰影視頻。實驗結果表明，本文方法具有較高的陰影檢測識別率，與文獻[14]和文獻[17]的方法相比在陰影綜合評價指標上有一定提升;復原后的圖像誤差較小，在像素的均方根誤差上有所降低;且具有較高的運行效率。未來的工作將考慮結合多尺度的方法，進一步提高算法在面對紋理復雜的視頻時的效果。

參考文獻：

[1] GUO R， DAI Q， HOIEM D. Single-image shadow detection and removal using paired regions [C]// Proceedings of the 2011 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2011： 2033-2040.

[2] ZHENG C， SUN Z-L， WANG N， et al. Moving cast shadow removal based on texture feature and color space [C]// Proceedings of the 2018 International Symposium on Neural Networks， LNCS 10878. Cham： Springer， 2018： 611-618.

[3] XIAO Y， TSOUGENIS E， TANG C. Shadow removal from single RGB-D images [C] // Proceedings of the 2014 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014：3011-3018.

[4] KHAN S H， BENNAMOUN M， SOHEL F， et al. Automatic shadow detection and removal from a single image[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（3）： 431-446.

[5] QU L， TIAN J， HE S， et al. DeshadowNet： a multi-context embedding deep network for shadow removal [C]// Proceedings of the 2017 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2017： 2308-2316.

[6] 李鵬偉，葛文英，劉國英.基于陰影概率模型的遙感影像陰影檢測方法[J].計算機應用，2015，35（2）：510-514. （LI P W， GE W Y， LIU G Y. Shadow detection method based on shadow probability model for remote sensing images[J].Journal of Computer Applications， 2015， 35（2）： 510-514.）

[7] JAYNES C O， WEBB S B， STEELE R M. Dynamic shadow removal from front projection displays： US7133083[P]. 2006-11-07.

[8] LEONE A， DISTANTE C， ANCONA N， et al. Texture analysis for shadow removing in video-surveillance systems [C]// Proceedings of the 2004 IEEE International Conference on Systems， Man and Cybernetics. Piscataway， NJ： IEEE， 2004： 6325-6330.

[9] JUNG C R. Efficient background subtraction and shadow removal for monochromatic video sequences [J]. IEEE Transactions on Multimedia， 2009， 11（3）：571-577.

[10] LIU Z， HUANG K， TAN T， et al. Cast shadow removal combining local and global features [C]// Proceedings of the 2007 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2007： 1-8.

[11] MARTEL-BRISSON N， ZACCARIN A. Learning and removing cast shadows through a multidistribution approach [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（7）： 1133-1146.

[12] HUANG J B， CHEN C S. Moving cast shadow detection using physics-based features [C]// CVPR 2009：Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2009： 2310-2317.

[13] BENEDEK C， SZIRANYI T. Bayesian foreground and shadow detection in uncertain frame rate surveillance videos [J]. IEEE Transactions on Image Processing， 2008， 17（4）： 608-621.

[14] XIAO C， SHE R， XIAO D， et al. Fast shadow removal using adaptive multi-scale illumination transfer [J]. Computer Graphics Forum， 2013， 32（8）：207-218.

[15] AMATO A， MOZEROV M G， BAGDANOV A D， et al. Accurate moving cast shadow suppression based on local color constancy detection [J]. IEEE Transactions on Image Processing， 2011， 20（10）： 2954-2966.

[16] LIU Z， HUANG K， TAN T. Cast shadow removal in a hierarchical manner using MRF [J]. IEEE Transactions on Circuits & Systems for Video Technology， 2012， 22（1）： 56-66.

[17] ZHANG L， ZHANG Q， XIAO C. Shadow remover： image shadow removal based on illumination recovering optimization [J]. IEEE Transactions on Image Processing， 2015， 24（11）： 4623-4636.

[18] COMANICIU D， MEER P. Mean Shift： a robust approach toward feature space analysis [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（5）： 603-619.

[19] ADAMS A， GELFAND N， DOLSON J， et al. Gaussian KD-trees for fast high-dimensional filtering [J]. ACM Transactions on Graphics， 2009， 28（3）： Article No. 21.

[20] MARTIN D R， FOWLKES C C， MALIK J. Learning to detect natural image boundaries using local brightness， color， and texture cues [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2004， 26（5）： 530-549.

[21] NG H-F， CHEN I-C， LIAO H-Y. An illumination invariant image descriptor for color image matching [EB/OL]. [2018-04-11]. http：//pdfs.semanticscholar.org/56cb/21b1ff1c82e1fa78ed64e4671 80b858d09c2.pdf.

[22] HUANG J-B， KANG S B， AHUJA N， et al. Temporally coherent completion of dynamic video [J]. ACM Transactions on Graphics， 2016， 35（6）： Article No. 196.

[23] SHOR Y， LISCHINSKI D. The shadow meets the mask： pyramid-based shadow removal [J]. Computer Graphics Forum， 2008， 27（2）： 577-586.

[24] PRATI A， MIKIC I， TRIVEDI M M， et al. Detecting moving shadows： algorithms and evaluation [J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2003， 25（7）：918-923.