基于多曝光融合與超分辨率的單圖像陰影去除＊

張新怡，端木春江

(浙江師范大學物理與電子信息工程學院，浙江 金華 321004)

0 引言

現今計算機視覺領域的基本任務如檢測、識別、分類、分割等，已經在一定條件下達到了較高的準確率。然而，現有技術大多只能在特定條件下進行圖像處理，例如常有指定的光照、背景和目標姿態等要求。其中，陰影對圖像的進一步處理造成較嚴重的阻礙。通常的解決辦法是在數據采集的源頭上避免陰影的產生。然而在真實世界中，背景信息的龐雜導致各種不可避免的陰影，這非常考驗各類算法的魯棒性。圖像陰影去除，對各類計算機視覺任務的預處理階段有幫助，有一定的研究價值和現實意義。

1 相關工作

隨著深度學習的發展，基于深度學習的圖像去陰影研究以其無需手動標記的全自動特性逐漸展現出較強的優勢。Qu等人提出Deshadow-Net[1]網絡模型，該方法不需要對陰影進行預測，而是直接去除比傳統方法有性能上的提升。Wang等人提出的ST-CGAN[2]網絡模型聯合進行陰影檢測和陰影去除。ST-CGAN之后，涌現出了一批利用生成對抗網絡(GAN)進行陰影去除的網絡模型，具有代表性的如Hu 等人提出的Mask-ShadowGAN[3]模型。除此之外，Hu 等人提出DSC[4]方法，利用方向感知上下文來改進陰影檢測及去除；Le 等人提出SP+M-Net[5]模型，從陰影分解的角度提出了新的陰影去除方法；Fu[6]等人提出從圖像融合角度提出新的陰影去除的方法。

2 基于多曝光融合與超分辨率的耦合反饋網絡

2.1 網絡模型

去陰影網絡總體由兩部分構成，多重曝光網絡與多曝光融合與超分辨率耦合反饋網絡，其兩部分構成關系如圖1所示。

圖1 網絡模型

圖1 中，網絡輸入為陰影圖像與其對應的掩膜圖像。這樣成對的陰影-掩膜圖像作為網絡的共同輸入，首先送入多重曝光網絡，對陰影圖像做多次過曝光處理，輸出生成多幅過曝光圖像，曝光后圖像的陰影區域與原圖像的非陰影區域有相同的顏色以及亮度，此后其共同作為下一模塊的輸入。此時的問題轉化成如何把陰影圖像的非陰影區域與多重過曝光圖像的陰影區域結合成統一模式，本文提出多曝光融合與超分辨率耦合反饋網絡SR-MEF-net，利用圖像融合的方式對多重曝光圖像進行融合，同時用超分辨率方法，降低融合過程中圖像的退化程度。

2.2 SR-MEF-net

本文提出一種多曝光融合級聯超分辯率模塊的耦合反饋的神經網絡，旨在充分利用圖像融合以及超分辨率之間的交互與協作，以一對陰影與其對應的掩膜圖像生成一幅高分辨率的去陰影圖像。其模塊化網絡結構如圖2所示。

圖2 SR-MEF-net網絡結構

提取的初級特征送入超分辨率模塊（SRB），提取圖像的更多高級特征Gi，為后續的融合模塊提供支持。此時圖像高級特征為初始高級特征

此時取高分辨率特征直接送入重建模塊（R），能夠得到對應的超分辨率殘差，并與低分辨率圖像的上采樣進行加和，即可生成原低分辨率陰影圖像的超分辨率重建圖像ISR。

G和的目的在于，提供互補信息用來提高融合性能。然而經過單個MCFB 不能令圖像之間的特征充分得到反饋而收集到足夠的融合信息，所以在模型種設置T 個MCFB，每個MCFB 的輸出是具有更高融合特征的，此時的得到充分的反饋信息：

經過T個MCFB輸出充分融合后的融合高分辨率特征。融合高分辨率特征送入重建模塊（R），得到對應的融合超分辨率殘差圖像，并與LR 圖像的上采樣級聯，即可生成對應具有融合特征的超分辨率圖像：

為具有融合特征的高分辨率圖像。得到N 個具有高度融合特征的超分辨率圖像后，進行加權融合后，得到最終的陰影去除圖像Iout：

ωi為各自對應的權重，Iout為最終輸出的陰影去除后的超分辨率重建圖像。

2.3 損失函數

陰影去除網絡的損失函數由三部分構成：①在多重曝光網絡中，生成一系列多重過曝光圖像Ii與地面真實圖像Ifree之間的損失，以均方誤差作為損失函數。②在SR-MEF-net 中，地面真實圖像Ifree與其未經融合的超分辨率重建圖像ISR與之間的損失，以平均結構差異指數度量作為損失函數。③在SR-MEF-net 中，地面真實圖像Ifree與經過SR-MEF-net 曝光融合過后的超分辨率重建去陰影圖像Iout之間的損失，以L1 損失作為損失函數。

由于網絡是端到端訓練的，三種損失配以各自的權重，其和為本陰影去除網絡的總損失函數。通過最小化損失函數實現對網絡的訓練。

3 實驗結果與分析

與其他去陰影研究保持一致，采用RMSE 作為評價陰影去除網絡性能的指標，包括陰影區域，非陰影區域以及整體圖像的RMSE。采用峰值信噪比PSNR和結構相似度SSIM 作為評價SR 性能的指標。對于公開去陰影模型，選取DSC[4]、Fu et.al[6]、SP+M+D-net[5]；對于超分辨率重建模型，選取EDSR[7]、RCAN[8]、SRFBN[9]進行對照。表1、表2為ISTD+數據集上放大因子為×2時，描述超分辨率性能和去陰影性能的數據指標。

表1 ISTD+數據集上放大因子為×2時，描述超分辨率性能的指標

表2 ISTD+數據集上放大因子為×2時，描述去陰影性能的指標RMSE

可以發現，本文模型較其他方法有一定的性能提升，在SR 表現上，本文方法比次優方法PSNR 提高了2.333dB，SSIM 提高了0.0318。在陰影去除表現上，本文方法比次優方法RMSE-Shadow 降低了8.0730，RSME-Non降低了4.041，RMSE-All降低了5.3393。

圖3 為ISTD+數據集上放大因子為×2 時不同方法的陰影去除超分辨率重建圖像。可以觀察到，本文方法能夠在有效去除陰影的同時，最大程度地保持圖像質量。其他方法或不能完全去除陰影，或在陰影去除過程中產生了不理想的模糊和噪聲。

圖3 放大因子為×2視覺對比

4 總結與展望

本文提出一種基于圖像融合與圖像超分辨率重建相結合的方法用于圖像陰影去除。通過LR 多重過曝光圖像作為網絡輸入，以耦合反饋的方法將多重圖像進行融合生成無陰影圖像，同時能有效減少圖像失真，最終輸出無陰影的超分辨重建圖像。在公共數據集上得到驗證，并證明優于部分方法。受計算資源的限制，本文訓練集較小，在今后的工作中，可以選用更大的數據集，提高泛化能力。