中值直方圖均衡的動態場景多曝光圖像融合算法

王書朋，賀瑞，王瑜婧，趙瑤

（西安科技大學通信與信息工程學院，西安 710600）

0 概述

由于現實場景和普通圖像采集設備的動態范圍不匹配，獲取的圖像不能準確地反映場景中的細節信息［1-2］，利用多曝光圖像融合［3-4］能使一組包含不同程度細節信息的圖像表現在一幅圖像中。然而，實際場景大部分是動態的，所以攝像機捕獲的多幀圖像存在移動的物體，比如移動的行人、汽車等。融合圖像出現透明的鬼影或產生模糊，嚴重影響了融合圖像的質量并限制了許多融合算法的應用。

為解決動態場景下多曝光圖像融合所產生鬼影的問題，GALLO等［5］利用隨機樣本一致性的異常點檢測算法能夠有效消除鬼影，但在融合圖像中出現色彩失真和塊效應的情況，LIU等［6］利用尺度不變特征變換進行多曝光圖像融合，可以有效地保存輸入圖像的細節信息，但融合結果仍存在鬼影現象，PECE等［7］利用中值門限位圖進行運動區域檢測，隨后HO等［8］提出了多級門限位圖的運動區域檢測算法，但是當圖像含有大量的曝光像素時，采用中值門限位圖或多級門限位圖進行融合的結果存在鬼影、模糊和噪點現象。近年來，深度學習方法［4］被應用到HDR 圖像去鬼影中，KALANTARI等［9］將CNN 合成引入多曝光圖像融合中，在鬼影去除方面取得較好的效果，但是在光流法對齊的過程中容易引入偽影和畸變。WU等［10］提出一種ResNet 網絡，可以將多幅LDR 圖像轉換為無鬼影HDR 圖像。

為消除多曝光融合圖像中因運動物體引入的鬼影現象，本文提出一種基于中值直方圖均衡的動態場景多曝光圖像融合算法。通過中值直方圖均衡得到公共直方圖，其對于兩幅不同程度曝光的圖像能夠較好地調整亮度差異。對輸入圖像和參考圖像進行中值直方圖均衡處理能夠得到亮度分布一致的圖像對，通過對圖像對做差分，根據差分圖進行閾值分割和形態學優化得到運動權重圖，以準確地檢測運動區域。

1 運動區域檢測

在多個曝光圖像序列中選取過曝光和欠曝光像素最少的圖像作為參考圖像Iref，以其他圖像作為輸入圖像Ii(1 ≤i≤N-1)。為了檢測多個曝光圖像序列中的動態區域，需要比較輸入圖像與參考圖像的差別。由于輸入圖像和參考圖像的亮度顯著不同，因此無法直接比較兩者的內容是否相同。為解決上述問題，一種直觀的方法是通過直方圖匹配［11］調整輸入圖像的亮度分布，令其與參考圖像的亮度分布大致相同。輸入圖像經過校正后，其亮度與參考圖像相似，通過計算兩者之間的差分圖來檢測運動區域。

表示經過直方圖匹配后的輸入圖像，因此將直方圖處理后的輸入圖像和參考圖像相減得到差分圖定義為：

中值圖像均衡（MIE）運動區域檢測流程如圖1所示。

圖1 直方圖處理后的運動區域檢測結果Fig.1 Motion region detection results after histogram processing

當輸入圖像存在大量的曝光像素時，直方圖匹配后的輸入圖像和參考圖像整體亮度差異較大，由差分圖無法區分輸入圖像的運動區域與靜態區域（見圖1（c）和圖1（f））。針對這一問題，本文提出了中值直方圖均衡的圖像運動區域檢測算法。中值直方圖均衡算法是DELON等［12］在2004 年提出的，該直方圖處理算法可以描述為將兩幅圖像的直方圖調整為其調和平均數，在保持圖像原有灰度動態的前提下得到直方圖分布相同的兩幅圖像。因此，通過中值直方圖均衡算法處理輸入圖像與參考圖像的直方圖，得到曝光基本一致圖像對，如圖1（d）、圖1（e）所示。通過計算中值直方圖均衡處理后的圖像對的差分圖達到運動區域檢測的目的，再將得到的差分圖優化處理得到最終的運動目標。

MIE 運動區域檢測流程如圖2 所示。

圖2 MIE 運動區域檢測流程Fig.2 Procedure of MIE motion region detection

輸入圖像和參考圖像中值直方圖均衡的計算過程為：

其中：MMIE(·，·)表示中值直方圖均衡處理過程；和為處理后的輸入圖像和參考圖像，如圖1（d）、圖1（e）所示。將每組曝光基本一致圖像對做差分：

其中：⊙為腐蝕操作；B1為3×3 的濾波器；⊕為膨脹操作；B2是9×9 的濾波器；是優化后的運動權重圖。圖3（a）、圖3（b）分別給出了直方圖匹配和中值直方圖均衡算法得到的運動權重圖，可以看出后者檢測到的運動區域更準確。

圖3 運動權重圖Fig.3 Motion weight map

2 靜態多曝光圖像

為了得到亮度連續的靜態輸入圖像，本文利用亮度映射函數處理參考圖像。根據運動權重圖將處理后的參考圖像和輸入圖像進行加權求和，獲得同參考圖像運動內容相同的靜態圖像序列。生成靜態多曝光圖像流程如圖4 所示。

圖4 靜態多曝光圖像流程Fig.4 Procedure of static multi-exposure images

由于輸入圖像與參考圖像亮度差異大，將輸入圖像的運動區域直接替換為參考圖像對應的區域會出現圖像亮度不連續的情況。為了得到一組自然的靜態圖像序列，引入IMF［14］處理參考圖像，得到與參考圖像內容一致且與其余輸入圖像亮度分布相同的圖像序列

其中：IIMF(·)表示亮度映射函數；Ii為輸入圖像；Iref為參考圖像。

將輸入圖像序列Ii與經過亮度映射函數處理的參考圖像加權求和，便可得到結構與亮度一致的靜態圖像序列：

3 圖像融合

針對獲得的靜態圖像序列融合，本文使用MA等［15］提出的一種結構塊分解方法。首先利用滑動窗口技術在圖像中獲取大小相等的圖像塊，并將得到的圖像塊xk分解為信號強度ck、圖像結構sk和平均亮度lk3 個獨立分量［16］。

其中：表示強度分量的融合結果，圖像結構分量表征了靜態副本的細節信息。為保留源圖像的細節信息，對比不同輸入圖像的圖像塊中細節信息的豐富程度，對于包含豐富細節信息的圖像塊給予較大的權值。圖像結構分量的融合規則如式（10）、式（11）所示：

其中：為融合后的結構分量；S(·)為結構分量的權重函數；p≥0 代表一個指數參數，p越大，說明強度越強的圖像塊權值越大。平均亮度分量設計加權求和融合規則如式（12）、式（13）所示：

其中：^是融合后的亮度分量；L(μk，lk)是二維高斯函數構建的亮度分量權重；μk和lk分別表示全局和局部平均亮度；σg和σl表示標準差。x^ 融合圖像可由融合后3 個分量重構：

4 實驗結果與分析

對同一場景下曝光程度不同的圖像序列進行融合，將本文算法與DDHR［10］、FMMR［17］、DGF［18］、FMSD［19］、PMF［20］5 種算法進行對比分析。實驗環境為Intel Core i5 處理器，3 GHz 主頻，8 GB 內存，64 位Windows10 操作系統，Matlab2016a。

4.1 主觀視覺分析

為了全面地評價融合結果，圖5～圖10 給出了7 種不同算法對3 組動態多曝光圖像序列融合后的結果（彩圖效果見《計算機工程》官網HTML 版）。由圖5（b）、圖7（b）和圖9（b）可以看出，DDHR 算法融合圖像能夠消除鬼影現象，但是丟失了源圖像的色彩信息，融合圖像色彩飽和度低。從圖6（b）、圖6（c）、圖8（b）、圖8（c）和圖10（b）、圖10（c）可以看出，FMMR 算法和DGF 算法的融合結果中仍出現了明顯的鬼影，說明這兩種算法不能有效地解決運動物體對融合結果產生的影響。FMSD算法和PMF算法的融合結果在圖10（d）和圖10（e）中顯示能夠有效地去除鬼影，但是FMSD算法在Campus圖像序列如圖7（e）所示在天空云的邊緣出現了不連續的現象。從3 組圖像的局部放大圖來看，FMSD 算法和PMF 算法在顏色內容保存方面不如本文算法。PMF 算法的融合圖像在圖8（e）的路人頭部出現透明現象，在圖10（e）中的天空中大面積出現了失真，丟失了源圖像的細節信息，在局部細節信息保存方面不如本文算法。根據融合結果總體分析，本文提出的直方圖匹配融合算法（Ours1）和中值直方圖均衡融合算法（Ours2）的融合結果實現了動態多曝光融合圖像鬼影消除，相比于其他5種算法具有一定優勢。但是如圖6（f）所示，Ours1在人“手腕”的部位出現了明顯的不連續情況。因此，Ours2 方法能更大限度地保存源圖像的顏色和細節信息，其運動區域更符合人眼視覺感知。

圖5 YWFusion 圖像序列中不同算法融合結果Fig.5 Fusion results of different algorithms for YWFusion image sequences

圖6 YWFusion 圖像序列中融合結果局部放大圖Fig.6 Drawing of partial enlargement in of YWFusion image sequence fusion results

圖7 Campus 圖像序列中不同算法融合結果Fig.7 Fusion results of different algorithms for Campus image sequences

圖8 Campus 圖像序列融合結果的局部放大圖Fig.8 Drawing of partial enlargement in of Campus image sequence fusion results

圖9 Tate3 圖像序列中不同算法融合結果Fig.9 Fusion results of different algorithms for Tate3 image sequences

圖10 Tate3 圖像序列融合結果的局部放大圖Fig.10 Drawing of partial enlargement in of Tate3 image sequence fusion results

4.2 客觀指標評價

為了客觀地評估7 種算法的融合結果，本文選用標準差（SD）［21］、邊緣強度（EI）［22］、相關系數（Corr）［23］和動態場景結構一致（SSIM-d）［24］作為客觀評價指標，分別對不同動態場景下3 組多曝光圖像序列的融合結果進行評價。表1～表4 是不同算法的3 組融合結果在4 個客觀指標下的實驗數據，表中加粗數據表示在同一張圖像中取得的最優值。

表1 SD 指標對比Table 1 SD index comparison

表2 EI 指標對比Table 2 EI index comparison

表3 Coor 指標對比Table 3 Coor index comparison

表4 SSIM-d 指標對比Table 4 SSIM-d index comparison

由表1～表4 可以看出，本文提出的2 種算法在4 個客觀評價指標下得到的大部分數據處于較高水平。SD 指標代表圖像的對比度，DGF 算法、FMSD 算法和本文算法的融合結果相比其他算法處于較高的水平，說明DGF、FMSD 和本文算法融合結果的對比度較高。EI 指標表示圖像邊緣信息表達能力，Ours2 算法在YWFusion 和Campus兩組圖像中都取得了最優值，說明Ours2 算法相比于Ours1 算法能更精確地檢測到運動區域，使得融合結果更多地保留亮區和暗區邊緣信息，融合圖像層次清晰。SSIM-d 是針對動態場景下多曝光融合圖像而設計的結構相似性指標，本文的算法在Corr 和SSIM-d 2 個指標上相比于其他算法取值較優，說明本文的算法在包含源圖像信息方面性能較好。結合主觀和客觀評價可知，本文基于直方圖處理的動態多曝光融合圖像去鬼影算法優于其他算法，能夠準確地檢測出動態多曝光源圖像序列的運動區域并生成一幅自然且無鬼影的融合圖像，具有更好的融合性能。

5 結束語

本文提出一種中值直方圖均衡的動態場景多曝光圖像融合算法。利用中值直方圖均衡算法調整輸入圖像和參考圖像的亮度差異，消除了因背景曝光不同而對運動區域檢測產生的影響。根據差分法和閾值分割檢測運動區域，采用形態學處理優化運動權重圖提高源圖像中運動區域檢測的準確性。通過IMF 調整參考圖像的亮度，從而生成一組自然的靜態圖像序列。實驗結果表明，本文算法能夠消除傳統融合算法所產生的鬼影，得到一幅生動自然的融合圖像。雖然本文算法能夠產生無鬼影的融合圖像，但是算法復雜度高，在運行速度方面不具備優勢。下一步將降低算法復雜度，并將算法應用于實時圖像和視頻處理。