基于Retinex的亮度-梯度協同引導色調映射算法

方雪來, 馮象初

(西安電子科技大學 數學與統計學院, 西安 710071)

場景的動態范圍由最大和最小光照強度比率的對數定義[1]. 近年來, 高動態范圍(high dynamic range, HDR)攝影以及作為信息載體的高動態范圍圖像得到廣泛關注. 低動態范圍(low dynamic range, LDR)圖像著重于在顯示設備的亮度與顏色范圍限制下正確顯示圖像, HDR圖像的目標則是通過高精度數據盡可能地還原人眼對場景亮度和顏色等的感知[2-3]. 這一本質差異使得常規低動態范圍的顯示設備無法完整地再現HDR圖像中的信息. 因此, 需要使用色調映射(tone mapping, TM)方法在保留圖像主要信息的前提下將HDR圖像轉化為傳統顯示器可顯示的圖像.

傳統色調映射算法大致可分為亮度域和梯度域算法[4]. 亮度域算法利用諸如圖層分解、 直方圖、 人類視覺系統(human visual system, HVS)等方法處理圖像亮度. 該方法考慮如何將HDR圖像亮度壓縮到傳統顯示設備的顯示區間, 并抑制伴有的光暈、 偽影等問題. 例如, Farbman等[5]提出了基于加權最小二乘(weighted least square, WLS)的保邊濾波器, 對HDR圖像進行了多尺度的分解與融合; Liang等[6]從優化角度出發, 結合多尺度與邊緣保持濾波的思想, 針對分解后不同圖層特性引入L0,L1正則約束, 在抑制光暈的同時保持了圖像局部信息; Mantiuk等[7]使用HVS模型對比度擾動作為權值, 構建色調映射算子; Khan等[8]基于最小可見誤差(just notice difference, JND)調節圖像亮度直方圖, 并使用查找表(look-up table, LUT)進行映射. 梯度域算法直接操作圖像梯度, 圖像將基于大梯度壓縮與小梯度保持或增強的梯度域引導項進行重建. 例如, Fattal等[9]利用多尺度高斯金字塔構造壓縮函數與梯度引導項, 基于梯度引導項進行圖像重建, 具有細節保持與無光暈的優點, 但其缺乏對全局亮度的約束, 可能導致過飽和等問題; Shibata等[10]針對梯度域方法重建圖像時亮度可能超出顯示范圍的問題, 添加亮度閾值約束, 并引入WLS權重減輕光暈效應, 取得了顯著的動態范圍壓縮與局部對比度保持效果, 但可能存在低亮度區域過度增強、 自然性與視覺效果缺陷等問題. 因此, 如何提升色調映射效果并有效解決偽影、 過飽和等問題仍是一個挑戰.

針對上述問題, 本文提出一種基于Retinex理論的亮度-梯度協同引導色調映射算法. 該算法提出作用域感知的自適應對數變換(domain-aware adaptive logarithmic transformation, AdaLogT)作為亮度與梯度引導項的歸一化方法, 保障算法對不同亮度場景、 不同動態范圍圖像以及不同作用域處理方法的魯棒性; 引入Retinex分解作為亮度引導估計圖像全局亮度, 梯度引導項用于壓縮圖像動態范圍; 給出亮度與梯度引導項的協同關系, 保證圖像亮度梯度的一致性, 避免二者沖突使結果出現光暈等問題; 基于亮度與梯度引導項構建圖像優化模型, 為進一步減輕光暈效應, 模型加入指數平均局部方差權重與亮度罰函數, 加強模型與HVS感知的一致性. 本文算法充分利用并融合了亮度域算法與梯度域算法的優點, 具有良好的結構保持特性, 改善了色調映射結果光暈、 偽影以及細節丟失等問題.

1 算法設計

本文給出作用域感知的自適應對數歸一化方法, 同時設計協同的亮度和梯度引導項, 并將其通過優化模型進行組合以保證結果中場景信息的完整性和主觀一致性, 如圖1所示.

圖1 亮度-梯度協同引導色調映射算法流程Fig.1 Flow chart of luminance-gradient co-guidance tone mapping algorithm

該算法主要由自適應對數歸一化模塊、 引導項生成模塊和優化模型組成. 首先, 基于亮度域與梯度域算法不同的側重方向, 分別在亮度域與梯度域上提出不同的自適應對數歸一化方法, 并將輸入HDR圖像分別進行歸一化處理; 其次, 由歸一化結果生成對應的亮度與梯度引導項, 用于約束結果的亮度與梯度信息; 最后, 將亮度、 梯度引導項通過優化模型整合重建, 并經過色彩恢復得到輸出圖像.

1.1 亮度提取

HDR圖像擴展了LDR圖像場景的亮度動態范圍, 將HDR圖像的亮度信息與顏色信息分離處理可有效保持圖像的顏色信息, 避免色偏問題. 本文色調映射算法將輸入HDR圖像轉化至YUV顏色空間, 得到相應的亮度通道:

I=0.298 9R+0.587 0G+0.114 0B,

(1)

其中R,G,B分別為輸入HDR圖像的紅、 綠、 藍顏色通道.

1.2 作用域感知自適應歸一化

Werber-Fechner定律[11]表明HVS對亮度變化的敏感性: HVS在絕大部分亮度范圍內的響應具有對數特征, 即人眼感知亮度與場景物理亮度存在對數關系[12]. 多數色調映射算法選擇在對數域中進行計算[6,9,13-14], 但由于未考慮場景多樣性以及算法作用域的影響, 可能導致映射結果出現過飽和或曝光缺失等問題. 為解決該問題, 本文構造作用域感知自適應對數變換AdaLogT, 可由如下形式統一表示:

(2)

圖2 不同參數下歸一化映射曲線Fig.2 Normalized mapping curves under different parameters

本文分別給出亮度域算法與梯度域算法參數選取的目標函數, 用于自適應確定恰當的歸一化映射.對于亮度域算法, 引入圖像曝光改善結果曝光不均勻的問題, 并通過圖像偏度引導圖像分布的對稱性.因此基于圖像曝光等級與圖像偏度作為目標函數, 得到如下優化問題:

梯度域算法在處理HDR時, 對大的梯度處理較好, 但對細節部分的保留仍有不足[15], 小梯度更值得被關注.考慮圖像細節部分, 給出如下優化問題:

(4)

1.3 引導項生成

1.3.1 Retinex亮度引導項

圖像背景亮度與圖像結構不一致可能導致偽影與梯度反轉[10]. Retinex理論從人眼視覺感知出發有效地估計了場景的亮度與反射, 本文利用Retinex分解進行全局亮度估計:

(5)

其中Γ(·)表示Retinex算子,L為輸入圖像經Retinex算子作用后的亮度層. 本文采用單尺度Retinex算法[16]作為全局亮度的估計, 其他如結構紋理感知Retinex算法[17]等也能得到較好的結果.

1.3.2 梯度引導項

梯度域算法的梯度引導項決定了圖像動態范圍的壓縮程度, 因此構造梯度引導項時需對輸入圖像梯度進行一定程度的壓縮:

(6)

其中Λ(·)表示梯度壓縮算子,V為得到的引導梯度場.本文采用文獻[9]中方法進行梯度壓縮.

1.3.3 引導項協同參數

本文對兩者梯度的差異進行度量:

(7)

(8)

其中:β∈[0.5,1]為亮度引導項的壓縮參數;k為比例參數, 當k∈[4,5]時具有良好的視覺效果, 本文默認k=4.5.

1.4 圖像重建模型

下面提出一個具有亮度-梯度協同引導的圖像重建模型, 該模型通過亮度與梯度的共同引導增強色調映射結果的細節保持能力與主觀自然性:

(9)

(10)

%表示逐元素除法,η>1感知引導梯度場大尺度梯度, 本文默認η=1.5,ε=1×10-4.K加快平坦區域的逼近速度, 并抑制梯度變化劇烈區域的亮度逼近.G(·)為罰函數保證重建時圖像亮度不超過顯示閾值, 用公式表示為

(11)

其中umax和umin分別為顯示器顯示亮度的上、 下閾值.

根據國內外農田水利現代化發展經驗和建設實踐的探索，參照國家頒布的相關技術規范與標準，結合鄭州市實際，提出農田水利現代化建設內容，主要包括節水灌溉工程、除澇工程、雨水集蓄利用工程、農田園田化工程以及農田水利信息化工程五個方面。

由于式(9)是不可微的凸函數, 并注意到除罰函數外其余兩項是可微且凸的, 因此可用最鄰近梯度下降法[18]進行求解.

2 實驗及結果分析

下面給出證明梯度-亮度協同引導色調映射方法性能的一些實驗. 實驗中用于對照的代表性色調映射算法包括Farbman[5],Liang[6],Fattal[9],Shibata[10], 其中Farbman,Liang和Shibata源代碼從作者主頁獲得, Fattal由“HDR luminance”得到結果. 本文使用原文獻的推薦參數或程序默認參數進行實驗. 實驗選取包含室內外亮景和暗景的20張HDR圖像驗證算法的主客觀性能, 并在一些公開HDR圖像集上進行實驗, 分別為PFSTOOL HDR Gallery,Yeganeh等[19]和Xiao等[20]創建的圖像集.

2.1 主觀評價

本文算法充分考慮了圖像梯度與背景亮度, 符合HVS對場景的感知. 圖3為Memorial圖像各算法色調映射結果. 圖4為CS_WarWick圖像各算法色調映射結果.

圖3 Memorial圖像各算法色調映射結果Fig.3 Memorial image tone mapping results of various algorithms

圖4 CS_WarWick圖像各算法色調映射結果Fig.4 CS_WarWick image tone mapping results of various algorithms

由圖3和圖4可見, 本文算法取得了細節保存與圖像自然性的平衡, 圖像結構與局部細節被更好地保留在結果中. 本文算法在圖像動態范圍壓縮的基礎上保持圖像細節與背景亮度, 對動態范圍進行合理壓縮, 避免了圖3窗戶與天窗處的過飽和, 具有良好的主觀視覺效果. 在圖4中, Shibata算法[10]產生了強烈的光暈效應, 本文算法對光暈進行了有效抑制, 且其他方法均存在動態范圍壓縮不足導致的過飽和現象.

圖5為各算法室內暗景的色調映射結果比較. 由圖5可見, 相比于亮景對動態范圍壓縮的要求, 暗景更注重對圖像細節的保留, 本文算法體現了良好的細節保持特性. 由于Retinex引導項的存在, 較好地估計了圖像的亮度范圍, 結果與人眼感知更接近. 其他方法存在細節丟失和圖像整體亮度不足的問題, 且在放大區域存在不同程度的過飽和現象.

圖5 DesignCenter圖像各算法色調映射結果Fig.5 DesignCenter image tone mapping results of various algorithms

2.2 客觀評價

本文利用色調映射圖像質量指數(tone mapping quality index, TMQI)[19]對色調映射進行客觀評價. TQMI從結構保真度與自然性對圖像進行多角度評價, 并綜合給出TMQI得分, 其結果位于0～1內, 值越大代表色調映射算法在相應評價中取得的結果越好.

TMQI結構保真度基于結構相似性指數進行構造, 是一種無參考的客觀質量評價指標. 結構相似性指數考慮圖像均值、 方差, 而色調映射改變了圖像亮度與對比度, 因此TMQI結構保真度從圖像局部區域的標準差和協方差進行研究, 其局部結構保真度如下:

(12)

其中x和y分別對應HDR圖像和LDR圖像的同一像素塊,σx,σy表示HDR和LDR圖像在該區域內的標準差,σxy表示該區域的協方差,C1,C2為非負的穩定常數.

(13)

其中:Pm,Pd分別表示高斯分布與Beta分布;W為歸一化系數,W=max{Pm,Pd}.

綜合結構保真度與圖像自然性可得色調映射質量指標為

(14)

其中a∈[0,1],b,c決定其靈敏度.

表1列出了不同算法在20張HDR圖像中TMQI的平均得分. 由表1可見, AdaLogT預處理方法利用圖像統計特征增強了圖像的結構與細節信息, Retinex亮度引導項為結果的全局亮度提供了有力保障, 梯度引導項有效壓縮了圖像的整體動態范圍, 三者合力使本文算法取得了最高的TMQI質量得分與自然性得分, 并取得了次高的結構得分.

表1 不同算法的TMQI平均質量得分對比Table 1 Comparison of average quality scores of TMQI for different algorithms

此外, 本文在其他公開HDR圖像集上驗證所提算法的可行性. 表2列出了各算法在其他公開圖像集上的對比結果. 由表2可見, 不同圖像集含有更多變的場景條件, 本文在預處理中采用自適應的參數選取策略, 盡可能地考慮這些圖像特征差異對結果的影響. 最終, 本文算法在多個公開數據集中仍取得較高的TMQI質量得分, 表明了算法的魯棒性.

表2 不同算法在不同圖像集上TMQI平均質量得分對比Table 2 Comparison of average quality scores of TMQI for different algorithms on different image sets

表3為各算法在不同圖像集上的自然性得分. 由表3可見, 相比于其他算法, 本文算法具有較高的自然性得分. 事實上, 實驗圖像中包含了廣泛的圖像動態范圍變化與亮度差異. 本文算法通過Retinex亮度引導項給出了背景亮度的合理估計, 采用梯度域對圖像動態范圍壓縮盡可能地保持圖像細節, 基于模型獲得了完整統一的結果, 最終取得了較高的自然性與結構保真性得分.

表3 不同算法在不同圖像集上自然性平均得分對比Table 3 Comparison of naturalness average scores for different algorithms on different image sets

2.3 消融實驗

本文從兩方面進行消融性分析, 以驗證本文算法在色調映射中的有效性. 1) 所提出歸一化算法的有效性; 2) Retinex亮度引導項的有效性.

為驗證自適應歸一化算法的有效性, 將自適應歸一化算法移除, 改用固定參數的歸一化方法:

(15)

其中ε=1×10-4.此時式(15)等價于式(2)中p=4的情形.

表4列出了不同圖像集上、 消融性條件下TMQI得分均值. 由表4可見, 相對于固定參數的歸一化方法, 作用域感知的自適應歸一化算法在各圖像集上均取得了最優結果. Retinex項的引入不僅提升了結果的客觀評分, 同時也極大改善了圖像的主觀質量. 圖6為使用與不使用Retinex引導項時實驗結果的對比. 由圖6可見, 相對于未經Retinex引導的結果, 在合理的亮度估計引導下, 使用Retinex結果獲得了良好的背景亮度, 保留了更豐富的細節, 整體更接近視覺系統對真實場景的認知.

表4 消融性實驗TMQI平均質量得分對比Table 4 Comparison of averag equality scores of TMQI in ablation experiments

圖6 消融分析主觀效果對比Fig.6 Comparison of subjective effects of ablation analysis

綜上所述, 針對梯度域色調映射方法在圖像主觀顯示性能方面存在的不足, 利用人類視覺系統的感知能力和梯度域方法, 本文提出了一種亮度-梯度協同引導色調映射方法. 首先將圖像亮度的Retinex估計作為約束加入模型, 該方法依據圖像直方圖等統計信息構造自適應的歸一化方法, 并構造對應滿足協同關系的亮度、 梯度引導項; 然后將帶指數平均局部方差權值的亮度引導項引入模型, 以保證圖像亮度符合HVS對場景亮度的感知并抑制偽影, 用最鄰近梯度下降法求解模型; 最后將不同的圖像集用于檢驗該方法. 對比與消融實驗結果表明, 該方法具有結構保持與光暈抑制特性, 獲得了最優的色調映射性能.