結合飽和度調節的單曝光HDR圖像生成方法*

張媛媛,張紅英

(西南科技大學 信息工程學院,四川 綿陽 621010)

0 引 言

在數字圖像領域,動態范圍是指圖像場景中最大亮度值與最小亮度值之比. 圖像的動態范圍越大,即拍攝圖像時所探測的光照強度范圍越廣,圖像呈現的細節信息越豐富. 但由于目前成像設備技術的限制,通常只能捕獲有限的動態范圍,導致所獲得的圖像存在細節缺失,與人眼感知的現實場景不符. 而高動態范圍(high dynamic range,HDR)圖像相比于普通圖像可提供更大的動態范圍和更豐富的細節信息,與人眼觀察到的場景更相符[1].

隨著科技的發展,人們對圖像質量的要求越來越高,HDR顯示技術得到快速發展. 能顯示動態范圍為105數量級的顯示屏已被應用,但由于價格昂貴,還未得到廣泛使用[2]. 目前大多數圖像資源都是低動態范圍(low dynamic range,LDR)的,無法適應HDR顯示技術的發展. 因此,如何將LDR圖像資源轉換成HDR圖像資源受到廣泛關注. 目前,該領域多數研究都是利用計算機圖像處理技術對LDR圖像進行處理生成HDR圖像,主要有多曝光圖像融合和單曝光圖像生成兩種. 多曝光融合的方法需要同一場景中的多幅不同曝光程度的圖像,對場景的靜態性要求較高,也因為其需要多幅圖像,而無法處理一些已有的資源. 單曝光圖像的生成方式是構建擴展函數完成圖像動態范圍的擴展,其研究難點在于單幅圖像存在細節的缺失以及圖像動態范圍擴展后存在顏色失真的問題. 本文主要考慮單曝光生成的方法.

從單幅圖像生成HDR圖像就是對其動態范圍進行擴展. 一幅圖像從低動態范圍擴展到高動態范圍過程中,反色調映射[3]是關鍵. 反色調映射算子是對色調映射過程的反變換,其決定了圖像動態范圍的擴展方式以及擴展后圖像的動態范圍大小. 目前已有的單幅圖像生成HDR圖像的方法主要有全局擴展、分類擴展以及基于這兩種擴展模型的衍生模型[4]. 全局擴展是對圖像中的每個像素都用相同的擴展函數,該類方法通常較簡單,計算速度快,但由于用相同函數處理,可能對部分區域處理效果不佳,通常需對該部分區域進行一些其他處理. 分類擴展是指根據LDR圖像中的內容對圖像分區,然后再對不同區域采取不同的策略進行處理,該類方法易出現區域分割的現象. 目前使用較多的是基于全局擴展,然后再局部處理的擴展模型. Landis[5]提出了一種基于功率函數的全局算子,對大于閾值的像素點做線性擴展,而小于閾值的像素點保留原值,從而產生HDR圖像,該方法計算簡單,但由于未對圖像進行修正,因此圖像易出現不連續現象; Banterle等[6]通過對文獻[7]提出的色調映射函數取反的方式得到一個反色調映射算子,先將圖像映射到一個中等的動態范圍,再通過中值切割法分離圖像過曝光區域,然后進行過曝光區域的擴展,最后融合得到最終的HDR圖像,但該方法復雜度高,對硬件的要求較高；Akyüz等[8]通過兩個心理學實驗提出LDR圖像并非一定要經過復雜的處理才能產生HDR圖像,并提出一種簡單的線性映射算法,但在處理一些圖片時,存在一定的顏色失真; Masia等[9]通過分析已有的反色調映射算子,提出了一種自適應Gamma變換的動態范圍擴展方法,但這種擴展方法需要輸入質量較高的LDR圖像; Huo等[10]提出了一種基于視網膜反應的反色調映射算法,該算法將亮度通道和顏色通道進行分離,只對亮度分量做處理,較好地保留了原始圖像的色彩信息；Kovaleski等[11]提出了一種交叉雙邊的反色調映射算法,運行速度較快,但該方法也存在一定的顏色偏差.

本文提出一種結合飽和度調節的單幅圖像生成HDR圖像的方法. 首先將圖像轉換至HSV顏色空間,分離亮度和飽和度信息; 再對亮度分量進行反色調映射,對飽和度分量進行線性拉伸；然后根據飽和度與亮度的相關性,結合新亮度,對新飽和度分量進行調整,得到最終的飽和度分量；最后結合新的各分量,得到HSV顏色空間的HDR圖像,轉換至RGB顏色空間得到最終的HDR圖像. 實驗結果表明,本文方法能在有效擴展圖像動態范圍的同時,避免圖像因飽和度與亮度不匹配導致的泛白現象,能產生更符合人眼視覺特性的HDR圖像.

1 算法框架

在數字圖像處理中,通常用RGB彩色模型. 該模型圖像由紅、綠、藍3個分量組成,可視為是3幅灰度圖像的堆疊,通過不同的灰度值構成一幅彩色圖像. 但該模型3個分量的相關度較高,在圖像處理過程中,直接對其進行處理很容易導致圖像色彩的失真,使人眼對色彩的感知不理想. 因此通常將圖像轉換到其他色彩空間進行處理. 當人眼感知顏色時,通常用色調、飽和度和亮度描述. 在用單幅圖像生成HDR圖像的過程中,動態范圍擴展后的圖像通常會因為亮度的改變而使人眼對色彩飽和度的感知出現偏差,以至于人眼觀測到的圖像出現泛白現象. 因此,HDR圖像生成過程中不僅要考慮反色調映射算子的構建,還要考慮圖像色彩信息的保留與恢復. HSV彩色模型通過色調、飽和度和亮度3個分量描述顏色,將亮度信息與色彩信息分離,可以很好地滿足亮度與色彩分離處理的特點.

基于上述分析,本文提出一種結合飽和度調節的單幅圖像生成HDR圖像的方法,其算法框架如圖1所示. 算法主要思想是對圖像的亮度和飽和度都做處理,以確保動態范圍擴展后的圖像不會出現因為亮度與飽和度不匹配而產生的圖像泛白現象. 算法主要步驟如下：

1) 將原始LDR圖像由RGB顏色空間轉換到HSV顏色空間；

2) 對亮度分量進行反色調映射,提取高光區域并進行校正,結合低光區域,得到新亮度分量；

3) 對飽和度分量進行線性拉伸得到一個拉伸后的飽和度分量；

4) 通過原始亮度和飽和度分量計算其相關系數,并結合新亮度分量對拉升后的飽和度分量進行調整,得到新飽和度分量；

5) 將新亮度分量與新飽和度分量以及色調分量相結合得到HSV色彩空間的HDR圖像,再轉換至RGB顏色空間,獲得最終的HDR圖像.

圖1 算法框圖Fig.1 Block diagram of algorithm

2 算法實現過程

2.1 HSV顏色空間轉換

HSV顏色空間通過色調(H)、飽和度(S)、亮度(V)表示顏色,可很好地分離圖像的色彩信息與亮度信息. 當圖像的亮度信息發生改變時,不影響色調與飽和度之間的關系,能較好地保留圖像的色彩信息. 將RGB圖像轉換到HSV顏色空間的計算公式如下：

V=max{R,G,B},

(1)

其中,max{R,G,B}表示求像素點的RGB分量的最大值,min{R,G,B}表示求像素點的RGB分量的最小值.

2.2 反色調映射

本文采用一種非線性變換的S型函數構建反色調映射函數,公式為

(2)

圖2 不同E值擴展前后的變化曲線Fig.2 Variation curves of different E values before and after expansion

其中V為原始圖像亮度,V′為擴展后圖像亮度,m為原始圖像亮度最大值和最小值的平均值,E為斜率控制因子.E決定了擴展后圖像的動態范圍,其取值不宜過大,否則圖像易出現截斷現象. 圖2為不同E值對應的擴展曲線. 由圖2可見,當E值增加時圖像有更大的拉升,但當E值超過一定范圍時,圖像會出現截斷現象,陰暗區域的細節消失. 圖3為不同E值擴展前后圖像對比. 由圖3可見,當E=6時,圖像陰暗區域的細節開始消失,當E=10時,圖像截斷現象十分明顯. 因此本文考慮E增大暗部細節消失的情況,選取E=3.

采用上述函數對動態范圍進行擴展后,圖像的高亮度區域變得更明亮,而人眼對高亮度區域的感知很敏感,高亮區域會影響人眼對周圍區域的細節感知. 為使高亮度區域更符合人眼的視覺特性,需對其進行校正. 本文通過閾值法分離出高亮區域,公式如下：

(3)

Vh=V′·Vbw,

(4)

其中τ為亮度閾值. 在一幅取值為[0,255]的圖像中,將值大于190的點視為亮點,歸一化值約為0.75,將其代入式(2),可求出對應的τ值. 經計算當E=3時,τ=0.77.

圖3 不同E值擴展前后圖像對比Fig.3 Comparison of images of different E values before and after expansion

提取出高亮區域后,先對其進行歸一化處理再進行Gamma校正,公式如下：

(5)

本文取γ=2.2. 圖像的高亮區域如圖4所示,其中：(A)為閾值法提取的圖像高亮區域; (B)為通過Gamma校正的高亮區域.

圖4 圖像的高亮區域Fig.4 Highlight area of images

將校正后的高亮區域先通過線性函數去歸一化得到校正后的高亮區域圖像,再結合擴展的其他區域亮度值得到最終亮度,公式如下：

(6)

圖像經過反色調映射的結果如圖5所示,其中: (A)為原始圖像；(B)為反色調映射結果. 由圖5可見,經過反色調映射的HDR圖像能展現原始圖像較黑暗的一些區域,但出現了圖像泛白現象,人眼感知的顏色不鮮亮. 導致這種情況的原因是：在動態范圍擴展后,圖像亮度更高,但圖像顏色的飽和度未發生變化,亮度和飽和度不匹配,使人眼對色彩的感知下降.

圖5 原始圖像與反色調映射結果對比Fig.5 Comparison of original image and inverse tone mapping result

2.3 飽和度調節

飽和度表示顏色的鮮亮程度,即顏色的純度. 飽和度數值越高,顏色的純度越高; 反之,顏色的純度越低. 為使動態范圍擴展后的圖像更符合人眼對色彩感知的視覺特性,需對飽和度進行調節.

圖6 飽和度分區示意圖Fig.6 Schematic diagram of saturation zoning

本文采用飽和度分區統計調節算法[12]對飽和度進行線性拉伸. 首先,將圖像飽和度平均分為4個區域,分別表示飽和度很低、飽和度低、飽和度高和飽和度很高,分區方式如圖6所示; 然后,分別計算4個區域像素所占的比例,得到分別對應4個區域的比值μ1,μ2,μ3,μ4；最后,通過對比值進行加權計算得到飽和度調整系數ΔS,ΔS的經驗計算公式[13]為

β=-0.40μ1-0.12μ2+0.19μ3+0.83μ4,

ΔS=-4.427β+3.354.

(7)

為使調整后的飽和度不超過上限值,規定飽和度超過某個值Sc時改變調整系數,Sc的值為飽和度拉伸后達到上限3/4時的原始飽和度值,即原始飽和度值乘以調整系數后值為0.75的原始飽和度值. 因此,飽和度拉伸公式為

(8)

由于人眼在圖像很亮或很暗的情況下,對色彩飽和度的感知會下降,對飽和度的變化不敏感,同時,在HSV顏色空間中,飽和度和亮度存在一定的聯系[14],因此可通過亮度與飽和度的相關性,對飽和度做出自適應調整,使其更符合人眼對色彩的感知,用公式表示為

S′(x,y)=Se(x,y)+(|V′(x,y)-V(x,y)|)·σ,

(9)

其中:S′(x,y)表示調整后的飽和度值;Se(x,y)表示分段線性拉伸后的飽和度值;V′(x,y)表示反色調映射后的歸一化亮度值;V(x,y)表示原始亮度值;σ為亮度與飽和度的相關系數,計算公式為

(10)

為體現調節飽和度對圖像色彩的影響,選用一張色彩鮮艷的圖片進行展示,如圖7所示,其中：(A)為原始圖像；(B)為反色調映射后的圖像; (C)為飽和度線性拉伸結果; (D)為通過飽和度與亮度相關系數調整后結果. 由圖7可見,飽和度線性拉升后,圖像顏色有了明顯增強. 在結合相關系數調節后,人眼觀測到的圖像顏色更鮮亮,更符合人眼的視覺特性.

圖7 飽和度調節前后結果對比Fig.7 Comparison of results before and after saturation adjustment

綜上,可得本文算法步驟如下.

輸入: LDR圖像;

輸出: HDR圖像;

1) 將輸入的LDR圖像從RGB顏色空間轉化至HSV顏色空間,分離出色調(H)、飽和度(S)和亮度(V)分量；

2) 對亮度分量進行反色調映射,得到反色調映射后亮度分量V′;

3) 對步驟2)的亮度分量V′進行高光區域提取,分離出高光區域和低光區域;

4) 將步驟3)分離出的高光區域先進行歸一化后,再進行Gamma校正;

5) 將步驟4)得到的高光區域通過線性函數去歸一化得到校正后的高光區域;

6) 將步驟5)得到的高光區域和步驟3)分離出的低光區域進行融合得到最終的亮度分量V″;

7) 將飽和度分量進行線性拉伸,得到拉伸后的飽和度分量S′;

8) 計算原始亮度分量V和原始飽和度分量S之間的相關性,得到相關系數σ;

9) 通過步驟6)得到的亮度分量V″和步驟8)的相關系數對步驟7)得到的飽和度分量S′進行自適應調整,得到最終的飽和度分量S″;

10) 將步驟1)的色調分量H、步驟6)的亮度分量V″和步驟9)的飽和度分量S″相結合,得到HSV顏色空間的HDR圖像;

11) 將HSV顏色空間的HDR圖像轉化至RGB顏色空間,得到最終的HDR圖像.

3 實驗結果與分析

本文利用多幅不同場景的圖像進行實驗. 在CPU為CoreTMi5-2450M,2.5 GHz,內存為4 GB的計算機上使用MATLAB R2016a對本文算法進行實驗驗證,并將本文算法實驗結果與Masia算法[9]和Kovaleski算法[10]進行對比. 為方便圖像比較,將生成的HDR圖像均經過文獻[7]的色調映射算法使其能在普通顯示器上顯示.

3.1 主觀評價

圖8 不同算法處理圖像的結果對比Fig.8 Comparison of image processing results for different algorithms

圖8為實驗中部分圖像經不同算法的處理結果,其中: (A)為原始圖像；(B)為Masia算法處理后的圖像; (C)為經Kovaleski算法處理后的圖像; (D)為經本文算法處理后的圖像; (E)為用于參考的標準HDR圖像. Masia算法通過計算亮度分量的幾何平均值確定Gamma值,能對不同的圖像進行自適應的動態范圍擴展,對高質量的圖像表現較好,但處理后的圖像存在泛白現象,色彩不夠鮮亮. 同時Masia算法在原始圖像為全黑色的部分易出現偽像,如圖8(B)中第四幅圖像中黑色部分. Kovaleski算法通過對圖像進行交叉雙邊濾波擴展動態范圍,提高了計算速度,但也存在圖像泛白現象,如圖8(C)中顏色豐富的第五幅圖像. 本文算法不僅對亮度分量進行了動態范圍擴展,也對飽和度分量進行了處理,使圖像在亮度變化的同時飽和度也隨之調整,避免了圖像在動態范圍擴展后出現顏色失真泛白的現象,更接近標準的HDR圖像.

3.2 客觀評價

首先,根據圖像動態范圍計算公式[15]:

D=max_I/min_I,

(11)

對比圖像動態范圍. 其中max_I和min_I分別表示圖像亮度最亮點和最暗點的亮度值. 不同算法的對比結果列于表1. 由表1可見,3種算法都可將圖像由低動態范圍擴展到高動態范圍,但本文的動態范圍擴展更大.

表1 不同算法的動態范圍

除圖8展示的6幅圖像外,還隨機選取20幅圖像進行算法驗證,其動態范圍對比結果如圖9所示. 為方便統計,將計算的動態范圍進行了對數運算,只觀察數量級的變化,圖9縱軸表示動態范圍的數量級. 由圖9可見,本文算法能有效擴展圖像動態范圍.

圖9 不同算法動態范圍的對比Fig.9 Comparison of dynamic ranges for different algorithms

其次,通過結構相似度函數(structural similarity,SSIM)[16]以及用于HDR圖像質量評價的HDR-VDP(high dynamic range visual difference predict)方法[17]對本文算法生成的HDR圖像進行客觀評價.

結構相似度函數衡量圖像亮度、對比度和結構變化3個量的符合效果. 兩幅圖像越相似,結果越接近1,計算公式如下:

(12)

表2 不同算法的SSIM結果

圖10為不同算法對20幅圖像的SSIM計算結果對比. 由圖10可見,本文算法與Maisa算法結果類似,能較好地保留圖像的結構. HDR-VDP是基于人類視覺差異評估兩幅圖像之間相似性的方法. 由于兩幅圖像的差異是由不同噪聲輸入引起的,因此該方法首先模擬人眼的光學特性和視網膜通路,再通過噪聲模擬及多尺度分解算法模擬光在人眼內部的散射過程,以此模擬人眼對HDR圖像的處理過程,并對結果打分,最高值為100,表示兩幅圖像完全相同. 經不同算法處理后與參考HDR圖像進行比對的結果列于表3. 圖11為不同算法對20幅圖像的HDR-VDP計算結果對比. 由圖11可見,除個別圖像外,本文算法結果均較好.

圖10 不同算法SSIM結果的對比Fig.10 Comparison of SSIM results for different algorithms

表3 不同算法的HDR-VDP結果

圖11 不同算法HDR-VDP結果的對比Fig.11 Comparison of HDR-VLP results for different algorithms

對比表2和表3及圖10和圖11的結果可見,本文算法的SSIM和HDR-VDP結果較好,說明本文算法能在擴展圖像動態范圍的同時,較好地保留圖像的色彩信息,產生顏色鮮亮的HDR圖像.

綜上可見,針對當前單曝光HDR圖像生成方法幾乎都僅對亮度分量進行動態范圍擴展,而未考慮擴展后的亮度分量與原飽和度不匹配,導致所生成的HDR圖像出現泛白現象的問題,本文提出了一種結合飽和度調節的單曝光HDR圖像生成方法. 該方法首先將RGB顏色空間圖像轉換至HSV顏色空間,對亮度分量進行反色調映射和高光區域校正,同時對飽和度分量線性拉伸,再根據亮度和飽和度的相關性,利用擴展后亮度對拉伸后的飽和度分量進行微調; 其次,將得到的新亮度分量與新飽和度分量結合色調分量進行融合,得到HSV顏色空間的HDR圖像; 最后將其轉換至RGB顏色空間得到最終的HDR圖像. 實驗結果表明,該方法能避免在圖像動態范圍擴展后,HDR圖像色彩出現失真泛白的現象,可獲得更好的視覺效果. 但由于該算法主要考慮圖像色彩的恢復,采用簡單的反色調映射算法,導致某些圖像在一定程度上存在細節的損失,因此還需要對反色調映射算法進行改進,以保留更多的細節信息,同時提高算法效率.