色度亮度協同濾波的色調映射算法

朱世松，秦 嬴，鄭艷梅，蘆碧波

(河南理工大學 計算機科學與技術學院，河南 焦作 454000)

1 引 言

在真實物理環境中，亮區和暗區之間的亮度跨度極大。亮區亮度值可達102cd/m2，暗區的亮度值只有10-3cd/m2，亮暗場景之間的動態范圍比值更達到108∶1[1]。高動態范圍(High dynamic rang，HDR)圖像是可以同時有效涵蓋亮暗區域的圖片，并保留真實的細節信息。但現存絕大部分顯示設備亮度范圍僅有102，無法直接顯示HDR圖像。為了解決該問題，需要運用色調映射這一軟件技術[2]，以避免花費巨資大批量更換硬件設備。

色調映射技術主要對高動態范圍圖像進行亮度范圍壓縮，并有效顯示圖像的對比度、細節、色彩等信息。現有色調映射算法主要分為3大類：全局色調映射、局部色調映射和混合色調映射。全局色調映射是對圖像整體做出映射改變。Khan等人[3]提出使用亮度直方圖構造查找表(LUT)用于色調映射，該算法通過構造直方圖，利用人類視覺系統的特點加強視覺識別強度，算法復雜度低，能較好地顯示圖像。Yang等人[4]提出一種三步自適應圖像動態范圍調整算法，利用兩個Gamma函數來調整該亮度，最后再進行融合，可以有效壓縮圖像的動態范圍，圖像對比度好。全局色調映射算法復雜度較低，但整體關聯性高造成局部細節信息減弱。局部色調映射根據像素值之間的關系以及亮度范圍的不同對圖像進行區域映射。Kou等人[5]提出一種梯度域引導濾波結合一階邊緣感知約束算法，可以更好地保留邊緣，降低光暈的現象。蘆碧波等人[6]提出一種改進的多尺度Retinex色調映射算法，運用引導濾波對亮度信息進行分層，經過一系列粗化圖像將反射層進行分解重構。馮維等人[7]提出一種改進的梯度域和色彩校正模型的自適應色調映射算法，對亮度使用了高斯金字塔以及泊松方程，同時利用顏色校正技術，可以改善顏色的色偏問題。局部色調映射輸出圖像的對比度、細節等方面都得到了較好的增強，但算法復雜度較高，同時會產生輪廓虛假、光暈偽影等現象[8]。混合色調映射的提出是為了解決全局映射對比度較低和局部映射復雜度高的問題而融合的映射算法。Ok等人[9]將自適應參考值和差分壓縮相結合提出一種混合色調映射算法，使用質量度量方法來保留明暗區域的細節。邵華等人[10]提出一種人眼感知驅動的成分分解色調映射算法，首先對全局亮度使用非線性校正函數，再通過引導濾波對圖像進行分層處理。現有的色調映射技術主要是通過處理圖像亮度信息解決難以顯示問題，并提高圖像的局部細節，但在色彩方面，由于沒有有效地分離出顏色信息，處理方法通常較為簡單。

針對上述問題，本文在色度亮度(Chromaticity brightness，CB)顏色空間中提出了一種基于協同濾波的色調映射算法。該算法首先將HDR圖像通過CB顏色空間提取出亮度信息和色度信息，運用雙邊濾波技術分解亮度信息并重構，運用協同濾波技術對色度信息分解并重構。在對高動態范圍圖像進行范圍壓縮的同時，可以更好地保持圖像中的細節和邊緣信息以及提高色彩質量。

2 色度亮度協同濾波的色調映射算法

2.1 流程算法

現有的基于分解的色調映射算法中，主要是對亮度信息進行分解和重構，顏色信息采用簡單的RGB三通道等比例伽馬校正進行處理，其比例值取決于映射前后的亮度比值。這樣的計算方式無法有效對圖像的顏色進行增強等處理。為此，本文在色度亮度空間中將亮度和色度信息進行有效分離，并設計算法同時對這兩種信息進行分解和重構，得到色調映射之后的圖像。算法流程圖如圖1所示。

2.2 CB顏色空間

彩色圖像在RGB顏色空間中表示方式如下：

I:Ω→R3={r(x,y),g(x,y),b(x,y)}，

(1)

在采集和傳輸圖像數據的過程中，通常會產生噪聲和模糊。RGB顏色空間實現過程簡單、處理速度快。但由于彩色圖像中的RGB三個通道之間相互有著很高的關聯性，將其分開處理可能會導致最終的圖像出現失真的現象，降低輸出圖像的質量[11]。為有效分離顏色和亮度信息，本文采用式(2)、(3)將HDR圖像分為亮度信息B和色度信息C：

(2)

(3)

其中：I表示輸入色彩圖像，B表示在RGB顏色上向量的長度，C表示單位長度上的色彩信息。圖2給出對一個HDR圖像在CB顏色空間中進行分解之后得到的亮度和色度信息。圖2(a)是對HDR圖像進行線性顯示的結果，圖2(c)中可以看到原圖中包含的天空、樹木等豐富顏色信息。

圖2 HDR圖像的CB顏色分解

2.3 亮度信息處理

2.3.1 歸一化

人類視覺系統對亮度的感知與對數域形式相近，因此將亮度信息轉化至對數域。由公式(2)獲取HDR圖像的亮度信息后，將亮度信息轉化至對數域。為了后續數據處理的方便，需要將對數域處理過的亮度進行歸一化，處理公式如下：

(4)

其中：B為輸入圖像亮度信息，Bmax和Bmin分別是亮度信息的最大值和最小值。

2.3.2 雙邊濾波

為了使圖像的邊界部分保持清晰，細節更加明顯，本文運用雙邊濾波技術對亮度信息進行分解。非線性雙邊濾波是Tomasi[12]等人提出的，是一種可以有效去噪保邊的加權均值濾波器。權重項系數分為兩部分，即幾何空間距離權重項和強度差值權重項。離待處理像素越近的像素點，幾何空間距離權重項越大。與待處理像素值越相近的像素點，強度差值權重項越大。在亮度信息中，將空間距離權重項表示為Gs，強度差值權重項表示為GB：

(5)

(6)

其中：y是濾波窗口內鄰域像素點的坐標；x是待測像素點的坐標；IB(y)是窗口內鄰域像素值；IB(x)是待測像素值；σs和σr分別是空間距離權重項和強度差值權重項的標準差，根據圖像的大小以及歸一化后的邊緣幅度，取σs為圖像對角線長度的1‰，σr為0.1。最終的濾波輸出結果為：

(7)

其中：BF是濾波后結果，歸一化系數Wx為濾波窗口內兩個不同權重項的乘積和，如公式(8)所示：

(8)

2.3.3 亮度分層與重構

通過濾波獲得的結果圖包含著圖像的基本結構信息，因此該結果為亮度基本層，根據亮度基本層和歸一化后的亮度信息進行計算得到亮度細節層，亮度基本層和亮度細節層獲取公式如式(9)和式(10)所示：

Bbase=BFB(B0)，

(9)

Bdetail=B0-Bbase，

(10)

其中：B0為歸一化后的亮度B[0,1]，Bbase是亮度基本層，Bdetail是亮度細節層。將亮度基本層與亮度細節層進行加權并完成亮度信息的重構，公式為：

Bout=WB1Bbase+WB2Bdetail，

(11)

其中：WB1是亮度基本層權重值，WB2是亮度細節層權重值。為了實現圖像的動態范圍壓縮并保持良好的細節信息，WB1和WB2需滿足以下公式：

0

(12)

(13)

亮度信息歸一化結果、基本層、細節層和亮度重構結果如圖3所示。對比圖3(a)和圖3(d)可以看出，亮度重構后山川和樹林的小細節都能更加清晰的表現出來。

2.4 色度信息處理

2.4.1 協同濾波

理論上，色度信息濾波可以采用與亮度信息相同的方法實現，即使用雙邊濾波對色度信息進行處理，但實際處理中發現效果不佳，主要表現為圖像模糊現象較為嚴重。產生此問題的主要原因在于色度長度均為1，像素之間的差異較小。

經對比觀察圖2和圖3，發現歸一化之后的亮度圖3(a)和色度圖2(c)之間在大尺度邊緣具有視覺一致性。為此，本文考慮綜合利用色度信息和亮度信息，設計如下的色度亮度協同方法進行濾波：

(14)

其中與權重相關的歸一化系數Wx、幾何空間距離權重項Gs、亮度強度差值權重項GB與前文一致，但這些權重被用來對色度信息Ic(y)進行加權處理。上述公式綜合利用亮度色度信息進行協同濾波，與雙邊濾波方法相比是有所不同的。在色度信息上使用雙邊濾波，其強度差值權重項是由色度本身的像素值計算得到。而在色度信息上使用協同濾波，其強度差值權重項是由亮度信息的像素值計算得到，再與色度信息上的像素值進行相乘，充分利用亮度信息對色度進行協同濾波。圖4給出了兩種方案的濾波結果對比，從圖中可以看出協同濾波技術更好地顯示了山川與天空的邊界、樹葉等處的細節。

2.4.2 色度分層與重構

對于輸入色度信息和濾波后色度信息，按照式(15)、(16)得到色度基礎層Cbase和色度紋理層Ctexture：

Cbase=BFc(C)，

(15)

Ctexture=C-Cbase.

(16)

圖5給出了分別使用色度雙邊濾波和協同濾波得到的紋理層結果圖。從圖中可以看出，通過協同濾波得到的紋理層，更好地維持了邊緣色彩細節，從顏色上可以更好地區分出山川和樹林。

將色度基礎層與色度紋理層進行加權和來完成色度信息的重構，公式如下：

Cout=WC1Cbase+WC2Ctexture，

(17)

其中：WC1是色度基礎層權重值，WC2是色度紋理層權重值。為了提高圖像顏色細節信息并使圖像色彩鮮艷，WC1和WC2需滿足以下公式：

1

(18)

圖6給出了分別使用色度雙邊濾波和協同濾波得到的基礎層和紋理層重構，其中紋理層權重系數采用了較大的值。觀察圖6和圖2，協同濾波的重構結果圖6(b)與圖2(c)相比，山川、樹林顏色細節都已經有了明顯的提高。而色度信息與亮度信息融合后可以發現，使用色度雙邊濾波會造成顏色的不正常變化，如圖7(c)所示，小區域樹林的邊緣產生藍色現象，產生這種現象主要是因為在色度雙邊濾波的過程中像素受到了周圍像素顏色的影響。

圖6 不同方法的重構結果

圖7 不同方法的輸出圖像

2.5 色彩轉化

根據上述步驟處理后，得到重構后的亮度信息和色度信息。采用如下公式將新的亮度信息和色度信息融合作為最終的映射結果。

LR=Bout×CRout，

(19)

LG=Bout×CGout，

(20)

LB=Bout×CBout，

(21)

其中：Bout為色調映射后的亮度值，CRout、CGout、CBout為色調映射后不同通道的色度值。

3 實驗結果與分析

通過實驗發現，本文算法分別對HDR圖像的色度信息和亮度信息進行分解和重構，輸出的圖像可以取得較好的視覺效果。實驗數據集包含123張HDR圖像，分布來源于Anyhere Software網站(www.anyhere.com/gward/hdrenc/pages/orignals.html)和MCSL網站(http://www.cis.rit.edu/research/mcsl2/icam/hdr/rit_hdr/)。經大量實驗的分析與測試，確定亮度基本層系數為0.4，亮度細節層系數為1.8，色度基礎層系數為1.6，色度紋理層系數為1.3，該系數對于大部分HDR圖像都可以產生較好的結果，較好結果的圖像達到實驗總圖像的86%。本文選取了文獻[13]、文獻[14]和文獻[15]中的色調映射算法和本文的算法進行實驗結果的對比和客觀質量指標的分析。對比算法中文獻[13]、文獻[14]和文獻[15]的算法參數為相關文獻中提出的默認參數。

3.1 實驗結果對比

圖8所示是第一組圖像的實驗結果圖。從文獻[13]算法結果可以看出，圖像整體邊界虛化，墻上畫的邊緣未得到較好的恢復，產生了扭曲狀態。從文獻[14]算法結果可以看出，圖像保留了較好的細節，但部分地方成片狀黑。從文獻[15]算法結果可以看出，圖像整體亮區和暗區之間差距過大，亮區細節無法展現出來，屋頂上的燈看不出其輪廓。從本文算法結果可以看出，圖像恢復較為自然，色澤明亮，沒有出現過亮或者過暗的部分，從局部的畫和燈可以看出紋理信息表達清晰。

圖9所示是第二組圖像的實驗結果圖。從文獻[13]算法結果可以看出，通過色調映射算法顯示出了完整的圖像信息，但整體邊緣模糊，開關和窗戶的紋理細節較弱。從文獻[14]算法結果可以看出，圖像邊緣細節處理較好，但顏色不均勻，墻體大部分是黑色的暗粒。從文獻[15]算法結果可以看出，圖像整體顏色未恢復到自然色彩，暗區和亮區部分細節丟失，例如開關處處于曝光狀態，而窗簾處紋路模糊不清。從本文算法結果可以看出，圖像整體色澤柔和，沒有呈現出某區域過增強或者欠增強的現象，開關和窗框紋理清晰可見，且沒有失色。

圖9 第2組圖像色調映射算法結果對比

圖10所示是第三組圖像的實驗結果圖。從文獻[13]算法結果可以看出，圖像顏色恢復較好，但整體細節感較差，手部和窗簾較為模糊，部分紋理沒有顯示出來。從文獻[14]算法結果可以看出，圖像整體細節信息都被很好地保留下來，但仍存在顏色恢復不均勻問題，暗粒較多。從文獻[15]算法結果可以看出，圖像整體顏色恢復均勻，但亮區出現曝光的現象，導致窗簾的形態未被顯示出來。從本文算法結果可以看出，圖像色彩鮮明，具有較好的局部對比度，局部中的手和窗簾的邊界都清晰可見。

圖10 第3組圖像色調映射算法結果對比

圖11所示是第四組圖像的實驗結果圖。從文獻[13]算法結果可以看出，圖像整體偏暗，墻上的字和安全指示燈恢復較完整，但存在邊緣模糊的現象。從文獻[14]算法結果可以看出，圖像顏色完整地顯現出來，但還是存在顏色不均勻的現象，墻上的字清晰可見，但安全指示燈出現了較為強烈的光暈現象。從文獻[15]算法結果可以看出，圖像整體偏亮，部分區域過亮掩蓋了細節，但安全指示燈恢復的較好，邊界清晰。從本文算法結果可以看出，圖像整體恢復較好，大部分邊緣都保留了下來，但安全指示燈與文獻[14]算法結果中的一樣，出現了較為強烈的光暈現象，沒有文獻[13]和文獻[15]的算法效果好。

圖11 第4組圖像色調映射算法結果對比

3.2 客觀質量指標對比

為了更加客觀地對比色調映射后圖像的結果，本文采用了Yeganeh等人[16]提出的關于色調映射圖像的客觀質量評價(TMQI)方法對色調映射算法結果進行對比分析。該客觀質量評價方法中包含3個評價指標，分別為圖像質量分數(Q)、結構保真度(S)和圖像自然度(N)。各指標越接近于1，證明圖像客觀質量越好。從表1中可以看出，在大部分情況下，本文算法結果的3個客觀指標與文獻[13-15]算法結果相比分別有一定的提升，平均提高了25.24%，18.89%，45.89%。

表1 客觀質量指標對比

4 結 論

本文在CB顏色空間中提出了一種基于協同濾波的色調映射算法。首先將HDR圖像利用CB顏色空間提取亮度信息和色度信息，然后運用雙邊濾波技術來分解亮度信息并重構，以此來增強圖像的細節，運用協同濾波技術來分解色度信息并重構，來提高圖像的色彩質量。實驗結果顯示，本文算法的輸出圖像顏色信息豐富，邊界信息保存完好，圖像質量較高，主觀上符合人眼視覺效果，客觀指標上也有所提升，在圖像質量分數、結構保真度和圖像自然度上分別提高了25.24%，18.89%，45.89%。