顯示設(shè)備環(huán)境自適應(yīng)色調(diào)映射算法

弓殷強(qiáng)， 余 新， 邱國(guó)平

(深圳大學(xué) 電子與信息工程學(xué)院，廣東 深圳518052)

1 引 言

對(duì)于顯示設(shè)備而言，如何在明亮環(huán)境下保證顯示質(zhì)量一直是最重要的研究課題之一。環(huán)境的亮度、白平衡會(huì)對(duì)顯示畫(huà)面的對(duì)比度、飽和度和白平衡的感知產(chǎn)生不利影響。另一方面，隨著消費(fèi)者對(duì)于顯示質(zhì)量的要求越來(lái)越高，高動(dòng)態(tài)范圍[1-4](High Dynamic Range, HDR)技術(shù)也得到了巨大的發(fā)展。ST 2094標(biāo)準(zhǔn)[5]定義了動(dòng)態(tài)元數(shù)據(jù)的HDR視頻格式，將像素的數(shù)值與絕對(duì)亮度聯(lián)系起來(lái)。然而，由于顯示設(shè)備的最大亮度通常不足以顯示高質(zhì)量的HDR圖像，這就要求顯示設(shè)備根據(jù)自身的亮度以及圖像的最大亮度給出對(duì)應(yīng)的色調(diào)映射算符[6-33](Tone Mapping Operator, TMO)。

顯示設(shè)備的質(zhì)量立足于觀看者的主觀體驗(yàn)，而人類視覺(jué)系統(tǒng)的研究[26-30]發(fā)現(xiàn)，在不同的光照環(huán)境下，人眼會(huì)對(duì)相同亮度的目標(biāo)產(chǎn)生不同的主觀體驗(yàn)，因此在不同環(huán)境下自適應(yīng)地對(duì)圖像進(jìn)行處理是必要的。色貌模型(Color Appearance Model)是預(yù)測(cè)包含色適應(yīng)狀態(tài)的不同觀察條件下顏色感知的數(shù)學(xué)模型。CAM16色貌模型[30]在CIECAM02的基礎(chǔ)上進(jìn)行了小幅度的修正和簡(jiǎn)化，并且獲得了不輸給后者的表現(xiàn)。利用CAM16以及其逆運(yùn)算即可非常準(zhǔn)確地補(bǔ)償由于亮度壓縮帶來(lái)的效應(yīng)。

基于色貌模型或?qū)Ρ榷饶Ｐ蜆?gòu)造色調(diào)映射算符有望獲得精確符合人類視覺(jué)系統(tǒng)感受的表現(xiàn)。Reinhard等人[11]提出了基于光感受器模型的色調(diào)映射算法。除了對(duì)圖像的亮度進(jìn)行運(yùn)算之外，Sikudova等人[16]對(duì)圖像的顏色修正進(jìn)行研究。Choi等人[17]提出結(jié)合共生直方圖和視覺(jué)顯著性檢測(cè)的色調(diào)映射算子，可以在壓縮動(dòng)態(tài)范圍的同時(shí)降低顏色和亮度偏移。蘆碧波等人[19]提出梯度域?qū)緢D層動(dòng)態(tài)范圍壓縮，并與細(xì)節(jié)層的信息融合，再經(jīng)過(guò)色彩校正的算法提高了信息熵和客觀指標(biāo)。王峰等人[20]提出基于亮度分區(qū)和導(dǎo)向?yàn)V波的方法，對(duì)清晰度有了較大的提升。然而上述工作都沒(méi)有針對(duì)顯示設(shè)備和環(huán)境光進(jìn)行特定的優(yōu)化，無(wú)法直接使用在顯示質(zhì)量的增強(qiáng)上。

環(huán)境光下顯示設(shè)備的色調(diào)映射問(wèn)題[22-25]也受到了一定的關(guān)注，例如Mantiuk等人[22]通過(guò)最小化對(duì)比度誤差的方式對(duì)圖像進(jìn)行色調(diào)映射與增強(qiáng)，可以在較亮的環(huán)境光下獲得較為一致的觀看體驗(yàn)，然而此文章并未對(duì)顏色偏移進(jìn)行修正。Wang等人[25]綜合了人眼的性質(zhì)與環(huán)境光的影響，給出了環(huán)境光下的色調(diào)映射，然而此文章并未考慮環(huán)境光非均勻的情形，也未對(duì)環(huán)境光的色溫進(jìn)行補(bǔ)償。綜上所述，大部分對(duì)環(huán)境光下的色調(diào)映射研究都局限較簡(jiǎn)單的環(huán)境下，例如未考慮環(huán)境光的分布，未考慮環(huán)境的白平衡帶來(lái)的效應(yīng)等，在復(fù)雜環(huán)境中，為了盡可能補(bǔ)償圖像的畫(huà)質(zhì)損失需要探究新的方法。

鑒于上述需求，本文提出了一種針對(duì)顯示設(shè)備的環(huán)境自適應(yīng)的色調(diào)映射算子，該方法不但可以根據(jù)圖像的亮度和顯示設(shè)備的亮度進(jìn)行動(dòng)態(tài)范圍的壓縮，還可以匹配當(dāng)前環(huán)境的白平衡變化，并且根據(jù)每個(gè)像素附近的環(huán)境光分布，自適應(yīng)地調(diào)整像素的亮度以及飽和度，減弱環(huán)境光對(duì)顯示效果的影響。

2 算法原理與實(shí)現(xiàn)

在復(fù)雜環(huán)境下，顯示設(shè)備的顯示質(zhì)量受到諸多因素的影響。首先，原圖像的最大亮度和動(dòng)態(tài)范圍很可能高于顯示設(shè)備的顯示能力；其次，環(huán)境的色溫將會(huì)影響觀察者的主觀顏色感受；再次，環(huán)境光與圖像的直接疊加將會(huì)降低圖像的對(duì)比度和顏色準(zhǔn)確度；最后，環(huán)境光的分布將會(huì)對(duì)圖像產(chǎn)生局部的影響。解決這些問(wèn)題有助于提高顯示設(shè)備的顯示質(zhì)量和環(huán)境適應(yīng)能力。

最大亮度和動(dòng)態(tài)范圍的匹配是一個(gè)典型的色調(diào)映射問(wèn)題，通過(guò)亮度映射、色彩修正、亮度和色彩通道的融合3個(gè)步驟，即可將HDR圖像轉(zhuǎn)化到特定顯示設(shè)備的能力范圍內(nèi)，如圖1所示。

圖1 本文提出的色調(diào)映射算子示意圖Fig.1 Proposed formulation of the tone-mapping problem

2.1 顯示設(shè)備和環(huán)境光模型

一個(gè)理想顯示設(shè)備可以由最大亮度Lmax、本征對(duì)比度C0、三原色和白點(diǎn)的色坐標(biāo)以及伽馬曲線來(lái)定義。顯示設(shè)備的亮度可以表示為：

Ld(n)=nγLmax+Lmax/C0+Lbg，

(1)

其中Lbg為環(huán)境光在顯示區(qū)域內(nèi)的亮度。

環(huán)境光指照射到屏幕上除圖像光之外的其他光線，而背景光指環(huán)境光在經(jīng)過(guò)屏幕反射后進(jìn)入人眼的光線。在屏幕散射性質(zhì)為朗伯體或接近朗伯體時(shí)，背景光的亮度可以通過(guò)環(huán)境光的照度推算出來(lái)：

(2)

其中：k表示屏幕的反射率，Eamb表示環(huán)境光的照度，在均勻照明時(shí)它是一個(gè)常數(shù)，在非均勻照明時(shí)環(huán)境光的分布與位置相關(guān)，如圖2所示。

圖2 環(huán)境光與背景光示意圖Fig.2 Schematic diagram of the ambient light and the background light

不同設(shè)備的反射率的表現(xiàn)存在很大差異，這些差異導(dǎo)致顯示設(shè)備對(duì)于環(huán)境光的適應(yīng)能力不同。例如投影機(jī)在向普通墻面投影時(shí)，環(huán)境光將會(huì)通過(guò)漫反射被觀察到而干擾正常的圖像光，因此投影機(jī)對(duì)環(huán)境光很敏感。而顯示器、電視、手機(jī)屏幕等設(shè)備一般具有很高的環(huán)境光吸收率，對(duì)環(huán)境光不敏感。盡管如此，在較強(qiáng)的環(huán)境光下，絕大部分設(shè)備都會(huì)遭遇環(huán)境光帶來(lái)的負(fù)面影響。

上述環(huán)境光的照度需要通過(guò)技術(shù)手段進(jìn)行測(cè)量，并且測(cè)量方式需要依據(jù)不同的場(chǎng)合來(lái)設(shè)計(jì)。一種思路是通過(guò)相機(jī)拍攝背景光的分布，再通過(guò)式(2)轉(zhuǎn)換為環(huán)境光的照度。例如投影機(jī)的環(huán)境光測(cè)量，可以將相機(jī)直接集成在投影機(jī)上；對(duì)于室內(nèi)場(chǎng)館等環(huán)境光分布恒定的場(chǎng)合，可以提前在標(biāo)準(zhǔn)觀察位置進(jìn)行測(cè)量。另一種思路是將亮度傳感器集成在屏幕平面上，并且利用式(2)轉(zhuǎn)換為背景光的亮度。例如超短焦激光電視的亮度測(cè)量，可以將顏色傳感器陣列集成在投影屏幕上。對(duì)于LCD、OLED或者LED大屏類的顯示設(shè)備，也可以將亮度傳感器集成在屏幕周圍、像素間隙或者屏下。

只有在環(huán)境光與顯示設(shè)備的亮度在相差1～2個(gè)數(shù)量級(jí)以內(nèi)時(shí)才會(huì)對(duì)顯示設(shè)備造成嚴(yán)重影響，因此在傳感器選型時(shí)，可以根據(jù)屏幕的亮度和屏幕除以反射率得到特征照度，傳感的動(dòng)態(tài)范圍保證可以覆蓋到特征照度附近即可。為了保證顏色和亮度測(cè)量的準(zhǔn)確性，上述顏色傳感器需要進(jìn)行校正。在某些情況下，傳感器不可避免地放置在圖像光的光路中，此時(shí)還可以根據(jù)顯示的圖像進(jìn)行相應(yīng)的減除以測(cè)量到背景光的強(qiáng)度。此外，由于環(huán)境光通常不會(huì)出現(xiàn)小尺度的劇烈變化，因此只需幾個(gè)到幾百個(gè)傳感器分布于顯示區(qū)域進(jìn)行測(cè)量，并且通過(guò)插值或者智能識(shí)別等方式對(duì)環(huán)境光的分布進(jìn)行估計(jì)。

環(huán)境光除了會(huì)直接對(duì)顯示效果造成影響之外，還會(huì)影響到人對(duì)于白平衡的判斷，進(jìn)而影響到特定圖像的主觀感知。在較暗的環(huán)境下，顯示設(shè)備的白平衡將會(huì)主導(dǎo)人的色彩適應(yīng)，而在較亮的環(huán)境下，人眼的白平衡由環(huán)境光決定。

最后，由于人眼的亮度適應(yīng)、對(duì)比度感知等效應(yīng)都依賴于真實(shí)的尺寸，因此需要通過(guò)單位角度的像素?cái)?shù)(Pixel per degree, PPD)來(lái)衡量圖像真實(shí)尺寸和像素尺寸之間的關(guān)系。

2.2 亮度映射

亮度映射需要解決如下問(wèn)題：首先，亮度映射需要將原始圖像的亮度范圍映射到顯示設(shè)備的能力范圍之內(nèi)；其次，亮度映射時(shí)，圖像的對(duì)比度感知水平不應(yīng)出現(xiàn)過(guò)大的偏離和劣化；再次，亮度映射需要補(bǔ)償不同的背景光強(qiáng)度帶來(lái)的對(duì)比度感知水平的偏離。

Mantiuk[22]提出利用對(duì)比度感知模型將亮度映射曲線的求解轉(zhuǎn)變?yōu)橐粋€(gè)優(yōu)化問(wèn)題。對(duì)比度的主觀感受主要取決于亮度、空間頻率以及對(duì)應(yīng)頻率的強(qiáng)度，在對(duì)原始圖像求對(duì)數(shù)后，高斯金字塔可以表征原圖像不同尺度的亮度，拉普拉斯金字塔可以表征原圖像的不同頻率的強(qiáng)度。通過(guò)三維直方圖統(tǒng)計(jì)不同亮度、空間頻率和對(duì)比強(qiáng)度的像素出現(xiàn)頻率，每個(gè)直條對(duì)應(yīng)一個(gè)對(duì)比度感知強(qiáng)度。進(jìn)一步，通過(guò)折線將亮度映射曲線參數(shù)化，并計(jì)算在何種參數(shù)下，可以達(dá)到損失函數(shù)的最小化：

(3)

其中:T(W,S)表示比度感知強(qiáng)度，i,m,l分別表示不同的亮度、對(duì)比度強(qiáng)度、空間頻率對(duì)應(yīng)的直條編號(hào)，ci,m,l表示直方圖中每個(gè)直條的比例分布，從線性的亮度映射參數(shù)出發(fā)，通過(guò)梯度下降的方式即可得到最優(yōu)的亮度映射曲線。

為了將上述方法推廣到背景光非均勻的場(chǎng)合，可以基于若干強(qiáng)度不同的均勻背景光算出不同的亮度映射曲線，并根據(jù)背景光的分布情況通過(guò)插值得到當(dāng)前位置的亮度映射曲線。等效的，也可以通過(guò)不同背景光下亮度映射后的圖像進(jìn)行插值。本文只選取兩個(gè)背景光參數(shù)，即選取背景光為0的情景以及某個(gè)背景光較強(qiáng)的情景，并且將插值關(guān)系表示為：

(4)

其中:kbg=Lbg/Lmax和kbg0=Lbg0/Lmax分別代表當(dāng)前位置的環(huán)境光相對(duì)強(qiáng)度，以及某個(gè)預(yù)先設(shè)定好的環(huán)境光相對(duì)強(qiáng)度。Ld,0,Ld,kbg0分別代表環(huán)境光相對(duì)強(qiáng)度為0和kbg0時(shí)的亮度映射結(jié)果。

2.3 顏色修正與色貌模型

對(duì)人類視覺(jué)系統(tǒng)的研究發(fā)現(xiàn)，亮度變化與顏色感知之間有非線性的聯(lián)系，因此亮度映射將會(huì)導(dǎo)致顏色偏離，這些效應(yīng)需要在顏色修正模塊中被修正；此外，背景光對(duì)圖像色彩的影響也需要修正，以達(dá)到準(zhǔn)確的主觀顏色還原的目的。

在運(yùn)用模型之前，需要根據(jù)當(dāng)前的使用場(chǎng)景指定CAM16的輸入?yún)?shù)，包含白點(diǎn)色坐標(biāo)和亮度、適應(yīng)亮度以及背景的亮度。

對(duì)于原圖而言，其白點(diǎn)色坐標(biāo)由圖像的顏色空間決定，亮度由圖像中的最大亮度來(lái)決定。為了防止圖像中少量的異常像素對(duì)白點(diǎn)的亮度產(chǎn)生影響，白點(diǎn)的亮度取為前5%分位的亮度值，即滿足式(5)的取值：

P(L≥Lw,rw|L∈I)=0.05，

(5)

其中Lw,rw表示原圖像的白點(diǎn)亮度。適應(yīng)亮度La,rw一般取為L(zhǎng)w,rw的20%。

背景亮度被定義為當(dāng)前像素10度范圍內(nèi)的加權(quán)對(duì)數(shù)平均亮度值，可以利用PPD將度數(shù)轉(zhuǎn)化為像素?cái)?shù)量，并利用高斯卷積的方式求得：

(6)

其中：G(x′,y′;l)代表有效半徑為l(1/e2處截止)的高斯卷積核。Yb,rw代表背景亮度。根據(jù)CAM16的假設(shè)，Yb,rw的值需要利用100/Lw,rw因子進(jìn)行歸一化。

確定上述信息后，原圖像可以被轉(zhuǎn)化到顏色感知參數(shù)空間中。為了方便進(jìn)行色彩補(bǔ)償，此處使用CAM16-UCS的J′,M′,h′參數(shù)，分別代表明度、色度和色相。

由于本文的研究場(chǎng)景為較亮的環(huán)境，在顯示場(chǎng)景，白點(diǎn)的色坐標(biāo)被設(shè)置為環(huán)境的色坐標(biāo)，在實(shí)踐上可以通過(guò)測(cè)量背景光的顏色得知。適應(yīng)亮度由圖像光和背景光共同貢獻(xiàn)。與上文相同，圖像光的貢獻(xiàn)默認(rèn)設(shè)置為最大亮度的20%，背景光的貢獻(xiàn)由背景光的對(duì)數(shù)均值來(lái)衡量，即：

La,d=0.2Lmax+exp{∑ln(Lbg)/npix}.

(7)

為了從J′,M′,h′參數(shù)反推出顯示圖像，需要預(yù)先確定背景亮度的分布，由于顯示圖像暫時(shí)未知，背景亮度的分布無(wú)法直接算得。由于顯示圖像對(duì)背景亮度的貢獻(xiàn)與原圖像相近，利用原圖像對(duì)背景亮度的貢獻(xiàn)來(lái)近似顯示圖像對(duì)背景亮度的貢獻(xiàn)是一個(gè)很好的選擇。在此基礎(chǔ)上加入環(huán)境光帶來(lái)的貢獻(xiàn)后，即可估計(jì)出顯示設(shè)備的背景亮度分布：

(8)

求得上述參數(shù)后，利用CAM16的逆變換，可以將J′,M′,h′參數(shù)無(wú)損地轉(zhuǎn)換到顯示設(shè)備所在的環(huán)境下。

最終，由于環(huán)境光的表現(xiàn)之一是降低色度M的值，因此在進(jìn)行逆運(yùn)算之前，需要先依據(jù)當(dāng)?shù)氐谋尘肮鈴?qiáng)度對(duì)M進(jìn)行補(bǔ)償，即按照公式(10)，將M′提高為(1+kbg)倍即可。最終的顏色修正運(yùn)算流程為：

(9)

(10)

(11)

其中：(Ri,Gi,Bi)和(Ro,Go,Bo)分別代表輸入和輸出圖像中的某個(gè)像素，kbg代表當(dāng)前像素位置的背景光相對(duì)顯示設(shè)備最大亮度的比例。

2.4 亮度和色彩通道結(jié)合

在分別得到亮度和顏色的修正信息后，需要將二者結(jié)合起來(lái)，傳統(tǒng)的方法為按照亮度比例對(duì)3個(gè)顏色通道進(jìn)行相同的放縮，即：

(12)

其中:Ci和Co分別代表各個(gè)顏色通道的輸入和輸出，Li和Lo代表原始圖像的亮度以及亮度曲線處理后的圖像亮度。

然而上述處理方式會(huì)遇到兩個(gè)問(wèn)題。其一，由于色調(diào)映射對(duì)HDR圖像的亮度進(jìn)行最高數(shù)10倍的壓縮，在亮度壓縮的過(guò)程中顏色也會(huì)產(chǎn)生非線性的偏移，利用顏色修正的結(jié)果代替原始圖像，即可有效解決顏色偏移的問(wèn)題：

(13)

其中:Lcc和Ccc代表顏色修正后的圖像亮度和各個(gè)顏色通道。

其二，這個(gè)過(guò)程中還可能出現(xiàn)由于特定彩色通道超出上界導(dǎo)致的偏色現(xiàn)象，稱為過(guò)曝現(xiàn)象。過(guò)曝現(xiàn)象通常出現(xiàn)在飽和度較高的區(qū)域，這是由于飽和度較高的顏色對(duì)亮度的貢獻(xiàn)較低，在經(jīng)過(guò)亮度曲線處理后可能會(huì)獲得一個(gè)較大的提升因子，導(dǎo)致其數(shù)值超越顯示設(shè)備的能力。如果直接將過(guò)曝的數(shù)值硬截?cái)嗟阶畲笾担瑫?huì)出現(xiàn)諸多問(wèn)題。一方面，會(huì)導(dǎo)致高飽和度區(qū)域出現(xiàn)色相和飽和度的變化；另一方面，會(huì)導(dǎo)致高飽和度區(qū)域的灰階丟失，進(jìn)而丟失特定的細(xì)節(jié)信息。

過(guò)曝問(wèn)題的本質(zhì)是，顯示設(shè)備的限制導(dǎo)致了像素所需的亮度和飽和度無(wú)法兼得，即高亮的區(qū)域只能顯示低飽和度的白色。考慮到大部分像素的過(guò)曝的數(shù)值只有2倍以內(nèi)，在這個(gè)范圍內(nèi)即便不進(jìn)行顏色修正，產(chǎn)生的顏色偏離也比較微弱。因此為了簡(jiǎn)化模型，本文選擇在(R,G,B)空間對(duì)過(guò)曝問(wèn)題進(jìn)行限制。本文依據(jù)3個(gè)通道中超出的最大數(shù)值，定義了軟截?cái)嗪瘮?shù)：

(14)

其中：r0取為0.9，x0取為36.09，n表示某個(gè)像素通道的數(shù)值，m=max(R,G,B)衡量當(dāng)前像素的最大過(guò)曝情況。

上述軟截?cái)嗪瘮?shù)的設(shè)計(jì)有諸多考慮：一方面，它整體壓低了圖像的亮度值，以給過(guò)曝像素提供一定的動(dòng)態(tài)范圍，防止丟失過(guò)曝區(qū)域的灰階信息；另一方面，它也依據(jù)過(guò)曝情況補(bǔ)償一定的白色分量，這一方面可以保持像素的色相基本不變，另一方面也可以有效調(diào)和亮度和飽和度無(wú)法兼得的矛盾。

3 結(jié)果與分析

本節(jié)包含了不同使用場(chǎng)景下本算法的最終效果以及與其他算法的對(duì)比。本文的數(shù)據(jù)來(lái)源為Fairchild[34]的數(shù)據(jù)集，選取若干張比較典型的HDR圖像，包含室內(nèi)和室外、不同亮度區(qū)間以及顏色取向。除了本文介紹的方法之外，Mantiuk[22]與Reinhard[11]的算法也作為對(duì)照展示出來(lái)。在仿真和實(shí)驗(yàn)環(huán)境中PPD設(shè)置為33。不失一般性，本文中顯示設(shè)備處在sRGB顏色空間[35]。如果沒(méi)有特別說(shuō)明，則顯示設(shè)備的最大亮度定義為L(zhǎng)max=400cd/m2，本征對(duì)比度為1 000∶1。

3.1 動(dòng)態(tài)范圍壓縮和顏色修正

在黑暗環(huán)境下，本算法可以對(duì)輸入HDR圖像的動(dòng)態(tài)范圍進(jìn)行壓縮，并且對(duì)亮度變化過(guò)程中產(chǎn)生的主觀顏色偏移進(jìn)行修正。部分測(cè)試圖的結(jié)果與對(duì)比如圖3所示。可以看到，3種算法都比較好地完成了色調(diào)映射的目標(biāo)，得到了觀感良好的結(jié)果。從對(duì)比度的角度出發(fā)，測(cè)試圖(2)的背景樹(shù)林和測(cè)試圖(4)的遠(yuǎn)近景對(duì)比，可以明顯感受到圖3(a)和3(c)方法都具有更強(qiáng)的對(duì)比度，而(b)方法的圖像顯得比較平均。從顏色準(zhǔn)確性的角度出發(fā)，對(duì)比4張圖片的藍(lán)天表現(xiàn)，3(c)方法給出了飽和度高且符合人眼習(xí)慣的顏色，尤其是測(cè)試圖(4)的遠(yuǎn)景天空，只有3(c)方法較好地還原了線性映射原圖中的藍(lán)天和紅云。此外，在使用時(shí)，(b)方法需要手動(dòng)對(duì)每張圖像進(jìn)行調(diào)參，才可以得到可靠的表現(xiàn)，因此無(wú)法實(shí)現(xiàn)自適應(yīng)調(diào)節(jié)的需求，而3(a)和3(c)方法可以使用一套參數(shù)實(shí)現(xiàn)對(duì)不同場(chǎng)景的自適應(yīng)調(diào)節(jié)。

圖3 黑暗環(huán)境中不同色調(diào)映射算子的結(jié)果。(a) Mantiuk 08[22]; (b) Reinhard 05[11];(c) 本文提出的方法; (d) 線性映射的HDR原圖。Fig.3 Results of TMO operators in a dark environment. (a) Mantiuk 08[22]; (b) Reinhard 05[11]; (c) Proposed method; (d) Linear mapped HDR image.

通過(guò)CAM16-UCS色貌模型以及對(duì)比度感知模型可以計(jì)算輸出圖像與原始HDR圖像之間感知參數(shù)的差異，這些差異可以對(duì)運(yùn)算結(jié)果做出客觀的評(píng)價(jià)。對(duì)于顏色偏差，CAM16-UCS中提供了標(biāo)準(zhǔn)的計(jì)算方法：

(15)

其中:ΔJ′Δa′和Δb′是CAM16-UCS中J′、a′和b′的偏差。

除此之外，由于本文側(cè)重于對(duì)色度和色相進(jìn)行還原，并未針對(duì)明度的偏差進(jìn)行優(yōu)化，因此為了直接對(duì)比和衡量算法的表現(xiàn)，需要構(gòu)造一個(gè)參數(shù)來(lái)衡量輸出圖像的色度和色相偏差的同時(shí)忽略明度偏差。將上式中的ΔJ′貢獻(xiàn)刪去，使用以下參數(shù)作為衡量標(biāo)準(zhǔn)即可滿足需求：

(16)

基于對(duì)比度感知模型[29]，如下參數(shù)可以用來(lái)衡量原圖像和輸出圖像之間的對(duì)比度感知差異：

(17)

其中:level求和代表不同空間頻率的求和，即對(duì)圖像金字塔的階層求和，空間頻率ρ(周期每度)選取為從0.7到20的區(qū)間，即人眼較為敏感的區(qū)間。式中的pixel求和代表對(duì)圖像金字塔每一層的像素求和，npix代表圖像金字塔每一層的像素?cái)?shù)量。

與HDR原圖相比，圖3中圖像的上述參數(shù)的偏差如表1所示。紅色加粗的數(shù)字代表當(dāng)前參數(shù)表現(xiàn)最好的方法。可以看出，本文提出的方法在兩個(gè)衡量顏色偏離的參數(shù)ΔE和ΔEc上，均具有更好的平均表現(xiàn)。在衡量對(duì)比度感知的參數(shù)ΔC上，本文提出的算法也具有更加穩(wěn)定且精確的表現(xiàn)。Reinhard[11]算法的表現(xiàn)依賴于圖像的亮度直方圖分布，在一些場(chǎng)景會(huì)有很好的表現(xiàn)，但在個(gè)別場(chǎng)景也會(huì)出現(xiàn)很大的偏離。

表1 測(cè)試圖在不同的TMO下的各項(xiàng)表現(xiàn)Tab.1 Performance of different TMO under different test images

圖4 色貌模型對(duì)圖像顏色準(zhǔn)確性的影響。(a) 沒(méi)有進(jìn)行顏色修正; (b) 通過(guò)CAM16進(jìn)行了顏色修正。Fig.4 Influence of color appearance model on the color accuracy of images. (a) No color corrected; (b) Color corrected by CAM16.

通過(guò)對(duì)比標(biāo)準(zhǔn)色卡在顏色修正前后的圖像，也可以體現(xiàn)出顏色修正的作用，如圖4所示。由放大圖中的黑色連線的對(duì)比可以看出，測(cè)試圖(1)的色卡左上角的高亮區(qū)域在左圖中出現(xiàn)了由于劇烈的亮度壓縮而產(chǎn)生了偏色，而這個(gè)效應(yīng)在右圖中得到了有效的修正。此外，測(cè)試圖(2)中藍(lán)色的天空區(qū)域以及紅色的云也得到了有效的修正。

通過(guò)對(duì)比是否包含軟截?cái)嗟膱D像以及對(duì)應(yīng)的散點(diǎn)圖，可以有效說(shuō)明軟截?cái)嗪瘮?shù)修復(fù)過(guò)曝區(qū)域的顏色偏移，如圖5所示。在散點(diǎn)圖中的紅色箭頭標(biāo)注可以看出，使用硬截?cái)喽a(chǎn)生的一部分顏色偏移較大的區(qū)域，在經(jīng)過(guò)軟截?cái)嗪瘮?shù)的修正后，回歸到了對(duì)角線附近的合理位置。

最后，為了展示本文提出的算法對(duì)于不同顯示設(shè)備的亮度自適應(yīng)能力，圖6給出了不同亮度的顯示設(shè)備上，色調(diào)映射的運(yùn)算結(jié)果以及亮度映射曲線。對(duì)于通常的LCD顯示器，其亮度約為150 cd/m2，在此情況下可以看到圖6(a)有明顯的過(guò)度提亮和過(guò)飽和現(xiàn)象，圖6(c)和圖6(d)較為灰暗，而圖6(b)的亮度情況較為均衡。而對(duì)于一個(gè)實(shí)測(cè)亮度為400 cd/m2的投影機(jī)而言，圖6(b)出現(xiàn)了過(guò)度提亮的現(xiàn)象，圖6(c)有著最均衡的表現(xiàn)。繼續(xù)提高亮度至實(shí)測(cè)1 610 cd/m2后，圖6(d)表現(xiàn)最為均衡。以上結(jié)果表明，本文提出的算法可以比較有效地針對(duì)顯示設(shè)備的最大亮度自適應(yīng)地調(diào)節(jié)亮度映射。

圖5 軟截?cái)嗪瘮?shù)對(duì)圖像顏色準(zhǔn)確性的影響。(a) 天空和花叢局部出現(xiàn)過(guò)曝，在局部放大圖中過(guò)曝區(qū)域用藍(lán)色標(biāo)注出來(lái)。右側(cè)的散點(diǎn)圖展示了CAM16-UCS的主觀顏色參數(shù)在HDR原圖和最終圖像的關(guān)系；(b) a′的散點(diǎn)圖； (c) b′的散點(diǎn)圖。Fig.5 Influence of the soft clip function on the color accuracy of the image. (a) Sky and flowers are partially overexposed, and the overexposed areas are marked in blue in the detailed images. The scatter plot on the right shows the relationship between the subjective color parameters of CAM16-UCS in the HDR original and final image; (b) Scatter plot of a′; (c) Scatter plot of b′.

3.2 環(huán)境色溫自適應(yīng)

環(huán)境的色溫會(huì)影響觀察者對(duì)白色的判斷和對(duì)顏色的感知，進(jìn)而影響到顯示畫(huà)面的顏色主觀感受。基于色貌模型構(gòu)建的色調(diào)映射算子，可以根據(jù)白平衡的不同，針對(duì)性地對(duì)原圖像進(jìn)行處理，以補(bǔ)償顏色主觀感受的偏離。不失一般性，HDR輸入圖像的白平衡被設(shè)置為標(biāo)準(zhǔn)的D65，本節(jié)展示了環(huán)境光的白平衡為D55、D65和D75三種情形，分別利用CAM16色貌模型，對(duì)比不同色調(diào)映射算子的運(yùn)算結(jié)果，如圖7所示。主觀對(duì)比3張圖像不難發(fā)現(xiàn)，算法依據(jù)環(huán)境光的色溫，自適應(yīng)地調(diào)節(jié)了圖像的顏色分布情況，在不同色溫下達(dá)到了比較一致的體驗(yàn)。散點(diǎn)圖展示了原圖與3種色調(diào)映射算子的運(yùn)算結(jié)果的關(guān)系。利用本文介紹的算法處理后的分布在圖中以綠色表示，其主要集中在對(duì)角線附近，這代表算法結(jié)果的顏色感知參數(shù)與原圖更加接近。表2展示了3種色溫下，不同算法的顏色感知偏差情況，紅色加粗?jǐn)?shù)字代表當(dāng)前參數(shù)表現(xiàn)最好的方法，本文介紹的算法同樣取得了很好的表現(xiàn)。

圖6 不同亮度的顯示設(shè)備上本算法的運(yùn)算結(jié)果。(a) 25 cd/m2; (b) 100 cd/m2; (c) 400 cd/m2; (d) 1 600 cd/m2; (e)不同顯示設(shè)備亮度的映射曲線。Fig.6 Performance of proposed algorithm on the display devices with different luminance. (a) 25 cd/m2; (b) 100 cd/m2; (c) 400 cd/m2; (d) 1 600 cd/m2; (e)Tone curves for different device luminance.

圖7 環(huán)境色溫對(duì)算法的影響。左圖為本文介紹的色調(diào)映射算子在不同色溫環(huán)境中的結(jié)果，環(huán)境色溫以中等灰度的邊框展示在圖像中。右側(cè)的散點(diǎn)圖為CAM16-UCS主觀顏色參數(shù)在HDR原圖和最終圖像的關(guān)系。(a) 色溫D55； (b) 色溫D65; (c) 色溫D75。Fig.7 Influence of ambient color temperature on the algorithm. The left column shows the results of the tone mapping operator proposed in this paper in different color temperature environments. The ambient color temperature is shown in the image as a medium gray border. The scatter plot on the right shows the relationship between the subjective color parameters of CAM16-UCS in the HDR original and final image. (a) Color temperature D55; (b) Color temperature D65; (c) Color temperature D75.

表2 各個(gè)算法在不同色溫下的各項(xiàng)表現(xiàn)Tab.2 Performance of different TMO under different test images

3.3 背景光強(qiáng)度和形貌分布

在背景光較強(qiáng)的環(huán)境下，本算法可以通過(guò)自適應(yīng)的局部提高亮度、增加色度以及修正色相偏差等操作，有效補(bǔ)償背景光帶來(lái)的顏色和對(duì)比度感知的偏移。本節(jié)包含了不同強(qiáng)度、不同分布、不同色溫背景光下的色調(diào)映射結(jié)果。

圖8展示了不同背景光分布時(shí)的結(jié)果。其中背景光的最大亮度被設(shè)置為10%的顯示設(shè)備最大亮度，4種分布分別模擬了：(1)均勻分布；(2)臺(tái)燈直射墻面的分布；(3)窗外陽(yáng)光等平行光引起的分布；(4)吸頂燈引起的分布。不同分布的仿真結(jié)果都表現(xiàn)出很好的自適應(yīng)特性。例如位于左下角的藍(lán)色車輛，在環(huán)境光較強(qiáng)的分布(1)中，亮度和顏色飽和度都有所提高。此外，在環(huán)境光分布不均勻的(2)，(3)和(4)中，仿真結(jié)果(b)的畫(huà)面依舊可以保持較為統(tǒng)一的觀感，非均勻背景光帶來(lái)的主觀感知變化得到了有效補(bǔ)償。

圖9展示了不同環(huán)境光亮度下的顯示效果。環(huán)境光的分布選為圖8第四列的分布，背景光的亮度取為0、0.1、0.2、0.25倍顯示設(shè)備最大亮度4種情況。仿真結(jié)果顯示，在背景光與原圖像疊加后，原圖像的主觀質(zhì)量依然得到保證。以至于在背景光的亮度到達(dá)0.25倍顯示設(shè)備的最大亮度時(shí)，圖9(4)的天空和樹(shù)林的亮度和飽和度都被拉升，算法依然可以比較有效地抵抗環(huán)境光帶來(lái)的畫(huà)質(zhì)損失。

圖8 不同背景光分布下的運(yùn)算結(jié)果。(a) 不同的背景光分布示意圖；(b) 算法結(jié)果與背景光按比例疊加后的效果仿真圖；(c) 顯示設(shè)備的輸入圖像。Fig.8 Results under different background light distribution. (a) Pattern of different background light distribution; (b) Simulation images of the effect after the result and the background light are superimposed in proportion; (c) Input images of the display device.

圖9 不同背景光強(qiáng)度下的運(yùn)算結(jié)果。(a)算法結(jié)果與背景光按比例疊加后的效果仿真圖；(b)顯示設(shè)備的輸入圖像。Fig.9 Results under different background light luminance. (a) Simulation images of the effect after the result and the background light are superimposed in proportion; (b) Input images of the display device.

圖10展示了不同白平衡環(huán)境下的顯示效果。環(huán)境光的分布選為圖8第四列的分布，背景光的相對(duì)亮度取為0.1，白平衡環(huán)境選取了D50、D55、D65、D75四種情況。仿真結(jié)果顯示，在不同色溫的環(huán)境中，算法都可以體現(xiàn)出自適應(yīng)的處理結(jié)果，以保證在不同環(huán)境下的主觀感受相同。例如在4張圖像中白云的顏色都得到了修正，以匹配環(huán)境的白色。此外，不同色溫的背景光也疊加在了圖10的(a)行中的各個(gè)圖像上，對(duì)畫(huà)質(zhì)產(chǎn)生的影響也得到了有效補(bǔ)償，以至于背景光的影響難以察覺(jué)。

圖10 不同環(huán)境色溫下的運(yùn)算結(jié)果。(a)算法結(jié)果與背景光按比例疊加后的效果仿真圖; (b)顯示設(shè)備的輸入圖像。背景光的最大亮度取為顯示設(shè)備最大亮度的10%，背景光的分布見(jiàn)圖8(4-a)。Fig.10 Results under different ambient color temperature. (a) Simulation images of the effect after the result and the background light are superimposed in proportion; (b) Input images of the display device. The maximum luminance of the background light is set to 10% of the maximum luminance of the display device. The distribution of the background light is shown in Figure 8 (4-a).

4 結(jié) 論

本文提出了可以在復(fù)雜環(huán)境的顯示設(shè)備上重現(xiàn)主觀顏色和對(duì)比度感知的色調(diào)映射算法，基于對(duì)比度誤差最小化建立亮度曲線，基于顯示設(shè)備所在環(huán)境的白點(diǎn)亮度、色坐標(biāo)、背景光的強(qiáng)度和分布信息得到顏色通道的修正，并且在結(jié)合亮度曲線與顏色修正的過(guò)程中引入軟截?cái)嗪瘮?shù)以保證較小的顏色誤差。與傳統(tǒng)方法相比，本文提出的方法可以使顏色偏差降低到60%以下。這套結(jié)果可以構(gòu)成一個(gè)可靠、高質(zhì)量的顯示設(shè)備圖像增強(qiáng)方案。

由于本文專注于通過(guò)色調(diào)映射提高顯示設(shè)備的主觀感受，基于人類視覺(jué)系統(tǒng)的各項(xiàng)主觀模型是一個(gè)很自然的選擇。一方面，主觀模型可以為色調(diào)映射算法提供精確的映射關(guān)系，是算法精確性和普適性的基礎(chǔ)；另一方面，主觀模型也是評(píng)價(jià)色調(diào)映射算法好壞的可靠標(biāo)準(zhǔn)，也可以被用來(lái)衡量算法以及參數(shù)表現(xiàn)的好壞。

本文還注重于色調(diào)映射算法與顯示設(shè)備和環(huán)境相結(jié)合的理念。首先，設(shè)備的顏色空間、本征對(duì)比度、伽馬曲線等參數(shù)都可以自由設(shè)定；其次觀察環(huán)境的色溫、亮度、環(huán)境光分布等信息也得到了很好的處理。這使得本文提出的算法具有非常好的實(shí)踐潛力，尤其對(duì)于投影顯示設(shè)備而言，在展覽場(chǎng)館顯示、戶外廣告和工程投影顯示、舞臺(tái)顯示、家用顯示等場(chǎng)景都具有應(yīng)用前景。