顧及欠曝光亮度映射的HDR圖像生成方法

晏玲

摘 ?要： 針對重曝光過程中欠曝光像素點對周圍像素點產生干擾，導致高動態范圍（High dynamic range， HDR）圖像產生偽影的現象，提出顧及欠曝光的亮度映射HDR圖像生成方法。具體步驟為：（1）欠曝光分類。利用L2正則化邏輯非線性回歸算法訓練出欠曝光像素點的分類器。（2）對圖像進行重曝光。非欠曝光區域使用線性擬合得到的亮度映射函數重新曝光，欠曝光區域利用長曝光區域進行補償。（3）生成HDR圖像。利用重曝光后圖像的飽和度，對比度，曝光度和亮度信息生成權重圖，再加權融合生成HDR圖像。實驗表明，該方法有效抑制合成圖像的偽影，與已有方法相比，在清晰度、顏色協調性、邊緣保持以及運行時間上都有較大提高。

關鍵詞：?高動態范圍;亮度映射;欠曝光像素點;權重圖;偽影抑制

中圖分類號： TP391????文獻標識碼：?A????DOI：10.3969/j.issn.1003-6970.2020.02.048

【Abstract】： According to the artifacts in high dynamic range （HDR） images caused by the interference of under-exposed pixels on surrounding pixels during re-exposure process， The HDR Image Generation Method Considering Under-exposed Brightness Mapping is proposed. The Method is as follows： （1） Classification of under-exposed pixels. The?L2?regularized logistic regression method is used to train the classifier of under-exposed pixels. （2） Re-exposure of image. The non-underexposed area is re-exposed by the brightness mapping function obtained by linear fitting， and the under-exposed area is compensated by the long exposure area. （3） Generation of HDR image. The information of saturation， contrast， exposure and luminance are used to construct weight maps. The experiment shows that the method can suppress the artifacts of synthetic images and improve image sharpness， color coordination， edge preservation and runtime effectively compared with the existing methods.

【Key words】：?High dynamic range?（HDR）;?Brightness mapping; Unexposed pixel point; Weight graph; Suppression of artifact

0??引言

動態范圍是指最大亮度值與最小亮度值的比值，真實場景的動態范圍遠超過相機能捕獲的范 ?圍[1-2]。因此，使用相機進行拍攝時，場景的細節信息丟失嚴重。HDR圖像記錄更高動態范圍場景的信息，有較豐富的色彩信息、更高的對比度，讓捕獲到的場景信息更接近真實場景[3]。

HDR圖像的獲取分為兩種，一種是通過恢復相機的響應函數來獲得HDR圖像，Debevec等人[4]率先提出利用多曝光圖像估計相機的響應函數，來重建目標場景的輻照度。Grossberg等人[5]提出利用不同曝光圖像的直方圖來估計相機的響應函數。都琳等人[6]提出使用PCA標定相機響應函數模型，使用少量的采樣點進行插值來獲得相機響應函數，該類方法得到的高動態范圍圖像質量較高，但算法復雜度較高，時間代價高。另一種是避免恢復相機響應函數來生成HDR圖像。陳闊等人[7]提出一種快速曝光融合算法。Mertens等人[8]提出基于拉普拉斯金字塔的圖像融合算法。張淑芳等人[9]提出采用主成分分析與梯度金字塔的圖像融合生成HDR圖像算法。RafalMantiuk等人[10]根據HVS模型調整圖像亮度值。Wang等人[11]提出基于局部區域調整的偽曝光色調融合方法。該類方法運行時間較短，但顏色易失真，在亮度范圍變化較大時容易產生偽影。以上兩類方法均存在在運行效率和運行結果精度上達不到平衡的問題。

為了以較高的運行效率實現更高的精度，本文基于第二類方法，采用顧及短曝光圖像中欠曝光像素點的分類模型策略來抑制圖像融合過程中在亮暗突變區域產生的偽影現象，以較高的效率獲取效果更好的HDR圖像。首先，使用正則化非線性邏輯回歸算法訓練出欠曝光像素點的分類器，識別欠曝光區域和非欠曝光區域。并以短曝光圖像為基礎，使用線性擬合的亮度映射函數對非欠曝光區域進行重新曝光，欠曝光區域使用分區機制進行處理，然后利用重曝光圖像的對比度、亮度、曝光度和飽和度信息生成權重圖，最后對權重圖進行圖像融合生成HDR圖像，實驗結果表明該方法能展現更多真實場景的細節信息，有效抑制明暗亮度變化較大的過渡區域產生的偽影，而且算法較簡單，運行時間較短。

1 ?對欠曝光亮度映射獲取HDR圖像

利用不同曝光圖像序列中的欠曝光區域，進行分區機制處理獲得具有相同曝光時間的圖像，進行處理得到權值圖，加權融合生成HDR圖像。具體步驟如下：

（1）圖像重曝光。利用欠曝光區域的特征訓練分類器進行圖像中的欠曝光像素點的檢測，再根據像素點之間的相互影響，使用分區機制進行重曝光處理，基本過程如圖1（a）所示。

（2）圖像融合。利用曝光時間相同的圖像，進行處理得到權值圖，加權融合生成HDR圖像，基本過程如圖1（b）所示。

1.1??圖像重曝光

1.1.1??亮度映射模型

HDR圖像生成需將圖像重新曝光。重曝光主要有兩種：輻照度重建法與亮度映射法。輻照度重建法利用同場景不同曝光度的低動態范圍圖像的圖像信息推算出像相機響應函數，通過響應函數的逆運算得到輻照度，進行重曝光。亮度映射法通過建立短、長曝光圖像的映射關系對圖像進行重曝光。為避免相機響應函數的求解，提高算法效率，本文采用亮度映射法對圖像進行重曝光。

相機成像原理可用相機響應函數表示[12-15]，相機的曝光量等于輻照度與曝光時間的乘積，則不同曝光圖像像素值與相機獲得的曝光量之間的關系如下：

1.1.2 ?顧及欠曝光的圖像重曝光

圖像分為過曝光區域、曝光良好區域和欠曝光區域[16]。短曝光圖像中的欠曝光區域存在信息不足、像素點之間相互影響的問題，導致重曝光的圖像在亮暗突變區域易產生偽影現象。為消除亮暗突變區域的偽影現象，本文對短曝光圖像中的欠曝光區域進行檢測，分區估計處理。

對短曝光圖像中的欠曝光區域檢測時，提取短曝光圖像欠曝光區域的HSV和Lab色彩空間中的顏色特征、修正飽和度特征、亮度特征和邊沿鄰域特征，采用3*3的鄰域窗口提取欠曝光區域訓練樣本的特征向量并對其進行歸一化，利用正則化邏輯非線性回歸算法對其訓練得到分類器，正則化代價函數為：

圖?2（a）、（b）、（c）、（d）分別為陳闊、Mertens、張淑芳、本文方法對Church圖像集生成的HDR圖像。圖?2（a）天窗紋理較清晰，側窗偽影不明顯，但圖像整體存在明顯的顏色失真問題。圖2（b）擁有豐富的色彩和較高的對比度，但在天窗紋理丟失嚴重，

側窗偽影嚴重。圖?2（c）天窗紋理細節部分丟失，側窗存在偽影現象。圖?2（d）圖像整體具有較好的對比度，不存在顏色失真，天窗保留原有的色彩信息而且細節紋理清晰，側窗有輕微偽影。

圖?3（a）、（b）、（c）、（d）分別為陳闊、Mertens、張淑芳、本文方法對Hotel圖像集生成的HDR圖像。圖3（a）頂窗有輕微偽影現象，窗外樹枝信息不清晰。圖3（b）顏色更鮮明，失去自然感，頂窗外樹枝模糊，偽影嚴重。圖3（c）圖像整體泛灰，對比度較低，頂窗外樹枝細節信息較模糊。圖3（d）擁有更高的對比度和豐富的色彩信息，頂窗外樹枝信息細節保留完整且清晰，偽影不明顯。

圖?4（a）、（b）、（c）、（d）分別為陳闊、Mertens、張淑芳、本文方法對White House圖像集生成的HDR圖像。圖4（a）正門的紋理較清晰，建筑物招牌周圍偽影不明顯，但中間建筑存在顏色失真問題。圖?4（b）對比度較強，但正門細節信息丟失嚴重，建筑物招牌周圍存在偽影現象。由圖?4（c）可知，正門細節信息保留完整，但整體顏色偏灰，建筑物招牌偽影現象不明顯。圖?4（d）正門細節信息保留完整，建筑物招牌偽影不明顯，對比度增高，顏色豐富。

由此可知，陳闊的方法在光亮區域部分細節丟失，能夠有效抑制偽影，但整體對比度較低，圖像整體存在明顯的顏色失真問題。Mertens的方法擁有豐富的色彩和較高的對比度，但是在光線較亮的區域細節丟失嚴重，存在偽影問題。張淑芳的方法在細節保持和偽影抑制問題上相較于Mertens的方法呈現出更好的效果，但存在顏色失真的問題。本文方法有效抑制偽影問題，圖像整體具有較好的對比度，細節保留較完整，不存在顏色失真。

2.2 ?HDR圖像的客觀評價

根據清晰度[17-20]、顏色協調性[21]和圖像邊緣信息[22]進行圖像客觀質量評價，如表1所示。為了進一步說明主觀評價與客觀評價的一致性，對Church、Hotel、White House三組HDR圖像進行均值和標準差分析，如圖5所示。

如表1所示，Church、Hotel、White House三組HDR圖像結果表明，在清晰度方面，本文方法相較于張淑芳、Mertens、陳闊的方法有較高的值，表明本文方法具有較強的細節保持能力;在顏色協調性方面，本文方法最高，張淑芳次于Mertens，陳闊最低，說明本文方法具有較高的對比度和較豐富的顏色，給人更自然、真實的視覺效果;在圖像邊緣信息方面，本文方法最高，陳闊次于張淑芳，Mertens最低，說明本文方法邊緣信息保留更好，存在的偽影更少。

如圖5（a）、（b）所示，在Church圖像集中，相較于陳闊、Mertens、張淑芳的方法，本文方法的均值更接近255/2，且標準差較高，生成的HDR圖像具有更高的均衡度。在Hotel圖像集中，相較于陳闊、Mertens、張淑芳的方法，本文方法生成的HDR圖像亮度適中且均勻。在White House圖像集中，由于是夜晚場景，整體均值相對較低，本方法有較高標準差，生成的HDR圖像具有更多的圖像信息。

2.3??運行效率對比

實驗使用的電腦為64?bit的操作系統，處理器為Intel（R） Core（TM） i5-4210U CPU @ 1.70?GHz，內存大小為4.00?GB。使用的軟件為VS 2013。對以上三組實驗在運行時間上進行對比，實驗結果見表2。

如表2所示，Mertens使用拉普拉斯金字塔進行圖像融合，該方法復雜度較高，運行速度較慢，陳闊和張淑芳的方法復雜度較低，運行速度較快， ??本文方法因避免求相機響應函數，能迅速生成HDR圖像。

3??結束語

對于圖像融合過程中亮暗突變區域存在偽影的問題，本文提出對短曝光圖像的欠曝光區域重曝光的分區處理方法，避免求解相機響應函數，訓練分類器識別圖像欠曝光區域，并在重曝光過程中利用長曝光圖像對圖像的欠曝光區域進行修正。根據重曝光圖像的飽和度，亮度，曝光度和對比度計算權重圖，加權融合生成HDR圖像。本文方法能夠有效抑制圖像偽影，生成更均衡化的圖像，在清晰度、顏色協調和邊緣信息保留上有一定的提高，且方法簡便，運行較快。進一步研究將針對動態多曝光圖像進行，在該方法基礎上尋找有效手段抑制一定范圍內的運動導致的HDR圖像偽影。

參考文獻

李衛中， 易本順， 邱康， 彭紅. 細節保留的多曝光圖像融合[J]. 光學精密工程， 2016， 24（09）： 2283-2292.

朱恩弘， 張紅英， 吳亞東， 霍永青. 單幅圖像的高動態范圍圖像生成方法[J]. 計算機輔助設計與圖形學學報， 2016， 28（10）： 1713-1722.

張淑芳， 劉孟婭， 韓澤欣， 郭志鵬. 基于Retinex增強的單幅LDR圖像生成HDR圖像方法[J]. 計算機輔助設計與圖形學學報， 2018， 30（06）： 1015-1022.

DEBEVEC PE， MALIK J. ＼lRecovering high dynamic range radiance maps from photographs[C]//ACM SIGGRAPH 97， [S.I.]： ACM， 1997： 369-378.

Grossberg M D， Nayar S K. Determining the camera response from images： whatisknowable[J]. Pattern Analysis and Machine Intelligence， IEEE Transaction on， 2003， 25（11）： 1455-1467.

都琳， 孫華燕， 張廷華， 王帥. 基于PCA的相機響應函數模型標定算法[J]. 紅外與激光工程， 2016， 45（10）： 251-259.

陳闊， 馮華君， 徐之海， 李奇， 陳躍庭. 細節保持的快速曝光融合[J]. 浙江大學學報（工學版）， 2015， 49（06）： 1048-1054.

Mertens T， Kautz J， van Reeth F. Exposure fusion： a simple andpractical alternative to high dynamic range photo graphy[J]. Computer Graphics Forum， 2009， 28（1）： 161-171.

張淑芳， 丁文鑫， 韓澤欣， 劉孟婭， 郭志鵬. 采用主成分分析與梯度金字塔的高動態范圍圖像生成方法[J]. 西安交通大學學報， 2018， 52（04）： 150-157.

RafalMantiuk， ScottDaly， LouisKerofsky. Display adaptive tone mapping[J]. ACM Transactions on Graphics （TOG）， 2008， 27（3）.

Wang T H， Chiu C W， Wu W C， et al. Pseudo-multiple- expo-sure-based tone fusion with local region adjustment[J]. IEEE Transactions on Multimedia， 2015， 17（4）： 470-484.

舒妮， 陳孝威. HDRI合成中新的相機響應曲線算法[J]. 計算機工程與設計， 2012， 33（03）： 1032-1036.

顧正暉. 相機響應函數恢復的差分方法[J]. 新型工業化， 2013， 3（01）： 15-22.

張永梅， 田越， 李波. 基于小波變換的自適應圖像融合算法[J]. 高技術通訊， 2010， 20（02）： 111-116.

段海濱， 羅松柏， 李昊， 周國哲. 一種基于蟻群聚類的多模板圖像邊緣融合方法[J]. 高技術通訊， 2009， 19（01）： 45-49.

A. ArdeshirGoshtasby. Fusion of multi-exposure images[J]. Image and Vision Computing， 2005， 23（6）.

張小利， 李雄飛， 李軍. 融合圖像質量評價指標的相關性分析及性能評估[J]. 自動化學報， 2014， 40（02）： 306-315.

劉哲， 李秀云， 楊子鵬， 董雪. 智能識別視頻圖像質量分析系統在平安城市的應用[J]. 軟件， 2017， 38（08）： 220-225.

曹妍， 陳偉， 徐森. 圖像去噪方法研究與仿真[J]. 軟件， 2015， 36（4）： 33-36

劉鑫淼， 康朝紅， 薛樂樂. 基于ICA的遙感圖像去噪融合研究[J]. 軟件， 2015， 36（7）： 53-56

金偉其， 賈曉婷， 高紹姝， 馬國利， 潘定平， 劉佳妮. 彩色融合圖像的質量主觀評價[J]. 光學精密工程， 2015， 23（12）： 3465-3471.

高紹姝， 金偉其， 王嶺雪， 路陸， 駱媛. 基于顏色協調性的典型場景彩色融合圖像顏色質量評價[J]. 北京理工大學學報， 2012， 32（10）： 1054-1060.