采用主成分分析與梯度金字塔的高動態范圍圖像生成方法

張淑芳, 丁文鑫, 韓澤欣, 劉孟婭, 郭志鵬

(天津大學電氣自動化與信息工程學院, 300072, 天津)

高動態范圍(HDR)圖像能夠記錄具有很高亮度動態范圍的景象,能夠呈現細膩的色彩信息以及清晰的亮度層次。因此,HDR圖像廣泛應用于攝影、游戲、醫療和計算機視覺等對圖像質量要求較高的領域。

目前,獲取HDR圖像主要有兩種方法。第一種是通過采集多曝光低動態范圍(LDR)圖像來融合生成HDR圖像。Mann和Picard通過設置不同曝光時間來獲取多曝光LDR圖像,進而生成HDR圖像[1];Goshtasby等人提出基于最優塊的HDR圖像融合算法[2],但上述算法對采集設備要求高且不適用于動態場景。第二種是基于單幅LDR圖像生成HDR圖像,主要分為多曝光LDR圖像獲取和HDR圖像融合兩個過程。針對多曝光LDR圖像獲取過程中的映射問題,Tumblin等人借助Stevens定律[3]從全局的角度壓縮亮度動態范圍[4],但只適用于信息簡單且有條理的灰度圖像;方華猛等人從主成分分析(Principal Component Analysis,PCA)和引導濾波角度進行色調映射[5],該算法對圖像的色彩和邊緣保持較好,但變換較為繁雜。Mertens等人根據對比度、飽和度及曝光度計算圖像標量權重圖,借助金字塔變換將對應分辨率的LDR圖像和權重圖融合得到HDR圖像[6],該算法更加切合實際,但當多曝光LDR圖像的亮度范圍變化較大時,會出現光暈;Shen等人將局部權重、全局權重和基于恰可察覺差異的顯著權重組合生成新的曝光權重圖,使用曝光權重對圖像的細節和基礎信號進行增強,并結合拉普拉斯金字塔進行圖像融合[7],融合后的圖像很好地保留了顏色和紋理結構信息,但只適用于靜態圖像;Qin等人考慮顏色信息,能量優化過程中尺度、平移和旋轉等幾何信息,構造新的能量成本函數,并利用新的迭代方法,同時進行匹配和融合過程,使用隨機游走算法保留輸入曝光序列的顏色和紋理細節[8]。該算法可用于捕捉現實、HDR圖像和視頻處理。

本文研究基于單幅LDR圖像融合生成HDR圖像的方法。首先,利用PCA變換提取輸入LDR圖像的亮度圖,對該亮度圖進行改進的S曲線全局映射和Retinex局部色調映射處理,利用PCA逆變換獲取多張曝光值不同的LDR圖像;然后,利用多曝光LDR圖像的對比度、飽和度與最佳曝光度和亮度信息,構造多曝光LDR圖像的標量權重圖;最后,利用梯度金字塔模型生成HDR圖像。本文方法適用于動態場景,生成的HDR圖像能夠較好地展現真實場景,有較好的魯棒性。

1　單幅LDR圖像生成HDR圖像方法

與直接獲取多曝光LDR圖像相比,基于單幅LDR圖像生成多幅曝光值不同的LDR圖像對采集設備要求低,且適用于動態場景。圖1為該類方法的示意圖。

本文借鑒了Wang等人提出的基于局部區域調整的偽多曝光融合方法[9],該方法用改進的S曲線對單幅LDR圖像進行映射獲取多曝光LDR圖像,并采用亮度信息權重計算函數分別計算多曝光LDR圖像對應的權重圖,最后將多曝光LDR圖像與權重圖進行融合生成HDR圖像。

圖1　基于單幅LDR圖像生成HDR圖像示意圖

1.1　改進的S曲線

由于S曲線具有增強高光、陰影和重要的中間亮度區域對比度的效果,符合視覺系統早期階段的全局自適應特性,因此Wang等人將改進的S曲線作為全局映射曲線[9]。改進的S曲線亮度值為

(1)

式中:Ls,k(i,j)表示經改進的S曲線映射的第k幅LDR圖像(i,j)位置處的亮度值;Pk是LDR圖像的調節因子,10-Pk用于控制相鄰LDR圖像之間的亮度差,Pk越大,亮度差越大;La,k表示第k幅LDR圖像的平均亮度值,滿足La,k=1+exp(λEk),其中Ek表示第k幅LDR圖像的曝光值,Ek越大,LDR圖像的平均亮度越大,λ是可調節的常數,取λ=0.85;Lr(i,j)表示參考LDR圖像中(i,j)位置處的亮度值,亮度范圍為[0,1];η是個亮度常量,實驗中取值為382.5;Lmax,k表示第k幅LDR圖像的最大亮度,由參數Pk和Ek共同控制。實驗表明,將Pk設為(1.6,1.3,1,0.85,0.75)、Ek設為(-1,-0.5,0,0.5,1)時生成的LDR圖像效果最好。

1.2　亮度信息權重計算函數

為了增強明亮圖像的暗區細節,以及黑暗圖像中明亮區域的細節,Wang等人為不同曝光度的圖像賦予不同的權重[9],其權重函數為

(2)

式中:wk(i,j)表示第k張圖像(i,j)位置處的亮度權重值;Ls,k(i,j)表示經過改進的S曲線映射后的第k張圖像(i,j)位置處的亮度值,由式(1)得到;Lmid,k是第k張圖像的中間亮度值,由第k幅圖像的最大和最小亮度值Lmax,k和Lmin,k求得,滿足Lmid,k=(Lmax,k-Lmin,k)/2;αk表示用于調節的常數;αk和Lmid,k都是與k相關的。為了提高較暗圖像中較亮區域的亮度,選擇較亮區域的中間亮度值作為Lmid,k。相似地,為了降低較亮圖像中較暗區域的亮度,選擇較暗區域的中間亮度值作為Lmid,k。圖像亮暗區域劃分用下面的直方圖法。

(1)多曝光圖像選取。取5幅曝光度不同的LDR亮度圖像組成多曝光序列,分別記為L1,…,L5。L1和L2為不同程度的欠曝光圖像,L3為曝光度正常的圖像,L4和L5為過曝光的圖像。

(2)局部區域劃分。局部區域劃分是基于曝光良好的圖像的直方圖,即L3的直方圖。首先,使用直方圖的中間亮度Lmid將L3劃分為兩個區域。對于由Lmid分成的兩部分,再使用Llow和Lhigh分別將上述兩個區域再分成兩部分。這樣,就將整幅圖像劃分成4個部分,記為b1、b2、b3和b4。

(3)各區域中間亮度值。對于L3的上述4個區域,利用公式Lmid=(Lmax-Lmin)/2,求出各個區域的中間亮度值,記為Lmid,bi,其中i=1,2,3,4。

(4)分配中間亮度值。對于最暗的圖像L1,將中間亮度值Lmid,1設為Lmid,b4。對于最亮的圖像L5,將中間亮度值Lmid,5設為Lmid,b1。以此類推,Lmid,2=Lmid,b3,Lmid,4=Lmid,b2,Lmid,3=(Lmax,3-Lmin,3)/2。

(5)確定調整常數αk。αk用來調整第k張圖像的亮度測量因子高斯曲線的斜率。當αk的值較小時,權重值變化較快;當αk的值較大時,權重值變化較慢。為了減弱最亮和最暗圖像對融合圖像的影響,應為最亮圖像和最暗圖像設定較大的αk。經過實驗,αk取(1,0.1,0.1,0.1,1)時效果最好。

2　基于亮色分離和梯度金字塔的HRD圖像生成方法

2.1　基于PCA變換的多曝光LDR圖像獲取

本文提出用PCA變換提取圖像亮度成分,結合改進的S曲線全局映射和改進的Retinex色調映射算法獲取多曝光LDR圖像,獲取過程如圖2所示。

圖2　基于PCA變換的多曝光LDR圖像獲取過程示意圖

(1)PCA變換提取亮度圖像。PCA變換能夠完美地去除自然圖像亮度和色度之間的相關性,降低由亮度變動引起的色差,進而防止光暈和泛灰現象。本文采用PCA變換算法[10],對輸入LDR彩色圖像I進行PCA變換,將變換后的第一主成分作為亮度圖像。

(2)改進的S曲線映射。常用于調整亮度的色調映射曲線包括線性曲線、γ曲線和S曲線。其中,S曲線更符合視覺系統早期階段的全局自適應特性。利用1.1節改進的S曲線對PCA變換后的亮度圖像進行全局映射,得到(i,j)位置處的亮度值L(i,j)。

(3)基于Retinex的局部自適應濾波。經過全局處理后的圖像細節及清晰度并不是很高。本文使用基于Retinex的色調映射算法,通過局部自適應地改變濾波器的形狀使之與高對比度邊緣匹配,從而消除光暈現象[10]?；赗etinex的局部自適應濾波后的亮度值為

Lad(i,j)=log(L(i,j))-β(i,j)log(mask(i,j))

(3)

式中:Lad(i,j)表示(i,j)位置處經過Retinex局部自適應濾波后的亮度值;L(i,j)表示位置在(i,j)處的經過改進的S曲線映射后的亮度值,為浮點型數據,范圍為[0,1]。為了進行對數運算,先將L(i,j)范圍擴展到[0.01,100],然后再將對數編碼后的L(i,j)縮小到[0,1],計算公式如下

(4)

本文采用(i,j)位置處像素點來衡量掩模的權重,其基于sigmoid函數的計算公式為

(5)

式(5)可以讓中間亮度值不受約束地變化,對于高強度像素,(i,j)處像素點的掩模會被一個接近0的值進行加權。低強度像素會被一個接近1的值進行加權。

對于每一個像素來說,濾波器是不同的,所以不能使用卷積的方法。本文通過自適應地改變濾波器的形狀使明亮區域對相鄰暗淡區域的影響減小,從而消除光暈。掩模采用下面公式計算

(6)

式中:mask(i,j)為(i,j)處像素點的掩模;θ表示徑向角度;d表示與中心像素的距離;σθ,d的定義如下

(7)

mask(i,j)以徑向方式連續地選擇像素。首先,第一個像素即為(i,j)處的中心像素;然后,沿徑向方向的所有像素進行累加,將空間常數為σ0的高斯函數作為加權函數,如果一個邊緣沿著徑向方向跨過,σθ,d會取值為相對較小的σ1,并會保持這一值直至d=dmax,其中dmax=3σ0;不斷對每個方向的像素進行加權和,直到環繞完成。對于新的徑向方向,σθ,d重置為初始值σ0。像素的權重會被權重和歸一化,即使該像素被邊緣環繞,也能保證每一個像素的掩膜是同等效果。σ0和σ1的值由圖像的尺寸確定。由于篇幅限制,具體參數確定可參考文獻[10]。

(4)PCA逆變換。將上一步得到的亮度圖插入到輸入圖像I中,參考Wang方法[9],本文生成了5張曝光值不同的LDR圖像,記為I1,I2,I3,I4,I5。通常設置Pk=(2.4,2.1,1.8,1.4,1.2)可以規避噪聲。

2.2　權重圖的獲取

目前,廣泛使用的融合算法將對比度、飽和度與最佳曝光度作為測量因子。在此基礎上,本文將上述3個測量因子與亮度信息組合,構造多曝光LDR圖像的標量權重圖。

對2.1節中得到的多曝光LDR圖像對應的灰度圖進行拉普拉斯濾波,將(i,j)位置處的濾波器響應的絕對值作為對比度測量因子[6],記為C(i,j)。計算過程如下

C(i,j)=|imfilter(g(i,j))|

(8)

式中:imfilter表示拉普拉斯濾波,g(i,j)表示LDR圖像(i,j)位置處的灰度值。

將多曝光LDR圖像(i,j)位置處R、G、B這3個色彩通道的色彩值的標準差作為飽和度測量因子[6],記為S(i,j)。飽和度的計算過程如下

(9)

式中:ΔR(i,j)、ΔG(i,j)和ΔB(i,j)分別表示紅、綠和藍分量值相對于均值μ(i,j)的偏差;R(i,j)、G(i,j)和B(i,j)分別表示3個顏色通道的值;μ(i,j)表示R(i,j)、G(i,j)和B(i,j)分量的平均值。

使用高斯曲線來衡量多曝光LDR圖像的R、G和B通道(i,j)位置處像素值距離0.5的遠近程度(靠近0表示曝光不足,靠近1表示曝光過度)[6],然后將3個通道的結果相乘得到曝光度因子Ex(i,j),計算公式為

(10)

式中:Lexp,R(i,j)、Lexp,G(i,j)和Lexp,B(i,j)分別表示第k張LDR圖像的R(i,j)、G(i,j)和B(i,j)分量經過高斯曲線處理后的曝光值;σ為標準差,根據文獻[6],σ取值為0.2。

亮度測量因子的計算過程為:首先,得到多曝光LDR圖像對應的亮度圖像;然后,利用1.2節的亮度信息權重函數來獲取第k幅圖像(i,j)位置處的實際亮度信息Lad(i,j)。

由4個測量因子得到LDR圖像標量權重的計算公式為

W(i,j)=

(C(i,j))ωC(S(i,j))ωS(Ex(i,j))ωE(Lad(i,j))ωL

(11)

式中:W(i,j)表示(i,j)位置處的標量權重值;ωC、ωS、ωE和ωL分別用來控制對比度測量因子C(i,j)、飽和度測量因子S(i,j)、曝光度測量因子Ex(i,j)以及亮度測量因子Lad(i,j)對標量權重圖W(i,j)的影響程度。如果指數ω等于0,則沒有考慮相應的度量因子。參考Mertens等人提出的算法[6],文中使用的圖片都是由JPEG編碼生成的,伽馬校正和相機的響應曲線都是未知的。因此,本方法采用同樣的加權質量度量ωC=ωS=ωE=1。亮度信息Lad(i,j)的取值范圍為[0,1]。通過實驗發現,ωL的取值越小,融合后圖像的亮度范圍越小,不能很好地實現HDR圖像顯示更高動態范圍亮度的目標。因此,為保證融合生成的HDR圖像有較高的亮度范圍,本文將ωL設為1。

對式(11)進行歸一化,得到第k張多曝光LDR圖像在(i,j)位置處的權重值為

(12)

2.3　基于梯度金字塔的HDR圖像融合過程

(13)

3　實驗結果與分析

3.1　基于PCA變換的多曝光LDR圖像獲取實驗

本實驗使用的CCD數碼相機型號為佳能PowerShot Pro90 IS,該款相機能夠還原較高的亮度動態范圍。通過調整光圈和快門,獲取曝光良好的LDR圖像。用基于S型曲線的色調映射算法和本文提出的基于PCA變換的多曝光LDR圖像獲取方法分別對同一幅LDR圖像進行處理,生成多幅曝光值不同的LDR圖像,如圖3所示。

(a)基于S型曲線的色調映射算法[9]

(b)本文提出的色調映射算法圖3　兩種色調映射算法對同一幅LDR圖像的處理結果對比

從圖3a可以看出,基于S型曲線的色調映射處理在高亮區域容易出現光暈現象,生成的LDR圖像較為模糊,如圖3a第5張圖像的窗戶邊緣模糊;低對比度區域容易出現泛灰,如圖3a第1張圖像,樹邊緣很模糊,天空顏色泛灰。本文提出的方法,利用PCA變換去除亮度和色度之間的相關性,降低由于亮度變動引起的色差;使用改進S曲線實現亮度圖像動態范圍的首次壓縮;用改進的Retinex色調映射算法來消除光暈。從圖3b可以看出,第1張圖像的樹邊緣清晰,天空顏色也較飽和;第5張圖像保留了窗戶細節,且動態范圍較高。因而,本方法獲取的多曝光LDR圖像不僅能獲得較高的動態范圍,而且能夠有效規避光暈和泛灰。

3.2　改進的梯度金字塔融合生成HDR實驗

本實驗使用圖4所示的曝光度良好的LDR圖像,參考HDR圖像是由Photomatix生成的,如圖5所示,Photomatix是采用多曝光融合技術生成HDR圖像的工具軟件。使用的電腦為64 bit操作系統,處理器為Intel(R) Core(TM) i5-6500 CPU @ 3.20 GHz,內存為8.00 GB,顯示器是分辨率為1920×1080像素的BENQ GW2270-T;使用軟件為MATLAB R2015b。

(a)建筑 (b)教堂 (c)廚房

(d)窗外 (e)書房 (f)書桌圖4　LDR圖像

(a)建筑 (b)教堂 (c)廚房

(d)窗外 (e)書房 (f)書桌圖5　Photomatix生成的HDR圖像

(a)拉普拉斯算法　(b)梯度算法　(c)改進的梯度算法圖6　3種基于金字塔的融合算法實驗結果

用2.1節方法處理圖4的LDR圖像,獲得多幅曝光值不同的LDR圖像,然后分別用拉普拉斯金字塔融合算法、梯度金字塔融合算法及本文提出的改進梯度金字塔融合算法來生成HDR圖像。實驗結果如圖6所示。與原LDR圖像對比,上述3種算法都較好地展現了原始場景。如圖6a所示,拉普拉斯金字塔融合算法的多分辨率和多尺度特性,生成的HDR圖像能夠有效地規避光暈,保留圖像細節。圖6b中,由梯度金字塔生成的HDR圖像與圖6a對應的HDR圖像相比,更加充分地展示了圖像的紋理和邊緣信息。本文改進的梯度金字塔融合算法,引入亮度高斯函數,生成的HDR圖像,如圖6c所示,相比另外兩種算法,進一步提高了圖像對比度,亮暗區域更加分明且邊緣細節更加清晰。因此,本文提出的改進梯度金字塔融合算法,對不同場景下的圖像都能取得較理想的效果,具有較好的魯棒性和實用性。

采用高動態范圍圖像可見差異預測2.2方法(High Dynamic Range Visible Difference Predictor,HDR-VDP-2.2)[12]和Deng等人提出的相對熵模型[13],對本文提出的融合方法、拉普拉斯和梯度金字塔融合方法進行客觀質量評價。HDR-VDP-2.2的統計評價是基于測試HDR圖像和參考HDR圖像,當視覺差異大于75%時其圖像像素分布概率結果如表1所示。用相對熵模型評價圖像的局部對比度,平均相對熵與噪聲程度比值(用符號ξ表示)越大,則該方法合成的圖像質量越高[13],結果如表2所示。

表1　視覺差異大于75%時圖像像素分布概率

從表1的數據來看:在視覺差異概率大于75%時,由拉普拉斯金字塔、梯度金字塔和本文提出的改進梯度金字塔算法融合生成的HDR圖像與參考HDR圖像的平均像素分布概率分別為16.94%、36.85%和6.1%;對于窗外和書房兩個場景,由于涉及屋內和屋外環境,亮度范圍差異較大,從而由單幅LDR圖像生成的多幅LDR曝光圖像差異較大,因此利用3種融合方法生成的HDR圖像效果較好,并且由于原始LDR圖像具有門窗等結構度較強的信息,所以無梯度信息的拉普拉斯方法融合效果較好,但與本文所提算法相比,效果差異很小;3種算法中,本文所提融合算法對建筑圖像的合成效果最好,和梯度算法相比,其圖像像素分布概率降低了55.47%,降低率為98.96%。

表2　3種算法的平均相對熵與噪聲程度比值

從表2可看出,本文算法的ξ與拉普拉斯金字塔和梯度金字塔算法相比,ξ分別提高了0.542 1和0.508 9,說明本文方法合成的HDR圖像信息損失更小,合成效果較好。

單次運行時間能夠體現算法的復雜度。使用2.1節的方法獲取多曝光LDR圖像,對3種金字塔融合算法的運行時間進行測量,結果如表3所示。

表3　3種融合算法的運行時間對比

從表3中看出,對于不同尺寸的圖像,本文提出的改進梯度金字塔,因為引入了亮度測量因子,導致運行時間相對較長。下一步工作應研究降低運算復雜度,規范代碼,減少算法運行時間。

4　結　論

本文提出一種基于單曝光LDR圖像的HDR圖像生成方法。首先利用改進的S曲線全局映射算法和基于Retinex的自適應濾波算法對PCA變換后的亮度圖像進行處理,并結合PCA逆變換獲取多曝光LDR圖像;其次利用多曝光LDR圖像的對比度、飽和度、曝光度和亮度信息構造標量權重圖;最后利用梯度金字塔生成HDR圖像。實驗結果表明,本文方法生成的多曝光LDR圖像能有效地規避光暈和泛灰,融合生成的HDR圖像亮暗區域分明且細節豐富。總體來講,本文提出的方法能夠較好地保留真實場景的亮度動態范圍特性,具有一定的參考價值。

參考文獻:

[1]MANN S, PICARD R W. On being ‘undigital’ with digital cameras: extending dynamic range by combining differently exposed pictures [C]∥Proceedings of the 1995 IS & I’s 48th Annual Conference. Springfield, VA, USA: Society for Imaging Science and Technology, 1995: 442-448.

[2]GOSHTASBY A. Fusion of multi-exposure images [J]. Image & Vision Computing, 2005, 23(6): 611-618.

[3]ZWISLOCKI J, HELLMAN R P. On the “psychophysical law” [J]. The Journal of the Acoustical Society of America, 1960, 32(7): 924-924.

[4]TUMBLIN J, RUSHMEIER H. Tone reproduction for realistic images [J]. IEEE Computer Graphics and Applications, 1993, 13(6): 42-48.

[5]方華猛, 易本順, 趙繼勇. 基于主成分分析和引導濾波的色調映射算法 [J]. 光電子·激光, 2014, 25(12): 2423-2429.

FANG Huameng, YI Benshun, ZHAO Jiyong. A tone mapping algorithm based on PCA and guided filter [J]. Journal of Optoelectronics·Laser, 2014, 25(12): 2423-2429.

[6]MERTENS T, KAUTZ J, VAN REETH F. Exposure fusion: a simple and practical alternative to high dynamic range photography [J]. Computer Graphics Forum, 2009, 28(1): 161-171.

[7]SHEN Jianbin, ZHAO Ying, YAN Shuicheng, et al. Exposure fusion using boosting Laplacian pyramid [J]. IEEE Transactions on Cybernetics, 2014, 44(9): 1579-1590.

[8]QIN Xiameng, SHEN Jianbin, MAO Xiaoyang, et al. Robust match fusion using optimization [J]. IEEE Transactions on Cybernetics, 2015, 45(8): 1549-1560.

[9]WANG T H, CHIU C W, WU W C, et al. Pseudo multiple exposure-based tone fusion with local region adjustment [J]. IEEE Transactions on Multimedia, 2015, 17(4): 470-484.

[10] MEYLAN L, SUSSTRUNK S. High dynamic range image rendering with a Retinex-based adaptive filter [J]. IEEE Transactions on Image Processing, 2006, 15(9): 2820-2830.

[11] 李建林, 俞建成, 孫勝利. 基于梯度金字塔圖像融合的研究 [J]. 科學技術與工程, 2007, 7(22): 5818-5822.

LI Jianlin, YU Jiancheng, SUN Shengli. The image fusion based on gradient pyramid [J]. Science Technology and Engineering, 2007, 7(22): 5818-5822.

[12] NARWARIA M, MANTIUK R, CALLET P L. HDR-VDP-2.2: a calibrated method for objective quality prediction of high-dynamic range and standard images [J]. Journal of Electronic Imaging, 2015, 24(1): 010501.

[13] DENG G. An entropy interpretation of the logarithmic image processing model with application to contrast enhancement [J]. IEEE Transactions on Image Processing, 2009, 18(5): 1135-1140.