基于模擬多曝光融合的低照度全景圖像增強

王殿偉，邢質(zhì)斌*，韓鵬飛，劉 穎，姜 靜，任新成

（1.西安郵電大學(xué)通信與信息工程學(xué)院，陜西西安710121；2.西湖大學(xué)工學(xué)院人工智能研究與創(chuàng)新中心，浙江杭州310024；3.延安大學(xué)物理與電子信息學(xué)院，陜西延安716000）

1 引 言

全景圖像是一種采用廣角的表現(xiàn)手段以新視角來展示周圍世界的全新方式，能夠盡可能多地展示周圍的所有景致，因此受到越來越多關(guān)注。在夜晚、陰影等光照不良條件下采集的全景圖像質(zhì)量會變差，主要表現(xiàn)在圖像整體亮度不均勻、對比度偏低和顏色偏暗等方面，對于全景圖像的視覺效果影響嚴重，并為后續(xù)的計算機視覺處理任務(wù)（比如圖像分割、目標(biāo)跟蹤、目標(biāo)識別等）帶來一定難度［1-2］。因此，開展低照度全景圖像增強算法研究對于機器視覺領(lǐng)域具有非常重要的意義。

目前低照度圖像增強算法主要有直方圖均衡化類方法、基于Retinex理論的方法、基于深度學(xué)習(xí)的方法以及圖像融合類算法等。基于直方圖均衡化類算法［3-5］對于整體亮度偏低或偏高的圖像具有較好的增強效果，因其具有算法復(fù)雜度低等優(yōu)點得到了廣泛應(yīng)用，但容易出現(xiàn)過度增強、偏色等現(xiàn)象。Retinex理論把一幅圖像分解為光照分量與反射分量，然后將處理后的光照分量和反射分量相結(jié)合得到增強圖像［6］。例如，Wang等［7］提出了一種光照不均勻圖像自然性保持的增強 算 法（Naturalness Preserved Enhancement，NPE），該算法能夠較好地保持圖像的自然度；Guo等［8］提出了一種基于照度圖估計的低光照圖像增強處理算法（Low-light Image Enhancement，LIME），能夠顯著提高圖像的亮度與對比度；Fu等［9］提出了一種加權(quán)變分模型，以同時估計圖像的光照分量與反射分量，該算法能夠在抑制噪聲的同時提升圖像亮度；Li等［10］提出了一種新型的基于Rtinex理論的低照度圖像增強算法，該方法在考慮圖像噪聲的同時，通過求解一個最優(yōu)化問題估計光照分量。上述算法均是僅利用單一的低照度圖像作為輸入，雖然能夠取得較好的增強效果，但是單張低照度圖像中所蘊涵的有效信息畢竟有限，導(dǎo)致這些算法無法有效地展示圖像中所有的細節(jié)。因此，為能充分利用自然圖像中所蘊含的先驗信息來提高圖像的增強效果，基于深度學(xué)習(xí)的低照度圖像增強算法成逐漸為熱點，例如，Lore等［11］利用深度堆棧稀疏自編碼器構(gòu)建了一種新的低照度圖像增強網(wǎng)絡(luò)；RetinexNet［12］結(jié)合Retinex理論和卷積神經(jīng)網(wǎng)絡(luò)估計圖像的光照分量和反射分量，并通過分別處理照分量和反射分量得到增強圖像；Cai等［13］提出了一種通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)單幅圖像與高動態(tài)范圍圖像之間映射關(guān)系的算法；Wang等［14］提出了一種基于光照分量估計的低照度圖像增強網(wǎng)絡(luò)；Yang等［15］提出了一種新的半監(jiān)督學(xué)習(xí)方法用于低照度圖像增強。雖然這些基于深度學(xué)習(xí)的方法能夠獲得較好的增強效果，但其性能仍然在一定程度上受到限制，其主要原因是采集用于訓(xùn)練模型的圖像數(shù)據(jù)集比較困難。

近年來，人們受HDR技術(shù)（將同一場景下拍攝的一組不同曝光率的圖像，通過圖像融合算法獲得高質(zhì)量輸出圖像）啟發(fā)，基于給定的低照度圖像以及基于它生成的多張不同曝光程度的圖像，通過將它們之間互補性的圖像信息融合在一起，以獲得更加魯棒的增強效果，是研究低照度圖像增強算法的新方向之一［16-18］。例如，F(xiàn)u等［16］提出了一種基于多個光照分量融合的低照度圖像增強算法，該算法在提升圖像可視化效果的同時較好地保持了圖像自然度，但是該算法輸出的增強圖像中某些區(qū)域的可見性仍然不夠高；Liu等［17］提出了一種基于細節(jié)保持的多曝光圖像融合算法，使增強后的圖像有較好的顏色保真效果，同時也保留了低曝光圖像中的一些細節(jié)，但是處理曝光率非常低的圖像仍無法取得令人滿意的效果；Ying等［18］提出了一種基于多曝光生成再融合框架的低照度圖像增強算法（BIMEF），首先基于圖像信息熵最大化原則，利用相機響應(yīng)模型處理低照度圖像得到一張適度曝光圖像，然后根據(jù)圖像像素亮度值設(shè)置權(quán)重將低照度圖像和適度曝光圖像兩張圖像在像素級上完成融合。BIMEF算法實現(xiàn)效率高且增強效果不錯，然而BIMEF算法僅采用一張曝光適度的偽曝光圖像作為低照度圖像的互補圖像，所能提供的有用信息仍然不夠全面，在適度曝光的圖像中，仍然存在曝光不充分的區(qū)域需要增強，故為了更好地提升圖像增強效果，應(yīng)該使用更多圖像參與融合。

為了克服上述方法的不足，本文提出一種基于模擬多曝光融合的低照度全景圖像增強算法，在提升圖像對比度的同時能夠有效地恢復(fù)暗區(qū)細節(jié)，避免圖像顏色失真問題。本文主要貢獻包括以下兩方面：（1）在待融合圖像生成階段，為了獲得更好且與低照度全景圖像具有互補性的圖像，采用曝光插值法合成中等曝光圖像參與融合；（2）在融合階段，設(shè)計了一種新的亮度權(quán)重函數(shù)用于多尺度融合策略。

2 基于融合的低照度圖像增強算法

為提高低照度全景圖像的可視化質(zhì)量，解決低照度條件下采集到的全景圖像亮度弱、低對比度及細節(jié)信息不清晰等問題，本文提出了一種基于模擬多曝光融合的低照度全景圖像增強算法，算法流程圖如圖1所示。

圖1 本文算法流程Fig.1 Proposed algorithm flow

由圖1可知，本文算法主要包含：過曝光圖像生成，中等曝光圖像生成，多尺度融合以及多尺度細節(jié)增強4個模塊。首先，將低照度全景圖像E1由RGB顏色空間轉(zhuǎn)換到HSV顏色空間；然后采用亮度映射函數(shù)對V分量進行虛擬曝光；最后，將處理后的V分量和保持不變的H和S分量重新合成HSV圖像，并將其轉(zhuǎn)回RGB顏色空間作為過曝光圖像E3；將低照度圖像E1和生成的過曝光圖像E3作為輸入，利用曝光插值法生成中等曝光圖像E2參與融合，一方面能夠較好地提升圖像的亮度與對比度，另一方面可有效地避免由于一對多映射導(dǎo)致的虛擬曝光圖像中的顏色失真問題；為了將低照度全景圖像及生成的多個不同曝光率圖像中的互補性信息進行最佳融合以獲得更為魯棒的視覺增強效果，本文提出一種新的亮度權(quán)重函數(shù)，并采用多尺度融合策略將低照度圖像E1、中等曝光圖像E2和過曝光圖像E3進行融合；通過多尺度細節(jié)增強算法對融合后的圖像進行細節(jié)增強，得到最終的增強圖像。

2.1 過曝光圖像生成

為了提高低照度全景圖像的可視化質(zhì)量，需要生成不同的虛擬曝光圖像并進行曝光融合。首先，將圖像質(zhì)量指標(biāo)（信息熵）作為度量確定低照度圖像的最佳曝光率δopt，通過最佳曝光率［18］提高曝光不足的像素亮度，本文利用式（1）過濾得到曝光不足的像素灰度值集合：

其中：V(x)表示低照度圖像E1的亮度分量V；τ為區(qū)分曝光不足像素的灰度閾值，本文中取值為0.5。則曝光不足的像素點的信息熵為：

式中pi為Q中每個灰度等級i出現(xiàn)的概率。

接著，利用圖像信息熵最大化原則求解出的最佳曝光率可表示為：

式中g(shù)(·)為亮度映射函數(shù)，其表達式為：

式中δ是曝光率，根據(jù)文獻［17］，a和b是常數(shù)，a=-0.329 3，b=1.152 8。

然后，基于得到的最佳曝光率δopt，利用亮度映射函數(shù)對低照度圖像E1的亮度分量V進行虛擬曝光處理，得到處理后的V分量：

式中：g(·)為亮度映射函數(shù)，Δδ為曝光率變化量（本文Δδ取值為1）。

最后，將處理后的V分量和保持不變的H和S分量重新合成HSV圖像，并將其轉(zhuǎn)回RGB顏色空間作為過曝光圖像E3。

2.2 中等曝光圖像生成

如果僅采用一張過曝光圖像作為低照度圖像的互補圖像用于圖像融合，所能提供的有效信息十分受限，難以獲得較為理想的增強效果，比如當(dāng)?shù)驼斩葓D像中的明亮區(qū)域比過曝光圖像中的陰影區(qū)域暗時，很難對所有像素適當(dāng)?shù)囟x權(quán)重來保持相對亮度。為解決這一問題，Yang等［19］提出一種新的圖像融合算法（MSF），通過對不同曝光程度的圖像進行融合，有效避免了由于一對多映射而導(dǎo)致的虛擬曝光圖像中可能出現(xiàn)的顏色失真問題。

受MSF算法啟發(fā)，本文以低照度圖像和生成的過曝光圖像為輸入，采用曝光插值法生成中等曝光圖像參與融合。

首先，利用式（6）計算中等曝光圖像的曝光時間，假設(shè)同一場景的低照度圖像E1(p)和過曝光圖像E3(p)的曝光時間分別為Δt1和Δt3（Δt3＞Δt1），則中等曝光圖像的曝光時間Δt2定義式如下：

然后，需要確定中等曝光圖像與兩個不同曝光圖像之間的關(guān)系。假設(shè)g32(·)表示過曝光圖像E3(p)與中等曝光圖像E2(p)之間的亮度映射函數(shù)，g12(·)表示低照度圖像E1(p)與中等曝光圖像E2(p)之間的亮度映射函數(shù)，則g32(·)和g12(·)定義為：

式中F(·)表示相機響應(yīng)函數(shù)。

在確定了中等曝光圖像與兩個不同曝光圖像之間的關(guān)系之后，以低照度圖像和過曝光圖像作為輸入數(shù)據(jù)，利用式（7）生成兩個具有相同曝光時間的中間虛擬圖像：

最后，通過加權(quán)融合算法將生成的兩個中間虛擬圖像進行融合得到中等曝光圖像：

這里權(quán)重函數(shù)w1和w2分別定義為：

其中：ξL和ξU為常數(shù)，h1(z)和h2(z)定義為：

2.3 多尺度融合

為了獲得更好的圖像增強效果，本文采用多尺度融合策略對低照度圖像、中等曝光圖像和過曝光圖像進行融合，融合框架可表示為：

式中：Yl和Ll分別表示第l層的高斯金字塔與第l層的拉普拉斯/金字塔為歸一化權(quán)重，E1，E2和E3分別為低照度圖像、中等曝光圖像和過度曝光圖像，經(jīng)過大量不同場景的實驗表明，5層金字塔分解通常會取得最好的效果，因此本文l取值為5。本文用上述方法，對一幅低照度圖像生成了中等曝光和過曝光圖像，結(jié)果如圖2所示。

圖2 本文方法生成的多曝光圖像Fig.2 Multi-exposure images generated by the proposed method

如圖2（a）～（c）所示，E1，E2和E3分別是低照度圖像，以及本文方法生成的中等曝光圖像和過度曝光圖像。對于低照度圖像E1而言，希望其能在保留圖像中曝光良好區(qū)域的同時，有效地增強圖像中曝光不良的區(qū)域；而相比于E1和E2，過曝光圖像E3在損失了圖像細節(jié)的同時卻能展示更多有效的圖像內(nèi)容信息，為此，本文采用基于光照分量的Sigmoid函數(shù)對E1和E3進行權(quán)重設(shè)置。由大量的統(tǒng)計數(shù)據(jù)可知，曝光良好圖像的像素值分布近似滿足均值為0.5，方差為0.25的高斯分布，因此我們利用高斯分布函數(shù)設(shè)置中等曝光圖像E2的權(quán)重。為了平衡高斯分布函數(shù)和Sigmoid函數(shù)，本文提出了一種的改進的亮度權(quán)重函數(shù)，其定義式如下：

式中L1，L2和L3分別表示E1，E2和E3的光照分量。為了得到光照分量，本文將圖像E1，Ε2，E3從RGB色彩空間轉(zhuǎn)到HSV顏色空間，并獲取圖像的亮度分量V，然后采用可以保持圖像邊緣的加權(quán)最小二乘濾波器（Weighted Least Square，WLS）［20］對V分量進行平滑濾波處理以獲得光照分量。本文構(gòu)建的三個亮度權(quán)重函數(shù)的曲線如圖3所示（彩圖見期刊電子版）。

圖3 亮度權(quán)重函數(shù)Fig.3 Weight function

在圖3中，橫坐標(biāo)為圖像的光照分量，縱坐標(biāo)為權(quán)重，紅、綠、藍三條曲線分別代表低照度圖像、中等曝光圖像和過曝光圖像的亮度權(quán)重函數(shù)（彩圖見期刊電子版）。通過為三個不同曝光程度圖像的像素值合理地分配權(quán)重，使融合后的圖像在增強亮度和避免過度曝光之間達到了很好的平衡。

2.4 多尺度細節(jié)增強

在對圖像進行高斯-拉普拉斯金字塔分解和重建的過程中，隨著金字塔層數(shù)的增加，會丟失部分圖像細節(jié)，而減少金字塔的層數(shù)會導(dǎo)致在融合結(jié)果中產(chǎn)生光暈偽影［21］。為使圖像細節(jié)信息更加豐富，本文采用一種多尺度高斯濾波算法，在增強圖像細節(jié)的同時避免產(chǎn)生光暈偽影。

首先采用多尺度高斯濾波器對融合后的圖像進行平滑濾波，獲得3個不同的高斯模糊圖像，如式（17）所示：

其中：G1，G2和G3分別是標(biāo)準(zhǔn)差為σ1=1.0，σ2=2.0 和σ3=4.0的高斯核。

其次針對圖像提取精細細節(jié)D1，中間細節(jié)D2和粗細節(jié)D3，如式（18）所示：

圖4 多尺度細節(jié)增強的對比Fig.4 Comparison of multi-scale detail enhancement

然后將D1，D2和D3進行加權(quán)融合得到細節(jié)圖像D*，如式（19）所示：

其中：w1，w2和w3為權(quán)重系數(shù)，取值分別為0.5，0.5和0.25。最后，將細節(jié)圖像D*與融合后的圖像I*結(jié)合在一起，得到最終的增強圖像。細節(jié)增強前后的實驗結(jié)果如圖4所示（彩圖見期刊電子版）。

由圖4（b）和圖4（c）中紅色框區(qū)域可以看出，經(jīng)過多尺度細節(jié)增強處理后的圖像中地面防滑紋以及樹枝的紋理細節(jié)比處理前的圖像更加清晰。

3 實驗結(jié)果與分析

為了驗證本文算法在低照度全景圖像增強上的效果，本文選取6種不同場景下的低照度全景圖像進行實驗，分別使用NPE算法［7］、LIME算法［8］、SRIE算法［9］、Li算法［10］、BIMEF算法［18］、RetinexNet算法［12］以及本文算法分別進行處理，對實驗結(jié)果進行對比與分析，如圖5～圖12所示。

圖5 傍晚時分實驗樓全景圖像不同增強算法處理結(jié)果Fig.5 Results of different enhancement algorithms for the panoramic image

由圖5可知，相比于原圖像，NPE算法和SRIE算法處理后的全景圖像達到了一定的增強效果，但對于整體亮度很低的圖像，它們的恢復(fù)效果仍然不夠明顯，如圖5（b）和圖5（d）中紅色框區(qū)域，增強后圖像的部分區(qū)域仍存在亮度偏低的問題；由圖5（c）中紅色框區(qū)可知，對于燈光區(qū)域，LIME算法處理后的結(jié)果存在亮度和顏色失真現(xiàn)象；而通過觀察圖5（e）中紅色框區(qū)域可以現(xiàn)，對于較暗區(qū)域（窗戶與墻壁），Li算法處理后結(jié)果的圖像細節(jié)不夠清晰；BIMEF算法對圖像的亮度提升效果較好，但是處理后圖像的顏色不夠自然，如圖5（f）紅色框區(qū)域中墻壁顏色偏灰暗；而圖5（g）所示方法結(jié)果圖像的視覺效果較差，如圖5（g）紅色框區(qū)域中樹枝與地面的光暈偽影比較嚴重，而本文算法處理后的圖像在提升了亮度的同時保留了更多的細節(jié)信息，具有更好的視覺效果（彩圖見期刊電子版）。

圖6 傍晚時分路邊全景圖像不同增強算法處理結(jié)果Fig.6 Results of different enhancement algorithms for the panoramic image

由圖6可知，NPE算法和SIRE算法雖可以改善圖像的質(zhì)量，但對于暗區(qū)細節(jié)恢復(fù)地仍不夠好，如由圖6（b）和（d）紅框區(qū)域中樹木和大樓的亮度仍然偏暗；通過觀察圖6（c）中紅色框區(qū)域可以發(fā)現(xiàn)，經(jīng)LIME算法處理后，由于過度增強，導(dǎo)致圖像的細節(jié)信息不夠清楚，亮度有所失真；由圖6（e）中紅色框區(qū)域可以看出，Li算法提高了圖像對比度，但存在圖像細節(jié)信息保持不好的問題；由圖6（f）中紅色框區(qū)域可以看出，BIMEF算法雖能有效提升圖像亮度，保持圖像細節(jié)信息，但增強后圖像的整體灰度變化較小，且存在色偏問題；而圖6（g）中，RetinexNet算法處理后的圖像出現(xiàn)亮度和顏色發(fā)生失真，如圖6（g）紅色框區(qū)域中地面出現(xiàn)偽影。而本文算法可以很好地保持圖像的細節(jié)信息，具有較高的對比度，更加符合人眼特性（彩圖見期刊電子版）。

圖7 傍晚時分圖書館全景圖像不同增強算法處理結(jié)果Fig.7 Results of different enhancement algorithms for the panoramic image

由圖7可以看出，NPE算法、SIRE算法較好地提升了圖像的視覺效果，但仍存在部分圖像區(qū)域增強不足的問題，如圖7（b）和（d）紅色框區(qū)域中圖像的亮度偏低，視覺效果欠佳；通過觀察圖7（c）中紅色框區(qū)域可以發(fā)現(xiàn)，圖7（c）所示方法存在增強過度的問題，增強后圖像的亮度不自然，天空區(qū)域存在過度增強的問題；由圖7（f）可以看出，BIMEF算法的結(jié)果圖像整體偏灰暗，如圖7（f）紅色框區(qū)域圖像存在增強不足的問題；由圖7（g）中紅色框區(qū)域可知，圖7（g）所示方法亮度增強效果較好，但圖像的顏色仍然不夠自然。而本文算法在一定程度上很好地解決了上述算法的缺點，使得增強后的圖像更加清晰，圖像的顏色更加自然（彩圖見期刊電子版）。

圖8 傍晚時分校園廣場全景圖像不同增強算法處理結(jié)果Fig.8 Results of different enhancement algorithms for the panoramic image

通過觀察圖8可以發(fā)現(xiàn)，NPE算法和SIRE算法雖然能夠有效地提高圖像質(zhì)量，但仍存在部分圖像區(qū)域亮度偏低的問題，例如圖8（b）和（d）的紅框區(qū)域中近景地面與遠景樹木的視覺效果欠佳；通過觀察圖8（c）中紅色框區(qū)域可以發(fā)現(xiàn)，圖8（c）所示方法增強后的圖像存在亮度失真問題，圖像中部分天空區(qū)域過于明亮；由圖8（f）中紅色框區(qū)域可知，BIMEF算法的結(jié)果圖像顏色不夠自然；由圖8（g）中紅色框區(qū)域可知，圖8（g）所示方法雖然可以較好地提升圖像亮度，但顏色失真明顯，遠景樹木與房屋的輪廓出現(xiàn)偽影現(xiàn)象。本文算法使處理后圖像具有較高的對比度與清晰度的同時有效避免了亮度與顏色的失真問題（彩圖見期刊電子版）。

由圖9（b）和圖9（d）中紅色框區(qū)域可以看出，對于較暗區(qū)域（如大樓墻壁、湖面），NPE算法和SIRE算法處理后的結(jié)果中墻體的亮度依然偏暗，視覺效果欠佳；通過觀察圖9（c）中紅框區(qū)域可以發(fā)現(xiàn)，LIME算法對于低照度圖像的亮度提升較為顯著，但存在增強過度與圖像部分區(qū)域失真問題；由圖9（c）中紅色框區(qū)可知，對于遠景中的樹木，Li算法的增強結(jié)果存在一定程度的模糊現(xiàn)象，而本文算法的處理結(jié)果則顯得更加清晰；BIMEF算法處理后的結(jié)果整體色調(diào)偏灰，圖像顏色有些失真，如圖9（f）中的紅框區(qū)域，地面顏色偏灰暗；而圖9（g）所示方法的增強結(jié)果圖像存在較為嚴重的顏色失真，如圖9（g）中的紅框區(qū)域，樹木輪廓區(qū)域出現(xiàn)偽影，視覺效果不好（彩圖見期刊電子版）。

圖9 傍晚時分湖邊全景圖像不同增強算法處理結(jié)果Fig.9 Results of different enhancement algorithms for the panoramic image

由圖10可知，NPE算法和SIRE算法處理后的全景圖像中遠景區(qū)域的細節(jié)不夠清晰，且色彩飽和度較弱，如圖10（d）紅色框區(qū)域中遠景樹木的亮度偏暗；經(jīng)LIME算法處理后的圖像亮度有明顯的改善，但存在圖像細節(jié)丟失嚴重的問題，如圖10（c）中紅色框區(qū)域，由于過度增強，天空區(qū)域過于明亮，樹枝的細節(jié)丟失嚴重；從圖10（e）與圖（f）中紅色框區(qū)域可以看出，Li算法和BIMEF算法處理后的結(jié)果圖像中路面的紋理細節(jié)信息丟失嚴重；圖10（g）所示方法的增強結(jié)果偏“油畫”風(fēng)格，不符合人們對全景圖像的視覺要求，如圖10（c）紅框區(qū)域中樹木顏色失真，細節(jié)信息丟失嚴重。而我們所提算法處理后的全景圖像，可以較好解決低照度全景圖像的降質(zhì)問題，避免圖像失真、細節(jié)丟失等現(xiàn)象的發(fā)生（彩圖見期刊電子版）。

圖10 午后教學(xué)樓全景圖像不同增強算法處理結(jié)果Fig.10 Results of different enhancement algorithms for the panoramic image

如圖11所示，對于不同場景不同時刻的灰度全景圖像，NPE算法和SRIE算法雖然能夠較好地保持圖像自然，但圖像整體偏暗，圖像暗區(qū)細節(jié)仍然不夠清晰；LIME算法可以在提高對比度和亮度的同時增強局部細節(jié)信息，但是圖像整體會出現(xiàn)過增強現(xiàn)象，視覺效果不夠自然；Li算法較好地增強了圖像亮度與對比度，但圖像的原始結(jié)構(gòu)信息有所丟失；基于互信息最優(yōu)偽曝光技術(shù)的Ying算法增強后的圖像，整體增強效果較佳，但部分圖像區(qū)域仍然不夠清晰；RetinexNet算法雖然能較好地恢復(fù)圖像亮度，但增強后的圖像存在光暈偽影現(xiàn)象，許多區(qū)域細節(jié)不夠清晰；本文所提出的算法可以較好地保持圖像的細節(jié)信息，具有較高的亮度對比度，更加符合人眼視覺特性。

圖11 傍晚時分實驗樓灰度圖像不同增強算法處理結(jié)果Fig.11 Results of different enhancement algorithms for the grayscale image

圖12 傍晚時分路邊灰度圖像不同增強算法處理結(jié)果Fig.12 Results of different enhancement algorithms for the grayscale image

如圖12所示，NPE算法和SIRE算法雖可以改善圖像的質(zhì)量，但處理后的灰度圖像中遠景區(qū)域的細節(jié)仍然不夠清晰；經(jīng)LIME算法處理后的圖像亮度有所失真，存在過增強現(xiàn)象，如圖12（c）中的部分天空區(qū)域過于明亮；Li算法提高了圖像對比度，但存在圖像細節(jié)信息保持不好的問題；BIMEF算法雖能有效提升圖像質(zhì)量，但增強后圖像的整體灰度變化較小；RetinexNet算法處理后的圖像存在亮度失真現(xiàn)象，本文算法可以很好地保持圖像的細節(jié)信息，具有較高的對比度，更加符合人眼特性。本文算法使處理后圖像具有較高的對比度與清晰度的同時有效地保留了圖像細節(jié)信息。

為了對不同算法的處理結(jié)果進行客觀評價，本文將亮度失真（Lightness Order Error，LOE）［7］及結(jié)構(gòu)相似性（Structure Similarity Index，SSIM）［22］作為客觀評價指標(biāo)，對本文所提方法的處理結(jié)果進行評估。圖像亮度失真定義為：

式中：RD(x)表示的原圖像與增強結(jié)果的相對階差分，x表示圖像像素。RD(x)定義為：

其中：m為像素個數(shù)，⊕為異或操作，L(x)和L′(x)分別表示的是像素x在原始圖像和增強結(jié)果圖像中的最大值。對于U(x，y)，默認返回值為1；如果x≥y，則返回值為0。根據(jù)文獻［7］，對于增強結(jié)果，LOE值越小的圖像，亮度自然性就保持地越好，亮度失真率就越低。不同算法的LOE客觀評價結(jié)果如表1和表2所示。

表1 不同算法的LOE客觀評價結(jié)果對比Tab.1 LOE objective evaluation results comparison of different algorithms

從表1可以看出，相較于大部分的比較算法，對于不同場景下的低照度全景圖像，本文算法的LOE指標(biāo)較小，表明本文算法增強后圖像的亮度自然性較好，亮度失真率較低。

表2 不同算法的LOE客觀評價結(jié)果對比Tab.2 LOE objective evaluation results comparison of different algorithms

從表2可以看出，對于不同場景下的灰度全景圖像，本文算法增強圖像的LOE指標(biāo)低于其他比較算法，亮度失真率結(jié)果較優(yōu)，表明本文算法在增強灰度圖像的自然性和魯棒性方面較好。

結(jié)構(gòu)相似性（SSIM）作為衡量圖像結(jié)構(gòu)是否失真的重要指標(biāo)，其數(shù)值越大，則表明處理后的圖像與原圖像越相似。不同算法的SSIM客觀評價結(jié)果如表3和表4所示。

從表3可以看出，對于不同場景下的低照度全景圖像，本文所提算法增強后圖像的SSIM指標(biāo)高于其它大部分的比較算法，表明本文算法可以在提升圖像亮度的同時也能較好地保持圖像的原有結(jié)構(gòu)。由表4可知，對于不同場景下的灰度全景圖像，本文所提算法結(jié)果的SSIM指標(biāo)較優(yōu)，表明本文算法可以在提升圖像對比度的同時能夠較好地保持圖像的原有結(jié)構(gòu)。

表3 不同算法的SSIM客觀評價結(jié)果對比Tab.3 SSIM objective evaluation results comparison of different algorithms

表4 不同算法的SSIM客觀評價結(jié)果對比Tab.4 SSIM objective evaluation results comparison of different algorithms

為了更加全面地對不同算法的處理結(jié)果進行客觀評價，本文將自然圖像質(zhì)量評估器（Natural Image Quality Evaluator，NIQE）［23］及無參考空間域圖像質(zhì)量評估器（Blind/Referenceless Image Spatial Quality Evaluator，BRISQUE）［24］作為客觀評價指標(biāo)，客觀評價結(jié)果如表5和表6所示。

從表5可以看出，對于不同場景下的低照度全景圖像，本文算法的NIQE指標(biāo)與BRISQUE指標(biāo)高于其他大部分的比較算法，表明本文算法增強后的圖像比其他方法的更加清晰，圖像質(zhì)量也更高，信息量也更豐富。

由表6可知，相較于其他比較算法，對于不同場景下的灰度全景圖像，本文算法的NIQE指標(biāo)與BRISQUE指標(biāo)較優(yōu)，表明本文算法的增強效果更好，增強后圖像的質(zhì)量更高。

表5 不同算法的NIQE/BRISQUE客觀評價結(jié)果對比Tab.5 NIQE/BRISQUE objective evaluation results comparison of different algorithms

表6 不同算法的NIQE/BRISQUE客觀評價結(jié)果對比Tab.6 NIQE/BRISQUE objective evaluation results comparison of different algorithms

通過對四個客觀評價指標(biāo)的綜合比較可以發(fā)現(xiàn)，本文方法在各個性能指標(biāo)上表現(xiàn)良好，盡管不是所有的客觀評價指標(biāo)都是最高值，但是指標(biāo)的數(shù)值都在正常范圍內(nèi)，表明本文所提算法可以在保持圖像結(jié)構(gòu)的同時增強圖像的亮度、對比度以及細節(jié)信息，且增強后圖像的顏色更加自然。

4 結(jié) 論

為解決低照度全景圖像增強問題，本文提出了一種基于模擬多曝光融合的低照度全景圖像增強算法，并通過主觀視覺感受和客觀指標(biāo)評價驗證了本文算法的有效性，實驗結(jié)果表明本文算法在增強圖像亮度對比度的同時有效避免了顏色失真，也使增強后圖像的紋理細節(jié)更清晰。

雖然本文算法處理結(jié)果較優(yōu)，但算法復(fù)雜度較高，限制了當(dāng)前算法向工程應(yīng)用領(lǐng)域的推廣。未來研究可以著重于模型優(yōu)化，并在圖像權(quán)重的設(shè)計這部分開展進一步的研究。