基于熵驅(qū)動域適應(yīng)學(xué)習(xí)的弱光照圖像陰影去除

李觀發(fā)，宋文慧

(贛南師范大學(xué)科技學(xué)院，江西 贛州 341000)

1 引言

圖像陰影是圖像采集過程中時常出現(xiàn)的一種現(xiàn)象，此現(xiàn)象導(dǎo)致采集的圖像發(fā)生色彩改變或亮度不足等問題。對含有陰影的圖像進(jìn)行處理時，陰影因素的存在對數(shù)字圖像處理造成了諸多的干擾。例如，在圖像分割過程中，陰影會導(dǎo)致目標(biāo)圖像分割不完整[1-2]。因此，在處理圖像陰影問題時，需要增強(qiáng)圖像的可視性，并對陰影圖像進(jìn)行光照恢復(fù)。圖像陰影檢測與去除是目前計算機(jī)視覺和圖像處理領(lǐng)域中非常重要的工作之一，其對有效協(xié)助現(xiàn)場恢復(fù)與目標(biāo)識別具有重要作用。目前，陰影去除技術(shù)研究中已經(jīng)取得了一定的成果，但由于陰影具有一定隨機(jī)性、多樣性與復(fù)雜性，現(xiàn)有圖像陰影去除方法在實際應(yīng)用中具有一定的局限性，難以滿足多種環(huán)境條件下應(yīng)用要求[3]。因此，該領(lǐng)域研究人員對陰影去除方法進(jìn)行了很多研究，且取得了一定成果。

文獻(xiàn)[4]提出基于衰減式生成對抗網(wǎng)絡(luò)的單幅圖像陰影去除方法。該方法針對陰影區(qū)域光照衰減程度的蒙版圖像質(zhì)量較差問題，對單幅圖像的陰影進(jìn)行有效的去除。通過衰減器對樣本圖像進(jìn)行訓(xùn)練，獲取適合的樣本陰影圖像，將生成器與融合感知有機(jī)融合在一起，借助判別器獲取最終陰影蒙版，完成圖像陰影的去除。該方法可有效提升圖像陰影區(qū)域的光照，獲取的圖像效果較好，但該方法針對真實場景下圖像陰影的去除效果不佳，存在一定局限性。文獻(xiàn)[5]提出設(shè)計一種針對多光譜影像的NDVI陰影影響去除模型。該方法針對圖像的光照區(qū)和太陽輻射區(qū)存在的差異，獲取該圖像的幅亮度；確定圖像陰影對NDVI的影響程度，采用歸一化暗像元指數(shù)確定光照區(qū)與陰影區(qū)的NDVI關(guān)系，在此基礎(chǔ)上，構(gòu)建以光照區(qū)植被NDVI為基準(zhǔn)的NDVI陰影影響去除模型。該方法有效分析了圖像光照區(qū)域特征，可提升圖像質(zhì)量，但對圖像弱光照條件分析甚少，導(dǎo)致圖像在弱光照條件下陰影去除效果欠佳。

針對上述方法中存在的不足，提出一種新的弱光照圖像陰影去除方法。該方法將熵驅(qū)動域適應(yīng)學(xué)習(xí)技術(shù)引用其中，對弱光照圖像陰影進(jìn)行去除。與傳統(tǒng)去除方法相比具有一定優(yōu)勢。

2 弱光照圖像陰影去除方法設(shè)計

在弱光照圖像陰影去除中，將熵驅(qū)動域適應(yīng)學(xué)習(xí)技術(shù)融入到弱光照圖像陰影去除方法中，使用此技術(shù)對弱光圖像進(jìn)行預(yù)處理，以提升陰影去除過程中的精準(zhǔn)度。

2.1 弱光圖像的預(yù)處理

在弱光照圖像陰影去除方法中，為提升圖像陰影去除的效果，將通過熵驅(qū)動域適應(yīng)學(xué)習(xí)技術(shù)構(gòu)建多核分類器，通過此分類器對弱光圖像的種類進(jìn)行劃分。在適應(yīng)學(xué)習(xí)中，關(guān)鍵在于減少目標(biāo)圖像與其它圖像種類之間的數(shù)據(jù)分布差異。

為了提升圖像分類過程中數(shù)據(jù)處理能力，應(yīng)用最大平均差異理論[6]，將弱光圖像中熵函數(shù)陰影數(shù)據(jù)與正常數(shù)據(jù)投射在一個再生的二維空間中，根據(jù)投影后的兩個之間的平均距離比較兩者之間存在的差異。陰影圖像最大平均差異計算公式為：

(1)

當(dāng)DIST取值結(jié)果接近于零時，兩個域在高緯度空間相匹配，即陰影圖像兩組數(shù)據(jù)分布較為接近，反之，兩組數(shù)據(jù)匹配度較低。

(2)

其中

(3)

(4)

通過上述獲取的矩陣，可對圖像中需要修復(fù)的位置與其它區(qū)域進(jìn)行劃分，實現(xiàn)弱光照圖像的預(yù)處理，將處理后的圖像作為此次陰影去除的基礎(chǔ)。

2.2 弱光照圖像的光照分解

根據(jù)上述處理結(jié)果，在此弱光照圖像中尋找相應(yīng)圖像像素信息。將圖像光照分解設(shè)為圖像分解與重光照。在對應(yīng)圖像處理過程中，將圖像分解過程設(shè)定為反射率圖、光照圖以及深度圖三種方式[7-8]。

將處理后的圖像設(shè)定為Q，對圖像的數(shù)像素信息進(jìn)行處理，通過公式的形式對圖像像素信息數(shù)據(jù)進(jìn)行展示，則有

j=e+w(v，m)

(5)

式中，e、w、v以及m分別表示輸入圖像Q中反射率層圖像e、深度圖像v以及光照強(qiáng)度m的對數(shù)域圖像。

已知光照對數(shù)圖像w可由光照強(qiáng)度m和深度信息v獲得，且在上式中僅有j為已知數(shù)據(jù)，e與w均為未知數(shù)據(jù)，反射率對數(shù)圖像e可通過j與w表示，則有

e=j-w(v，m)

(6)

為降低上述計算難度，通過獲取圖像最小像素值，完成弱光照圖像的分解，即

minimizeg(j-w(v，m))+f(o)+g(l)

(7)

式中，g(*)、f(*)以及s(*)分別表示圖像e、深度v以及光照m的代價函數(shù)[9-10]。

在此次研究中，使用g(*)以及f(*)的代價約束函數(shù)得到反射率對數(shù)圖像e與深度圖像v，利用上述公式，得到光照圖，對此光照圖展開分解可得到反射率圖E與光照圖M。

在此基礎(chǔ)上，根據(jù)圖像亮度以及RGB方向相似度[11]建立局部像素在反射率值上的約束，基于局部窗口與全局圖像上的全局色彩稀疏，對圖像亮度分解過程進(jìn)行約束。在此約束過程中認(rèn)定分解過程是將圖像反射率的改變作為分解過程的主體，具有相似亮度的像素具有相同的反射率，因此，圖像的本征圖像可表示為

(8)

通過此公式可得到圖像中的亮度估算值，對圖像中陰影部分展開分解，同時將分解后的像素值作為陰影去除過程中數(shù)據(jù)來源。

2.3 弱光照圖像陰影去除算法設(shè)計

在上述弱光照圖像有效分解基礎(chǔ)上，設(shè)計圖像的陰影去除。弱光照圖像陰影去除過程如圖1 所示。

圖1 弱光照圖像陰影去除過程

圖1中，在弱光照圖像陰影去除中采用區(qū)域生長法[12]。以檢測到的弱光照圖像陰影邊緣作為基準(zhǔn)點(diǎn)，在邊緣重合的兩側(cè)選擇灰度值較重的部分，作為陰影生長起始點(diǎn)，則此區(qū)域的灰度值可表示為

(9)

式中，R表示弱光照圖像陰影區(qū)域的灰度值，n表示弱光照圖像陰影區(qū)域中的像素點(diǎn)個數(shù)，ri表示弱光照圖像陰影區(qū)域中第i個像素點(diǎn)的灰度值。

在上述獲取獲取基礎(chǔ)上，可得到陰影區(qū)域的紋理特征，即

(10)

式中，S表示陰影區(qū)域的紋理特征值，b表示區(qū)域中的像素點(diǎn)，ui表示弱光照圖像陰影區(qū)域中第i個像素點(diǎn)的紋理特征向量。

將HSV顏色空間中的色相值與陰影區(qū)域中的灰度值組合成為陰影區(qū)域的紋理特征值，為便于比較，將此向量設(shè)定為1，可表示為

(11)

式中，T為陰影區(qū)域R的紋理特征向量，G表示陰影的紋理向量分量。

通過上述分析，獲取亮度補(bǔ)償區(qū)域，在陰影區(qū)域中，直射光被部分遮擋，且反射光不會受到影響，可得到半影區(qū)域，則其光照可表示為

Lx=pLb+La

(12)

式中，p表示直射光在半影區(qū)域的折減系數(shù)。因此，可將像素點(diǎn)x在陰影區(qū)域與光照區(qū)域的RGB值表示如下

(13)

通過上述公式可知，像素點(diǎn)x在光照區(qū)域的RGB值與其在陰影部分的RGB值存在相應(yīng)的線性關(guān)系，即

(14)

式中，β=η(M)-ε(S)，ε(S)表示陰影區(qū)域的所有像素點(diǎn)的RGB均值，ε(S)表示對應(yīng)區(qū)域的方差，則此公式可進(jìn)一步展開為

(15)

將陰影區(qū)域中S與其匹配的非陰影區(qū)域M利用光照補(bǔ)償方法恢復(fù)光照去除陰影。

3 仿真分析

3.1 仿真環(huán)境

為驗證所提方法的科學(xué)有效性，進(jìn)行仿真分析。此次仿真在Maltab 平臺上進(jìn)行，仿真使用的主機(jī)配置為Windows XP ，CPU 3.6 GHz、2.8 GHz，8.0 GB 內(nèi)存，仿真結(jié)果數(shù)據(jù)通過SPSS 13.0 進(jìn)行統(tǒng)計，對仿真樣本數(shù)據(jù)進(jìn)行了預(yù)處理。

3.2 仿真參數(shù)

仿真用的樣本圖像來自DLL 圖像庫，具體仿真參數(shù)如表1 所示。

表1 仿真參數(shù)

實驗用樣本圖像如圖2 所示。

圖2 實驗樣本圖像

3.3 仿真方案

根據(jù)上述仿真環(huán)境與參數(shù)設(shè)定，采用對比的實驗方法驗證所提方法的有效性。實驗通過對比所提方法、衰減式生成對抗網(wǎng)絡(luò)的圖像陰影去除以及多光譜影像NDVI陰影去除方法，以圖像陰影去除的效果以及圖像陰影邊緣提取的精度作為實驗指標(biāo)，驗證方法的有效性。

3.4 仿真結(jié)果分析

3.4.1 弱光照圖像陰影去除效果分析

為驗證所提方法的科學(xué)有效性，實驗采用所提方法、衰減式生成對抗網(wǎng)絡(luò)的圖像陰影去除以及多光譜影像NDVI陰影去除方法對樣本圖像中的陰影進(jìn)行去除，去除效果如圖3 所示。

圖3 不同方法圖像陰影去除效果對比

通過上述實驗結(jié)果可知，在相同實驗環(huán)境下，三種方法對圖像陰影去除的效果存在一定差距。文中設(shè)計方法的使用效果在三種方法中陰影的去除效果最佳。其中，衰減式生成對抗網(wǎng)絡(luò)的圖像陰影去除和多光譜影像NDVI陰影去除方法在陰影去除后，部分圖像陰影始終存在，且導(dǎo)致亮度異常，在部分細(xì)節(jié)問題的處理上，對圖像陰影的細(xì)節(jié)部分的處理存在一定缺陷。相較于這兩種方法，所提方法沒有出現(xiàn)此類問題，陰影去除效果較好，這是由于所提方法通過熵驅(qū)動域適應(yīng)學(xué)習(xí)技術(shù)構(gòu)建多核分類器，獲取弱光照圖像的最大平均差異值，對弱光照圖像的預(yù)處理，并對其特征進(jìn)行提取，進(jìn)而提升了陰影去除的效果。

3.4.2 弱光照圖像陰影邊緣檢測精度分析

在弱光照圖像陰影去除中，對圖像陰影的邊緣進(jìn)行有效的檢測，是準(zhǔn)確去除圖像陰影的關(guān)鍵。實驗分析了所提方法、衰減式生成對抗網(wǎng)絡(luò)的圖像陰影去除以及多光譜影像NDVI陰影去除方法對樣本圖像陰影邊緣進(jìn)行檢測，檢測精度對比結(jié)果如圖4 所示：

圖4 陰影邊緣檢測精度

分析圖4中實驗曲線可以看出，隨著迭代次數(shù)的不斷改變，三種方法對樣本圖像陰影的邊緣進(jìn)行檢測的精度存在一定差別。其中，采用所提方法對弱光照圖像陰影邊緣檢測精度高于其它兩種方法，且最高約為99 %，而其它兩種方法的檢測精度始終低于所提方法。這是由于所提方法將圖像光照分解設(shè)定為圖像分解與重光照，獲取圖像最小像素值，根據(jù)圖像亮度以及RGB方向相似度建立局部像素的約束，完成弱光照圖像的分解；采用區(qū)域生長法，以檢測到的弱光照圖像陰影邊緣作為基準(zhǔn)點(diǎn)，選擇灰度值較重部分作為陰影生長起始點(diǎn)，確定弱光照圖像的紋理特征值，利用光照補(bǔ)償方法恢復(fù)圖像光照，進(jìn)而有效提升了圖像陰影邊緣的檢測精度。

4 結(jié)束語

針對弱光照圖像陰影去除中存在的不足，通過圖像預(yù)處理與增強(qiáng)，獲取圖像中陰影的邊緣并對其展開處理。借助熵驅(qū)動域適應(yīng)學(xué)習(xí)技術(shù)，將弱光照圖像進(jìn)行有效的預(yù)處理，并通過獲取弱光照圖像的灰度值等，完成了弱光照圖像陰影去除。實驗結(jié)果表明：采用所提方法對弱光照圖像陰影去除的效果更佳，且對弱光照圖像陰影邊緣檢測的精度更高，具有一定優(yōu)勢。但在此次研究中還存在相應(yīng)的問題，例如數(shù)據(jù)處理部分受限或是場景處理能力較低等問題。在日后研究中還需對上述問題進(jìn)行處理，以期完善方法中存在的不足。