基于改進Retinex算法的航拍圖像質量增強仿真

秦 琛,孫 晨

(1. 江西科技學院,江西 南昌 330098;2. 長春師范大學,吉林 長春 130031)

1 引言

航拍圖像是通過無人機搭載相機獲取的空中拍攝圖像,該類圖像廣泛應用于地質勘察、輸電線路巡檢、環境監測及農作物巡護等領域。由于航拍圖像應用領域較為廣泛,且均為圖像質量要求較高的行業,因此航拍圖像的質量提升已經成為學術研究的關鍵問題。無人機在拍攝過程中會產生震動導致獲取的圖像出現模糊情況,受到光照和拍攝距離的影響,可能導致航拍圖像的清晰度以及圖像明暗度出現明顯問題[1]。以目前的技術水平來看,無人機無法實現理想的穩定拍攝,強風干擾、遙控操控失誤、信號干擾等因素均會導致無人機拍攝的航拍圖像質量不佳。針對這些模糊不清的航拍圖像,過去經常使用人工挑選的方式,濾除這些質量不佳的航拍圖像,這種操作方式既消耗人力也浪費成本,而且由于過于依賴人力的主觀判斷,很容易出現漏篩選或者錯篩選的情況,這種操作方式沒有從根本上解決航拍圖像質量的問題[2-4]。

針對航拍圖像質量提升問題,當前也出現了一些研究成果。袁功霖等研究者[5]提出利用遷移學習方法作為基礎,實現航拍圖像質量提升,該種方法在一定程度上實現航拍圖像質量的改進,但是所得的圖像清晰度仍不夠理想;王偉鵬等學者[6]使用雙閾值等位的方式提升航拍圖像質量,盡管該方法能夠有效提升圖像質量,但是方法計算過程過于復雜,應用難度較大。

Retinex算法能改善圖像壓縮動態范圍,結合改進方法,能夠明顯提升圖像質量[7]。本文優化改進該算法,應以提升航拍圖像質量,為相關研究提供有效依據。

2 航拍圖像質量增強方法

2.1 Retinex算法基本內容

該算法是當前應用最廣泛的圖像增強方法之一,能通過對人類視覺系統的模擬,達到調整圖像亮度與色彩的目的[8]。假設某張航拍圖像用I(x,y)描述,由照度及反射圖像兩部分構成,分別用L(x,y)、R(x,y)描述,可使用式(1)描述圖像生成過程

I(x,y)=R(x,y)×L(x,y)

(1)

式中,圖像的高頻信息用R(x,y)表示,它是決定物體原本面貌的主要因素;背景環境的低頻信息用L(x,y)表示。使用對數域處理上式以簡化運算,是因為該方法模型和人眼視覺模型較為匹配,所得結果用式(2)描述

lgI(x,y)=lgR(x,y)+lgL(x,y)

(2)

利用I(x,y)得出L(x,y)之后,通過上式得到R(x,y),過程用式(3)描述,原因是物體的反射圖像很難直接獲取。

lgR(x,y)=lgI(x,y)-lgL(x,y)

(3)

中心環繞Retinex算法在目前運用最普遍,它由單尺度與多尺度Retinex算法組成。單尺度Retinex算法能在確保色彩恒定的基礎上,對圖像邊緣信息進行增強處理,使用高斯函數估計L(x,y),其消除可采用對數運算實現,過程用式(4)描述

R(x,y)=lgIi(x,y)-lg[Ii(x,y)*f(x,y)]

(4)

式中,處于i位置,原圖像的色彩帶用Ii(x,y)描述;環繞函數用f(x,y)描述;卷積運算為*。通常選擇式(5)表示的高斯環繞函數當作f(x,y)

f(x,y)=λe-(x2+y2)/2σ2

(5)

尺度參數用σ描述,式(6)為λ需符合的要求

?F(x,y)dxdy=1

(6)

若要達到更理想的圖像增強效果,需使用多尺度Retinex算法平衡細節信息增強與顏色恒定的關系,通過若干單尺度Retinex算法完成圖像處理后,以加權疊加方式操作所得結果,具體過程用式(7)描述

(7)

權重為wk;尺度數量用N描述。式(8)為高斯環繞函數的表達式

(8)

該函數的標準差用σk描述。

2.2 改進Retinex算法的圖像質量增強

為避免航拍圖像出現光暈偽影情況,提高算法處理效率,使用改進Retinex算法增強航拍圖像質量。通過組合濾波實現航拍圖像的照度估計,以在平滑圖像的基礎上,使邊緣信息被保留;為將噪聲消除,并保留圖像細節信息,需要采用自適應噪聲抑制方法完成反射圖像恢復。

2.2.1 基于組合濾波的照度估計

通過圖像方差和絕對梯度均值相結合的方法獲取權重系數,使用多次分解形式,對邊緣周圍像素進行平滑處理。

輸入圖像及其均值濾波的加權值,即濾波輸出,具體如式(9)所示

(9)

(10)

式中,大于0的常量用v描述,用于保證除數不等于0,常取10-6;非負單調遞增函數用f(·)描述,將其定義成式(11)所示形式

(11)

2.2.2 自適應噪聲抑制的反射圖像恢復

設置I表示攜帶加性噪聲的航拍圖像,可得到如下表達式

Ip=Rp·Lp+np

(12)

式內,照度和反射圖像分別用L、R描述;二維空間坐標用p描述。假設L和實際相匹配,應反求上式得到式(13)所示恢復的反射圖像

p=Rp+np/LP

(13)

照度值能影響噪聲增大強度,兩者為反比關系,可通過下述過程恢復反射圖像。設定I、L分別表示輸入航拍圖像,以及得到的照度圖像。設置式(14)所示形式,以便于后續描述

(14)

需將式(15)描述的能量函數作為考慮因素

J=∑p(Tp(R)+λCp(R))

(15)

式中,正則項用C描述,能起到消除噪聲并保留圖像邊緣信息的作用;保真項用T描述,能確保最終圖像和式(1)相同;兩項的相對權重關系用λ描述。

使用最小均方誤差,并結合式(1)獲得如下所示保真項的表達式

(16)

采用式(17)描述的正則項,它具有噪聲增大強度隨照度變化的特點:

(17)

式中,關于照度的權重系數用w描述,平滑權重系數用a描述。設置下述表示的兩個變量,以便于后續處理

(18)

此時可將能量函數描述成式(19)所示形式

(19)

使用如下矩陣形式描述上式的右項

(20)

式中,bx,p的對角矩陣為Bx;xy,p的對角矩陣為By;x與y方向的離散差分運算分別為Dx、Dy描述。可最小化能量函數的向量符合式(21)所示條件

(21)

反射圖像可使用下式描述的矩陣運算獲得

R=(I+λLR′)-1R′

(22)

本文采用下式描述的權重系數

wp=(l2+ε)-1

(23)

式內,常數用ε描述,用于確保除數不等于0;完成歸一化處理的照度值用l描述。使用式(24)獲得平滑權重系數,以保留邊緣信息:

(24)

式中,攜帶噪聲的反射圖像用R′描述,其對數值用r′描述;指數用β描述,其介于1.2～2之間,與邊緣保持程度相關。

2.2.3 基于改進Retinex算法的圖像去霧

通過直方圖均衡方法優化Retinex算法實現航拍圖像去霧,提高圖像對比度。

各子區域的長用X描述,寬用Y描述;設定NumP表示某區域的灰度級個數,使用式(25)描述各灰度級擁有的像素均值

(25)

設定Pmax表示剪切閾值,其相當于像素均值的函數,若想使用下式描述各灰度級可達成的閾值,則是在各區域直方圖的各灰度級個數均低于Avg的Nc倍情況下

Pmax=Avg×Nc

(26)

裁剪區域為像素個數超過該閾值的部分,并以均勻形式,將裁剪部分劃分至直方圖內。設定Ptotal表示圖像內裁剪的像素總數,灰度級接收的多余像素個數用Avgp描述,其計算過程用式(27)表示

(27)

各灰度級在原圖像的子區域直方圖中的個數用H(i)描述,灰度級用i描述,且i=i0,i1,…,in,此子塊的對比度受限直方圖用CH(i)描述,其計算過程如下所示

(28)

經過裁剪后,殘留的像素點個數用LeftP描述,使用式(29)描述繼續劃分的步長

(29)

使用直方圖均衡方法處理以上結果,并利用雙線性插值法優化圖像,提高圖像平滑自然效果。以下是該算法對航拍圖像進行去霧處理的具體實現過程:

1)劃分航拍圖像為三個顏色通道,分別用R、G、B描述,通過改進Retinex算法對每個通道的亮度圖像進行估計。

2)利用以上結果獲得反射圖像,并使其完成線性拉伸后介于0～255區間。

3)通過直方圖均衡方法增強每個通道處理圖像的對比度,使霧霾被進一步清除。

4)將三個通道統一,獲得最終處理圖像。

3 仿真結果

利用MATLAB仿真平臺開展實驗,使用大疆無人機搭載禪思X5R相機拍攝某建筑區域的航拍圖像用于開展實驗,該次航拍共獲取1000幅質量不同的航拍圖像,這些圖像格式均為JPEG,每幅圖像的像素大小均為1600*1200像素。為使實驗結果具有對比性,在針對本文仿真對象,同時使用未經改進的Retinex算法(對比方法A)、本文中僅實現去霧未實現去噪與亮度增強的改進Retinex算法圖像質量增強方法(對比方法B)以及僅實現去噪未實現亮度增強的改進Retinex算法圖像質量增強方法(對比方法C),同時開展航拍圖像質量提升實驗。

原始圖像如圖1。不同方法圖像去噪處理的效果如圖2。

圖2 不同方法的圖像去噪效果對比

從圖2中能夠看出各方法在對原始航拍圖像去噪后的效果,對比方法A使用傳統Retinex算法,只能對圖像實現簡單質量提升,在圖像去噪方面沒有明顯效果,圖像中仍然保留大量噪點;對比方法B將航拍圖像質量提升的重點放在去霧方面,忽視圖像去噪效果改進,處理后的航拍圖像存在眾多毛刺和噪點信息,圖像不夠平滑;對比方法C將航拍圖像質量提升的重點放在圖像去噪上,因此該方法處理后的航拍圖像噪點減少,圖像效果較為平滑,但是該方法沒有考慮圖像亮度優化,所以航拍圖像中仍然存在較多陰影,影響圖像的質量。本文方法具有良好去噪效果,將圖像中的噪點完全消除,邊緣信息較清楚,圖像較為平滑。

各方法在圖像亮度處理方面的對比結果見圖3。

圖3 亮度提升效果對比

從圖3中能夠看出,對比方法A處理后的圖像質量并沒有得到顯著提升,航拍圖像中存在較多干擾信息;對比方法B與對比方法C都將圖像質量提升重點放在去霧與去噪方面,忽視圖像亮度的改進,導致航拍圖像中出現大量光暈等干擾因素不能被去除,嚴重影響航拍圖像質量提升效果。本文方法使用改進的Retinex算法優化圖像質量,既考慮圖像亮度的改善同時考慮去除航拍圖像中光暈等干擾信息,使得圖像更加清晰平滑。

各方法對圖像去霧后的效果見圖4。

圖4 圖像去霧效果對比

從圖4中能夠明顯看出,對比方法A由于未使用改進方法,圖像去霧效果不佳,航拍圖像中大部分拍攝效果都無法顯示出來,失去圖像質量提升效果。對比方法B著重優化航拍圖像去霧效果,因此經過處理后圖像中云霧干擾信息消散,但是由于去噪及亮度提升效果不好,所以圖像清晰度較差;對比方法C的去霧效果適中,但是由于亮度處理效果不好,因此去霧優化后圖像清晰度仍然較差。本文方法通過改進Retinex算法,不但能夠提升航拍圖像清晰度,適當調整圖像亮度,同時有效去除航拍圖像中云霧等干擾信息,綜合實現航拍圖像的質量提升。

除了通過主觀評價的角度驗證本文方法提升航拍圖像質量效果,還需要從圖像質量因子、模糊系數以及圖像峰值信噪比等多個條件評價圖像質量提升方法的客觀效果,結果見表1。

表1 圖像質量提升客觀評價效果

模糊系數與峰值信噪比越高證明圖像質量越好,從表1中能夠看出,本文方法各項評價結果最高,由此可以說明,使用本文方法提升航拍圖像質量能夠在提升圖像色彩的基礎上豐富細節信息,提升圖像清晰度,具有良好的航拍圖像質量提升效果。

4 結論

針對航拍圖像質量不高的問題提出基于改進Retinex算法的航拍圖像質量增強仿真方法,利用多種方法優化Retinex算法,由此從去噪、去霧、提升圖像亮度等三個方面提升航拍圖像質量,獲得較為清晰的高質量航拍圖像。