一種基于視覺(jué)系統(tǒng)的寬動(dòng)態(tài)處理方法

劉曉華，付秀華，田野，黃盛鋒，舒?zhèn)テ?/p>

（1.長(zhǎng)春理工大學(xué) 光電工程學(xué)院，長(zhǎng)春 130022；2.廣東光陣光電科技有限公司，廣東東莞 523660）

隨著攝像機(jī)技術(shù)和視頻監(jiān)控技術(shù)的不斷發(fā)展，人們發(fā)現(xiàn)在某些自然場(chǎng)景下拍攝一幅高質(zhì)量的圖像依然不是一件容易的事情。這是因?yàn)樽匀还饩€的動(dòng)態(tài)范圍很大，并且場(chǎng)景中會(huì)同時(shí)存在高亮度與低亮度的景物。當(dāng)使用攝像機(jī)對(duì)同時(shí)包括高、低亮度的區(qū)域進(jìn)行取景時(shí)，輸出圖像在高亮區(qū)域由于曝光過(guò)度成為一片白色，而在陰暗區(qū)域因曝光不足成為一片黑色，從而導(dǎo)致該場(chǎng)景的細(xì)節(jié)信息無(wú)法被準(zhǔn)確記錄。造成這種現(xiàn)象的原因在于普通攝像機(jī)的成像缺陷，也就是通常所講的動(dòng)態(tài)范圍不足。因此寬動(dòng)態(tài)技術(shù)應(yīng)運(yùn)而生，專門用來(lái)擴(kuò)大相機(jī)的動(dòng)態(tài)范圍，讓攝像機(jī)在非常強(qiáng)烈的對(duì)比下依然能夠看到影像的各種細(xì)節(jié)信息。由于寬動(dòng)態(tài)技術(shù)能夠有效的提高攝像機(jī)拍攝功能，提高自然場(chǎng)景的成像質(zhì)量，在視頻監(jiān)控、遙感測(cè)量、軍事偵察等方面有廣泛的應(yīng)用[1-3]。

為了解決這個(gè)問(wèn)題，國(guó)內(nèi)外的研究人員提出了大量關(guān)于寬動(dòng)態(tài)的解決方法。目前基于軟件的寬動(dòng)態(tài)處理方式，主要包括三種模式：色調(diào)映射法、多曝光圖像直接融合法和單幅圖像擴(kuò)展法。

色調(diào)映射法的主要思想是將多曝光圖像序列通過(guò)輻照?qǐng)D重建合成一張高動(dòng)態(tài)范圍圖像，再經(jīng)過(guò)色調(diào)映射的方法將其壓縮成8bit的格式。Mann等人在1995年第一次提出用多張不同曝光度的圖像來(lái)合成圖像，并用冪指數(shù)函數(shù)來(lái)模擬光照響應(yīng)曲線的方法[4]。多曝光圖像直接融合法的主要思想是針對(duì)某一場(chǎng)景，在很短時(shí)間內(nèi)用不同曝光量得到一組低動(dòng)態(tài)范圍圖像，再使用一定的融合算法將這組低動(dòng)態(tài)范圍圖像融合成一幅寬動(dòng)態(tài)范圍圖像[5]。色調(diào)映射法和多曝光融合法均需要用普通相機(jī)對(duì)同一場(chǎng)景以不同的曝光方式采集多次數(shù)據(jù)，然后進(jìn)行處理，算法大都比較復(fù)雜，實(shí)時(shí)性無(wú)法得到滿足。

單幅圖像擴(kuò)展法不需要對(duì)場(chǎng)景進(jìn)行多次拍攝，主要通過(guò)拉伸單幅圖像對(duì)比度的方式使得整幅圖像質(zhì)量提高，獲得更豐富的細(xì)節(jié)信息，實(shí)現(xiàn)寬動(dòng)態(tài)的目的。其中基于直方圖變換的增強(qiáng)技術(shù)是一種比較簡(jiǎn)單的算法，但也存在明顯不足，為此許多學(xué)者提出了大量改進(jìn)的直方圖均衡化方法[6-8]。這些方法對(duì)范圍比較窄的直方圖有比較好的效果，但也增加了不少噪聲。對(duì)比度增強(qiáng)也是一種常用的方法，Hyun等人提出的全局對(duì)比度增強(qiáng)方法，通過(guò)將原圖像直方圖調(diào)整為均勻分布來(lái)增強(qiáng)圖像的對(duì)比度，但這種方法不考慮局部細(xì)節(jié)信息，導(dǎo)致某些信息模糊或丟失[9]。Celik等人使用像素的領(lǐng)域信息來(lái)提高圖像對(duì)比度，雖然效果不錯(cuò)但計(jì)算復(fù)雜度較高[10]。Jobson等人采用多種不同的單尺度Retinex來(lái)提高圖像質(zhì)量，但整個(gè)過(guò)程中參數(shù)設(shè)定復(fù)雜，而且通過(guò)多尺度卷積進(jìn)行計(jì)算，使得運(yùn)算復(fù)雜度較高[11]。

在這些寬動(dòng)態(tài)方法中，單幅圖像直接擴(kuò)展法不需要增加硬件設(shè)備，主要通過(guò)后期軟件處理的方式來(lái)擴(kuò)展圖像的動(dòng)態(tài)范圍，因此應(yīng)用范圍更廣，越來(lái)越受到消費(fèi)者的喜愛(ài)。但這類方法也存在一些缺點(diǎn)：復(fù)雜度低的方法往往只對(duì)某些特點(diǎn)場(chǎng)景圖像有效；復(fù)雜度高的方法適應(yīng)范圍較廣，但實(shí)現(xiàn)步驟較多、計(jì)算復(fù)雜，無(wú)法做到實(shí)時(shí)處理。

針對(duì)現(xiàn)有寬動(dòng)態(tài)方法的不足，提出一種基于視覺(jué)系統(tǒng)的寬動(dòng)態(tài)處理方法。此方法只使用當(dāng)前場(chǎng)景的一幀圖像信息，根據(jù)人眼視覺(jué)系統(tǒng)特點(diǎn)制定一個(gè)兩層寬動(dòng)態(tài)處理機(jī)制：第一部分用經(jīng)典壓縮公式Naka-Rushton方程表示入射光信號(hào)；第二部分通過(guò)像素鄰域信息對(duì)光信號(hào)進(jìn)行調(diào)節(jié)，使之更好的符合人眼視覺(jué)系統(tǒng)的特點(diǎn)。

1 基于視覺(jué)系統(tǒng)的寬動(dòng)態(tài)處理方法

1.1 顏色空間變換

首先對(duì)指定場(chǎng)景拍攝一副圖像，得到該場(chǎng)景的RGB顏色空間圖像。眾所周知，自然界中任何一種色光都可由R、G、B三基色按不同的比例相加混合而成，當(dāng)三基色分量都為0時(shí)混合為黑色光；當(dāng)三基色分量都為255時(shí)混合為白色光。RGB顏色空間采用物理三基色表示，適合彩色顯象管工作，然而這種表示方法并不符合人眼的視覺(jué)特點(diǎn)。為了更符合視覺(jué)系統(tǒng)的特點(diǎn)，首先將圖像從RGB顏色空間變換到Y(jié)UV顏色空間，變換公式如下：

在YUV顏色空間，亮度信息Y和兩個(gè)色度信息U、V是完全分離的，所以這種顏色表示方法更符合人眼的視覺(jué)特性。

1.2 基于視覺(jué)系統(tǒng)的寬動(dòng)態(tài)方法

人眼視覺(jué)系統(tǒng)（Human Visual System，簡(jiǎn)稱HVS）主要由視網(wǎng)膜組成，包含三個(gè)功能層：感光層、外網(wǎng)層、內(nèi)網(wǎng)層。感光層主要負(fù)責(zé)光信號(hào)的轉(zhuǎn)換、傳遞、壓縮處理。這里本方法將需處理的光信號(hào)分為兩部分：入射光信號(hào)、外網(wǎng)層基于鄰域反饋的光信號(hào)。

第一部分入射光信號(hào)用經(jīng)典壓縮公式Naka-Rushton方程表示：

其中,x是輸入變量，y是輸出結(jié)果，a是環(huán)境因子是一個(gè)大于0的正數(shù)。

公式2的曲線示意圖如圖1所示，圖中顯示了環(huán)境因子a取不同值時(shí)的曲線，可以得出一個(gè)規(guī)律：在輸入變量x屬于[ ]0,1區(qū)間時(shí)，a越小，y提升越大；a越大，y提升越小。

圖1 Naka-Rushton方程曲線示意圖

第二部分外網(wǎng)層基于鄰域反饋的光信號(hào)，其中的反饋是對(duì)第一部分起調(diào)節(jié)作用，這是由于人眼在暗的地方進(jìn)入亮的地方有個(gè)適應(yīng)過(guò)程，或者在亮的地方進(jìn)入暗的地方也有個(gè)適應(yīng)過(guò)程，整個(gè)過(guò)程就是一個(gè)逐漸反饋適應(yīng)的過(guò)程。用公式（3）來(lái)表示這個(gè)過(guò)程：

公式3的曲線示意圖如圖2所示，圖中顯示了環(huán)境因子a取不同值時(shí)的曲線，也可以得出一個(gè)規(guī)律：在輸入x屬于[ ]0,1區(qū)間時(shí)，a越小，y提升越小；a越大，y提升越大。這個(gè)變化規(guī)律和公式2的變化規(guī)律正好相反，起到一個(gè)反向調(diào)節(jié)平衡的作用，正好符合人眼的視覺(jué)特性。

圖2 外網(wǎng)層基于鄰域反饋的方程曲線示意圖

綜合公式2和公式3可以得到一個(gè)模擬的兩層視覺(jué)系統(tǒng)，也即提出的最終寬動(dòng)態(tài)變換公式：

從圖3可以看出，通過(guò)對(duì)a進(jìn)行不同的取值，輸出y與輸入x形成由多簇類伽馬曲線組合的非線性關(guān)系。在輸入變量x屬于[ ]0,1區(qū)間時(shí)，a越小，y提升越大；a越大，y提升越小。

圖3 寬動(dòng)態(tài)變換方程曲線示意圖

環(huán)境因子a的取值直接決定了輸出結(jié)果，也決定了寬動(dòng)態(tài)圖像的視覺(jué)效果。為了減少一些奇點(diǎn)的干擾，通過(guò)像素的領(lǐng)域信息來(lái)計(jì)算環(huán)境因子，而且為了符合人眼視覺(jué)特性，并結(jié)合采用YUV顏色空間的亮度分量信息Y，公式如下：

其中，G是一個(gè)7×7的高斯模板，是亮度信息Y的均值，?表示卷積運(yùn)算。

每個(gè)像素的環(huán)境因子都是通過(guò)亮度分享信息Y和高斯模板的卷積得到，說(shuō)明在計(jì)算當(dāng)前點(diǎn)時(shí)不光考慮了本像素的信息，而且考慮了該像素周邊的領(lǐng)域信息，這樣做有三個(gè)好處：一是在暗區(qū)域部分，能夠還原信息；二是在亮區(qū)域部分，能夠部分抑制強(qiáng)光，減少光暈的影響；三是針對(duì)中間區(qū)域進(jìn)行有效拉伸，從而獲得更大的動(dòng)態(tài)范圍。

1.3 算法的具體步驟

綜上，一種基于人眼視覺(jué)系統(tǒng)特點(diǎn)的寬動(dòng)態(tài)方法具體步驟如下：

（1）將圖像從RGB顏色空間變換到Y(jié)UV顏色空間；

（2）通過(guò)公式5使用亮度分量信息Y的像素領(lǐng)域信息計(jì)算每個(gè)像素的環(huán)境因子；

（3）把每個(gè)像素在RGB顏色空間的三個(gè)分量(R,G,B)依次當(dāng)做輸入變量x，用公式4計(jì)算新的輸出結(jié)果y，然后組合成新的圖像 (R′,G′,B′)。

2 實(shí)驗(yàn)結(jié)果和分析

為了驗(yàn)證基于人眼視覺(jué)系統(tǒng)特點(diǎn)的寬動(dòng)態(tài)方法的有效性，選擇在一臺(tái)處理器為3.20GHz的Intel（R）Core（TM）i5-4460 CPU、內(nèi)存4GB、32位操作系統(tǒng)，在VS2005平臺(tái)上進(jìn)行寬動(dòng)態(tài)對(duì)比實(shí)驗(yàn)。

文獻(xiàn)[6]提出的直方圖均衡化（簡(jiǎn)稱HE）、文獻(xiàn)[11]提出的多尺度Retinex（簡(jiǎn)稱MSR）都是比較經(jīng)典的寬動(dòng)態(tài)方法，這里用它們做對(duì)比，論證基于視覺(jué)系統(tǒng)的寬動(dòng)態(tài)處理方法的有效性。

首先比較算法的時(shí)間效率，選擇了圖像大小分別為360×300、760×500、1024×768的三組數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，統(tǒng)計(jì)所需時(shí)間，如表1所示。

表1 各種算法的處理時(shí)間對(duì)比（單位：秒）

從表1可以看到，直方圖均衡化方法所需時(shí)間最短，這是因?yàn)樵摲椒ㄌ幚磉^(guò)程最簡(jiǎn)單。基于視覺(jué)系統(tǒng)的寬動(dòng)態(tài)處理方法比直方圖均衡化方法稍微長(zhǎng)一點(diǎn)，基本屬于一個(gè)量級(jí)，能夠用于實(shí)時(shí)處理。而多尺度Retinex方法則明顯需要更長(zhǎng)的時(shí)間，無(wú)法做到實(shí)時(shí)處理。

接下來(lái)選擇兩種有代表性的場(chǎng)景來(lái)對(duì)比各種算法的寬動(dòng)態(tài)效果。圖4是白天的場(chǎng)景，圖5是夜晚的場(chǎng)景。從實(shí)驗(yàn)結(jié)果可以看到，直方圖均衡方法雖然提高了圖像的亮度，但降低了飽和度，且細(xì)節(jié)部分沒(méi)有得到很好的改善。多尺度Retinex方法在一定程度上增加了某些局部的對(duì)比度，但圖像的全局對(duì)比度沒(méi)有得到提高，且也存在細(xì)節(jié)部分不完善的特點(diǎn)。而基于視覺(jué)系統(tǒng)的寬動(dòng)態(tài)處理方法圖像對(duì)比度明顯得到改善，細(xì)節(jié)信息得到還原，有效的擴(kuò)展了圖像的動(dòng)態(tài)范圍，同其他兩種方法相比擁有更好的視覺(jué)效果。

圖4 白天場(chǎng)景下各種寬動(dòng)態(tài)方法的對(duì)比

圖5 夜晚場(chǎng)景下各種寬動(dòng)態(tài)方法的對(duì)比

3 結(jié)論

根據(jù)人眼視覺(jué)系統(tǒng)特點(diǎn)制定一個(gè)兩層寬動(dòng)態(tài)處理機(jī)制，解決現(xiàn)有寬動(dòng)態(tài)方法的不足。此方法不需要對(duì)場(chǎng)景進(jìn)行多次拍攝，僅使用當(dāng)前場(chǎng)景的一幀圖像信息就能獲得寬動(dòng)態(tài)圖像。實(shí)驗(yàn)結(jié)果表明，處理后的圖像在顏色、亮度、對(duì)比度等方面均更符合人眼視覺(jué)特性，有效的改善了寬動(dòng)態(tài)圖像的整體視覺(jué)效果，且算法復(fù)雜度低，能夠做到實(shí)時(shí)處理。