基于FPGA的RAW圖像飽和校正的實(shí)現(xiàn)*

李慧林 武云鋼

(1.西安工程大學(xué)電子信息學(xué)院 西安 710048)(2.西安交通大學(xué)電子信息工程學(xué)院 西安 710048)

基于FPGA的RAW圖像飽和校正的實(shí)現(xiàn)*

李慧林1武云鋼2

(1.西安工程大學(xué)電子信息學(xué)院 西安 710048)(2.西安交通大學(xué)電子信息工程學(xué)院 西安 710048)

圖像飽和會(huì)造成圖像的顏色和亮度失真。為了改善圖像的質(zhì)量,論文在現(xiàn)有的算法基礎(chǔ)上用FPGA實(shí)現(xiàn)了RAW圖像飽和校正算法。圖像單通道飽和校正時(shí)使用了現(xiàn)有貝葉斯算法進(jìn)行估計(jì),而對(duì)圖像多通道飽和校正時(shí)論文設(shè)計(jì)了一種環(huán)形的硬件結(jié)構(gòu)來(lái)實(shí)現(xiàn)顏色通道按照順序處理機(jī)制的整個(gè)流程,不論哪種校正順序均能在該環(huán)形結(jié)構(gòu)上正確運(yùn)行。論文算法用VHDL語(yǔ)言編寫工程并在Altera Cyclone系列芯片EP4GX150DF31C8上用軟件仿真實(shí)現(xiàn),時(shí)鐘頻率最大可以達(dá)到110MHz。通過(guò)協(xié)仿真發(fā)現(xiàn),論文硬件算法可以快速實(shí)現(xiàn)對(duì)圖像飽和像素的校正。論文硬件算法可作為單獨(dú)的硬件模塊植入相機(jī)內(nèi)部進(jìn)行實(shí)時(shí)的飽和像素校正。

圖像飽和校正; FPGA; 彩色圖像處理; RAW圖像

Class Number TB861

1 引言

在日常生活中經(jīng)常可以看到圖像過(guò)曝光的現(xiàn)象,由于人眼視覺(jué)所能感受到的動(dòng)態(tài)范圍和自然界本身的動(dòng)態(tài)范圍都遠(yuǎn)遠(yuǎn)高于圖像傳感器的動(dòng)態(tài)范圍,因此過(guò)曝光不可避免的產(chǎn)生。當(dāng)RAW圖像內(nèi)插后可得到三通道RGB圖像,然后需要對(duì)三通道圖像進(jìn)行白平衡操作,一般做法是對(duì)圖像進(jìn)行白平衡時(shí)處理,使RGB三通道獲得不同的增益,例如當(dāng)設(shè)置G通道增益系數(shù)為1,而R和B通道的增益系數(shù)一般都大于1,那么在RGB三通道都飽和的區(qū)域,導(dǎo)致那些本來(lái)應(yīng)該為白色的像素偏紫。傳統(tǒng)相機(jī)廠商消除這種偏色的方法是對(duì)圖像進(jìn)行白平衡時(shí),將超過(guò)飽和閾值的值都嵌于飽和閾值處。這樣將不會(huì)使圖像偏色,但是這種算法將使得圖像的細(xì)節(jié)信息丟失。

2 貝葉斯算法

Xuemei Zhang等于2004年在惠普實(shí)驗(yàn)室工作時(shí)提出了一種基于貝葉斯估計(jì)的飽和像素校正算法[1]。該算法作用于RAW圖像,首先對(duì)飽和RAW圖像使用簡(jiǎn)單的雙線性內(nèi)插算法得到三通道RGB圖像,然后假設(shè)RGB顏色三通道服從三元正態(tài)聯(lián)合分布模型。算法基于該模型計(jì)算圖像的先驗(yàn)均值和先驗(yàn)方差,將飽和通道和不飽和通道聯(lián)合起來(lái)分析,計(jì)算飽和通道在已知未飽和通道的條件分布。由于圖像飽和像素校正后的值一定大于或等于飽和值,由此條件可以利用貝葉斯算法來(lái)進(jìn)一步估測(cè)飽和像素的值[2]。本文在該算法基礎(chǔ)上用FPGA的Cyclone系列芯片實(shí)現(xiàn)了圖像飽和校正算法。

3 硬件算法設(shè)計(jì)與實(shí)現(xiàn)

3.1 硬件算法結(jié)構(gòu)

本算法硬件流程如圖1所示,主要分為四個(gè)模塊,從左往右,從上往下,第一個(gè)對(duì)應(yīng)為計(jì)算每個(gè)通道未飽和像素的均值和方差模塊,第二個(gè)對(duì)應(yīng)為決定飽和顏色通道校正順序模塊,第三個(gè)對(duì)應(yīng)為計(jì)算每個(gè)顏色通道的先驗(yàn)參數(shù)模塊(包括先驗(yàn)均值和先驗(yàn)方差),第四個(gè)為飽和像素校正模塊。當(dāng)RAW圖像經(jīng)過(guò)雙線性內(nèi)插算法后得到線性RGB數(shù)據(jù)后,經(jīng)過(guò)圖1所示的硬件模塊校正后最終可以得到飽和校正后的三通道值R_fixed,G_fixed,B_fixed。

圖1 硬件算法流程

3.2 硬件算法實(shí)現(xiàn)

在硬件實(shí)現(xiàn)時(shí),第一步獲得圖像的先驗(yàn)參數(shù)。先驗(yàn)參數(shù)包括每個(gè)顏色通道的先驗(yàn)均值及先驗(yàn)方差以及顏色通道間的協(xié)方差。

當(dāng)圖像單通道飽和時(shí),在計(jì)算每個(gè)圖像顏色通道先驗(yàn)均值時(shí)用該通道未飽和像素來(lái)統(tǒng)計(jì)該通道的均值可能比較準(zhǔn)確,但是先驗(yàn)協(xié)方差的計(jì)算卻要用到那些三通道全部未飽和的像素,這樣會(huì)造成RGB三個(gè)通道均值和方差計(jì)算不一致性而導(dǎo)致圖像三通道之間的關(guān)系發(fā)生變化[3]。因此在計(jì)算該連通域的先驗(yàn)參數(shù)時(shí),一定要選擇那些三通道全部未飽和的像素進(jìn)行計(jì)算,即選擇的因子sel=R

(1)

(2)

硬件實(shí)現(xiàn)時(shí),由于對(duì)于當(dāng)使用根號(hào)運(yùn)算IP核沒(méi)有使用到小數(shù)位,使得di的計(jì)算不夠準(zhǔn)確。為了更加準(zhǔn)確地計(jì)算距離di值,擴(kuò)大了vi的值,在運(yùn)算時(shí),將vi乘以4。這種操作在硬件實(shí)現(xiàn)時(shí)只是簡(jiǎn)單的將數(shù)據(jù)左移2位,因此計(jì)算距離di時(shí),公式可以轉(zhuǎn)換為

(3)

為了更加準(zhǔn)確地計(jì)算出不同顏色通道距離di的值,本文將di的值精確到小數(shù)點(diǎn)后兩位,即類似將數(shù)學(xué)運(yùn)算后的浮點(diǎn)值乘以100然后對(duì)其取整比較三通道間距離的大小。距離的比較模塊如圖2所示,模塊中用到了三個(gè)除法器,每個(gè)除法器可以獲得距離di的一位值,第一個(gè)除法器輸出的結(jié)果乘以100,第二個(gè)除法器輸出的結(jié)果乘以10,第三個(gè)除法器輸出的結(jié)果不作處理,然后將三者相加得到精確到小數(shù)點(diǎn)后兩位的顏色通道距離di的值[6]。

圖2 計(jì)算距離di模塊

三個(gè)顏色通道處理順序可以分為六種情況,如圖1所示,本文用六個(gè)信號(hào)來(lái)表示可能的情況RGB,RBG,GRB,GBR,BRG,和BGR。例如,當(dāng)比較后的結(jié)果為dR≤dG≤dB,信號(hào)值RGB將會(huì)被置1,校正順序則按照RGB進(jìn)行。當(dāng)校正順序一定時(shí),圖像飽和校正過(guò)程中將按照此順序依次對(duì)RGB三個(gè)通道值進(jìn)行校正。本文設(shè)計(jì)了一個(gè)環(huán)形硬件結(jié)構(gòu)對(duì)三通道值進(jìn)行校正,如圖3所示,主要由三個(gè)模塊構(gòu)成,R通道飽和校正模塊,G通道飽和校正模塊,B通道飽和校正模塊。當(dāng)校正順序?yàn)镽GB時(shí),則算法流程按照逆時(shí)針?lè)较蛞来螌?duì)三通道進(jìn)行校正,第一個(gè)模塊用來(lái)接收待校正的RGB圖像數(shù)據(jù),最后一個(gè)模塊將輸出校正后的RGB三通道值。

圖3 環(huán)形硬件校正模塊

4 仿真結(jié)果分析

本文首先在Microsoft Windows 7 32bit系統(tǒng)上分別編寫軟件代碼和硬件代碼,在Matlab R2014a上編寫軟件代碼仿真通過(guò)后用Quartus II 13.0 SP1(32 bit)工具編寫VHDL代碼實(shí)現(xiàn)基于硬件的飽和校正的整個(gè)流程。截取的RAW圖像分辨率為500×328。整個(gè)硬件工程是基于Altera Cyclone系列的低端消費(fèi)類的芯片EP4CGX150DF31C8來(lái)完成。該芯片內(nèi)部有149760個(gè)邏輯單元,720個(gè)M9K塊,6個(gè)PLL,30個(gè)全局時(shí)鐘,最大用戶IO為508。最后用Matlab R2014a和 Modelsim SE 10.1c 協(xié)同仿真,用link for ModelSim接口進(jìn)行驗(yàn)證本算法的結(jié)果[7]。

圖4所示是在Modelsim中波形仿真后的結(jié)果,可以看出硬件處理過(guò)程中首先計(jì)算出圖像的先驗(yàn)均值和方差以及協(xié)方差,然后對(duì)圖像進(jìn)行飽和像素的校正,最后輸出飽和校正后的圖像數(shù)據(jù)。

圖4 Modelsim仿真結(jié)果

圖5(a)所示是用索尼RX100II相機(jī)在公園處拍攝的一個(gè)柱子圖像,圖像未飽和,因此人為給圖像一個(gè)飽和閾值。當(dāng)圖像像素大于飽和閾值時(shí),重新賦值為飽和閾值,如圖5(b)所示,由于綠色通道飽和較為嚴(yán)重,白平衡后的圖像飽和區(qū)域偏紫。圖像中32.3% 的區(qū)域發(fā)生了綠色通道飽和,0.03%區(qū)域發(fā)生了紅色通道飽和,0.07%的區(qū)域發(fā)生了藍(lán)色通道飽和。傳統(tǒng)的相機(jī)處理算法是在白平衡后直接將超過(guò)飽和閾值像素點(diǎn)的值嵌于飽和閾值處,這樣會(huì)導(dǎo)致圖像丟失一些細(xì)節(jié)信息,如圖5(c)所示柱子丟失了紋理細(xì)節(jié)。圖5(d)為Matlab處理后的結(jié)果,圖5(e)是本文提出的FPGA處理后的結(jié)果,可以看出用FPGA實(shí)現(xiàn)的飽和校正算法的結(jié)果使柱子紋理信息得到了很好的還原[8],而且與Matlab處理的結(jié)果相比較幾乎看不出差異。

圖5 飽和圖像以及處理結(jié)果

5 結(jié)語(yǔ)

本文基于FPGA提出了一種環(huán)形的硬件模塊結(jié)構(gòu)實(shí)現(xiàn)了圖像飽和像素的校正算法,并且在低端消費(fèi)類芯片Cyclone中編譯通過(guò),協(xié)仿真正確。由于FPGA實(shí)現(xiàn)的高效,并行性,價(jià)格低廉等優(yōu)點(diǎn)[9],因此可以將該算法的硬件模塊置于數(shù)碼相機(jī)中實(shí)時(shí)地進(jìn)行圖像飽和像素的處理,以此來(lái)改善大部分拍攝圖像的質(zhì)量從而避免了將飽和圖像轉(zhuǎn)到計(jì)算中上再進(jìn)行色彩的恢復(fù)與還原[10]。

[1] X. Zhang, D. H. Brainard. 數(shù)字圖像的飽和校正算法[J]. J Opt Soc Am A Opt Image Sci Vis, December 2004,21(12):2301-2310. X. Zhang, D. H. Brainard. Estimation of saturated pixel values in digital color imaging[J]. J Opt Soc Am A Opt Image Sci Vis, December 2004,21(12):2301-2310.

[2] Di Xu, Colin Doutre, Panos Nasiopoulos. An improved bayesian algorithm for color image desaturation[C]//Image Processing (ICIP), 2010 17th IEEE International Conference on. IEEE,2010:1325-1328.

[3] Di Xu, Colin Doutre, Panos Nasiopoulos. Correction of clipped pixels in color images[J]. IEEE Transactions on Visualization and Computer Graphics,2011,17(3):333-344.

[4] Assefa M, Poulie T, Kervec J, et al. Correction of over-exposure using color channel correlations[C]//Signal and Information Processing (GlobalSIP),2014 IEEE Global Conference on. IEEE,2014:1078-1082.

[5] Fu J, Peng H, Chen X, et al. Correcting saturated pixels in images based on human visual characteristics[C]//IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics, 2013:1078-1082.

[6] Zhang X, Brainard D H. Bayesian color correction method for non-colorimetric digital image sensors[C]//Color and Imaging Conference. Society for Imaging Science and Technology,2004,2004(1):308-314.

[7] Foi A, Trimeche M, Katkovnik V, et al. Practical Poissonian-Gaussian noise modeling and fitting for single-image raw-data[J]. Image Processing, IEEE Transactions on, 2008,17(10):1737-1754.

[8] Hongshi Sang, Yong Fu, Tianxu Zhang , et al. Connected Components Labeling Algorithm for Multi-value Image that Suitable for Realization in VLSI[J]. Huazhong Ligong Daxue Xuebao,2005,33(9):5-8.

[9] Masood S Z, Zhu J, Tappen M F. Automatic Correction of Saturated Regions in Photographs using Cross‐Channel Correlation[C]//Computer Graphics Forum. Blackwell Publishing Ltd, 2009,28(7):1861-1869.

[10] D. H. Brainard, W. T. Freeman. Bayesian color constancy[J]. Opt. Soc. Am. 1997,14(7):1393-1411.

Implementation of Estimating Saturated Pixel Values Based on FPGA

LI Huilin1WU Yungang2

(1. School of Electronics and Information, Xi’an Polytechnic University, Xi’an 710048) (2. School of Electronics and Information Engineering, Xi’an Jiaotong University, Xi’an 710048)

Pixel saturation is very common in digital color imaging, which will result in the artifact of color splash. In order to improve image quality, this paper presents a hardware implementation in a FPGA circuit of an algorithm to estimate saturated pixels in RAW image. For the 1-channel saturation, the Bayesian estimation is realized using simple digital circuits and memory. For the 2-channel and 3-channel saturation, a ring structure is designed to handle the saturated color channels in the order obtained previously. Whatever the order of the color channels is, the image data can be processed properly by the ring structure. The design has been specified in VHDL targeted on an Altera Cyclone EP4CGX150DF31C8 based FPGA and verified for functional correctness by software simulation, and the fmax can reach 100MHz. Co-simulation shows that the proposed method in hardware implementation has estimated the saturated pixels fast. The hardware algorithm can be embedded inside the camera to realize correcting saturated pixels in real time.

estimate saturated pixels, FPGA, color image processing, RAW image

2016年9月11日,

2016年10月30日

李慧林,女,碩士研究生,研究方向：信號(hào)與信息處理。武云鋼,男,碩士研究生,研究方向：數(shù)字圖像處理。

TB861

10.3969/j.issn.1672-9722.2017.03.026