基于FPGA的彩色圖像Bayer變換實現

摘 要:利用飛速發展的FPGA技術，在圖像采集前端實現Bayer插值變換。比較了常用的3種插值方法，選用計算復雜度較高但圖像質量最佳的Optimal Recovery方法。采用Lattice的FPGA 芯片LFECP2-M50，實現1 208×1 024圖像，12 f/s，實時Bayer轉換。給出了實時采集圖像結果，顯示了插值變換前的原始圖像，計算了變換后圖像的峰值信噪比PSNR。總結基于FPGA的彩色圖像Bayer插值變換實現方法，利用FPGA技術，采用并行算法結構，實時實現了大尺寸圖像Bayer轉換。

關鍵詞:插值變換; 峰值信噪比; 可編程門陣列; 并行算法結構

中圖分類號:TP331 文獻標識碼:A

文章編號:1004-373X(2010)10-0075-03

Implementionof Bayer Interpolation for FPGA-based Color Image

WANG Jin-tao1， WANG Xiao-nan2， ZHANGZhong-hua3， LI Jin-song1， ZHANG Xiao-lai1

(1. HPCC， Communication University of China， Beijing 100024， China;

2. School of Info. Engineering， China University of Geosciences(Beijing)， Beijing 100083， China;

3. Information Technology Center， Beijing Foreign Studies University， Beijing 100089， China)

Abstract:In an actual image capturing system， the simple methods of interpolation frequently results in the boundary distortion， the image degradation and the diffuse color. Those available and complicated ways are usually implemented by Host (PC)， because it is difficult to achieve the interpolation by adopting the embedded CPU on the end of system. The Bayer interpolation was implemented in the embedded system with the rapid development of FPGA techniques. The three methods of interpolation were compared， and the optimal recovery method which is complex but has high quality was selected. The real-time Bayer transform of 1 280×1 024 images(12 frames/s) were realized by adopting Lattice′s FPGA chip LFECP2-M50. Some pictures captured by real-time acquisition system are presented. Furthermore， the peak signal-to-noise ratio(PSNR)of the transformed images was calculated. Finally， an approach of Bayer interpolation based on FPGA for the color image is summarizedwith FPGA technique and parallel algorithm architecture the large size image Bayer interpolation was implemented.

Keywords:interpolation; PSNR; FPGA; structure of parallel algorithm

0 引 言

圖像工程在國防、教育、金融、醫療、印刷、智能交通、工業自動化、消費類電子等許多領域獲得了廣泛應用，發展十分迅速[1]。眾所周知，圖像傳感器作為圖像系統的重要部件，基本分為兩類:CCD sensor或CMOS sensor。兩者都是利用感光二極管(photodiode)進行光電轉換，將圖像轉換為數字數據，而其主要差異是數據傳送的方式不同[2]。

sensor3 彩色數字相機需要3個單色sensor獲得彩色圖像的R，G，B分量，成本較高。單CCD獲得彩色圖像的方法是在 CCD 表面覆蓋1個只含紅、綠、藍3色的馬賽克濾鏡，對其輸出信號通過一定的處理算法實現。這個設計理念最初由拜爾提出，所以這種濾鏡也被稱作拜爾模板(bayer pattern)。

LatticeECP FPGA 將高效的FPGA 結構和高速的專用功能集于一身。LatticeECP-DSP(EConomy plus DSP)是其中的第1個產品系列，它在芯片上集成了專用的高性能DSP塊。 LatticeECP-DSP 器件最適合用在具有成本優勢的DSP功能應用系統中，比如由軟件定義的無線電、無線通信、軍事、圖像和視頻處理系統等。

1 Bayer插值方法

Bayer Pattern的排列格式如圖1所示。

盡管通過帶有Bayer濾鏡的單sensor相機采集的原始圖像帶有R，G，B三基色分量，但是不能不加任何算法處理，僅簡單地將3種分量分離。這樣不僅圖像分辨率很差，而且各像素點的三基色分量比例與被攝目標相比，失真也很嚴重。在圖2中，圖2(a)為原始彩色圖像;圖2(b)為僅取紅色分量，以灰度模式顯示的圖像;圖2(c)為僅取綠色分量，以灰度模式顯示的圖像;圖2(d)為僅取藍色分量，以灰度模式顯示的圖像。將圖2(b)~(d)圖像簡單疊加后，即可得到原始圖像圖2(a)。可是CCD或CMOS sensor采集的原始Bayer圖像是不符合這種分離原則的，必須經過一定的圖像算法實現。

圖1 Bayer Pattern

圖2 分別打開三基色分量通道

在圖像處理領域廣泛應用的Bayer插值方法有多種，M.C.Poilpre對JPEG圖像的處理[3];H.S.Malvar，等的線性插值法[4];Rémi Jean的像素雙插值法[5]以及T.Guseo的低分辨率圖像處理[6]。具有代表性的有3種:雙線性插值法、Ron Kimmel方法和Optimal Recovery方法。這三種方法各有優劣。

1.1 雙線性插值法[7]

如圖3所示，每個像素位置原本僅有一種彩色分量，缺少的2種彩色分量由3×3 鄰域內具有相同顏色分量的像素平均值獲得。圖3中B7和G3處像素的R，G，B分量由下式計算:

G7=(G3+G6+G8+G11)/4(1)

R7=(R2+R4+R10+R12)/4 (2)

B7=B7 (3)

R3=(R2+R4)/2(4)

B3=(B1+B7)/2(5)

B7=B7(6)

雙線性插值法具有運算簡單， 易于實現的優點。其本質是一低通濾波器，缺點是忽略了不同彩色分量之間的相關信息以及圖像的邊緣。這樣，錯誤數據在復原的圖像邊緣會造成模糊甚至出現顏色混疊。

1.2 Ron Kimmel方法

Ron Kimmel方法[8]對于綠色像素，計算該點在各個方向的梯度，然后對梯度值加權進行平均;對紅色和藍色像素分量，取則紅色和藍色分量對綠色的比值進行加權平均。這種方法可以顯著改善圖像中物體邊緣的顏色混疊。

圖3 雙線性插值法

1.3 Optimal Recovery方法[1，9-10]

Optimal Recovery方法計算復雜度較高，但也是目前公開發表的圖像質量最佳的算法。一般的嵌入式系統很難實時完成。本文圖像處理系統采用Lattice的FPGA 芯片LFECPIIM50，充分利用FPGA的天然并行結構，實時(1 208×1 024圖像，12幀/s)實現Bayer轉換算法，收到了很好的效果。Optimal Recovery算法如下:

(1) 如圖4所示，完成圖中所示P5處綠色像素插值盡可能利用精細尺度模式。

(2) 計算藍色分量需要2步:

① 找回在紅色空間丟失的藍色分量:

B5=G5+[∑i=1，3，7，9Ei(Bi-Gi)]/(E1+E3+E7+E9)(7)

圖4 像素插值和尺度

② 找回在綠色空間丟失的藍色分量:

B5=G5+[∑i=2，4，6，8Ei(Bi-Gi)]/(E2+E4+E6+E8)(8)

(3) 處理紅色分量與計算藍色分量方法相同。

(4) 下述校正步驟重復3次:

① 校正綠色分量以取得合適的G/B比:

GB5=B5+[∑i=2，4，6，8Ei(Gi-Bi)]/(E2+E4+E6+E8)(9)

② 校正綠色分量以取得合適的G/R比:

GR5=R5+[∑i=2，4，6，8Ei(Gi-Ri)]/(E2+E4+E6+E8) (10)

③ 平均藍色和紅色的插值結果:

G5=(GB5+GR5)/2(11)

④ 校正藍色和紅色分量值:

B5=G5+[∑Ei(Bi-Gi)]/∑Ei，i≠5(12)

R5=G5+[∑Ei(Ri-Gi)]/∑Ei，i≠5 (13)

⑤ 算法結束，其中R5，G5，B5 既是像素P5處的三色分量值。

1.4 峰值信噪比PSNR

峰值信噪比PSNR和歸一化色彩差NCD的計算公式分別為:

PSNR=10lg(2552/MSE)(14)

MSE=[∑Framesizen=1(In-Pn)]/Framesize(15)

式中:MSE是原圖像與處理圖像之間均方誤差(mean square error);I表示原圖像第n個像素值;P表示處理后的圖像第n個像素值;Framesize 表示圖像大小，如1 280×1 024;PSNR 值越大，就代表失真越少。

2 結果分析

經過實時圖像采集系統獲取的圖像如圖5所示，其中圖5(a1)，(b1)，(c1)為經過插值變換的圖像，色彩明亮，主觀感覺良好。圖5(a2)，(b2)，(c2)為采集的原始Bayer圖像，局部放大后可看到原始的馬賽克效應，如圖5中(a3)，(b3)，(c3)所示。峰值信噪比計算結果見表1，其中PSNR1為雙線性插值法，PSNR2為Optimal Recovery方法。

圖5 實時系統采集的圖像

表1 PSNR比較

圖像(a1)~(a3)(b1)~(b3)(c1)~(c3)

PSNR129.4330.3129.62

PSNR234.8935.0134.67

3 結 語

目前FPGA技術發展很快，內部資源越來越豐富，性價比不斷提高。充分發掘FPGA資源的潛力，盡可能將圖像預處理算法在系統的前端完成，這必將大大提高系統的實時特性，拓展嵌入式系統的應用領域。盡管著眼點是彩色圖像的Bayer插值變換，但對于其他使用FPGA器件的嵌入式系統設計方法也有積極的借鑒意義。

參考文獻

[1]WANG Jin-tao， LU Yong-quan， GAO Peng-dong， et al. High-quality interpolation and parallel implementation on FPGA [C]//International Conference on Photonics and Imaging in Biology and Medicine. Wuhan: World Scientific Co.， 2008: 245-248.

[2]The Imaging Source Europe GmbH. The color Image Ca-mera [S]. [2008-03-17]. http://www.theimagingsource.com/zh_cn/products.

[3]POILPRE M C， PERROT P， TALBOT H. Image tampering detection using Bayer interpolation and JPEG compression [C]//Proceedings of the 1st International Conference on Forensic Applications and Techniques in Telecommunications， Information， and Multimedia and Workshop.[S.l.]: [s.n.]， 2008.

[4]MALVAR H S，HE Li-wei， Cutler R. High-quality linear interpolation for demosaicing of Bayer-patterned color images[C]//International Conference on Acoustics， Speech， and Signal Processing. [S.l.]: ICASSP， 2004: 485-488.

[5]JEAN Rémi. Demosaicing with the Bayer pattern[R].[S.l.]:University of North Carolina， 2004.

[6]GUSEO T， MENEGATTI E. Demosaicing low resolution QVGA bayer pattern[C]//Second International Conference on Computer Vision Theory and Applications. Barcelona: VISAPP， 2007.

[7]陳春寧，王延杰.基于TMS320DM642 BAYER 格式圖像色彩復原的實現[J].微計算機信息，2007，23(20):145-147.

[8]KIMMEL R. Demosaicing: image reconstruction from color CCD samples [J]. IEEE Transactions on Image Processing， 1999， 8 (9): 1221-1228.

[9]MURESAN D D. Optimal recovery approach to image interpolation[M]. Greece: ICIP， 2001.

[10]LUKIN A. An improved demosaicing algorithm[C]//14-th International Conference on Computer Graphics. [S.l.]: GraphiCon′，2004.