基于色差空間的低復雜度Bayer圖像插值算法

趙亮 張宇烽 黃長寧

?

基于色差空間的低復雜度Bayer圖像插值算法

趙亮 張宇烽 黃長寧

（北京空間機電研究所，北京100094）

覆蓋在傳感器表面的彩色濾波陣列(CFA)是CCD/CMOS傳感器相機獲取圖像信息的關鍵，經過CFA 后每個像素點只能獲得紅、綠、藍三種顏色中的一種顏色分量。另外缺少的兩種顏色分量，需要通過周圍像素的值進行插值獲得。針對現有插值方法出現的復雜度高、插值還原圖像顏色失真和邊緣拉鏈效應問題，設計了一種基于色差空間的低復雜度Bayer圖像插值算法。第一步利用5×5模板內的像素值判斷插值方向，并用顏色之間的相關性插值獲得綠色分量。在分析紅、綠、藍三種顏色相關性的基礎上，利用色差原理，先恢復出缺失的綠色分量，再利用恢復出的綠色分量的高頻部分替換紅（藍）分量的辦法，插值缺失的藍色和紅色分量。利用Matlab程序，對5幅標準測試圖和CE5T1試驗飛行器自主相機拍攝的圖片進行了仿真實驗，比較了現有幾種插值算法的復雜度和PSNR值。結果顯示，文章提出的算法在主觀視覺和客觀評價方面都具有良好的表現。同時，算法復雜度低，適合硬件實現和圖像的實時處理。

貝爾圖像 顏色插值 雙線性插值 峰值信噪比 航天遙感

0 引言

近年來，在圖像傳感器領域，數字彩色CCD和CMOS都備受關注且應用廣泛。通常，數碼相機傳感器表面都涂覆著一層彩色濾波陣列（Color Filter Array，CFA）[1]。它的功能是使通過每個濾色單元的全色光僅允許紅、綠、藍三種顏色中一種顏色分量的光通過，所以輸出圖像中每個像素僅有一種顏色分量被記錄下來。因此，要用顏色插值方法來恢復出該像素位置缺失的其余兩種顏色分量，這個過程就稱作CFA插值。一般經CCD和CMOS圖像傳感器產生的濾色圖像與馬賽克十分類似，因此也稱彩色圖像CFA插值過程為彩色圖像的去馬賽克化（Demosaicing）。

彩色濾波陣列通常有四種排列形式，目前所用的主流排列方式為Bayer陣列[2]。圖1給出了一個5×5（單位：像素，全文同）的Bayer陣列模板，由圖中可以看到各個像素格只有一種顏色分量。以24為例，代表藍色通道的光強度，也稱作藍色通道的灰度值（為綠色通道的光強度，為紅色通道的光強度，下同），2代表行號第二行，4代表列號第四列。因為人眼對可見光波段最為敏感，而其正好對應著綠色光譜成分[3-4]，所以綠色像素的采樣樣本更多。從圖1可看到，綠色像素占了全部的二分之一，綠色像素被稱作亮度因子（Luminance），紅色和藍色像素各占Bayer陣列的四分之一，它們被稱為色度因子（Chrominance）[5]。當數碼相機采集完一幅圖像以后，會對它按步驟進行一系列的圖像處理[6]，有自動白平衡、黑電平校正和圖像增強處理等，而CFA彩色圖像插值是整個處理環的第一步。

圖1 5×5 Bayer彩色濾波陣列

眾多學者對顏色插值方法進行了大量研究。文獻[7]提出了Mondfiaan的彩色圖像信息模型，根據這一模型，在一幅圖像的平滑區域，各顏色分量有著恒定的比值而幾乎不怎么變化，在此基礎上衍生出很多顏色比空間的插值算法，如文獻[8]；文獻[9]提出在顏色差空間進行線性插值的算法；文獻[10]在顏色差空間利用有理函數插值的方法恢復彩色圖像；文獻[11]提出在通常用于影片連續處理的YCbCr的顏色空間進行插值的方法恢復圖像。在上述算法中，顏色失真、邊緣拉鏈效應和圖像模糊都有不同程度的體現，且這些算法包含著相對復雜的乘除等運算，會消耗大量的硬件資源。

本文根據紅、綠、藍三種顏色間的關聯性，基于色差梯度原理，參考了Bayer圖像的自適應插值算法，提出一種新的彩色圖像插值算法，沒有復雜的乘除法運算，該算法復雜度低，滿足實時圖像處理的要求。同時能夠有效改善圖像品質，減少顏色失真，避免拉鏈效應的產生。

1 基于色差梯度的Bayer圖像插值算法

首先通過梯度判斷恢復出缺失的綠色分量，之后利用恢復的綠色分量和原有綠色分量恢復缺失的紅色和藍色分量，在恢復紅色和藍色分量的過程中，同樣進行了梯度判斷。

本文算法建立于圖像的顏色通道相關性基礎上。圖像的顏色相關性指在光強變化方面，圖像的三種顏色通道具有一定的關聯性和相似性，一般用色比規律和色差規律來表示。根據色比規律，對于同一平滑區域內的相鄰兩個像素點（,）和（,），其三個顏色通道的光強比近似相等，即：

式中（,）、（,）、（,）分別為像素點（,）處紅色、綠色、藍色通道的光強；（,）、（,）、（,）分別為像素點（）處紅色、綠色、藍色通道的光強。

與色比規律類似，色差規律認為相鄰像素點的三個顏色通道間的光強差近似相等，即：

顏色通道間的相關性可由下式來計算[12]：

式中分別代表兩種不同顏色分量；代表圖像尺寸；（,）（）分別代表該顏色分量在對應位置處的灰度值；μ，μ代表相應顏色分量的灰度均值。

為了進一步說明各顏色通道之間的相關性，本文將原始彩色圖像分別提取為紅色、綠色、藍色分量的灰度圖（圖2）。顯然，觀察變換為各顏色分量的灰度圖像，依然能清晰地分辨出人物背景等各個細節和邊緣，在平滑區域內三者總體變化一致，只是各顏色分量強度不一樣。換言之，三個顏色分量的圖像邊界區域（高頻信息）和背景（低頻信息）類似。這也說明了各顏色通道之間具有很強的相關性。

（a）彩色圖像 （b）紅色分量 （c）綠色分量 （d）藍色分量

（a）Color image （b）Red channel image （c）Green channel image （d）Blue channel image

圖2 彩色和單顏色分量圖像

Fig.2 RGB color image and three color channels’ images

圖3分別給出了R-G、B-G顏色通道的色差信息，可以看到，兩張色差圖與圖2所示的各單通道圖亮度明顯降低，說明各通道之間光強接近；同時，色差圖像的細節較各單通道分量信息損失嚴重，但還能大致反映原始圖像的輪廓，說明各顏色通道有著相似的強度變化趨勢。

因此，結合圖像顏色相關性和以上論證，提出用綠色分量來代替恢復出缺失的藍色紅色分量，最終得到一副完整的RGB圖像。同時，由于減法運算比除法運算簡單，并且在計算過程中不需要考慮分母為0的情況，因此采用色差規律來恢復彩色圖像。

（a）紅綠色差 （b）藍綠色差

（a）Difference image between red and green （b）Difference image between blue and green

圖3 色差圖像

Fig.3 Image of color difference

1.1 綠色分量的恢復

在恢復綠色分量時，用到周圍兩個鄰域內的像素，因此本文采用5×5模板恢復彩色圖像，如圖4所示，最中心位置標注為（,），其強度為（,），其余像素點的強度根據坐標標注。

圖4 5×5插值恢復綠色分量模板

在圖像插值恢復的過程中，如果相鄰像素值有較大的對比時，插值恢復的圖像邊緣部分會有明顯的模糊和雜色失真，這是因為插值引入了鄰域內不相關的像素，或者說是插值方向穿越了邊緣，一經插值后，插值恢復的圖像色調發生了改變，以致產生了錯誤像素。因此，要避免模糊和雜色，就應該盡可能順著圖像邊緣方向進行插值，而不是橫跨邊緣。

對于插值跨越邊緣問題的消除，需要通過計算方向算子來處理。一幅圖像中的每個像素都有鄰域，且與鄰域內的其他像素存在不同程度的相關性。在恢復綠色分量時，引入梯度的概念，梯度即方向算子，它可以幫助判斷是水平方向還是垂直方向的相關性更強。

在僅有紅色分量的像素采樣點處，恢復出綠色分量。參考圖中的（,），計算出（,）；其水平和豎直方向的梯度分別為：

中心處（,）的計算方法為：

當Δ＜Δ時，

當Δ＞Δ時，

當Δ=Δ時，

式中 Δ為水平梯度；Δ為垂直梯度；（,）為圖4中（,）恢復出的綠色分量。

同理，在僅包含藍色分量的像素采樣點處，其計算方法與上述過程相同。利用此方法，即可恢復出圖片全部缺失的綠色分量。

1.2 紅色分量、藍色分量的恢復

紅色分量的恢復需要綠色分量和紅綠色差R，如式（9）所示。藍色分量的恢復需要綠色分量和紅綠色差B，如式（10）所示

式中（,）為（,）點的紅色光強；（,）為（,）點的綠色光強；R（,）為（,）點的紅綠色差。（,）為（,）點的紅色光強；（,）為（,）點的綠色光強；（,）為（,）點的藍綠色差。

以紅色分量的恢復為例，若要恢復出（,），第一步求得紅色和綠色色差R（,），第二步由（,）、R（,）相加就可插值得出（,）點的紅色分量（,）。在1.1部分，已插值得到全部的綠色分量（,），因此求得紅綠色差是恢復紅色分量的關鍵。

以恢復紅色分量為例。藍色分量的恢復過程與紅色分量的恢復過程一致，只是由變為了。

將已經恢復的全分量圖像與原始貝爾圖像數據做差，得到色差圖像。5×5計算R，B模板如圖5所示。圖中，為紅綠色差值；B為藍綠色差值。

圖5 5×5計算Rg、Bg模板

1）首先計算B位置上的紅綠色差，由圖5的顏色通道相對位置，有如圖6所示的像素位置模型

圖6 3×3的紅綠色差模板且中心像素為B

2）計算位置上的紅綠色差，按照圖7（a）所示像素位置模型計算，同時，由Bayer模板的紅綠藍排列方式，當中心像素為時，有兩種情況，一種是左右都是（紅行，如圖6（b）），一種是左右都是（藍行，如圖6（c）），兩種情況計算位置上的紅綠色差方法有所不同，過程如下：先計算左右都是紅色分量時的位置的紅綠色差，如圖6（b）所示。圖7（a）中、、、為此模板內相鄰位置的紅綠色差值。

（a）3×3的紅綠色差模板 （b）左右為紅色 （c）左右為藍色

（a）Red-green difference image pattern （b）Around(red row) pixel （c）Around(blue row) pixel

圖7 中心像素為綠色分量時求取R

Fig.7 CalculatingRwhen the center pixel is green channel

當│(-1,+1)+(+1,+1)-(-1,-1)-(+1,-1)│＜│(+1,-1)+(+1,+1)-(-1,-1)-(-1,+1)│時，

當│(-1,+1)+(+1,+1)-(-1,-1)-(+1,-1)│≥│(+1,-1)+(+1,+1)-(-1,-1)-(-1,+1)│時，

3）與2）步驟類似，通過第一步水平方向上平滑得出的處的紅綠色差，可以依式（14）得出（藍行）上的紅綠色差，如圖7（a）所示。

當│(-1,+1)+(+1,+1)-(-1,-1)-(+1,-1)│＜│(+1,-1)+(+1,+1)-(-1,-1)-(-1,+1)│時，

當│(-1,+1)+(+1,+1)-(-1,-1)-(+1,-1)│≥│(+1,-1)+(+1,+1)-(-1,-1)-(-1,+1)│時，

4）通過上述步驟，可以得到位置和位置處的紅綠色差R，結合2.1得到的全部綠色分量，就可恢復出缺失的紅色分量，如式（16）所示，

使用與上述一樣的步驟方法，就能恢復出缺失的藍色分量，進而就插值恢復出一幅完整的RGB圖像。

2 實驗及結果分析

2.1 復雜度分析

評價算法復雜度[13-14]的參數主要由兩個，一個是完成插值所需預緩存數據的行數，另一個是完成插值所需的加減、乘除、位移等運算步驟的次數。下文對本文提出的算法和其他五種插值算法—雙線性插值法（BI）、色比恒定法（CCRI）、高效顏色插值（ECI）[15]、改進的高效顏色插值（EECI）[16]、低功耗高品質的顏色插值（LCI）[17]作復雜度分析和比較。

本文算法在恢復綠色分量時，用到了相鄰的兩個像素的數據，因此需預先緩存連續五行的像素數據。算法中涉及兩次比較運算。因本文插值所用的Bayer圖像中綠色像素數量占全部像素的二分之一，藍色和紅色像素數量分別占全部像素的四分之一，在插值恢復這些顏色時的運算次數也占與之一樣的比例。

經統計，本文算法所需的加減運算次數為：

（（3++7）/4+（4+3）/4+（+2）/2+/2)×2=13

位移運算為：

（3/4+2/4+/2）×2=3.5

其中，、分別為圖像的寬和高（單位：像素），表示整幅圖像的像素個數。表1給出了六種算法的比較結果。

表1 六種插值方法的復雜度比較

Tab.1 Complexity comparison of six demosacing methods (image size M×N)

由表中數據看出，BI算法復雜度是最低的；ECI和EECI算法都需更多的緩存數據，同時EECI的加減和乘除的次數都遠遠大于其他算法，它是六中算法中復雜度最高的；本文算法比LCI算法需多緩存兩行數據，但是相比LCI需要多次乘除，本文算法沒有乘除運算，兩種方法加減次數也接近；因此，綜合來看，本文算法復雜度與LCI復雜度最接近，不包含復雜的運算步驟，方便硬件實現。

2.2 圖像質量分析

通過Matlab仿真驗證，使用國際上插值算法研究人員常用的5幅柯達標準BMP彩色圖像和“嫦娥五號”試驗飛行器(CE5T1)拍攝的“地球”作為測試圖，這些測試圖色彩豐富，細節變化多，圖像左下角標有圖序，用數字1-6代表各幅圖片，如圖8所示。之后對測試圖的Bayer模板分別運用BI、CCRI、ECI、EECI、LCI和本文算法將Bayer圖像進行了彩色插值，恢復成為彩色圖像。采用主觀觀察和峰值信噪比（Peak Signal to Noise Ratio，PSNR，單位dB）[18-19]進行評估圖像質量。PSNR能夠反映處理后圖像與原圖像的吻合程度。如表2，給出了包括本文算法在內的6種插值算法恢復出的圖像的PSNR值。

圖8 測試用圖像

表2 六種插值算法恢復的圖像各顏色通道的PSNR值比較

Tab.2 PSNR comparison of the 6 reconstructive images by six demosaicing methods 單位：dB

由表中數據可以看出，三種算法中，紅色分量和藍色分量的PSNR值明顯低于綠色分量的PSNR值，這是由Bayer陣列三種顏色分量各自所占的比例決定的，紅色和藍色分量更少，失真更嚴重。

從6幅圖像的PSNR值來看，BI、CCRI與LCI獲取的插值圖像的PSNR較低，也是最接近的。其中LCI插值恢復圖像紅藍色分量PSNR值略高于BI和CCRI，而圖像綠色分量PSNR值卻比BI、CCRI低了2-3dB。這是因為LCI恢復的綠色分量建立在紅藍分量的恢復基礎上，而紅藍分量像質本身很低，因此恢復的綠色分量損失嚴重。

ECI、EECI和本文算法是六種插值算法中插值恢復出的圖像的PSNR值是最高的，獲取的像質也最好。本文算法恢復出的圖像PSNR比BI、CCRI、LCI高6~7dB，和ECI接近，比EECI低1~2dB。

結合復雜度分析結論，與本文算法復雜度最接近的是LCI，但其PSNR值遠低于本章算法恢復出的圖像；與本文算法PSNR值相近的是ECI、EECI，但其復雜度提升不少，包含了更多的緩存數據行和大量的乘除運算。

在6幅測試圖中，5號測試圖色彩更加豐富，邊緣變化更多，便于主觀觀察插值恢復的圖像。在下圖8中，給出了5號測試圖幾種插值算法恢復出的彩色圖像的實際效果圖和貝爾圖像。圖9給出了幾種插值算法恢復出的彩色圖像的局部放大圖。表3為插值恢復出5號測試圖各種算法所消耗的時間（），反映了算法的效率。

圖9 5號測試圖的Bayer原圖及六種插值方法處理結果

圖10 六種插值方法的局部細節放大對比

表3 插值恢復出5號測試圖各種算法所需時間

Tab.3 Run time of 5th reconstructive image by six interpolation methods

從實際插值恢復的圖像效果來看，圖9中（a）、（b）、（e）恢復出的圖像金屬桶線出現了明顯偽彩色，且花朵紋理模糊，（c）、（d）、（f）三種方法恢復的圖像考慮了顏色通道之間的相關性，改善了圖像質量，幾乎觀察不到偽彩色，而圖10中（d）、（f）中的花瓣紋理比（c）中的稍稍清晰。因此本文算法插值恢復出的效果與ECI、EECI類似，同時從表3看出，ECI算法時間是本文算法時間的1.5倍，而EECI是本文算法的近2.5倍。

綜上所述，本文算法在控制了復雜度的情況下，犧牲時間代價最小，獲得了像質的最大提升。同時本文算法獲取的圖像PSNR值較高，所付出的處理時間代價是值得的。

3 結束語

本文在研究現有各種彩色圖像插值算法的基礎上，結合彩色圖像中紅色、藍色、綠色分量之間的耦合性，提出了一種基于梯度和色差的空間彩色插值算法。這種算法運行能夠有效避免圖像顏色失真和拉鏈效應的產生，所恢復出的圖像紋理清晰，信噪比高，視覺效果良好。同時，算法沒有復雜的乘除運算，只有簡單的加減運算，復雜度低，在運算時間相對較短的情況下可獲得良好的插值圖像，綜合考慮算法插值后圖像的品質、算法速度效率和硬件的可實行性，本文算法更能勝任彩色圖像插值工作。

[1] LUKACR, PLATANIOTIS KN. Color Filter Array: Design and Performance Analysis[J]. IEEE Transactions on Consumer Electronics, 2005, 51(4): 1260-1267.

[2] BAYER B E. Color Imaging Array: US 3971065[P]. 1976-07.

[3] RAMANATHR, SNYDER W E, BILBRO G L. Demosaicking Methods for Bayer Color Arrays[J]. Journal of Electronic Imaging.2002, 11(3): 306-315.

[4] ZHANG L, WU X. Color Demosaicking via Directional Linear Minimum Mean Square Error Estimation[J]. IEEE Computer Society, 2005, 14(12): 2167-2178．

[5] LI X, Gumurk B, ZHANG L. Image Descalcing: a Systematic Survey[C]. Proc. SPIE 6822, Visual Communications and Image Processing 2008, 68221J. DOI: 10.1117/12.766768.

[6] 滿溢云, 胡永力, 王小勇. 從圖像處理的角度觀點出發來看光學遙感器的成像質量[J]. 航天返回與遙感, 2006, 27(1): 18-22. MAN Yiyun, HU Yongli, WANG Xiaoyong. From Image Processing Concepts to Glom the Image Quality of Optical Remote Sensor[J]. Spacecraft Recovery & Remote Sensing, 2006, 27(1): 18-22.

[7] ELIASON P T, SODERBLOM L A, CHAVEZ P S. Extraction of Topographic and Spectral Albedo Information from Multi Spectral Images[J]. Photogramm Engineering Remote Sensing, 1981, 48(11): 1571-1579．

[8] COK D R. Reconstruction of CCD Images Using Template Matching[C]. International Science and Technology (IS&T)’. 47th Annual Conference／International Congress on Imaging Science (ICPS), Rochester NJ USA, 1994: 380-385.

[9] PEISC, TAM I K. Effective Color Interpolation in CCD Color Filter Array Using Signal Correlation[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13(6): 503-513.

[10] 劉曉松, 楊新, 汪進, 等. 一種用于數字圖像傳感器的彩色插值算法[J]. 中國圖像圖形學報, 2003, 8(5): 516-521．LIU Xiaosong, YANG Xin, WANG Jin, et al. A kind of Color Interpolation Algorithm for Digital Image Sensor[J]. Journal of Image and Graphic, 2003, 8(5): 516-521．

[11] 喻再光, 趙群飛. 基于Ycbcr三基色插值及其在DSP上的實現[J]. 計算機工程與應用, 2005, 8(10): 104-106. YU Zaiguang, ZHAO Qunfei. Three-color Interpolation Algorithm Based on Ycbcr and Its Implementation on a DSP System[J]. Computer Engineering and Application, 2005, 8(10): 104-106.

[12] GUNTURK BK, YUCEL A, RUSSELL M. Mersereau Color Plane Interpolation Using Alternating Projections[J]. IEEE Transaction on Image Processing, 2002, 11(9): 997-1013.

[13] 周婷. 貝爾圖像自適應插值算法研究[D]. 太原: 太原理工大學, 2011. ZHOU Ting. Adaptive Demosaicing Algorithms Based on Bayer Color Filter Array[D]. Taiyuan: Taiyuan University of Technology, 2011.

[14] 張起貴, 趙麗娟. 基于FPGA的貝爾圖像插值算法實現[J]. 科學技術與工程, 2012, 12(35): 9568-9569. ZHANG Qi gui, ZHAO Li juan. Research on Interpolation Algorithm Based on FPGA[J]. Science Technology and Engineering, 2012, 12(35): 9568-9569.

[15] PEI S C, TAM I K. Effective Color Interpolation in CCD Color Filter Arrays Using Signal Correlation[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2003, 13(6): 503-513.

[16] CHANG L, TAN Y P. Effective Use of Spatial and Spectral Correlations for Color Filter Array Demosaicing[J]. IEEE Transactions on Consumer Electronics, 2004, 50(1): 355-365.

[17] HSIA S C, CHEN M H, TSAI P S. VLSI Implementation of Low-power High-quality Color Interpolation Processor for CCD Camera[J]. IEEE Transactions on Very Large Scale Integration Systems, 2006, 14(4): 612-625.

[18] SONJA G, MISLAV G, MARTA M. Reliability of Objective Picture Quality Measures[J]. Journal of Electrical Engineering, 2004, 55(1): 3-10.

[19] MARIA V. Test Image Quality[D]. Lappeenranta: Lappeenranta University of Technology, Department of Information Technology, 2004.

A Low Complexity Interpolation Algorithm for Bayer Image Based on Color Difference Space

ZHAO Liang ZHANG Yufeng HUANG Changning

（Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）

A single CCD/CMOS sensor camera to capture image is based on the Color Filter Array covered on the sensor, when the light pass through the CFA, each pixel can get only one color component of three-primary colors(red, green, blue). In order to recover the other two missing color components ,they must be obtained by interpolation. Focusing on the complexity of the existing interpolation methods, color distortion and zipper effect of the interpolation image, this paper designs a low Complexity Interpolation Algorithm for Bayer Image Based on Color Difference Space. The first step is to estimate interpolation direction taking advantage of the pixels in 5×5 template and use the correlations between green and red or between green and blue to interpolate green components. Based on the analysis of the frequency correlations between color components and by using the color difference principle, we use the high frequency part of the green component to interpolate to get the missed red and blue components. Through Matlab we carry out simulation experiments based on the images captured by our CE5T1 camera, and compare several existing interpolation algorithms with the proposed algorithm. The results show that the proposed algorithm performs well both in visual and numerical aspects. At the same time the proposed algorithm has a low complexity, suitable for hardware implementation and image real-time processing.

bayerimage; color interpolation; bilinear interpolation; peak signal to noise ratio; space remote sensing

（編輯：毛建杰）

TP751.1

A

1009-8518(2016)03-0128-11

10.3969/j.issn.1009-8518.2016.03.015

趙亮，男，1990年生，2016年獲中國空間技術研究院光學工程專業碩士學位。研究方向為遙感圖像處理。E-mail：zl_allany@163.com

2016-03-04

國家重大科技專項工程