趙紅,常卓,楊剛

(1.河北大學 計算機科學與技術學院，河北 保定 071002;2.河北大學 數學與信息科學學院，河北 保定 071002)

?

一種基于空間轉換的彩色圖像超分辨率方法

趙紅1,常卓1,楊剛2

(1.河北大學 計算機科學與技術學院，河北 保定 071002;2.河北大學 數學與信息科學學院，河北 保定 071002)

彩色圖像的RGB(紅綠藍)3個通道間具有密切的相關性，在RGB空間中進行超分辨率操作容易破壞這種相關性，會導致色彩偽影.然而在lαβ彩色空間中，3個通道之間的相關性很小.本文借鑒空間轉換的思想，提出了一種將彩色圖像轉化到lαβ空間進行超分辨率的方法，在3個通道單獨進行超分辨率處理.實驗結果證明了該方法對RGB 3個通道的相關性破壞極小.

超分辨率；RGB彩色空間；lαβ彩色空間

超分辨率(SR，super resolution)技術是計算機視覺領域的研究熱點之一,它是利用信號處理方法，通過已知的1幅或者多幅低分辨率(LR，low resolution)圖像估計并重建出1幅清晰的高分辨率(HR,high resolution)圖像.圖像超分辨率重建在遙感監測、軍事偵察、交通及安全監控、醫學診斷和模式識別等領域都具有深遠的研究意義和不可低估的應用前景.

彩色圖像超分辨率最早由Shah和Zakhor等人[1-2]提出，算法是對彩色圖像的RGB(紅，綠，藍)3個通道分別進行超分辨率，然后再將3個通道融合.這種方法雖然能夠利用已有灰度圖像超分辨率方法進行實現，卻沒有利用彩色圖像3個通道之間的相關性，容易產生色彩失真.雖然近年來許多超分辨率的算法[3-5]相繼被提出，且都在一定范圍解決過實際應用中的問題，但仍然存在不足.如頻域的方法使用范圍非常有限；插值的方法[6-7]，不能利用先驗知識,而且不能得到圖像的高頻信息；基于重建的方法[8]，其算法性能會隨著放大倍數的增加急劇下滑；而基于學習的方法[9]，需要建立比較龐大的數據庫，同時需要學習和訓練，計算量比較大，需要花費較多的時間.

由于彩色圖像的RGB通道之間具有密切的相關性，因此很多灰度圖像的超分辨率方法，并不能直接推廣到彩色圖像中[10].本文針對此問題提出了一種基于空間轉換的彩色圖像超分辨率方法,將彩色圖像從RGB空間轉換到lαβ彩色空間，然后進行超分辨率,最后再將超分辨率的結果轉換回RGB空間中進行顯示.

1 觀測模型

全面分析圖像SR技術的第1步是建立1個聯系原始HR圖像和實際LR圖像的觀測模型[11].一般的觀測模型如圖1所示.

圖1 靜態彩色圖像的觀測模型Fig.1 Observation model of static color image

設理想的HR 圖像為x和LR圖像序列為y,其中，觀測到的第i幀LR圖像為yi.這樣，每幀LR圖像都是變形、模糊、降采樣以及彩色濾波作用在HR圖像x上之后，再受到加性噪音影響而得到的.因此，上述觀測模型可以用下面的公式表示為：

yi=DCiEiFx+Ni，(1≤i≤p),

(1)

其中，矩陣D、Ci、Ei、F分別表示降采樣矩陣、模糊矩陣和第i幀圖像的相對運動所形成的矩陣以及彩色濾波矩陣.噪聲向量Ni表示第i次采樣時各種噪聲的總和(一般假設為零均值的高斯白噪聲).不失一般性，該模型可以表示如下：

yi=WiX+Ni,(1≤i≤p),

(2)

式中，矩陣Wi包含降采樣、模糊、運動、彩色濾波等過程.

圖像超分辨率就是根據給定的p幀LR圖像y，將圖像的降采樣、模糊、運動、彩色濾波以及噪聲等因素去除后再融合，估計重建出一幅HR圖像x.容易看出，公式(1)為一個欠定方程.因此，圖像超分辨率是一個典型的病態逆問題.其病態性需要利用正則化的方法對解空間進行約束來解決.

2 彩色圖像通道間的相關性

圖像具有2種基本的相關性，空間相關性和時間相關性.單幀圖像內的任何一個場景都是有若干個像素點構成的，因此，一個像素值通常與它周圍的某些像素在亮度和色度上存在一定的關系，這種關系稱為空間相關性；一個情節通常由若干圖像序列構成，一個圖像序列中的前后2幀之間也存在一定的關系，這種關系為時間相關性[12].而且大多數的彩色圖像，在RGB色彩空間中的3個分量之間也存在著密切的相關性，這是由于色彩分量來源于同一物理模型，從而決定了圖像不僅相鄰像素存在相似性，并且每個像素的色彩分量之間也存在密切的相關性[13].

2幅圖像間的相關性的大小可以通過下面的方法進行計算.設f(x，y)為一幅大小為M×N的圖像(記為A)，g(x，y)是一幅M×N的圖像(記為B).2幅圖像的相關系數可以用ρ表示，具體的定義如下：

(3)

其中，cov(A,B)是矩陣A、B的協方差，DA、DB分別為矩陣A、B的方差.cov(A,B)、DA、DB的計算公式如下：

(4)

(5)

(6)

3 基于彩色空間的超分辨率

由于在RGB空間中對單通道單獨的進行超分辨率，容易破壞通道間的相關性，造成色彩失真，對彩色圖像的視覺效果造成損害.Ruderman[14]設計了一種叫做lαβ的彩色空間，該空間基于數據驅動的人類感知研究，減小了自然圖像通道之間的相關性.與其他的彩色空間相比，在lαβ彩色空間中通道間有極少的相關性.因此，可以在不同的通道進行不同的操作而不必擔心會在通道之間產生偽影.而且這個彩色空間是對數的，這意味著3個通道強度改變的一致性是可以做到的.

RGB和lαβ之間的轉換可以通過以下的步驟[12]：

1) 首先通過下式將圖像從RGB空間轉換到設備相關的XYZ空間

(7)

2) 將圖像轉化到LMS空間

(8)

數據在這個彩色空間中有大量的偏移，通過轉化到對數空間[15]來消除偏移,公式如下：

(9)

3) 通過如下的轉換公式將數據轉換到lαβ彩色空間

(10)

如果把L通道看作紅色，把M通道看作綠色，把S通道看作藍色，這就成為一個很多對立色的模型變量.l軸表示非彩色通道，α、β通道分別代表彩色的藍-黃和紅-綠對立通道.在這個空間中數據均勻、緊密，同時去掉了相關性，使可以對3個彩色通道分別進行處理，而不會破壞這種相關性.在這個lαβ空間中進行超分辨率后需要將圖像轉換到RGB空間進行顯示，轉換的方法是通過如下的2個公式(11)和(12)進行：

(11)

(12)

4 實驗結果與分析

為了驗證本文提出方法的有效性，選取2幅圖像(Lena,Bird)作為原始HR圖像，分別在RGB空間和lαβ空間采用雙三次插值方法(Bicubic)和迭代回投影方法(IBP)進行了對比實驗.LR輸入圖像由原始圖像經過模糊、下采樣生成.

圖2a是輸入的低分辨率彩色圖像，其分辨率大小是130×130.圖2b、c、d、e是將輸入圖像放大2倍至260×260的結果.圖2b和d是在RGB彩色空間3個通道單獨進行超分辨率的結果，圖2c和e是圖像在lαβ彩色空間3個通道單獨進行超分辨率的結果，其中，圖2b是RGB空間采用Bicubic方法得到的結果，圖2c是在lαβ空間采用Bicubic方法得到的結果.圖2d是RGB 3個彩色通道獨立采用IBP方法迭代30次的實驗結果.圖2e是在lαβ彩色空間中對圖像采用IBP方法迭代30次的結果.表1是Lena圖像不同超分辨率算法3個彩色通道之間的相關系數.可以看出，圖2b比較平滑，邊緣處存在模糊，圖2c效果較好，沒有色彩失真，圖像通道間的相關性得到了保持.圖2d和e由于采用的算法是對IBP算法的模擬，IBP算法所需要的低分辨率圖像序列是通過將高分辨率圖像進行平移、下采樣得到的，具有較精確退化模型，因此圖2d、e具有較好的效果.表2是Lena圖像超分辨率算法的誤差分析，IBP方法在PSNR和MSE 2個指標上都比Bicubic方法好.在lαβ彩色空間進行雙三次插值的效果差于在RGB中進行的結果，但IBP算法在lαβ空間中比在RGB空間中進行超分辨率的效果好.圖3按相同順序給出了Bird圖像的超分辨率實驗結果對比.

a.輸入圖像；b.RGB空間Bicubic方法；c.lαβ空間Bicubic方法；d.RGB空間IBP方法；e.lαβ空間IBP方法.圖2 Lena圖像SR的實驗結果Fig.2 Results of super resoluted Lena

圖像R-BR-GB-G輸入圖a0.78030.92440.9415雙三次插值b0.77980.92500.9419雙三次插值c0.78690.92620.9454迭代回投影d0.77980.92490.9436迭代回投影e0.78230.92490.9427

表2 Lena圖像SR結果的誤差分析

a.輸入圖像；b.RGB空間Bicubic方法；c.lαβ空間Bicubic方法；d.RGB空間IBP方法；e.lαβ空間IBP方法.圖3 bird圖像SR的實驗結果Fig.3 Results of super resoluted bird

5 結論

本文首先對彩色圖像的彩色分量之間的相關性理論進行了介紹，然后提出在一個彩色分量之間相關性較小的lαβ彩色空間中對3個通道單獨超分辨率的方法.實驗結果表明該方法，較好地避免了彩色圖像超分辨率過程中所產生的偽影、色彩失真.但該算法不能利用圖像的先驗知識，一些對灰度圖像效果較好地圖像超分辨率算法不能適用，限制了其應用的范圍.未來彩色圖像的超分辨率問題研究的重點主要在：1)退化模型的建立；2)圖像邊緣的保持；3)彩色圖像通道間的相關性保持等方面.

[1] SHAH N R.,ZAKHORB A.Resolution enhancement of color video sequences[J].IEEE Transactions on Image Processing,1999,8(6):879 - 885.DOI:10.1109/83.766865.

[2] TOM B C,KATSAGGELOS A K.Resolution enhancement of monochrome and color video using motion compensation[J].IEEE Transactions on Image Processing，2001,10(2):278 -287.DOI:10.1109/83.902292.

[3] TIMOFTE R D V,GOOL L V.Anchored neighborhood regression for fast example-based superresolution[Z].IEEE International Conference on Computer Vision,Sydney,Australia,2013.DOI:10.1109/ICCV.2013.241.

[4] LI J M,QU Y,LI C H,et al.Image super-resolution base on multi-kernel regression[J].International Journal of Multimedia Tools and Applications,2016,75:4115-4128.DOI:10.1007/s11042-015-3016-4.

[5] YEGANLI F,NAZZAL M,UNAL M,et al.Image super-resolution via sparse representation over multiple learned dictionaries based on edge sharpness[J].International Journal of Signal,Image and Video Processing,2016,10:535-542.DOI:10.1007/s11760-015-0771-7.

[6] HOU H S,ANDREWSS H.Cubic splines for image interpolation and digital filtering[J].IEEE Transactions on Acoust Speech Signal Process,1978,26:508-517.DOI:10.1109/TASSP.1978.1163154.

[7] IRANI M,PELEG S.Improving resolution by image registration[J].International Journal of Graph Models Image Process,1991,53:231-239.DOI:10.1016/1049-9652(91)90045-L.

[8] YANG J,WRIGHT J,HUANG T,et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing,2010,19:2861-2873.DOI:10.1109/TIP.2010.2050625.

[9] SUN J,ZHENG N,TAO H,et al.Image hallucination with primal sketch priors[Z].IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Madison,Wisconsin,2003.DOI:10.1109/CVPR.2003.1211539.

[10] TAI Y W,TONG W S,TANG C K.Perceptually-inspired and edge-directed color image super-resolution[Z].IEEE Computer Society Conference on Computer Vision and Pattern Recognition,New York,USA,2006.DOI:10.1109/CVPR.2006.221.

[11] PARK S C,PARK M K,KANG M G.Super-resolution image reconstruction:a technical review[J].IEEE Transactions on Signal Processing,2003,5:21-36.DOI:10.1109/MSP.2003.1203207.

[12] 沈紅斌,楊杰,劉小軍,等,基于模糊信息增益的圖像相關性度量[J].上海交通大學學報,2006,40(3):466-470.

SHEN H B,YANG J,LIU X J,et al.New image correlation analysis based on fuzzy information gain[J].Journal of Shanghai Jiaotong University.2006,40(3):466-470.

[13] 曹文倫,彭國華,秦洪元,等,利用色彩分量相關性的彩色圖像分形編碼方法[J].計算機工程與應用,2004,40(22):51-55.

CAO W L,PENG G H,QIN H Y,et al.Color image fractal coding method using color component correlation[J].Computer Engineering and Applications.2004,40(22):51-55.

[14] RUDERMAN D L,CRONIN T W,CHIAO C C.Statistics of cone responses to natural images:implications for visual coding[J].Journal of the Optical Society of America A,1998,15(8):2036-2045.DOI:10.1364/JOSAA.15.002036.

[15] ZHAO S B,HAN H,PENG S L.Wavelet-domain HMT-based image super-resolution[Z].International Conference on Image Processing,Barcelona,Catalonia,Spain,2003.DOI:10.1109/ICIP.2003.1246841.

(責任編輯：孟素蘭)

An approach to achieve color image super resolution based on space conversion

ZHAO Hong1，CHANG Zhuo1,YANG Gang2

(1.College of Computer Science and Technology，Hebei University，Baoding 071002，China;2.College of Mathematics and Information Science，Hebei University，Baoding 071002，China)

Three channels of color image have a close correlation.Super resolution in the RGB space is easy to break the relevance and cause artifacts.However,there is a little relevance between three channels in thelαβcolor space.In this paper,a new approach to achieve color image super resolution is presented,which used the concept of space conversion.Super resolution is performed separately in thelαβchannels.The experimental results demonstrate that the approach is effective and will minimally break the relevance between the color channels.

super resolution；RGB space；lαβspace

10.3969/j.issn.1000-1565.2016.06.015

2016-05-26

河北省教育廳科學技術研究青年基金項目(QN2015025)；中西部綜合實力提升工程項目

趙紅(1979—)，女，山西盂縣人，河北大學副教授，博士，主要從事計算機視覺和信息安全研究.E-mail:zhaohong@cs.hbu.cn

TP 391

A

1000-1565(2016)06-0667-06