基于色度空間梯度優(yōu)化的圖像著色算法

陳 昕，聶棟棟

(1.杭州電視臺(tái)，浙江 杭州 310008;2.燕山大學(xué)理學(xué)院，河北 秦皇島 066004)

責(zé)任編輯:史麗麗

0 引言

圖像的著色技術(shù)是對(duì)灰度圖像或黑白電影增加色彩。它是在1970年由Wilson Markle提出的，最早用于對(duì)阿波羅計(jì)劃中拍到的月球照片的著色［1］。現(xiàn)在該技術(shù)主要應(yīng)用在影視娛樂(lè)中對(duì)黑白老照片或早期黑白電影的著色，有時(shí)也用在彩色圖像編輯(局部色彩變化)或圖像壓縮方面。而且由于人眼對(duì)彩色圖像的分辨率要高于灰度圖像，該技術(shù)也經(jīng)常用于對(duì)各類科學(xué)圖像如:核磁共振圖像［2］、聲吶成像［3］等的圖像增強(qiáng)處理。

迄今為止，已有不少文獻(xiàn)對(duì)圖像的著色技術(shù)進(jìn)行了研究。傳統(tǒng)的著色技術(shù)一般稱之為偽彩色(pseudo color)技術(shù)。偽彩色處理的基本思想是采用某種映射關(guān)系，將像素灰度值映射到色彩值，具體可以用以下公式表示

式中:y表示某像素點(diǎn)的亮度值;(r，g，b)表示通過(guò)映射關(guān)系該亮度值所對(duì)應(yīng)的色彩值;fr，fg，fb分別表示由亮度值到對(duì)應(yīng)的紅、綠、藍(lán)三分量的映射函數(shù)。

近年來(lái)發(fā)展起來(lái)著色技術(shù)主要分為基于色彩傳遞的方法和基于優(yōu)化的方法這兩大類。在基于色彩傳遞的方法中，用戶需要額外提供一幅與即將著色的灰度圖像比較相似的彩色圖像。該方法一般采用灰度圖像的局部紋理信息，在彩色圖像上搜索相似的區(qū)域，然后將該區(qū)域?qū)?yīng)的色彩值傳遞到灰度圖像上，完成對(duì)灰度圖像的著色。該算法最早是由Welsh等人［4］提出的，其借鑒了Hertzmann等人［5］圖像類比的理念以及Reinhard等人［6］提出的在不同風(fēng)格的彩色圖像間進(jìn)行色彩傳遞的技術(shù)。其后Blasi等人［7］改進(jìn)了該算法，有效地加速了匹配的搜索過(guò)程。在Wang［8］等人的工作中，又通過(guò)使用用戶定義的色彩變化曲線，提出了針對(duì)圖像序列的色彩傳遞技術(shù)。整體而言，該算法適合對(duì)紋理豐富且色彩多變的圖像著色。但是，由于紋理匹配的復(fù)雜性，算法自動(dòng)搜索的準(zhǔn)確度難以控制，這就需要人為地在灰度圖像和選擇的彩色圖像間指定對(duì)應(yīng)的窗口，增加了用戶的工作量。

在基于優(yōu)化的方法中，一般需要在即將著色的灰度圖像上預(yù)先指定某些點(diǎn)的色彩值，以之為初值進(jìn)行優(yōu)化處理［9－12］。本文采用的方法即屬于該類。其中經(jīng)典的算法是Levin等人［10］提出的，其主要通過(guò)假設(shè)在局部時(shí)空鄰域內(nèi)亮度相似的像素點(diǎn)的色彩值也相似，構(gòu)造相應(yīng)的代價(jià)函數(shù)，通過(guò)優(yōu)化求解該代價(jià)函數(shù)完成圖像或視頻的著色。還有一些人從其他角度提出了相應(yīng)的優(yōu)化著色算法。如:Horiuchi等人［1］通過(guò)定義像素點(diǎn)與其鄰域間的RGB差異距離，采用松弛算法的計(jì)算，使所有像素的差異距離累加和最小;Noda等人［12］采用對(duì)彩色圖像做馬爾科夫隨機(jī)場(chǎng)建模，通過(guò)貝葉斯后驗(yàn)概率最優(yōu)化估計(jì)灰度圖像對(duì)應(yīng)的色彩值。李志永等人提出像素不平度描述連接兩像素的最平坦路徑的坎坷度，并以此利用動(dòng)態(tài)規(guī)劃算法，確定最佳的像素著色顏色，并進(jìn)行顏色混合。

本文主要利用圖像色彩在局部鄰域窗口內(nèi)連續(xù)平滑變化的特點(diǎn)，假設(shè)著色后的圖像在色度空間內(nèi)的總梯度和最小。若用戶事先已經(jīng)在灰度圖像上指定一些像素點(diǎn)的色彩值，則通過(guò)簡(jiǎn)單的優(yōu)化處理，就可以完成圖像的著色問(wèn)題。該算法簡(jiǎn)單方便，易于實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果顯示利用本文算法著色后的圖像與原始彩色圖像對(duì)比，在僅有0.1%像素的色彩已知的情況下，其平均峰值信噪比已經(jīng)在26 dB以上。而且通過(guò)與Horiuchi等人［1］算法處理結(jié)果的比較，可知本文算法需要指定色彩的像素點(diǎn)較少，著色圖像的峰值信噪比較高。

色彩空間在數(shù)字圖像處理中，存在多種類型的色彩空間。通常最為常用的是RGB色彩空間，即其中的每個(gè)像素都由紅(R)、綠(G)、藍(lán)(B)三基色分量表示。但是灰度圖像中只有亮度分量，為了著色處理的方便，本文采用先在YUV色彩空間下，計(jì)算U，V空間內(nèi)待定的色彩值，然后再將YUV色彩空間轉(zhuǎn)變到RGB色彩空間。一般RGB到Y(jié)UV的變換關(guān)系以及其逆轉(zhuǎn)換關(guān)系可分別由式(2)和(3)所示

由以上公式可知，從灰度圖像中某個(gè)像素的灰度值其對(duì)應(yīng)的色彩值恰好位于RGB空間內(nèi)由該灰度值所確定的某個(gè)平面片上，該平面片的方程為

式中:Y為該像素的亮度值;R，G，B為其對(duì)應(yīng)的色彩分量值，且 R，G，B∈［0，255］。

3 著色問(wèn)題的優(yōu)化求解

從色度空間的分析可知，灰度圖像的著色問(wèn)題其實(shí)是個(gè)欠約束的問(wèn)題。所以通常情況下，求解該問(wèn)題都需要引入一些相對(duì)合理的假設(shè)條件。如:Welsh等人［4］假設(shè)源圖像和目標(biāo)圖像間紋理相似的區(qū)域其色彩值也相似;Levin等人［10］假設(shè)在某個(gè)像素點(diǎn)的鄰域內(nèi)亮度相似的像素其色彩值也相似。本文是從圖像梯度域考慮該問(wèn)題，假設(shè)待定的色彩值在保持亮度約束的條件下，使得圖像在U，V空間內(nèi)對(duì)應(yīng)的色度變化最小。也就是說(shuō)，使著色后的圖像在U，V空間內(nèi)盡可能地平滑。可由如下方程表示

由Euler－Lagrange方程可知，可以通過(guò)解如下方程得到式(5)～(6)的優(yōu)化解

式中:Δ為圖像的拉普拉斯梯度算子。

通常在離散情況下，在四鄰域和八鄰域下計(jì)算圖像的拉普拉斯梯度的模板如圖1所示。考慮到引入較多鄰域點(diǎn)的情況下可能造成著色圖像的色度分量過(guò)度平滑，本文采用四領(lǐng)域的模版。實(shí)驗(yàn)結(jié)果也證實(shí)采用四鄰域下計(jì)算的著色圖像，其平均峰值信噪比要略高于八鄰域下的計(jì)算所得，如圖2所示。

圖1 四鄰域和八鄰域下的拉普拉斯梯度算子

圖2 四鄰域和八鄰域下的著色圖像的平均峰值信噪比

具體的求解過(guò)程如下:

若灰度圖像除了給定色度值的像素點(diǎn)外，還有N個(gè)像素點(diǎn)的色度未知。假設(shè)其中第i個(gè)像素點(diǎn)在U空間對(duì)應(yīng)的色度分量值為ui，則所有這些待定的色度值構(gòu)成N×1維列矢量U。

若第i個(gè)像素點(diǎn)的鄰域各像素點(diǎn)的色度值均未知，且其在列矢量U中對(duì)應(yīng)的索引分別為 k，r，s，t，則

若已知其四鄰域內(nèi)像素點(diǎn)k的色度值為uk0，則

以此類推，最后聯(lián)立這N個(gè)色度值未知的像素點(diǎn)所構(gòu)成的方程，有

式中:A是相應(yīng)的系數(shù)矩陣，它是一個(gè)N×N維的稀疏矩陣，其第i行元素只在第i列以及其四鄰域內(nèi)色度值未知點(diǎn)處有值，其他元素值均未零;b是一個(gè)N×1維列矢量，由N個(gè)方程的右端相聯(lián)立而成。

由以上分析可知，det A≠0。根據(jù)Cramer法則，矩陣方程(11)有一組唯一的解。求解矩陣方程，即可得到所有色彩值未知的像素點(diǎn)在U空間內(nèi)的估計(jì)值。同理，可以得到V空間內(nèi)的估計(jì)值。

最后，通過(guò)YUV色彩空間到RGB色彩空間變換，即可得到對(duì)原灰度圖像著色后的彩色圖像。

3 結(jié)果分析

本文的算法需要預(yù)先指定一些像素點(diǎn)的色彩值為初始值，實(shí)際應(yīng)用中可以由用戶指定，然后利用本文算法估計(jì)著色后的圖像，效果如圖3所示。

在實(shí)驗(yàn)過(guò)程中為了單純地檢測(cè)算法的精度，以一些彩色圖像作為測(cè)試圖像，從這些原始的彩色圖像中均勻地采樣一些像素點(diǎn)，以其色彩值作為已知值。采樣像素點(diǎn)的個(gè)數(shù)與圖像中總像素點(diǎn)的比值稱之為采樣率。而且，為了客觀地衡量著色后的圖像與原始圖像間的誤差，實(shí)驗(yàn)采用了峰值信噪比PSNR的這一指標(biāo)。令

式中，m，n分別為圖像的高度和寬度;x(i，j)為原始圖像在(i，j)處的色彩值;(i，j)為著色后圖像在(i，j)處的色彩值。

實(shí)驗(yàn)中各類圖像在不同采樣率時(shí)，其平均峰值信噪比的變化曲線如圖2所示。當(dāng)采樣率越高，也即顏色已知的像素點(diǎn)數(shù)越多，著色的效果越好，但即使在采樣率為0.1%時(shí)本文算法的平均峰值信噪比也在26 dB以上。

圖3 采用手動(dòng)指定某些像素點(diǎn)的色彩值時(shí)本文算法的著色效果

為了便于與其他算法比較結(jié)果，實(shí)驗(yàn)中采用SIDBA標(biāo)準(zhǔn)圖像庫(kù)中的圖像作測(cè)試，其中各圖的峰值信噪比隨采樣率的變化曲線如圖4所示。其中采樣率較低時(shí)，著色圖像的PSNR有些波動(dòng)，這主要由于均勻采樣時(shí)，在不同采樣率下，各采樣點(diǎn)的位置不同。而當(dāng)采樣點(diǎn)很少時(shí)，該因素就顯得相當(dāng)突出，從而影響了最后的著色效果。比較Horiuchi等人［1］的結(jié)果:其算法在采樣率為1%～7%時(shí)，Lena的峰值信噪比為20～28 dB，Milkdrop的峰值信噪比為20～27 dB。而本文的算法在采樣率為1%～7%時(shí)，Lena的峰值信噪比為29～34 dB;Milkdrop的峰值信噪比為26～31 dB。

圖4 部分標(biāo)準(zhǔn)圖像著色后的峰值信噪比隨采樣率的變化曲線

圖5給出了本文著色算法在采樣率1%及0.5%下，從原始灰度圖像計(jì)算得到的R，G，B三分量圖和原始彩色圖像的R，G，B三分量圖之間的比較，從中可以清楚地看到本文算法可以達(dá)到較好的著色效果。表1具體顯示了本文著色算法計(jì)算的圖像各個(gè)像素點(diǎn)處R，G，B三分量值和原始圖像的R，G，B三分量值之間的平均相對(duì)誤差。

圖5 本文算法的著色效果

表1 本文算法計(jì)算的三分量值的平均相對(duì)誤差

4 結(jié)束語(yǔ)

圖像的著色問(wèn)題在改善圖像的人眼分辨率和提高圖像畫(huà)面的美觀程度，以及彩色圖像壓縮等方面都有廣泛的使用。由于圖像的著色問(wèn)題實(shí)質(zhì)上是由單獨(dú)的亮度分量去確定合適的RGB三色分量，這是一個(gè)欠約束的問(wèn)題。本文利用圖像各分量在鄰域內(nèi)的漸變性，假設(shè)待定的色彩值使得圖像在各色度分量?jī)?nèi)的全局變化最小，從而引入解決著色問(wèn)題的優(yōu)化方程。最后，保持圖像亮度分量不變，通過(guò)色彩空間變換，就可以得到著色好的彩色圖像。

實(shí)驗(yàn)結(jié)果表明該方法在已知色彩的像素點(diǎn)數(shù)較少的情況下也可以比較好地完成圖像的著色問(wèn)題。實(shí)驗(yàn)中各類圖像在采樣率為0.1%時(shí)平均峰值信噪比達(dá)到26 dB以上。而且通過(guò)與Horiuchi等人的著色結(jié)果比較可知，在使用更低的采樣率下，使用本文算法著色后圖像有更高的峰值信噪比，也即本文算法優(yōu)化估計(jì)的結(jié)果與原始圖像的誤差更小。

［1］HORIUCHI T.Colorization algorithm using probabilistic relaxation［J］.Image and Vision Computing，2004，22:197－202.

［2］張代英，龐紹芳，陳躍寧.基于小波分析和偽彩色處理的低對(duì)比度圖像增強(qiáng)［J］.光學(xué)技術(shù)，2004，30(3):360－362.

［3］劉維，劉紀(jì)元，黃海寧，等.聲納圖像偽彩色處理的調(diào)色板連續(xù)色編碼方法［J］.系統(tǒng)仿真學(xué)報(bào)，2005，17(7):1724－1726.

［4］WELSH T，ASHIKHMIN M，MUELLER K.Transferring color to grayscale images［J］.ACM Transactions on Graphics，2002，21(3):277－280.

［5］HERTZMANN A，JACOBS C E，OLIVER N，et al.Image Analogies［C］//Proceedings of ACM SIGGRAPH.New York:［s.n.］，2002:341－346.

［6］REINHARD E，ASHIKHMIN M，GOOCH B，et al.Color transfer between images［J］.IEEE Transactions on Computer Graphics and Applications，2001，21(5):34－41.

［7］BLASI G D，REFORGIATO D R.Fast colorization of gray images［C］//Proceedings of Eurographics Italian Chapte.New York:ACM，2003:1－8.

［8］WANG C，HUANG Y.A novel color transfer algorithm for image sequences［J］.Journal of Information Science And Engineering，2004，20:1039－1056.

［9］HORIUCHI T.Estimation of color for gray－level image by probabilistic relaxation［C］//IEEE 16th International Canference on Pattern Recognition(ICPR 2002).［S.l.］:Fac.Soft. ＆ Info.Sci.，Iwate Prefectural Univ.，2002:867－870.

［10］LEVIN A，LISCHINSKI D，WEISS Y.Colorization using optimization［J］.ACM Transactions on Graphics，2004，23:689－694.

［11］CHEN Ying，WANG Shuozhong.Image colorization with edge detection and sub －sampling［C］//3rd International Congress on Image and Signal Processing(CISP2010).Shanghai:［s.n.］，2010:1129－1132.

［12］NODA H，KOREKUNI H，TAKAO N，et al.Bayesian colorization using MRF color image［C］//Advances in Multimedia Information Processing－PCM 2005，6th Pacific－ Rim Conference on Multimedia.Korea:Springer，LNCS 3768，Part II，2005:889－899.

［13］李志永，滕升華，杜坤，等，基于不平度顏色混合的圖像彩色化方法［J］.電子與信息學(xué)報(bào)，2008，30(3):514－517.