基于p-Laplace方程的圖像彩色化方法

王澤文， 張小明

（東華理工大學數學與信息科學學院，江西 撫州 344000）

基于p-Laplace方程的圖像彩色化方法

王澤文， 張小明

（東華理工大學數學與信息科學學院，江西 撫州 344000）

灰度圖像的彩色化是圖像處理研究領域中富有挑戰性的研究課題，且具有十分廣闊的應用前景。在分析現有圖像彩色化方法的基礎上，提出了一種基于p-Laplace方程的圖像彩色化新方法。新方法首先由用戶在灰度圖像上給定少量的顏色條帶；然后通過求解p-Laplace方程實現顏色擴散的彩色化。由于p-Laplace算子是一個各向異性擴散的非線性算子，所以與采用偏微分方程方法的泊松方法和拉普拉斯方法相比，圖像彩色化在擴展顏色的同時更能保持邊緣效果。

圖像彩色化；p-Laplace方程；偏微分方程方法；圖像處理

圖像彩色化是指對黑白圖像、電影或電視圖像進行計算機輔助著色的過程。時至今日，彩色化仍是計算機圖形學與計算機視覺領域的熱點課題，它們在影視、動漫、廣告、娛樂、數字化影像以及古畫修復等眾多工程領域具有廣闊的應用前景。經典的彩色化處理過程，一般先手工地將待著色的圖像進行區域分割，然后為每個區域賦予期望的顏色，這種手工制作方式不僅對操作者自身水平要求較高，而且效率低下。近年來在圖像彩色化方面出現了一些半自動的處理方法，大致可歸結為兩類，即基于顏色轉移的彩色化和局部彩色化向全局擴展。

近年來，一些不需要精細人工操作的圖像彩色化方法被提出來了[1–4]。Welsh等人將一幅參考彩色圖像的顏色傳輸到一幅灰度圖像，提出了一種半自動彩色化方法，其中顏色傳輸到目標圖像是依據目標像素亮度鄰域與參考圖像相應像素鄰域的匹配。這種彩色化方法需要用戶準備一幅近似的參考彩色圖像。Levin等人提出了一種交互式彩色化方法，即先由人工在圖像中各個區域涂上適當的彩色條帶，然后讓顏色自動擴展到整幅圖像上，其中顏色的擴展原則是使所有像素與其鄰域顏色加權差的平方和最小。Horiuchi提出了一種基于概率極值的彩色化方法，即用戶先給一些“種子像素”著色，其它象素上的顏色則根據條件概率極大原則來決定。Horiuchi方法重要缺點在于計算代價非常大，即彩色化一幅圖像需要大約一天時間[5]。

基于偏微分方程的圖像處理方法是近年來興起的一種圖像處理方法。Sapiro[6]將圖像修補的思想引入到圖像彩色化中，率先應用偏微分方程方法實現灰度圖像的彩色化。Sapiro的彩色化方法是在灰度圖像上涂上一些彩色條帶，在彩色條帶上梯度約束下將泛函極小轉化為二維Poisson方程求解，從而將彩色條帶上的顏色擴展到整幅圖像上。而滕升華[7]等人則以彩色化后整幅圖像的梯度最小為約束，將泛函極小轉化為Laplace方程以實現顏色的全局擴展。彭宏京[8]等人則在Sapiro方法基礎上，利用擴散張量對梯度場進行加權，從而導出了基于散度的圖像彩色化方程。

本文將具有各向異性擴散作用的p-Laplace非線性方程[9]引入到圖像彩色化中，并利用梯度下降法求解所得p-Laplace方程，從而實現圖像的彩色化。本文安排如下：第一節介紹已有的兩種基于偏微分方程的圖像彩色化模型；第二節給出圖像彩色化的p-Laplace非線性方程新模型及其數值解法；最后給出了實驗結果和分析。

1 基于偏微分方程的圖像彩色化模型

（1） Sapiro的基于二維泊松方程的圖像彩色化模型

該模型在圖像的YCbCr顏色空間的處理方法是：求下述泛函極小化問題

顯然，式(2)即為帶 Dirichlet邊界條件的泊松方程。

（2） 基于拉普拉斯方程的圖像彩色化模型

該模型在圖像的YCbCr顏色空間的處理方法是：求下述泛函極小化問題

所以，圖像彩色化問題轉化為求解拉普拉斯方程定解問題式(4)。

2 基于 p-Laplace方程的圖像彩色化方法

第一節給出的兩個彩色化模型式(1)和式(3)的 Euler-Lagrange方程，可以看出擴散項均為ΔC 且擴散系數為 1，即它們是一種各向同性擴散的彩色化方法。由于邊界處和平坦區域擴散程度相同，因此它們在彩色化圖像的同時，可能導致邊界處的顏色產生偏差，彩色化的效果將受影響。根據文獻[10]的分析，p-Laplace算子

具有各向異性擴散作用，其在局部坐標下的表達式為

其中 η為平行于C的梯度的方向，ξ為η的正交方向（切向），如圖 1 所示。 式(6)表明：隨著的增大，都減小，即沿ξ和η方向的擴散能力減弱；又由于擴散系數的衰減速度不一致，擴散方程實質上是一個非線性各向異性擴散方程，擴散系數控制著該擴散方程的擴散行為。只要合理選擇p值，就能達到某種擴散目的。

作者認為在21＜＜p時，該模型能取得一個折中的結果。只要p值取得合適，該模型既能克服由TV模型引入的塊狀效應，又能克服由調和模型引入的邊緣模糊，達到一個比較好的圖像彩色化效果。基于以上考慮，本文將 p-Laplace算子引入到圖像彩色化處理中，建立了圖像彩色化的p-Laplace方程模型。

圖1 坐標關系示意圖

2.1 圖像彩色化的p-Laplace方程模型

本文模型在圖像的YCbCr顏色空間的處理方法是：求下述泛函極小化問題

2.2 數值解法

用梯度下降法來求解式(8)，得到如下梯度下降方程

其中 t是人為引入的一個時間維度，表示圖像的彩色化過程。顯然，當=0時C即為式(8)的解。因此，需要構造適當的算法，使得當t→∞時→0，從而得到式(9)的一個平衡解C，即

為式(8)的解。本文將利用文獻[11]中的離散化方法對式(9)進行離散求解。

首先對圖像進行等間距采樣，設采樣步長h =1。設O為目標像素，其8鄰域節點和半像素鄰域點如圖2所示。由于出現在分母，為了避免它為零，引入一個小的正參數ε，使得那么散度 )(divv的差分格式為

圖2 目標像素O與它的鄰域

其中 M為迭代次數。

由式(10)和式(11)可得式(9)的差分迭代格式為

在實際計算中, 對方程式(12)采用 Gauss-Seidel迭代法，即一旦得到右端C的新值就用它替換舊值，使得方程(12)更快收斂，以e點為例

且選取最大時間步長，從而加快彩色化速度。

3 實驗結果與分析

本文首先選取了兩幅圖像（見圖3和圖4）進行彩色化，并分別與同樣是采用偏微分方程的處理方法的Sapiro的泊松方法[6]和滕升華等人的拉普拉斯方法[7]進行比較。圖3中的圖像是文獻[6]中效果最好的彩色化圖片，圖 3(c)為文獻[6]的泊松方法著色結果，在好幾處地方產生明顯的顏色偏差（見圖 3中的(c)、(d)、(e)中藍色圓圈內）；圖 3(d)為本文方法著色結果，顏色擴展較合理自然，彩色化后的圖片接近原始圖片圖 3(e)。

在 Matlab7.0上進行實驗，實驗中取

圖3 圖像彩色化結果圖

與泊松方法一樣，拉普拉斯方法也是基于各向同性的拉普拉斯算子實現圖像的彩色化。由于拉普拉斯算子在邊界處和平坦區域擴散程度一樣，所以將導致了彩色化結果在邊界處出現顏色模糊（見圖4 中藍色圓圈圈住的小孩的臉蛋、胸口、下巴等處）。因此，文獻[7]又引入加權差分來改進邊界的彩色化，得到了較好的彩色化效果。

圖4 圖像彩色化結果圖

由圖4和圖5可以看出，本文方法的著色效果極其接近于文獻[4]的著色效果，優于基于梯度場的泊松方法和各向同性擴散的未加權的拉普拉斯方法。由于本文使用具有邊緣保持的平滑核，使得彩色化的結果更平滑和柔和（見圖4和圖5）。但是，圖4(d)中，左手臂和右肩膀等處存在細微的顏色模糊，這是因為本文方法區分2種顏色的分界是由提供的顏色種子來決定的，而沒有考慮目標像素與相鄰像素的相似性程度，可能導致邊界定位不精確，以至于本文方法對涂色條帶要求比較嚴格。如果采取先初步涂上顏色條帶，然后根據彩色化效果再細微地修正邊界處的涂色條帶，彩色化效果會更加理想。

4 結 束 語

本文首先介紹了現有的基于偏微分方程的圖像彩色化方法，提出了一種基于 p-Laplace方程的非線性各向異性擴散彩色化方法。大量實驗表明，該方法彩色化效果優于泊松方法和未經加權的拉普拉斯方法，特別是在保持邊界顏色方面。另一方面，雖然本文方法的彩色化效果與文獻[4]接近，但由于p-Laplace的平滑特性，使得本文方法的彩色化圖像從整體上看更柔和（見圖5）。進一步的工作是考慮相鄰像素的相似性程度約束，加強邊界定位能力，提升基于 p-Laplace算子的圖像彩色化性能。

圖5 圖像彩色化結果圖

[1]Burns G. Colorization[EB/OL]. http：//www.museum.tv/archives/etv/C/htmlC/colorization/colorizatio n.htm.

[2]Welsh T, Ashikhmin M, Mueller K. Transferring color to greyscale images [J]. ACM Transactions on Graphics, 2002, 21(3)：277-280.

[3] Takahiko Horiuchi. Colorization algorithm using probabilistic relaxation [J]. Image and Vision Computing, 2004, 22(3)：197-202.

[4]Levin A, Lischinski D, Weiss Y. Colorization using optimization [J]. ACM Transactions on Graphics, 2004,23(3)：689-694.

[5]Noda H, Korekuni J, Niimi M. A colorization algorithm based on local MAP estimation [J]. Pattern Recognition,2006, 39：2212-2217.

[6]Sapiro G. Inpainting the colors[EB/OL]. http：//www.ima.umn.edu/preprints/may2004/1979.pdf, 2004-05.

[7]滕升華, 諶安軍, 鄒謀炎. 一種基于拉普拉斯方程的圖像彩色化方法[J]. 中國圖象圖形學報, 2006,11(4)：545-548.

[8]彭宏京, 顧佳玲, 段 江. 擴散張量加權梯度域圖像彩色化方法[J]. 計算機輔助設計與圖形學學報,2007, 19(9)：1114-1118.

[9] Bing Song. Topics in variational PDE image segmentation, inpainting and denoising [D]. USA：University of California Los Angeles, 2003.

[10]張紅英, 彭啟琮, 吳亞東. 數字破損圖像的非線性各向異性擴散修補算法[J]. 計算機輔助設計與圖形學學報, 2006, 18(10)：1541-1546.

[11]Chan T, Shen J. Mathematical models for local non-texture inpainting [J]. SIAM Journal of Application Mathematics, 2001, 62(3)：1019-1043.

Image Colorization Based on p-Laplace Equation

WANG Ze-wen, ZHANG Xiao-ming
( School of Mathematics and Information Science, East China Institute of Technology, Fuzhou Jiangxi 344000, China )

Colorization of grayscale image is a challenging research field in image processing, and has wide application prospect. After analyzing current colorization algorithms, the paper proposes a new colorization algorithm based on p-Laplace equation. A user needs to provide the grayscale image with a few color scribbles manually. Then, the grayscale image is colorized by solving the p-Laplace equation. Since the p-Laplace operator is a nonlinear anisotropic diffusion operator, the new method can better maintain the color’s effect of the edge, at the same time achieving the color expansion than Saprio’s poisson colorization algorithm and Teng sheng-hua’s Laplace colorization algorithm, which are also partial differential equation based methods.

image colorization; p-Laplace equation; partial differential method; image processing

TP 391

A

1003-0158(2010)06-0062-06

2009-02-24

國家自然科學基金資助項目（10861001）；江西省自然科學基金資助項目；東華理工大學研究生創新基金資助項目（DYCA08009）

王澤文（1974-），男，江西上饒人，碩士，主要研究方向為偏微分方程的圖像處理。