基于非局部鄰域的圖像重新著色*

邵靖凱，厲旭杰，沈順輝

(溫州大學 物理與電子信息工程學院，浙江 溫州 325035)

?

基于非局部鄰域的圖像重新著色*

邵靖凱，厲旭杰，沈順輝

(溫州大學 物理與電子信息工程學院，浙江 溫州 325035)

提出了一種新的基于非局部鄰域的圖像重新著色方法。首先提出了非局部彩色線性模型，然后構建了高維特征空間查找非局部鄰域，最后將提出的非局部彩色線性模型最優化問題歸結于求解稀疏矩陣。該算法繼承了全局和局部鄰域色彩傳播方法的優點，既能實現全局色彩傳播，即使當需要重新著色的像素離涂色線條距離較遠時，也能實現局部或者直接的選擇控制。與現有的采用全局或者局部鄰域色彩傳播的方法相比，該算法僅需要輸入少量的用戶涂色線條即可產生高質量的重新著色效果。

圖像重新著色；非局部彩色線性模型；色彩傳播

0 引言

圖像重新著色技術是指通過改變圖像的顏色來改變圖像的原有風格，達到某種特定的彩色效果的處理過程[1]。目前，實現圖像重新著色的技術可以粗略地分為基于參考圖像的顏色遷移方法和基于線條涂色的顏色擴散方法[2-3]。本文主要研究基于線條涂色的顏色擴散方法。按照傳播鄰域像素的分布，基于線條涂色的顏色擴散方法可以粗略地分為局部鄰域傳播和全局鄰域傳播的兩種方法。基于局部鄰域傳播的方法具有代表性的是Levin等人[4]的工作。Levin等人假設相鄰近像素間的顏色是平滑的，提出了一個能量最優化模型。當用戶輸入足夠多的涂色線條的情況下，該方法能產生高質量的重新著色效果。之后，Yatziv等人[5]提出基于測地線距離融合的重新著色方法，Fattal等人[6]把小波變換技術引入了圖像編輯方法，Bhat等人[7]建立了梯度域的能量最優化框架用于圖像編輯。

基于全局鄰域傳播的重新著色方法能實現全局色彩傳播，即使當需要重新著色的像素離用戶輸入涂色線條距離較遠時，色彩也能很好地進行傳播。因此該方法對基于局部鄰域傳播的重新著色方法進行了很好的補充。Musialski等人[8]提出了非局部鄰域主域保持的編輯距離算法。與基于局部鄰域傳播的重新著色方法相比，基于全局鄰域傳播的重新著色方法能實現全局的色彩傳播，因此可以減少用戶輸入的涂色線條數量，但是該方法缺少局部或者直接的選擇控制，當兩個相似的顏色被涂色成不同顏色時，會造成色彩混合而出現錯誤。

先前基于局部鄰域傳播和基于全局鄰域傳播的重新著色方法分別存在著相應的限制。因此，本文提出一種新的基于非局部鄰域的圖像重新著色方法。該方法既能實現全局的色彩傳播，又能實現局部或者直接的選擇控制。該算法包含兩個創新點：提出了非局部彩色線性模型能量最優化模型，以及構建了非局部鄰域查找的特征空間。本文提出的算法擴展了先前的研究[9]，目標是盡可能減少用戶輸入的涂色線條，同時能產生高質量的重新著色效果。

1 算法思想

假設：特征空間中相似的非局部鄰域，重新著色后應具有相似的顏色值。基于這個假設，給出了每個像素的非局部鄰域滿足如下的彩色線性模型：

(1)

式中，(α,β)是線性系數，I是輸入圖像，C為色彩通道，Ni是像素i的非局部鄰域，U為顏色對立維度通道a或者b(采用Lab色彩空間)。算法非常關鍵的一個步驟就是設計合適的特征空間，本文提出的特征空間包括了Lab色彩通道和空間坐標，特征空間F(i)定義如下：

F(i)=(L(i),a(i),b(i),γx(i),γy(i))

(2)

式中，L是圖像Lab色彩空間的亮度值，a和b是圖像Lab色彩空間的顏色對立維度，γ參數控制了非局部鄰域的搜索范圍。

通過基于非局部鄰域的彩色線性模型，定義如下代價函數：

(3)

式中，ε為規則化參數。

線性系數(α,β)可以通過求解式(3)取得最小化代價函數獲得。

(4)

式(4)能量最優化模型可以看做變量(αk,βk)的二次方程，可以通過對公式進行求一階偏導數獲得[10]，求解式(4)可以得到：

(5)

其中，非局部鄰域的拉普拉斯矩陣Lnonlocal構建如下：

(6)

通過合并基于非局部鄰域的彩色線性模型和用戶輸入的涂色限制，可以獲得如下能量最優化方程：

J(U)=λ(U-G)TDS(U-G)+UTLnonlocalU

(7)

Ds為對角矩陣, 在該對角矩陣中，涂色線條像素對應的對角線上的值為1，其余對角線上的值為0。G對應為涂色線條的對立維度通道a和b。式(7)中第一項確保了重新著色后的顏色值和用戶涂色線條的顏色值盡可能地接近，第二項保證了像素和其非局部鄰域的相似性，使得已經涂色的像素通過非局部鄰域進行色彩傳播。參數λ用來調整這兩項的平衡，算法實現中λ設置為1。式(7)中的J(U)是顏色對立維度U的二次方程，因此J(U)的全局最小值可以通過對顏色對立維度U的一階偏導數為零求解得到?？梢垣@得如下稀疏線性系統：

U=(Lnonlocal+λDs)-1λDsG

(8)

式(8)中Lnonlocal+λDs為稀疏矩陣求解，本文的算法選擇通過高斯-賽德爾迭代法求解。

2 實驗結果

圖1顯示了本文算法實現的各種重新著色效果，第一行為輸入圖像，第二行為本文算法實現的重新著色效果圖。從圖1可以看出，本文算法可以實現在少量用戶輸入條件下，實現高質量的重新著色效果。

圖1 本文算法實現的各種重新著色效果

圖2對比了本文算法與現有的基于局部鄰域傳播的重新著色方法的效果對比，從圖中可以看出，Levin等人[4]的方法依據空間相鄰像素間的相似性進行色彩傳播，只能向空間鄰近的平滑鄰域進行色彩傳播，因此在少量的涂色線條情況下，會產生嚴重的色彩滲透現象，必須進一步增加涂色線條的數量，才能產生高質量的重新著色效果。Li等人[9]的算法雖然在重新著色效果上優于Levin等人的算法，但是局限于局部鄰域的顏色傳播，當像素離涂色線條距離較遠時(第二行重新著色效果)，重新著色的效果也存在與Levin等人的算法一樣的缺陷。而本文算法能實現全局色彩傳播，因此僅需要輸入少量的用戶涂色線條，就能產生高質量的重新著色效果。

圖2 與基于局部鄰域傳播的重新著色方法的效果對比

圖3對比了本文算法與基于局部鄰域傳播的重新著色方法在完成類似效果所需要的用戶涂色線條的數量。從圖3中可以看出，Levin等人[4]基于局部相似性的算法需要輸入大量的用戶涂色線條才能產生高質量的重新著色效果，而Fattal等人[6]的算法和Bhat等人[7]的算法均是基于圖像邊緣檢測基礎上的重新著色方法，因此無法對兩個獨立的區域進行色彩傳播，本質上都是屬于局部鄰域像素的顏色傳播，因此涂色線條上的顏色無法進行遠距離的色彩傳播。而本文算法則不受局部鄰域傳播方法的限制，圖3證明了本文算法所需要的輸入涂色線條要明顯少于基于局部鄰域傳播的重新著色方法，大大減少了用戶的勞動力。

圖3 與基于局部鄰域傳播的重新著色方法對比完成類似效果所需要的用戶涂色線條的數量

圖4對比了本文算法與基于全局鄰域傳播的重新著色方法的效果對比，基于全局鄰域傳播的重新著色方法能實現全局的色彩傳播，但是該方法缺少局部或者直接選擇控制，當兩個相似的顏色被涂色成不同顏色時，Musialski等人[8]的方法造成了色彩混合而出現錯誤，需要說明的是，即使用戶輸入足夠多的涂色線條，基于全局鄰域傳播的重新著色方法仍舊存在這個限制。而本文提出的算法既能實現全局色彩傳播，又能實現局部或者直接的選擇控制。

圖4 與基于全局鄰域傳播的重新著色方法效果對比

3 結束語

本文提出了一種新的基于非局部鄰域的圖像重新著色方法。該算法繼承了全局和局部鄰域色彩傳播方法的優點，既能實現全局色彩傳播，即使當需要重新著色的像素離涂色線條距離較遠時，也能實現局部或者直接的選擇控制。與現有的采用全局或者局部鄰域色彩傳播的方法相比，本文算法僅需要輸入少量的用戶涂色線條，就能產生高質量的重新著色效果。

[1] 陳穎, 李神速. 基于遺傳算法的圖像彩色化方法[J]. 計算機工程, 2011, 37(15):193-194.

[2] 李浩, 何建農. 結合蟻群和自動區域生長的彩色圖像分割算法[J]. 微型機與應用, 2015, 34(16):36-42.

[3] 張自嘉, 岳邦珊, 潘琦,等. 基于蟻群和自適應濾波的模糊聚類圖像分割[J]. 電子技術應用, 2015, 41(4):144-147.

[4] LEVIN A, LISCHINSKI D, WEISS Y, Colorization using optimization [J]. ACM Trans Graph, 2004, 23(3):689-694.

[5] YATZIV L, SAPIRO G. Fast image and video colorization using chrominance blending[J].Trans Img Proc,2006,15(5):1120-1129.

[6] FATTAL R. Edge-avoiding wavelets and their applications[J]. ACM Trans Graph, 2009, 28(3):1-10.

[7] BHAT P, ZITNICK C L, COHEN M, et al. GradientShop: A gradient-domain optimization framework for image and video filtering [J]. ACM Trans Graph, 2010, 29(2):1-14.

[8] MUSIALSKI P, CUI M, YE J, et al. A framework for interactive image color editing [J]. Vis Comput, 2013, 29(11):1173-1186.

[9] HUANG H, LI X, ZHAO H, et al. Manifold-preserving image colorization with nonlocal estimation [J]. Multimedia Tools and Applications, 2015, 74(18):7555-7568.

[10] 高明, 鄒耀斌, 雷幫軍,等. 噪聲干擾下的霧天降質圖像增強方法[J]. 微型機與應用, 2016, 35(6):39-47.

Littelfuse推出首款專為本質安全防護設計的密封表面貼裝保險絲業內唯一一款達到UL 913認證標準的表面貼裝保險絲

Littelfuse, Inc.，作為全球電路保護領域的領先企業，近日宣布推出了專為設備本質安全防護設計的首款密封表面貼裝保險絲，這類設備旨在用于危險場所和爆炸性環境內部或附近，并且通過了UL 913標準認證。在過流和短路條件下，PICO?304系列表面貼裝保險絲主體外厚1 mm的密封層將最大限度地減少所產生的熱量，并遏制保險絲組件內部的火花或弧閃，避免其接觸環境中的潛在爆炸性氣體或粉塵。由于采用此類封裝，因此無需為印刷電路板或組件加上灌封或涂層，節約生產時間與成本，從而降低最終產品的成本。

(Littelfuse 供稿)

Image recoloring based on nonlocal neighborhood

Shao Jingkai, Li Xujie, Shen Shunhui

(College of Physics & Electronic Information Engineering, Wenzhou University, Wenzhou 325035, China)

A novel nonlocal image recoloring approach is proposed. Firstly, a nonlocal color linear model optimization assumption is designed. Next, the nonlocal principle by computing K nearest neighbors in the high-dimensional feature space is implemented. Finally, the nonlocal color linear model optimization can be attributed to solve a sparse linear system. Our nonlocal color linear model optimization inherits the advantages of global and local color propagation methods, which can propagate color cues in global manner, also can propagate color to relatively far from the provided color line, while our approach can provide the user with good local control. Compared with the state-of-the-art methods, our approach can produce higher-quality results with only a small amount of user interaction than those only consider local propagation or global propagation approaches.

image recoloring; nonlocal color linear model; color propagation

國家級大學生創新創業訓練計劃項目 (201610351019)； 溫州大學實驗室開放項目(16SK34A)； 浙江省自然科學基金 (LQ14F020006)

TP301.6

A

10.19358/j.issn.1674- 7720.2017.13.015

邵靖凱，厲旭杰，沈順輝.基于非局部鄰域的圖像重新著色[J].微型機與應用，2017,36(13)：49-51.

2017-02-06)

邵靖凱(1998-)，男，本科，主要研究方向：圖形圖像處理技術，高性能并行計算。

厲旭杰(1981-)，男，通信作者，高級實驗師，CCF高級會員，主要研究方向：圖形圖像處理技術，高性能并行計算。E-mail:lixujie101@aliyun.com。