非真實感繪制漫畫藝術效果的研究與實現

錢文華， 徐　丹， 普園媛， 徐　瑾， 何　磊， 廖東偉

(1. 云南大學計算機科學與工程系，云南 昆明 650091；2. 云南大學研究生院，云南 昆明 650091)

非真實感繪制漫畫藝術效果的研究與實現

錢文華1， 徐丹1， 普園媛1， 徐瑾2， 何磊2， 廖東偉1

(1. 云南大學計算機科學與工程系，云南 昆明 650091；2. 云南大學研究生院，云南 昆明 650091)

提出了一種基于非真實感繪制的漫畫藝術效果繪制算法。算法首先將輸入圖像從RGB色彩空間轉換為LAB色彩空間，通過雙邊濾波及色彩量化的方法對輸入圖像進行處理，獲得連續的、局部區域色彩一致的結果圖像，可通過權值等參數對濾波及量化程度進行控制。其次，采用DOG濾波器和閾值處理求取輸入圖像的邊緣信息，獲得連續的、清晰的邊緣。最后將邊緣圖像融合到量化結果圖像中，獲得最終的漫畫藝術效果。從最終的漫畫藝術繪制效果看出，該算法簡單、易于實現。

非真實感繪制；漫畫；雙邊濾波；量化；DOG濾波

非真實感繪制(non-photorealistic rendering, NPR)是計算機圖形學中的一個研究熱點，通過使用計算機生成不具有照片的真實感，而具有手繪風格的圖形技術是 NPR研究的內容，其可方便地繪制出富有藝術表現力的圖像，受到文化產業、旅游業等各方面的關注。隨著技術不斷的成熟，NPR可以運用到各個領域，如圖像美化、動畫制作、景區風景宣傳、商業娛樂欣賞等。

“漫畫”(cartoon)一詞由英文音譯而來，隨著時代的發展，漫畫的風格也不斷發生改變，一般通過歸納、夸張、變形的手法來塑造各種形象，且符合NPR的特點，并可以利用其技術繪制圖像，產生漫畫藝術效果。此外，漫畫常用于動畫領域，如轉描機技術逐幀追蹤真實運動物體，直接轉換為漫畫的動畫場景，圖1顯示了轉描機技術產生漫畫藝術效果的過程[1]。

圖1 《惡之華》轉描機技術生成漫畫效果[1]

圖像分割技術有利于產生非連續的著色區域，常被用來產生漫畫效果。DeCarlo和Santella[2]基于mean-shift圖像分割方法，實現了圖像多層次抽象繪制，將圖像轉換為漫畫風格；David等[3]基于mean-shift濾波和特征最小化方法對輸入圖像進行處理，產生區域簡化的漫畫風格化效果，有利于圖像壓縮。然而圖像分割后的每一個分割區域形成一個閉合邊緣，邊緣線條化過程使處理速度變慢，不適應實時繪制。此外，通過濾波方法能產生類似漫畫的效果，如Kyprianidis等[4]采用雙邊濾波平滑局部區域，對靜態和視頻圖像進行抽象繪制；Obrenovic和Martens[5]基于圖像特征產生的矢量場進行各向異性濾波，并通過交互方式獲得類似漫畫藝術效果；文獻[6]提出了L0濾波方法對輸入圖像進行抽象化，保留了較高對比度區域的細節；文獻[7]采用雙邊濾波算法，對單幅圖像進行圖像增強；Song等[8]采用數據驅動的方法對人臉圖案進行了漫畫效果處理；文獻[9]通過差分濾波對圖像邊緣的細節信息進行編輯。通過濾波方法提高了處理速度，但邊緣在抽象藝術效果中具有重要的作用，需要對輪廓細節進行增強，本文通過高斯差分(difference of Gaussian, DOG)方法與濾波結果的融合，提升輪廓細節信息。Collomosse和Hall[10]使用遺傳算法在輸入圖像中搜尋有意義的繪畫區域，因此接近理想藝術效果的顯著細節被保留下來，而沒有顯著細節的區域被弱化，同樣存在繪制速度慢的問題。

綜上所述，漫畫風格以其夸張、變形的藝術表現風格，對人們具有極大的吸引力，也豐富了藝術表現形式，在影視作品等領域有較大的應用價值。本文基于人的視覺對亮度、顏色、邊緣等信息影響最大的特點，基于雙邊濾波和DOG濾波，提出了自動的漫畫藝術效果繪制模型。

1　漫畫藝術繪制流程

漫畫藝術風格化的特點主要表現是：①高度的概括，細節的減少突顯了特殊部分，更加具有視覺吸引力；②顏色的泛用，圖像顏色較為鮮明，局部區域的顏色相似，沒有細小的色塊；③邊緣的強化，通過對邊緣信息的增強突出邊緣細節；④變形夸張，漫畫效果通過對主體的變形，產生不同于真實場景的效果，增強吸引力。

基于以上漫畫風格特點，設計了繪制流程圖來實現漫畫效果，如圖 2所示，主要包括以下幾個步驟：

(1) 將輸入圖像轉換為LAB色彩空間，對亮度信息進行雙邊濾波，該過程可以根據需要進行重復迭代；

(2) 對雙邊濾波的結果圖像進行色彩量化處理，獲得統一和連續的局部區域色彩；

(3) 采用DOG濾波檢測邊緣信息，并通過閾值處理獲得連續的、清晰的邊緣圖像；

(4) 將邊緣圖像融合到色彩量化結果圖像中，并將色彩空間轉換為 RGB，獲得最終的漫畫藝術效果。

圖2　漫畫效果繪制流程圖

2　漫畫藝術效果繪制算法

漫畫藝術效果的繪制算法需考慮以下問題：①漫畫效果中的亮度和色彩信息是需要重點考慮的特征；②邊緣信息需要被保留下來；③漫畫效果的部分細節丟失，需對色彩進行局部的概括。具體實現過程中，通過雙邊濾波和量化獲得漫畫效果的色彩。

2.1圖像的雙邊濾波

雙邊濾波器(bilateral filter)是使圖像平滑化的非線性濾波器，基于高斯濾波方法提出[11]。主要通過對高斯濾波中高斯權系數與輸入圖像亮度進行卷積運算獲得濾波結果，即空間距離中的高斯函數與灰度圖像距離函數的乘積。與傳統的均值濾波、中值濾波相比，雙邊濾波器除了使用像素之間幾何上的距離之外，還考慮了像素之間的光度、色彩的差異，因此能夠有效地去除圖像上的噪聲，并保存圖像上的邊緣信息。

零均值噪聲圖像模型如下：

其中，f表示無噪聲圖像，n表示服從零均值高斯分布的噪聲，g為噪聲圖像；濾波時需要濾除噪聲圖像g中的噪聲n，重建無噪聲圖像f。雙邊濾波器采用局部加權平均的方法獲取復原圖像的像素值：

其中，S表示鄰域大小，w表示權重函數；鄰域內的每一個像素點 g(i, j)由空間距離值和灰度距離值兩部分的和組成。

空間距離是當前目標點與中心點的歐式距離，其高斯函數的數學形式為：

其中，(i, j)為當前像素點的位置，(ic, jc)為中心點的位置，σ是空間域標準差。

灰度距離是當前目標點灰度與中心點灰度差的絕對值，其數學表達式為：

其中，gray(i, j)為當前點灰度值，gray(ic, jc)為中心點的灰度值，σ為值域標準差。

雙邊濾波中加入了對像素點灰度信息的權重，鄰域內越接近中心像素點，其權重越大。標準差σ越大，邊緣越模糊，當標準差無窮大時，近似于高斯濾波；而標準差σ越小，邊緣越清晰，當標準差無窮小時，濾波后的結果接近與輸入圖像。濾波時，首先將輸入圖像從RGB色彩空間轉換為LAB色彩空間[12]，對亮度L層進行雙邊濾波，在最終效果中加入色彩信息獲得彩色的結果圖像。

圖3顯示了實驗中得到的雙邊濾波結果。隨著σ值的增大，眉毛等細節信息越來越模糊，但邊緣信息能被保留。

圖3　雙邊濾波結果

2.2色彩的量化

漫畫效果的特點是忽略了原始輸入圖像中的很多顏色細節信息，大塊區域的顏色比較接近或均勻，因此對圖像進行雙邊濾波后，可通過量化的過程實現色彩的重建。顏色量化主要通過對色彩選擇形成新的調色板，是對圖像局部色彩接近的區域重新分配顏色的過程實現。在 LAB色彩空間中，通過式(5)對色彩進行量化處理：

其中，qedge表示邊緣信息，f(x, y)表示輸入圖像，即雙邊濾波后的結果圖像，參數w表示量化過程中的顏色區間寬度，參數φ為色彩的補償函數，tanh表示雙曲正切函數，如圖4所示，雙曲正切函數具有雙端抑制，中間過渡平滑的特征，能減少量化過程中的人造痕跡。

圖4　雙曲正切函數曲線

圖5為經色彩量化后的結果圖像，可以看出，其實現了對局部色彩的均勻和擴散處理，并且隨著量化過程中區間寬度w的增加，局部區域的色彩趨于一致。

圖5　量化結果

2.3圖像的邊緣檢測

真實漫畫效果中，藝術家經常通過簡單的線條來產生藝術效果，因此，輪廓信息在漫畫效果中具有重要的作用。邊緣檢測是在鄰域計算的基礎上實現的，可通過不同的邊緣檢測算子檢測邊緣，如Roberts、Sobel、Laplacian等，然而邊緣檢測算子使用增強高頻信號的方法獲得邊緣時，也增強了噪聲。本文對邊緣的提取采用各項異性的DOG濾波器進行提取，該濾波器穩定性較高，能較好地抑制噪聲的產生，提取出的邊緣更加連貫、平滑[5]。

DOG濾波器通過對掩模的卷積操作得到高斯的二階導數▽2G，采用兩個具有不同標準差σ的高斯平滑掩模的差值作為掩模，假設Gσ(x,y)為最終的濾波結果，DOG濾波器可以表示為[13]：

式(6)在實際計算過程中可以離散化計算：

對圖像用DOG算子進行濾波即是求兩次高斯濾波后的結果差，式(7)通過改變標準差σ1、σ2和參數 t，得到不同的輪廓圖，輪廓中邊緣的粗細程度也可通過標準差σ1、σ2進行調節。得到濾波結果E(x, y)后，通過二值化處理可得到最終的邊緣效果。

圖6用DOG算子進行邊緣檢測得到的結果圖像。圖6(a)為輸入圖像，圖6(b)為通過DOG算子計算后得到的結果圖像，可看出圖像的邊緣較為平滑，手指等細節信息也被保留下來，由于原始圖像的灰度差異，提取出的邊緣亮度并不一致，形成了一些弱邊緣。為了獲得清晰可見的邊緣，需要統一邊緣的亮度。因此，采用閾值處理的方法對邊緣圖像進行處理。通過設置閾值，對邊緣進行二值化處理，達到邊緣增強、濾除細小邊緣的效果。圖6(c)顯示了閾值處理之后獲得了亮度一致的邊緣圖像。

圖6　邊緣獲取

獲得邊緣圖像之后，將邊緣信息加入到量化之后的結果圖中，可獲得最終的漫畫藝術效果圖像。在邊緣圖像與量化圖像的融合過程中，首先將量化結果圖像從LAB色彩空間轉換為RGB色彩空間，并通過α融合算法將對應色彩通道進行融合，獲得結果圖像(0＜α＜1)。

3　實驗結果與分析

為了測試本文所提出方法的可行性和有效性，基于本文描述算法，對不同輸入圖像進行處理，實現了非真實感漫畫風格化的藝術效果。本實驗在Windows XP操作系統中進行，基于3.2 GHz Intel CPU，2 GHz內存的硬件環境，并采用Matlab2012a軟件編程實驗，實驗圖片來自網絡，下文給出具體的實驗結果。

圖7通過本文方法獲得的結果圖像可看出，邊緣圖像很好地融入到結果圖像中，圖像的色彩被保留，形成了局部區域的色彩量化，輪廓等細節信息清晰可見，獲得了較好的漫畫效果。

圖8為本文的結果圖像與文獻[14]的結果圖像，文獻[14]中采用拉普拉斯算子獲得邊緣信息，圖像邊緣不連貫，雜散點較多。本文采用DOG濾波器對圖像進行濾波后，采用閾值處理增強了邊緣，去除了較小的雜散點，因此最終漫畫效果中邊緣連續，更加接近真實的漫畫效果。

圖9為本文的結果圖像與通過轉描機技術獲得的結果圖像，轉描機技術通過畫家來處理，細節描繪十分準確，人物表情等細節非常清晰，但面部額頭和嘴唇的色彩量化有些僵硬，本文獲得的結果圖像與轉描機獲得了類似的結果，在面部額頭和嘴唇等區域獲得了較好的結果，然而在手指、背景等細節的處理上還需要進一步完善。

圖7　漫畫藝術效果圖像

圖8　漫畫藝術效果圖像

圖9　漫畫藝術效果圖像

4　總結與展望

本文研究了NPR中的漫畫藝術風格模擬問題，算法通過對輸入圖像進行色彩空間變換、雙邊濾波及量化過程，獲得了具有漫畫色彩的藝術效果。同時，基于DOG濾波器邊緣提取算法將邊緣信息加入到最終結果圖中，獲得最終漫畫藝術效果圖像。在將來的工作中，將擴展相關算法到三維和視頻抽象領域，并采用硬件加速進一步提高算法處理和繪制效率，實現圖像和視頻的實時漫畫風格化效果。

[1] Marco R, Della C. Through a ‘scanner’ dazzlingly: sci-fi brought to graphic life USA today [EB/OL]. [2006-08-01] http://usatoday30.usatoday.com/life/movies/news/2006-08 -01-rotoscoping_x.htm.

[2] DeCarlo D, Santella A. Stylization and abstraction of photographs [C]//Annual Conference on Computer Graphics and Interactive Techniques. New York: CAM Press, 2002: 769-776.

[3] David G, Hiroki T, Suguru S, et al. Sketch based fine-tuning of image segmentation methods [C]// Proceedings of the International Workshop on Advanced Image Technology (IWAIT). New York: ACM Press, 2006: 393-398.

[4] Kyprianidis J E, Collomosse J, Wang T,et al. State of the ‘art’: a taxonomy of artistic stylization techniques for images and video [J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(5): 866-885.

[5] Obrenovic Z, Martens J B. Sketching interactive systems with sketchily [J]. ACM Transactions on Computer Human Interaction, 2011, 18(1): 172-180.

[6] 丁志鵬, 張少雄, 陳佳舟, 等. L_0梯度極小化耦合梯度保真的保結構圖像平滑[J]. 中國科學: 信息科學, 2014, 11(11): 1370-1384.

[7] 胡韋偉, 汪榮貴, 方帥, 等. 基于雙邊濾波的Retinex圖像增強算法[J]. 圖學學報, 2010, 31(2): 104-109.

[8] Song Y B, Bao L C, Yang Q X, et al. Real-time exemplar-based face sketch synthesis [C]//Computer Vision ECCV 2014. Switzerland: Springer International Publishing, 2014: 800-813.

[9] Wang H, Cao J J, Liu X P, et al. Mesh detail editing by filtering differential edge coordinates [J]. Computer Aided Drafting Design and Manufacturing, 2014, 24(4): 1-6.

[10] Collomosse J P, Hall P M. Salience-adaptive painterly rendering using genetic search [J]. Artificial Intelligence Tools, 2006, 15(4): 551-575.

[11] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 12(7): 629-640.

[12] Reinhard E. Color transfer between images [J]. IEEE Computer Graphics and Applications, 2001, 21(5): 34-40.

[13] Kang H, Lee S, Chui C. Coherent line drawing [C]// Proceedings of the ACM Symposium on Non-photorealistic Animation and Rendering. New York: ACM Press, 2007: 43-50.

[14] Daniel L B, Shervin E, David M E. Mastering OpenCV with practical computer vision projects [M]. New York: Packt Publishing, 2012.

Realization of Cartoon Effects Based on Non-Photorealistic Rendering

Qian Wenhua1,Xu Dan1,Pu Yuanyuan1,Xu Jin2,He Lei2,Liao Dongwei1

(1. School of Information Science and Engineering, Yunnan University, Kunming Yunnan 650091, China; 2. Graduate School, Yunnan University, Kunming Yunnan 650091, China)

An effective method for non-photorealistic rendering for computer generated images with cartoon artistic works from 2D images is provided in this paper. The proposed methods is inspired by bilateral filter and DOG filter. The color space of source image is transferred from RGB to LAB, and bilateral filter can be used to reduce contrast in low contrast regions, and increase contrast in high contrast regions. Further, the color can be abstracted by soft color quantization to create cartoon-like effects. In addition, DOG filter and threshold are applied to obtain continuous and clear edge image, and this edge information can be merged to the cartoon-like effects finally. Experimental results show that our proposed method is simple and effective.

non-photorealistic rendering; cartoon; bilateral filter; quantization; DOG filter

TP 391

10.11996/JG.j.2095-302X.2016020218

A

2095-302X(2016)02-0218-06

2015-09-24；定稿日期：2015-10-01

國家自然科學基金項目(61462093, 61163019, 61063009)；教育部博士點基金新教師類項目(20125301120008)；云南省應用基礎研究計劃項目(2014FA021, 2014FB113)；云南省教育廳重點項目(2015Z012)

錢文華(1980–)，男，云南曲靖人，副教授，博士。主要研究方向為圖像處理、計算機非真實感等。E-mail：qwhua003@sina.com

徐丹(1968–)，女，江蘇無錫人，教授，博士，博士生導師。主要研究方向為基于圖像的建模與繪制、虛擬現實等。

E-mail：danxu@ynu.edu.cn