計算機自動生成梵高油畫風格的視頻處理算法

趙楊+楊劍蘭

摘要：本丈提出一種計算機生成具有梵高油畫風格的視頻渲染處理算法。本文提出以圖像結構張量的特征向量值作為畫筆方向，對輸入視頻幀進行多層繪制，以有效模擬梵高油畫的流體感；同時提出一種改進的局部光照模型，該方法通過運用bump-mapping技術從而增強繪制視頻幀的涂料層疊感。為了使生成的視頻幀具有梵高油畫的色彩風格，通過運用顏色轉換方法將梵高原畫的色彩特征轉換到渲染視頻幀上。實驗結果表明，對于給定的輸入視頻，該算法能夠有效地生成具有梵高風格特質的渲染視頻。

【關鍵詞】油畫 梵高風格 結構張量 筆刷模型 光照模型 顏色轉換

1 引言

傳統油畫創作通過觀照現實，表達創作者的創意。隨著世界文化一體化進程的加快，計算機圖像藝術迅速融入普通百姓的生活，給受眾帶來全新的審美體驗。

當今計算機技術己發展成為油畫創作的一種技術手段。許多藝術家運用數碼相機采集照片并運用計算機作為創作和圖像處理的工具，新生代油畫家已經開始對此進行有益的探索。運用計算機技術輔助進行油畫創作，將傳統藝術與現代科技融合到一起，使得創作的理念多元化，創作思維更加開闊，己發展成為數字藝術媒體的新形式。

運用計算機輔助進行油畫繪制，主要分為兩種形式：

（1）運用現有的專業圖像處理軟件進行創作。其中使用最為廣泛的是Adobe公司的Photoshop系列、Corel公司的Painter系列等。利用上述軟件能快速實現真實照片到油畫風格的快速轉化。

（2）開發全新的油畫繪制算法，運用計算機模擬真實的油畫創作過程。

隨著研究的深入，目前的研究熱點，已經從對單幅靜止圖像的風格化渲染轉移到研究如何實時地對輸入視頻進行油畫風格化渲染方向。傳統的非實時的視頻油畫繪制算法主要是按照時問序列對視頻幀進行逐幀渲染，但由于視頻相鄰幀問具有一定的時空相關性，這樣的處理方法會產生嚴重的幀問不連續，造成渲染畫而出現視覺閃爍現象。因此，在實時對視頻進行風格化渲染時不僅要解決計算速度的問題，同時也要兼顧繪制質量的問題。2計算機模擬梵高油畫風格發展研究概況

Litwinowicz首次提出對輸入視頻進行油畫風格化渲染的算法。算法在首幀繪制完成后，沿光流方向進行傳遞，得到第二幀筆畫的初始位置，通過不斷迭代完成對整段視頻的渲染。但算法渲染穩定性較差，對含有復雜場景的視頻進行渲染時仍會產生閃爍現象。

與Litwinowicz的算法模型不同，Hays同樣采用光流法在視頻各幀之問傳播畫筆。不同之處在對每一幀進行濾波后，根據圖像頻率的不同，將其分解為不同的層進行分層繪制于畫筆傳播，從而得到最終的繪制效果。該方法對于包含簡單場景的視頻，能夠生成連續性較好的結果。

趙楊等提出基于物理模型的流體模擬算法，并將其應用到生成具有梵高藝術風格的油畫繪制方而。該算法首先對流體進行模擬，得到流體參考圖；其次，通過計算流體參考圖的梯度方向，并將其作為畫筆方向，對輸入圖像進行分層渲染。不足之處在于：

（1）若流體參考圖的流線不佳，則會出現流線越出梯度邊界的情況；

（2）基于物理模型的流體模擬算法計算量過大，影響實時處理的應用推廣。

錢小燕采用自適應LIC卷積繪制流體方法，對算法進行了改進。其算法的核心思想為：首先提取圖像的結構張量場；其次利用結構張量場進行自適應的LIC積分生成具有梵高繪畫特征的流體藝術圖。但不足之處在于隨機擾動的函數確定了最終生成的流體效果圖，流體效果形式較為單一。

Olsen等人開發出一種新穎的算法，該算法通過物理模擬的方法來構造實時變化的流體，并根據流體的方向來控制筆刷繪制的方向，從而生成具有梵高藝術風格的視頻動畫。但是該算法并沒有實現實時的視頻處理和計算。

Winnemoller等人則提出了一個基于視頻的卡通風格化渲染系統，首次實現了實時的視頻卡通化渲染。隨后趙楊，徐丹等人在此基礎上設計了一個實時的渲染系統，該系統可將輸入視頻渲染為具有卡通，水彩及鉛筆畫特效的風格化視頻。但是以上系統沒有實現對視頻的油畫風格的轉換與渲染。

文獻[5]回顧并梳理了圖像和視頻油畫風格化繪制相關技術的發展進程，同時討論了上述研究存在的難點和新的研究方向。

通過計算機輔助繪制技術可以為用戶提供較好的算法接口，但渲染效果與真實藝術作品相較仍存在一定差距。因此，如何在算法執行速度，提供渲染效率，與此同時如何解決視頻渲染中的幀問一致性問題，是未來的研究重點。為了解決以上問題，本文提出了一種基于結構張量計算的生成梵高油畫風格的視頻渲染算法。

3 計算機生成梵高油畫風格的視頻處理算法

實現計算機自動，快速地生成梵高風格的油畫，需對其在筆刷模型，流線模型進行定義及模擬。同時需要生成油畫所具有的特殊的涂料層疊感，另外還需要使得生成的視頻在顏色特征上與梵高油畫高度相關及一致。本節將詳細介紹算法的設計與實現原理。

3.1 筆刷模型的定義

筆刷模型可從各種油畫作品中提取或者通過藝術家使用Photoshop等圖像處理軟件進行后期制作和加工。一個筆刷對象包含如下屬性：長度，寬度，透明度，顏色，中心點，筆刷方向。其中筆刷中心點為隨機落筆點在渲染視頻當前幀中的坐標位置；筆刷顏色為落筆點處的顏色值；筆刷方向則由渲染視頻幀的結構張量的特征向量的方向構成，如圖3所示。

3.2 結構張量的定義及實現

計算輸入視頻當前幀基于結構張量的特征值和特征向量，以特征向量的方向作為畫筆的落筆方向進行渲染即可得到具有梵高油畫風格的輸出視頻幀。具體計算方法可參考陳添丁等的工作。

圖4為通過運用LIC方法對輸入圖像的結構張量進行卷積操作獲得的流場圖。通過實驗發現，圖像的結構張量能較好的反映圖像的流場特征。運用圖像的結構張量及其特征向量的方向作為筆刷的繪制方向能較好的模擬具有梵高繪畫風格的圖像，該方法也可拓展到對視頻的繪制渲染方而。endprint

以下為基于OpenCV的計算結構張量的特征向量及其方向的代碼實現。

computeBrushDirection（const Mat& frame，Mat& direction）{ vector《loat> tensor，

computeTensor（frame， tensor）；

vector eig（2*tensor.size（》；

fioat* tensor_data= tensor.data（）；

fioat* eig_data 2 eig.data（）；

eigen2x2（tensor_data， eig_data， tensor.size（）/3）；

direction.create（frame.rows， framecols， C.V_32F）；

for （inti=0；i

for （int.j=O；j

int index=6*（i*w+j）；

float arg= atan2f（eig_data[index+3]， eigdata[index+2]）；

a rg

/=3.1415926；

directionat（i，j）= arg；

}

}

}

3.3 油畫涂料層疊感的生成

本文在brunp-mapping技術思想的啟發下對簡單的光照模型進行改進，通過計算機生成了具有色彩層疊感效果的油畫繪制圖像。光照模型的推導過程可參考趙楊，錢文華的研究工作。本節設計的基于圖像的光照模型形式化為

P_（ij）= I_ek_e+ I_p [k_d cosθ+kscos^mα]（5）

為了提高運算速度，能快速對輸入的視頻幀進行油畫涂料層疊感的渲染，本文運用GPU對視頻幀進行并行加速渲染。以下是對油畫涂料層疊感算法的偽碼實現。

double computeEmboss（）

{

double azimuth= 20.0：

double elevation= 45.0；

double Nx=O，Ny=O，Nz=O，NdotL=O：

double Lx， Ly， Lz

double shade=O，background=O；

Lx= cos（azimuth）* cos（elevation）*pixelScale；

Ly= sin（azunuth）*cos（elevation）*pixelScale；

Lz= sin（elevation）* pixelScale；

Nz =1530/3：

background= Lz；

Nx= SobelX；

Ny= SobeIY；

if（ Nx—O&&Ny==O）

shade= background；

else if（ （NdotL= Nx*Lx +Ny*Ly +Nz*Lz）

shade=O：

else

shade= NdotL/sqrt（Nx*Nx+ Ny*Ny+NZ4NZ、：

return shade；

}

3.4 色彩傳輸與轉換

為了使光照渲染后的輸出幀從視覺感知上與其他名家的油畫作品相似。本節通過線性映射，使得輸入視頻幀各顏色通道與參考圖各對應通道分布一致，如圖8所示。為了降低各通道之問的相關性，需在lαβ顏色空問中進行操作，具體實現原理可參考文獻[12]：

4 總結

運用計算機技術模擬生成具有梵高風格的視頻圖像效果，進一步拓寬了計算機動畫的創作領域。實驗表明，運用本文設計的算法模擬具有梵高風格油畫的表現技法，其相似度較高，同時有著制作成本低，制作周期短的特點。

參考文獻

[1]秦芳.傳統文化背景下的中國意象油畫[D].河北：河北師范大學，2010：1-38.

[2]李芟.計算機圖形藝術在油畫創作中的運用[D].遼寧：沈陽師范大學，2014： 1-24.

[3]李春生，袁玉珍.油畫創作中計算機圖像處理技術的應用[J].電子測試，2013No.11：284-285.

[4]顏彬彬.圖像（視頻）風格化技術研究[D].浙江：浙江工業大學，2011：1-65.

[5]黃華，臧或，張磊，圖像和視頻油畫風格化研究[J].計算機科學，2011，38（06）：1-6.

[6]趙楊，徐丹，運用流體模擬的油畫生成方法[J].軟件學報，2006，17 （07）：1571-1579.

[7]錢小燕，肖亮，吳慧中，一種流體藝術風格的自適應LIC繪制方法[J].計算機研究與發展，2007，44 （09）：1588-1594.

[8] Holger Winnemoeller.， Sven C.Olsen.. Bruce Gooch. Real-t ime video abs traction [J]. ACM Transactions on Graphics （TOG） -Proceedings of ACM SIGGRAPH 2006， 25 （03）： 12 21-12 26.

[9]Yang Zhao， Dan Xu. Automatic and Real-Time Video Stylization[C]. In Proceedings of lOth IEEE International Conference on Computer- Aided Design and Computer Graphics2007， 2007： 505-508.

[10]陳添丁，金煒煒，陳英旦，吳滌.真實圖像轉換的水墨圖像繪制模擬[J].中國圖像圖形學報，2014，19 （06）： 946-95.

[11]錢丈華.重要度引導的抽象藝術風格繪制[J].計算機輔助設計與圖形學學報，2015， 27 （05）： 915-923.

[12] Reinhard E，Ashikhmin M，Gooch B，Shirley P，Color transfer between images.IEEE Computer Graphics and Ap plications， 2001， 21（05）： 34-41.