水彩畫風格實時增強現實技術

賈立兵,唐 棣

(遼寧師范大學 計算機與信息技術學院，遼寧 大連116081)

增強現實AR(Augmented Reality),也被稱為混合現實，是近年來國外眾多知名大學和研究機構的研究熱點之一。增強現實借助計算機建模技術、計算機圖形技術和可視化技術，通過生成真實環境中不存在的虛擬對象并將其應用到AR系統中用于交互的真實場景，虛擬物體和真實場景實時地疊加到同一個畫面或空間，兩種信息相互補充、完善，使用戶的體驗更為真實，具有虛實結合的特征。AR技術不僅有著與虛擬現實(VR)技術相類似的應用領域，諸如尖端武器開發、數據模型的可視化、虛擬訓練、娛樂與藝術等，而且由于其具有能夠對真實環境進行增強顯示并輸出的特性，在醫療研究與解剖訓練、精密儀器制造和維修、工程設計和遠程機器人控制等領域，具有比VR技術更加明顯的優勢[1]。20世紀90年代末，這個領域的研究者開始在一些每年召開的與AR相關的國際研討會和工作會議上聚會，例如，國際增強現實工作會議(IWAR)、國際增強現實研討會(ISAR)和國際混合與增強現實會議(ISMAR)等,這些會議在很大程度上促進了AR的研究與發展。

AR技術已經有著廣泛的應用。對于有些領域(如醫學領域)，AR系統需要保持虛擬信息與真實信息有著視覺上的差異以便醫生進行診斷；但是，對于其他領域(如游戲領域)，AR系統則需要保持兩者視覺上的融合已達到用戶猶如身臨其境的效果[2]。

傳統的AR系統中虛擬物體與真實場景之間在顯示端存在著較為明顯的視覺差異，這種差異大大降低了用戶交互體驗、操作的真實感。針對這點，本文提出了一種新的方法來改進傳統的AR系統,分別對攝像頭采集的背景圖像和計算機生成的虛擬物體進行基于非真實感的渲染NPR(Non-Photorealistic Rendering)技術的風格化處理,減少二者的視覺差異,最終輸出帶有水彩畫效果的疊加后圖像,從而提高虛實結合的程度，在顯示端達到視覺的統一。

1 相關工作

AR系統致力于將計算機生成的虛擬物體與真實場景融為一體，通過虛擬物體的信息補充來增強用戶對真實環境的理解。目前，AR系統中一些關鍵的技術，諸如顯示技術和跟蹤[3]、定位技術[4]已經具有一定的成熟度，但對虛擬物體與真實場景之間的視覺融合技術研究非常少。在實時的AR系統中，要保持虛擬物體和真實場景的完美融合，達到視覺上的統一是很困難的。為達到這個目的，一種方法是使計算機生成的虛擬物體盡可能地逼真，但這不僅需要精準的計算機模型，而且還需要過長的模型計算時間，這在實時的AR系統中是難以實現的。另一種方法是使用NPR技術，使虛擬物體和真實場景通過風格化融合以達到視覺上的統一。目前已經有卡通風格化渲染、油畫風格化渲染、馬賽克風格化[5]渲染等多種NPR技術在AR系統中實施。丁帆等[6]將卡通風格的NPR技術應用到了AR系統中,該方法減去了較多的真實場景的信息，融合后的視頻圖像比較模糊。BOUSSEAU A[7]比較系統地提出了處理二維圖像和三維模型水彩風格化的方案。他將風格化分為多種可選的效果，用戶根據自己的需要進行選擇并可以實時地看到渲染結果。為了更加直觀地模擬水彩，BOUSSEAU A的方法沒有采用庫伯卡-芒克模型。雖然該方法可以達到實時渲染，但是得到的渲染結果略顯生硬。此外，CURTIS C J[8]提出了基于物理模型的水彩畫風格渲染，但是計算代價高昂。

本文提出了采用Voronoi圖來處理視頻圖像幀以模擬圖像幀的水彩畫風格效果，達到虛擬物體與真實場景的無縫結合。首先利用Voronoi圖簡化視頻幀顏色信息，然后檢測出視頻幀邊緣，最后將邊緣線疊加到風格化渲染后的視頻幀中。實驗結果證明，該方法在實時的AR系統中方便、快捷，能很好地實現虛擬物體與真實場景的無縫結合，并能夠保持良好的時間、視覺連貫性。

2 算法原理

將AR系統的視頻圖像幀利用Voronoi圖來處理,以達到簡化圖像幀的顏色區域的目的,使得真實的場景與計算機虛擬的物體之間的視覺差異減小,從觀察者的角度來達到視覺融合,減小視覺瑕疵。同時，檢測圖像幀中的物體(包括虛擬物體和真實場景中的物體)邊緣輪廓,將檢測出的邊緣同區域顏色簡化后的圖像幀相疊加,得到最后的觀察者接收到的視頻圖像幀。計算機虛擬物體和真實場景得到風格化的融合，處理過程如圖1所示。

圖1 過程概述圖

3 算法實現

3.1 視頻圖像幀的顏色區域簡化

給定一個同時包含了虛擬物體和真實場景的AR視頻圖像幀，第一個目標是對該圖像幀進行水彩畫效果的風格化。風格化過程分為兩步：(1)生成一個與圖像幀同樣大小的Voronoi圖，Voronoi圖的結構類似于洋蔥表皮細胞的排列，每個洋蔥“細胞”對應了Voronoi圖中一個多邊形域，如圖2所示；(2)用該Voronoi圖中的多邊形域分割圖像幀，并對每個多邊形域“細胞”著色，所著顏色由該“細胞”在圖像幀中相應位置處像素的平均顏色決定。通過這兩步將一些冗余的顏色信息去除，達到圖像幀的顏色區域簡化，使畫面顏色更加接近水彩畫效果。

圖2 洋蔥表皮細胞與Voronoi圖中多邊形域的對應關系

3.1.1 生成Voronoi圖

為了生成Voronoi圖,采用平面抖動采樣算法得到Voronoi多邊形域的中心。假設視頻幀大小為W×H，創建m×n多邊形域。那么第i行第j列的多邊形域的抖動中心V(i,j)可以用如下公式計算得到：

V(i,j)即為Voronoi圖的多邊形域的中心點。

3.1.2 風格化視頻幀

在圖形硬件中，圓錐體由凸多邊形集合近似模擬，Voronoi多邊形域同樣是凸多邊形，所以可以通過在每個Voronoi“細胞”的中心 “安置”一個圓錐體近似模擬Voronoi多邊形域，從而達到快速生成Voronoi圖的目的。實驗證明，可以用像素的深度緩存值來決定椎體的大小，使得距觀察者越近的物體被渲染得更為細膩。在深度緩存開啟的情況下以V(i,j)為中心柵格m×n個圓錐體。此時幀緩存被Voronoi“細胞”分割成m×n個Voronoi多邊形域。圖2(b)模擬了柵格化圓錐體后的幀緩存,可見此時視頻幀被分割成許多不規則的Voronoi多邊形域。

在柵格化的過程中，每個圓錐體被賦予單獨的RGB顏色值，該值由該區域中心點V(i,j)處的RGB顏色值決定，所以每個圓錐體區域能通過檢查幀緩存中該椎體區域像素顏色值來被唯一標識并且被索引。如圖2(b)所示，這些多邊形域組成了一個特定的Voronoi模版，通過該模版將AR視頻幀渲染成水彩畫風格。具體做法是：使用多邊形域對應原始圖片處的平均顏色值對該多邊形域進行著色。圖3顯示了一幅初始的AR視頻幀，圖4顯示了風格化后的視頻幀。

圖3 初始AR視頻幀

圖4 Voronoi圖模版處理后的視頻幀

為了更好地勾勒出物體的形狀從而有著很明顯的邊緣輪廓線，在下一步將通過對視頻幀進行邊緣檢測來模擬這種風格。結合Voronoi模版風格化視頻幀和檢測邊緣線，達到了基于NPR的水彩風格的增強現實。

3.2 視頻幀的邊緣檢測

邊緣檢測是NPR風格化渲染中普遍用到的技術，因為許多NPR風格圖片擁有突出、鮮明的邊緣輪廓線。

在本文算法中，首先對虛擬物體使用簡單的卡通著色，然后對該視頻幀進行邊緣檢測。使用簡單的卡通著色代替OpenGL默認的高氏著色(Gouraud Shading)是因為卡通著色能增強區域間的顏色對比而使得檢測出更為突出、明顯的邊緣輪廓線。

對于一個物體表面，卡通著色器通過設置強度閾值來產生3個離散的表面強度，進而用不同的顏色進行著色而不是使用連續色調進行著色。卡通著色的片段著色器的代碼如下：

虛擬物體和真實場景被渲染并結合成為一幅紋理圖片暫存于著色器中，因此邊緣檢測可以在片段著色器中進行，而不需要將紋理的像素數據從GUP復制到CPU，大大節省了處理所用時間。RGB顏色空間和YUV顏色空間中的像素信息將會同時用來進行邊緣檢測。兩種顏色空間之間像素轉換在著色器中完成，代碼如下：

邊緣檢測公式如下。其中，▽是沿著x軸和y軸的顏色差。如果這個值大于設定的閾值，則該像素將被認為是一個邊緣像素。

分別在YUV顏色空間和RGB顏色空間下進行邊緣檢測，然后加權計算得到最終的邊緣輪廓線。圖5顯示了一幅帶有檢測出的邊緣輪廓線的AR視頻幀。3個虛擬的物體(茶壺、立方體和兔子)和真實場景中的物體的輪廓線均被檢測到。

圖5 視頻幀中檢測出的邊緣線

3.3 生成水彩畫風格視頻幀

首先利用Voronoi圖來生成水彩畫風格的視頻幀。同時，在RGB和YUV兩種顏色空間下分別對視頻幀進行邊緣檢測并且兩種輪廓線加權后進行融合。最后，將檢測出的邊緣線與風格化后的視頻幀進行結合，產生水彩畫效果的視頻幀，視頻幀中虛擬物體與真實場景很好地結合在一起。輸出過程如圖6所示，實驗結果如圖7所示。

圖6 輸出最終視頻幀過程

圖7 水彩畫效果的視頻圖像幀(左上顯示一幅原視頻圖像幀)

通過對基于視頻的AR技術進行研究，闡述了一種新的應用Voronoi圖生成水彩畫風格的實時的AR技術——水彩畫風格增強現實系統。將NPR的方法引入AR系統中，使得計算機虛擬出的物體和攝像機提供的真實場景間在一定程度上實現無縫結合，克服了傳統AR系統中虛擬物體和真實場景的視覺上的不統一，給予用戶更加真實的體驗。此外，由于本文算法使用圖像空間的技術實現，可以利用GPU進行加速計算，因此，伴隨硬件技術的不斷發展，該方法的運行速度還有很大的提升空間。

[1]張菁,張天馳,陳懷友.虛擬現實技術及應用[M].北京：清華大學出版社,2011.

[2]鐘慧娟,劉肖琳,吳曉莉.增強現實系統及其關鍵技術研究[J].計算機仿真,2008,25(1)∶252-255.

[3]全紅艷,王長波,林俊雋.增強現實中虛實結合的新方法[J].機器人,2008,30(6)∶561-565.

[4]陳靖,施琦,王涌天.基于視覺增強現實系統的設計與實現[J].計算機工程與應用,2001,37(21)∶55-57.

[5]BATTIATO S,BLASI G,FARINELLA G,et al.Digital mosaic frameworks-an overview[J].Computer Graphics Forum 2007,26(4)∶794-812.

[6]丁帆,李利軍,管濤.卡通風格增強現實系統[J].計算機與數字工程,2007,38(6)∶76-78.

[7]BOUSSEAU A,NEYRET F,THOLLOT J.et al.Video watercolorization using bidirectional texture advection[J].ACM Transactions on Graphics,2007,26(3)∶104∶1-104∶7

[8]CURTIS C J,ANDERSON S E,SEIMS J E.Computergenerated watercolor[C].Computer Graphics Proceedings,Annual Conference Series,ACM SIGGRAPH,Los Angeles,1997：421-430.