基于球諧函數(shù)的人臉模型表面光場構(gòu)建研究

皮慧婷

摘 要：表面光場廣泛應用于基于圖像的渲染與重光照。為實現(xiàn)任意視點下三維人臉模型繪制，針對極其稀疏和分散的人臉數(shù)據(jù)，提出基于球諧函數(shù)的人臉模型表面光場構(gòu)建方法。該方法首先利用球諧函數(shù)為線性組合表示表面光場對應的輻射度函數(shù)，然后使用添加穩(wěn)定能量項的無約束最小二乘法，實現(xiàn)對人臉模型表面光場的魯棒性擬合，最后采用仿真技術對任意視點下的人臉模型進行渲染。在極其稀疏的6個視點下的人臉圖像上實驗，結(jié)果驗證了該方法的有效性。與插值法比較，驗證了該方法更具魯棒性。

關鍵詞：球諧函數(shù)；表面光場；無約束最小二乘法

DOI：10.11907/rjdk.171517

中圖分類號：TP317.4 文獻標識碼：A 文章編號：1672-7800（2017）009-0195-04

Abstract：Surface light field is widely used in Image-Based Rendering and Image Relighting， To rendering the 3D human face model at arbitrary views， this paper proposes a method to reconstruct human model face surface light field using spherical harmonic function. It is a robust least-squares based method for fitting 2D parametric surface light field functions on the extremely sparse and scattered data. Surface light field function is expressed as a linear combination of spherical harmonic functions. We add a stabilization energy to the unconstrained least-squares （ULS） fitting process， to robust fit 2D parametric Surface light field function. We carry out experiments on photos of six extremely sparse viewpoints. Experiment results show that this method is efficient. Comparing with the results of interpolation method， the results show that our method is more robust.

Key Words：spherical harmonic function； surface light field； unconstrained least-squares

0 引言

光場能夠獲取場景的密集表示，廣泛應用于基于圖像的渲染[1-2]（Image Based Rendering， IBR）框架中，為計算機視覺、虛擬現(xiàn)實等領域提供了一個新的研究方向。在假定光線傳播區(qū)域無遮擋情況下，Leovy等[3]首次提出了光場的四維模型L（u，v，s，t），指出光場是物體光線的空間分布，如圖1所示。圖中位面（u，v）和（s，t）稱為光片，一個光片實際上是一個圖像矩陣，則光場可以用穿過兩個位面的一條直線描述，該直線表示場景中某個物理點發(fā)出的光線，相應地這條直線的函數(shù)就是光輻射度，稱其為流明圖（lumigraph）或者光場（light field）。

基于光場容易通過物理途徑獲取源數(shù)據(jù)，且利用光場數(shù)據(jù)可實現(xiàn)三維物體或場景的建模和渲染[4-5]。根據(jù)采樣數(shù)據(jù)的稀疏性，可把光場重建方法大致分為基于密集采樣的光場重建和基于稀疏采樣的光場重建。這些方法一定程度上都可以較好地實現(xiàn)光場重建，然而，基于圖像的光場數(shù)據(jù)在一定深度范圍內(nèi)具有模糊現(xiàn)象，為此，Miller等[6]首次提出了表面光場概念。

對于每個二維表面頂點，表面光場表示該頂點的顏色值（RGB）， 該顏色值取決于一個連續(xù)方向參數(shù)：視點方向或入射光方向，因此表面光場可以定義為一個二維的半球形函數(shù)。然而，從獲取的采樣數(shù)據(jù)生成該函數(shù)可能較困難。Wood等[7]利用3D形狀的先驗知識來減少表面光場的采樣數(shù)量。Miandji等[8]設計了一個框架來生成表面光場，并將表面光場數(shù)據(jù)進行壓縮繪制。Jachnik等[9]提出通過單一手持相機實現(xiàn)實時表面光場獲取的算法，但該方法只適用于平面場景。以上表面光場獲取方法均需要稠密采樣，且沒有考慮模型特定性。

近年來學者開始關注在稠密采樣情況下，如何通過適應稠密的輸入樣本擬合構(gòu)建出表面光場。實際上，估計參數(shù)的擬合過程就是生成一個適應輸入樣本的函數(shù)。輸入樣本是位于可見半球的一組顏色值，這個位置可通過照片在表面的投影或光源位置推導出來。非線性函數(shù)可精確擬合半球形函數(shù)，但需要密集抽樣[10]，且它常用于高維（4D）的半球形函數(shù)。在二維情況下， 由于基函數(shù)的線性組合簡單，經(jīng)常被用于表示一組線性方程的擬合問題。最常用的有球諧函數(shù)[11]、多項式[12-13]、lumispheres[14]和剪切波變化[15]等。其中，球諧函數(shù)由于正交完備性，且可展開系數(shù)平方和具有旋轉(zhuǎn)不變性，被廣泛應用于各種對象的擬合或表示[16-19]。

通常，針對低質(zhì)量的采樣數(shù)據(jù)，約束最小二乘法常用于解決擬合半球形函數(shù)問題。Woods等使用這種方法解決了由于遮擋造成的亞約束問題。Lam等[20-21]使用約束最小二乘擬合，使壓縮的噪聲最小化。K Vanhoey等針對低質(zhì)量采樣數(shù)據(jù)，使用無約束最小二乘擬合得到物體任意視點的圖形。故本文為適應稀疏采樣數(shù)據(jù)也使用最小二乘擬合算法。endprint