基于BAG—OF—FEATURES算法的三維表面紋理光照方向估計

董軍宇　楊占賓

【摘要】本文設(shè)計出基于Bag-of-features算法針對紋理陰影特征進(jìn)行分類訓(xùn)練，然后通過基于Haar特征的Active Basis模型對測試紋理與已知光照方向的訓(xùn)練集紋理進(jìn)行匹配，從而確定測試紋理光照方向tilt角度（光源向量在平面坐標(biāo)系x-y平面上的投影與x軸的正向夾角）的判斷方法。

【關(guān)鍵字】三維表面紋理，光照方向，Bag-of-featu res，SIFT，Active Basis

【中圖分類號】TP391.41 【文獻(xiàn)標(biāo)識碼】A 【文章編號】1672-5158（201 3）04-0421-01

一、引言

三維表面紋理表面結(jié)構(gòu)通常蘊(yùn)含更為豐富的物體表面信息，凹凸不平的紋理表面使得物體對光照反映出迥然不同的反射特性，不同的光照條件乃至光照方向的改變都使得物體表面呈現(xiàn)出多種不同的形態(tài)。在計算機(jī)視覺和感知領(lǐng)域中，三維表面紋理的這種特性也使得對三維表面紋理所處光照條件以及光照方向的估計判斷具有重要的實(shí)際意義。

二、Bag-of-features模型

Bag-of-features算法的思想和步驟可以簡要描述如下：（1）檢測圖像中包含的圖像塊并生成指定的描述算子。檢測圖像塊的方法有很多，一般可以分為隨機(jī)采樣法，密集采樣法和基于特征點(diǎn)的塊提取方法。基于特征點(diǎn)的圖提取算法常用的有DoG（Difference nfGanssian）、LoG（Laplacian of Ganssian）、Harris-Laplace等。常用的特征描述算子有sIFr，GLOH等，本文將采用SIFT作為特征描述符；（2）在描述子空間內(nèi)進(jìn)行聚類，以聚類質(zhì)心的集合形成每幅圖像所對應(yīng)的碼書；（3）對每一幅圖像，建立特征點(diǎn)的頻度向量直方圖，對該向量根據(jù)需要進(jìn)行歸一化或加權(quán)操作。

我們采用K-means聚類方法對圖像中每個被SIFT特征描述符所表示的圖像塊組成的集合進(jìn)行聚類以后，提取每個類聚的中心作為碼字，這些碼字的集合就可以被稱為一幅圖像所對應(yīng)的碼書。為了分類方便，我們通常需要將所得的碼書進(jìn)行格式轉(zhuǎn)換（例如，將碼書轉(zhuǎn)換為頻率直方圖或者加權(quán)頻率直方圖）；并且為了適應(yīng)分類器使得分類結(jié)果更加穩(wěn)定還要做進(jìn)一步的歸一化操作。碼書本身的大小對于圖像描述的穩(wěn)定性也有一定的影響。如果碼書向量維度過大，也就意味這聚類中心比較多，對圖像的描述更加細(xì)致，從而導(dǎo)致碼書計算的復(fù)雜度相對較高且更容易受到圖像本身質(zhì)量（比如噪聲）的影響；如果碼書向量維度過小，則容易漏掉圖像所含的信息，不足以完整描述圖像特征。所以碼書的計算方法以及大小的選擇應(yīng)該同時考慮到算法效率以及圖像本身的情況。

可應(yīng)用于Bag-of-features算法的分類方法大致可分為以下兩類：一種是生成模型，包括樸素貝葉斯分類其（NaYve Bayes）、分級貝葉斯模型（Hierarchical Bayesian），分級貝葉斯模型又包括PLSA（Probabilisticlatent semantic analysis，基于概率的潛在語義分析）和LDA（LinearDiscfiminant Analysis，線性判別分析）等；另一種是判決模型，一般包括SVM（Support Vector Machine，支持向量機(jī)），AdaBoost以及最近鄰法（Nearest neighbor）等。在實(shí)驗過程中，我們采用SVM作為Bag-of-features算法的分類器。

三、基于Haar特征的Active Basi s模型簡介

原始的Active Basis雖然能夠很好的提取物體邊緣特征，但是由于Gabor濾波器設(shè)計本身的計算復(fù)雜度就比較高，所有算法的整體時間效率因此降低。Junyu Dong et al.在此建模方法的基礎(chǔ)上進(jìn)一步做了改進(jìn)以適用于紋理圖像的邊緣特征提取，他們采用計算效率較高且實(shí)現(xiàn)簡單的Haar特征作為邊緣提取特征代替Gabor濾波。為了方便計算Haar特征矩形的特征值，Junyu Dong et al.還提出了使用多角度積分圖索引的方法提高計算速度，并且優(yōu)化其特征邊緣，提出一種新的Haar特征變形一

Active Haar。

模型的訓(xùn)練過程包含以下三個步驟：

（一）對于每一幅紋理圖像，從圖像左上角開始濾波，分別計算每個base的Haar響應(yīng)；

（二）從濾波結(jié)果中中提取Haar響應(yīng)值最大的，作為第一個備選base，計算從左上角重新開始，繼續(xù)濾波（由于Active base允許沿法向量方向變換其位置，并可自由旋轉(zhuǎn)一定角度，因此，當(dāng)?shù)谝粋€base被選中后，與相關(guān)的active base將被重置，以避免在后續(xù)的建模過程中重復(fù)選中）；

（三）重復(fù)步驟（2），直到算法選擇了算法指定數(shù)量的base，結(jié)束。

四、實(shí)驗過程及結(jié)果

我們首先通過Bag-of-features算法構(gòu)建數(shù)據(jù)庫中可以唯一描述紋理特性的碼書和圖像塊頻率直方圖；然后依據(jù)此直方圖向量集通過SVM分類算法對已知光照方向的訓(xùn)練集紋理進(jìn)行分類，同時對測試集紋理預(yù)測其在訓(xùn)練集中所屬分類；匹配成功的紋理將通過基于Haar特征的Active Basis進(jìn)行紋理光照信息提取，構(gòu)造測試紋理和與其對應(yīng)的訓(xùn)練集同類紋理的base直方圖；最后通過base直方圖匹配確定測試紋理圖像的光照方向。

本實(shí)驗所涉及的紋理數(shù)據(jù)均來自Photex數(shù)據(jù)庫。根據(jù)我們所獲得的實(shí)驗結(jié)果顯示，本方法在測試紋理所屬分類在訓(xùn)練集中一定存在時能夠獲得很好的結(jié)果，總的光照方向估計準(zhǔn)確率達(dá)到87.4%。在實(shí)驗二中，我們?nèi)?5組紋理中的同一幅紋理在不同光照下產(chǎn)生的一組紋理作為測試集，其他14組紋理作為訓(xùn)練集。在與實(shí)驗一相同的實(shí)驗條件下，計算其光照方向估計的準(zhǔn)確率達(dá)到70.25%。

五、總結(jié)與展望

本文提出的方法不僅有效提高了三維表面紋理光照方向判斷的準(zhǔn)確率，而且針對判斷失誤的情形，尤其是當(dāng)測試紋理所屬分類不在訓(xùn)練集中出現(xiàn)時，仍然可以得到較高的估計準(zhǔn)確率，為日后針對此問題的研究提供判斷依據(jù)和研究資料。同時，實(shí)驗證明采用SIFT特征作為圖像塊描述符的Bag-of-features算法能夠有效描述三維表面紋理所包含的邊緣信息以及較粗糙紋理的大塊陰影信息。從而與基于Haar特征的Active Basis相結(jié)合提高判斷準(zhǔn)確度。

雖然本文所使用的方法，通過精確訓(xùn)練帶光照訓(xùn)練集紋理，達(dá)到較高的光照估計準(zhǔn)確度，但是仍然依靠于具有豐富分類信息的訓(xùn)練集。在保證訓(xùn)練集紋理種類健全的基礎(chǔ)上能夠得到更高的估計精度。除此之外，良好的訓(xùn)練算法和紋理特征能夠有效提高其運(yùn)算速度和估計準(zhǔn)確率。因此未來應(yīng)加大對三維表面紋理光照方向相關(guān)的內(nèi)在特征的研究，推導(dǎo)出更好的更高效的訓(xùn)練分類方法。最好的方法是不依靠訓(xùn)練即可推導(dǎo)出其光照方向角度。而對于估計失敗的紋理特例分析也將為未來的研究提供重要的實(shí)踐支持。