視差估計下VR圖像幾何特征數字化提取

陳紅初，王安霞

(1.湖南科技學院電子與信息工程學院，湖南永州 425199；2.江南大學人工智能與計算機學院，江蘇無錫214122)

1 引言

虛擬現實(Virtual Reality，VR)技術綜合圖形系統、多媒體技術與網絡技術等，在計算機中生成三維圖像，廣泛應用在教育、娛樂等方面，屬于一種挑戰性較強的前沿學科。圖像是人們感知世界的主要信息源泉，承擔著信息載體的關鍵任務。對于VR圖像，它的幾何特征尤為重要，能夠展示目標特征，提取效果直接影響圖像描述與識別。如何從初始圖像內提取有價值的特征信息，是計算機視覺技術領域近年來的熱點話題。

文獻[1]提出基于雙樹復小波域統計圖像建模的特征提取方法，統計圖像建模方式利用某類參數分布模型來表述幾何特征。采用廣義伽馬分布在圖像雙樹復小波域實現統計建模，通過對數累計量法完成幾何特征參數提取。文獻[2]提出基于深度學習的圖像特征提取。利用深度學習神經網絡設計卷積神經網絡，再使用該網絡完成圖像特征向量訓練；通過卷積層、池化層的操作實現特征向量降維，獲取特征提取初步結果；將Alexnet神經網絡與Googlenet神經網絡相結合去除特征不明確部分，構建最優特征向量集合，實現特征提取。

但以上方法存在無法克服的弊端，無法在降維與特征提取效果之間達到平衡，實現降維目的的同時會大幅度降低圖像質量，使某些細節消失，影響特征提取效果。為此，本文在視差估計下對VR圖像進行幾何特征提取。通過視差估計快速選擇圖像最佳參考點[3]，結合參考點構建尺度空間，引入Gabor小波變換算法，獲取圖像幾何特征，建立尺度函數。Gabor小波變換不但能全面提取圖像幾何特性，還可以減少信息冗余，和視覺傳達機制相符，為圖像辨識提供技術支持。

2 VR圖像幾何特征分類

VR圖像具備一些幾何特征，在分辨率較高的VR圖像中體現為灰度值接近、存在明顯的大小與形狀區分[4]。對圖像幾何特征做出如下分類。

1)面積

S=n×s

(1)

式中，n表示柵格中像元數量，s是每個像元對應的真實面積。

2)周長

(2)

式中，(xi-xi-1)、(yi-yi-1)均表示構成向量的邊緣部分連接點，周長即為向量連接點的坐標連接長度，number代表連接點總數量。

3)質心

計算圖像目標的pq矩與pq次中心矩[5-6]

(3)

(4)

式中，f(i，j)表示像元值，ip、jq表示圖像目標特征分類數量，xc、yc表示一階矩。

因此圖像質心可通過一階矩表示

(5)

(6)

4)延伸方向

延伸方向也就是圖像的長軸方向，定義式如下

(7)

5)形態指數

(8)

式中，S表示圖像中目標面積，L代表周長。

3 視差估計下圖像特征數字化提取

3.1 基于視差估計的參考視點選取

在圖像數字化提取過程中，參考視點的選擇為尺度空間的構建奠定基礎，快速準確地選取參考視點可以減少計算復雜度。通過相鄰塊之間的視差信息，如圖1所示，獲得視差向量。

圖1 相鄰塊示意圖

獲取C塊與三個相鄰塊的相似度尺度，得出與C塊最接近的A塊，將塊A當作左參考視點RL，則A的視差向量也是C塊的左參考視點RL的視差向量。相同道理獲得C塊右參考視點視差向量RR。

如果塊C與任意視點上的預測塊相似到某個程度時，在視差估計過程中即可將該點當作參考視點，其余視點對視差估計的影響較小。

(9)

(10)

式中，IC代表視點中間塊，DC，L為參考視點DA、DB、DC的相似程度，即相似度判斷閾值。在IC是Ture時，將RL當作單一參考點完成視差估計，反之利用多個參考點完成[7]。此種方法可以在提高視差估計精準度的同時，降低算法復雜度，提高特征提取方法的實用性。

3.2 尺度空間構建

尺度空間實際上是將偏微分方程應用到圖像中的結果，通過該空間方便觀察VR圖像的幾何特征，要想實現尺度空間的構建，必須結合上述選取的參考視點，確定空間內核[8]。內核表達式如下

fout=K×fin

(11)

式中，對fin和K在經過卷積計算后獲取的結果記為fout，如果fout的最小值低于初始圖像最小值，則將K當作尺度空間內核。關于內核問題存在一些假設，經過相關研究表明高斯卷積核屬于較為合理的線性核，對其定義為

(12)

L′=(x′，y′，σ)=G(x′，y′，σ)*I(x′，y′)

(13)

式中，I(x′，y′)代表輸入圖像，L(x′，y′，σ)描述高斯變換輸出，σ為尺度參數，該值增大，圖像整體輪廓會更加清晰。

利用高斯函數構建了圖像尺度空間，為特征關鍵點定位提供有利條件[9]。該函數能夠很好適應空間位置變換，不會添加多余計算量，同時也能夠很好地保留圖像邊緣特征信息。

3.3 關鍵點定位

由上述高斯函數表達式可知，VR圖像特征的關鍵點大多數集中在函數極值點處。所以將關鍵點確定問題變換為極值點計算問題。

首先需定義候選點，初步劃分出關鍵點區間。將3×3鄰域當作基準，對需檢測的點與鄰域附近的像素點做灰度值對比。濾出對比度較低的點，提高圖像清晰度，具體過程如下。

對高斯函數進行泰勒展開

(14)

(15)

(16)

Tr(H)=Dx′x′+Dy′y′=α+β

(17)

Det(H)=Dx′x′Dy′y′-(Dx′y′)2=αβ

(18)

式中，Dx′x′、Dx′y′和Dy′y′表示空間函數值，假設兩個特征值之間的比值為r，有α=rβ成立，則閾值判別公式如下

(19)

在上述判別公式中結合實際需求設定R值，再將不符合閾值的邊緣響應點去除，剩余的點即為幾何特征提取的關鍵點。

3.4 基于離散Gabor小波變換的幾何特征提取

獲取VR圖像的幾何特征關鍵點后，利用Gabor小波變換方法獲取特征向量，并對該方法進行改進，使提取的特征具有旋轉不變特性[11]。

3.4.1 離散Gabor小波變換過程分析

針對某連續信號f′(t)，選取母函數g(t)，假設該函數的表達式如下

gm′，n′(t)=f′(t)+g(t)

(20)

針對母函數g(t)進行位移調整，獲得gm′，n′的位移調整方式。且g(t)和其它母函數h(t)滿足如下雙正交關系

(21)

式中，如果m′與n′其中某個不等于零，則積分值等于零，g(t)和h(t)存在正交關系。

在小波變換中將高斯函數當作窗函數，確保時域與頻域內的能量集中。

假設h(x′，y′)和g(x′，y′)分別為離散綜合窗與離散分析窗，同時二者符合正交關系，此時f(x′)的Gabor小波變換與展開公式如下

(22)

式中，cm′，n′，r′，s′與hm′，n′，r′，s′代表位移與調制。

hm′，n′，r′，s′(x′，y′)=h(x′-m′，y′-m′)

(23)

gm′，n′，r′，s′(x′，y′)=g(x′-m′，y′-m′)

(24)

式中，h(x′-m′，y′-m′)與g(x′-m′，y′-m′)分別代表兩個頻域中采樣點數量，基本上窗函數中分量之間是分離的。

3.4.2 幾何特征提取

利用上述Gabor小波變換過程，對某VR圖像做小波變換，設I(x′，y′)為輸入圖像，經過小波變換后獲得

(25)

(26)

(27)

利用上述公式即可獲取圖像的幾何特征向量，該方法不但可以有效提取幾何特征，還能降低特征信息冗余度。因此Gabor小波在特征提取領域有著廣闊應用前景。但此時獲得的特征缺乏旋轉不變性，針對這一問題，本文對其進行改進，確保經過旋轉等操作后，提取到的特征向量發生變化的可能性較小。改進步驟如下：

步驟一：獲取Gabor小波幾何特征在所有方向上的總能量，選取其中極大值；

步驟二：使能量最大方向中的數值向幾何特征向量的最前側移動，令其當做新的向量序列；

步驟三：設置初始Gabor向量序列表示為“123opq”，對能量函數進行計算能夠得出，o方向中存在最大能量值；將q首先移動在向量序列前測，再將o和p移動到序列最前側，獲得重新組合排列的向量序列“123opq”，針對每個空間區域的特征向量都做相同處理，即可使提取的特征向量具有旋轉不變性特征。

4 仿真分析

為了驗證所提特征提取方法性能，利用MATLAB平臺進行仿真。其中硬件架構為Intel Core2 T5800，其主頻是4.0GHz。選取的VR圖像均存在噪聲，在視差估計下，左、右眼與標準視差圖分別如圖2到圖4所示。

圖2 左眼視差圖

圖3 右眼視差圖

圖4 綜合視差圖

在綜合視差圖中構建六個特征空間，利用本文方法、文獻[1]方法與文獻[2]方法，對每個空間中的幾何特征進行數字化提取，提取效果如圖5所示。

圖5 VR圖像幾何特征提取效果圖

由綜合視差圖能夠看出，在六個空間內，空間2和空間4包含的幾何特征信息較多。而從實驗結果來看，本文方法對這兩個空間特征提取的像素值最高，表明可有效提取出VR圖像中幾何特征明顯的區域，對于特征不明顯區域獲得的特征值也高于其它方法。而文獻[2]方法幾乎無法提取特征信息較少的區域。文獻[1]方法提取的像素特征值沒有明顯差異。這表明該方法選取的特征點更加穩定，且具有較強的獨特性。

此外，選取100幅VR圖像進行樣本訓練，隨機選擇五個樣本進行仿真。根據圖像正確識別次數來對比不同方法的適應度與降維效果。適應度的評價方法如下

F(l)=p×100-d/H

(28)

式中，p表示圖像識別率，d代表特征集合中特征數量，H是初始特征數量。三種方法的適應度值與特征使用數量分別如表1和2所示。

表1 不同方法適應度結果對比表

表2 不同方法所需特征個數表

綜合表1和2能夠看出，在五次實驗中，所提方法的適應度值最高，說明經過本文特征提取后的圖像被準確識別出的次數最多。文獻[1]方法的適應度值雖然也很高，但是所使用的特征較多；文獻[2]方法是以犧牲適應度值為前提，降低了特征維數。這表明本文方法在特征提取過程中有效去除冗余特征，保留了貢獻較大的特征值，降低維數，減少特征空間，提高適應度值。

5 結論

VR圖像處理擁有廣闊的應用前景，在生物識別、醫學等領域發揮巨大作用。本文在視差估計下融入Gabor小波變換方法實現圖像幾何特征的有效提取。實驗結果表明，該方法數字化特征提取效果較好，冗余度低，適應度高。但Gabor小波變換在實現幾何特征向量旋轉不變性過程中，是利用歐式距離測量兩個矢量存在的距離，并沒有分析特征向量之間的相似程度。在今后研究中需對此方面內容進行延伸與詳細分析，進一步提高圖像處理效果。