基于Cult3D的傾斜攝影圖像前景自適應(yīng)配準(zhǔn)方法

陳進(jìn)強(qiáng)，翁存福

(1.南昌大學(xué)共青學(xué)院，江西 九江 332020；2.江西師范大學(xué)科學(xué)技術(shù)學(xué)院理，江西 九江 332020)

1 引言

作為一種VR軟件，Cult3D是一種質(zhì)量非常高的三維渲染技術(shù)，能夠通過其先進(jìn)的壓縮技術(shù)，增強(qiáng)圖像中模型的真實(shí)度。傾斜攝影圖像的前景是圖像中的核心事物，配準(zhǔn)傾斜攝影圖像中的前景，根據(jù)傾斜攝影時(shí)攝影機(jī)的角度數(shù)值，綜合圖像前景中的位置、環(huán)境狀態(tài)，可以得到圖像之間的變換關(guān)系。國外在研究圖像配準(zhǔn)方法起步較早，上個(gè)世紀(jì)七十年代，國外研究人員使用快速傅里葉變換算法計(jì)算出了圖像中的前景相似性度量，在傳感器技術(shù)不斷發(fā)展下，國外圖像配準(zhǔn)方法已經(jīng)構(gòu)建出了多種圖像處理算法。國內(nèi)研究圖像配準(zhǔn)方法起步較晚，在我國學(xué)者大量研究成果的支持下，已經(jīng)形成了一個(gè)研究趨勢。文獻(xiàn)[1]選取固定閾值不具有廣泛適用性的問題，針對SIFT算法中128維的高維度特征描述符，提出一種自適應(yīng)閾值的方法，縮短算法運(yùn)行時(shí)間的同時(shí)，提高匹配準(zhǔn)確率和匹配效率。文獻(xiàn)[2]檢測待拼接圖像中的特征點(diǎn)及特征信息冗余區(qū)域，提取關(guān)鍵特征點(diǎn)并進(jìn)行匹配實(shí)現(xiàn)計(jì)算數(shù)據(jù)量的降低，對剩余的關(guān)鍵特征點(diǎn)進(jìn)行粗細(xì)兩步匹配，實(shí)現(xiàn)了圖像配準(zhǔn)拼接。文獻(xiàn)[3]針對特定的約束條件，提出直接使用圖像灰度值的無特征3D剛性配準(zhǔn)方法，用泰勒展開式和最小二乘法直接計(jì)算待配準(zhǔn)圖像的變換參數(shù)，使用較少的數(shù)據(jù)點(diǎn)完成快速的配準(zhǔn)。

綜合國內(nèi)外的研究成果來看，在Cult3D技術(shù)的支持下，研究傾斜攝影圖像前景自適應(yīng)配準(zhǔn)方法是很有必要的，引入Cult3D方法構(gòu)造配準(zhǔn)基元，控制前景圖像中重復(fù)的紋理特征，不斷逼近待配準(zhǔn)的配準(zhǔn)點(diǎn)，進(jìn)行配準(zhǔn)方法的自適應(yīng)優(yōu)化。

2 基于Cult3D的傾斜攝影圖像前景自適應(yīng)配準(zhǔn)方法

2.1 構(gòu)建圖像前景傾斜轉(zhuǎn)換對應(yīng)關(guān)系

在構(gòu)建圖像前景傾斜轉(zhuǎn)換關(guān)系時(shí)，隨機(jī)選用一點(diǎn)p定位圖像前景中的特征點(diǎn)，保持特征點(diǎn)沿著一個(gè)方向移動(dòng)[4-5]，使用Moravec算子處理傾斜攝影圖像，假設(shè)其為一個(gè)方形窗口，將移動(dòng)過程中產(chǎn)生的灰度差平方和數(shù)值定義為算子在傾斜方向上的灰度變化值，灰度變化值就可表示為

(1)

其中，I(x，y)表示傾斜攝影圖像，w表示前景圖像大小，d(i，j)表示算子的在前景圖像上的移動(dòng)距離。算子在前景圖像范圍內(nèi)移動(dòng)過程中，會(huì)在水平方向、垂直方向上產(chǎn)生中心位置、邊緣位置以及角點(diǎn)位置三種方向的灰度變化數(shù)值[6]，產(chǎn)生的位置變化如圖1所示。

圖1 前景算子的位置變化

由圖1所示的位置變化可知，中心位置的前景灰度值并不會(huì)產(chǎn)生較大的變化，故不贅述。對于邊緣區(qū)域的前景來講，算子在邊緣區(qū)域垂直方向移動(dòng)過程中會(huì)引起d(i，j)數(shù)值的變化，灰度數(shù)值產(chǎn)生了一定的變化。對于角點(diǎn)位置的前景圖像來講，算子在移動(dòng)過程中產(chǎn)生了數(shù)值較大的灰度數(shù)值[7]。為了控制上述處理過程中噪聲灰度數(shù)值的影響，使用高斯函數(shù)處理前景圖像，處理過程就可表示為

(2)

其中，σ表示Moravec算子在移動(dòng)過程中產(chǎn)生的方差數(shù)值，其余參數(shù)含義不變。在上述計(jì)算公式的控制下，使用Cult3D軟件搭建一個(gè)虛擬空間[8]，根據(jù)算子在空間移動(dòng)的距離產(chǎn)生的正交基，構(gòu)建一個(gè)傾斜線性變換過程，可表示為

(3)

其中，e1，e2，e3表示算子在空間移動(dòng)的距離產(chǎn)生的正交基，(xw，yw，zw)表示算子在虛擬空間產(chǎn)生的三維坐標(biāo)，(xc，yc，zc)表示變換處理后的算子坐標(biāo)，r1，r2，r3表示前景圖像的傾斜參數(shù)。在上述轉(zhuǎn)換變化關(guān)系控制下，在Cult3D技術(shù)的支持下，搭建配準(zhǔn)的基元。

2.2 使用Cult3D搭建配準(zhǔn)的基元

在上述構(gòu)建的前景傾斜轉(zhuǎn)換關(guān)系下，利用圖像前景中計(jì)算得到的前景灰度數(shù)值，構(gòu)建一個(gè)歸一化處理公式，構(gòu)建的歸一化處理公式可表示為

(4)

圖2 歸一化區(qū)域內(nèi)形成的描述子

在圖2所示的描述子控制下，以一個(gè)描述子單元作為一個(gè)配準(zhǔn)單元。以單元內(nèi)描述子的方向作為圖像前景的子孔徑，Cult3D對每個(gè)孔徑產(chǎn)生的回波數(shù)據(jù)進(jìn)行聚集處理，以此來獲取前景目標(biāo)在不同方位傾斜角產(chǎn)生的散射特性[9]。當(dāng)孔徑方位角度數(shù)值較小時(shí)，提高攝影圖像分辨率數(shù)值，間接增加圖像的信噪比，保證圖像前景散射數(shù)值的精度；當(dāng)選取的孔徑方位角數(shù)值較大時(shí)，取描述子回波數(shù)據(jù)的平均數(shù)值，控制描述子的空間方位角的間隔，增強(qiáng)配準(zhǔn)基元的精度[10]；當(dāng)獲取得到的描述子過多，就會(huì)導(dǎo)致配準(zhǔn)基元計(jì)算的復(fù)雜度過大的問題，采用描述子抑制的方法，檢測歸一化區(qū)域內(nèi)的角點(diǎn)描述子，設(shè)置一個(gè)描述子門限，根據(jù)描述子占據(jù)的區(qū)域大小，去除區(qū)域內(nèi)的角點(diǎn)。配準(zhǔn)基元搭建完畢后，實(shí)現(xiàn)配準(zhǔn)過程的自適應(yīng)過程。

2.3 實(shí)現(xiàn)自適應(yīng)配準(zhǔn)

在上述構(gòu)建的配準(zhǔn)的基元控制下，整合上述排列處理得到的子門限數(shù)值為一個(gè)數(shù)值路徑[11]，定義路徑中的數(shù)值為待配準(zhǔn)的配準(zhǔn)點(diǎn)，計(jì)算各個(gè)待配準(zhǔn)點(diǎn)被選中的概率，可表示為

(5)

其中，nk表示子門限數(shù)值集合，ni表示路徑數(shù)值集合，F(xiàn)表示子門限數(shù)值數(shù)量。根據(jù)概率數(shù)值的大小，以概率0.5為組別劃分標(biāo)準(zhǔn)，此時(shí)在數(shù)值路徑和匹配點(diǎn)的控制下，就形成了兩種順序約束下的配準(zhǔn)順序，如圖3所示。

圖3 形成的順序配準(zhǔn)種類

在上述順序配準(zhǔn)種類控制下，為了控制圖3所示的配準(zhǔn)過程待配準(zhǔn)點(diǎn)的丟失，將未被約束配準(zhǔn)的算子整合為一個(gè)集合，采用等距變換處理該數(shù)據(jù)集合，重復(fù)配準(zhǔn)剩余的待配準(zhǔn)點(diǎn)，使用上述處理過程重新進(jìn)行配準(zhǔn)，不斷配準(zhǔn)得到的待配準(zhǔn)點(diǎn)。當(dāng)配準(zhǔn)點(diǎn)剩余數(shù)量小于10時(shí)，依次計(jì)算各個(gè)配準(zhǔn)點(diǎn)間的歐式距離，將歐式距離在Cult3D空間內(nèi)的投影數(shù)值作為閾值，將小于閾值的待配準(zhǔn)點(diǎn)進(jìn)行匹配，形成一個(gè)匹配隊(duì)列，最終實(shí)現(xiàn)配準(zhǔn)過程的自適應(yīng)過程[12]。綜合上述處理最終完成對基于Cult3D的傾斜攝影圖像前景自適應(yīng)配準(zhǔn)方法的構(gòu)建。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)準(zhǔn)備

準(zhǔn)備一臺參數(shù)如表1所示的攝影機(jī)。

表1 準(zhǔn)備攝影機(jī)參數(shù)

使用上表所示的攝影機(jī)參數(shù)進(jìn)行拍攝，隨機(jī)選用六種圖像進(jìn)行配準(zhǔn)，設(shè)定該配準(zhǔn)圖像的變換參數(shù)，設(shè)定的變換參數(shù)如表2所示。

表2 設(shè)定的變換參數(shù)

設(shè)定上表所示的變換參數(shù)后，采用Opencv的核心編程平臺，使用內(nèi)存為8G、CPU為i5、系統(tǒng)平臺為Windows7的計(jì)算機(jī)，支持Cult3D的運(yùn)行，導(dǎo)出實(shí)驗(yàn)使用的圖像模型后，分別使用文獻(xiàn)[2]中的配準(zhǔn)方法、文獻(xiàn)[3]中的配準(zhǔn)方法以及文中設(shè)計(jì)的配準(zhǔn)方法進(jìn)行實(shí)驗(yàn)，對比三種配準(zhǔn)方法的性能。

3.2 結(jié)果及分析

基于上述實(shí)驗(yàn)準(zhǔn)備，控制上表設(shè)定的變換參數(shù)圖像兩兩配準(zhǔn)，共計(jì)15種配準(zhǔn)過程，定義兩圖像之間的表示為

(6)

其中，N0，Ns分別表示待配準(zhǔn)圖像，Nt表示設(shè)定的變換參數(shù)。變換15組圖像表現(xiàn)出的重復(fù)率結(jié)果，三種配準(zhǔn)方法最終得到在重疊率控制下，圖像正確配準(zhǔn)結(jié)果，正確配準(zhǔn)率結(jié)果如表1所示。

表3 正確配準(zhǔn)率結(jié)果

由表3所示的正確配準(zhǔn)率結(jié)果可知，在三種不同的配準(zhǔn)方法控制下，變換實(shí)驗(yàn)準(zhǔn)備圖像的重疊率后，文獻(xiàn)[2]表現(xiàn)出的正確配準(zhǔn)率數(shù)值在70%以下，正確配準(zhǔn)數(shù)值較小，而文獻(xiàn)[3]中的配準(zhǔn)方法表現(xiàn)出的正確配準(zhǔn)數(shù)值在80%左右，正確配準(zhǔn)效果較好。文中設(shè)計(jì)的配準(zhǔn)方法產(chǎn)生的配準(zhǔn)數(shù)值在95%左右，圖像的正確配準(zhǔn)率最大。

保持上述實(shí)驗(yàn)環(huán)境不變，統(tǒng)計(jì)上述15組配準(zhǔn)圖像中每組圖像中的總幀數(shù)，以上述配準(zhǔn)過程運(yùn)行的時(shí)間為運(yùn)算基礎(chǔ)，計(jì)算三種不同配準(zhǔn)方法產(chǎn)生的配準(zhǔn)速度，配準(zhǔn)速度結(jié)果如表4所示。

表4 三種配準(zhǔn)方法的配準(zhǔn)速度

由表4所示的配準(zhǔn)時(shí)間結(jié)果可知，控制三種配準(zhǔn)方法處理相同的圖像組合，對于相同的圖像組合，三種配準(zhǔn)方法表現(xiàn)出了不同的配準(zhǔn)速度，根據(jù)表中的速度數(shù)值可知，文獻(xiàn)[2]中的配準(zhǔn)方法實(shí)際表現(xiàn)出的配準(zhǔn)速度在3幀/秒，1秒鐘實(shí)際配準(zhǔn)圖像幀數(shù)數(shù)量較少。文獻(xiàn)[3]中的配準(zhǔn)方法表現(xiàn)出的配準(zhǔn)速度在7幀/秒，單位時(shí)間配準(zhǔn)圖像的數(shù)量較多，而文中設(shè)計(jì)的配準(zhǔn)方法在單位時(shí)間內(nèi)配準(zhǔn)的圖像幀數(shù)在9幀以上，與兩種現(xiàn)有的配準(zhǔn)方法相比，文中設(shè)計(jì)的配準(zhǔn)方法在單位時(shí)間內(nèi)實(shí)際配準(zhǔn)幀數(shù)數(shù)量最多。

在上述實(shí)驗(yàn)環(huán)境下，定義三種配準(zhǔn)方法的配準(zhǔn)精度，配準(zhǔn)精度就可表示為

(7)

其中，p，q分別表示圖像配準(zhǔn)點(diǎn)，N表示總的配準(zhǔn)點(diǎn)數(shù)量，R表示配準(zhǔn)位姿態(tài)參數(shù)，t表示配準(zhǔn)時(shí)間。利用上述精度計(jì)算公式計(jì)算三種配準(zhǔn)方法控制下的圖像配準(zhǔn)精度，配準(zhǔn)精度結(jié)果如表5所示。

表5 三種配準(zhǔn)方法的配準(zhǔn)精度

根據(jù)表5所示的配準(zhǔn)精度結(jié)果可知，文獻(xiàn)[3]中的精度配準(zhǔn)數(shù)值最小，配準(zhǔn)數(shù)值在1幀左右，文獻(xiàn)[2]中的配準(zhǔn)方法最終產(chǎn)生的配準(zhǔn)精度在1.5幀左右，實(shí)際配準(zhǔn)過程中產(chǎn)生的精度數(shù)值較大，而文中設(shè)計(jì)的配準(zhǔn)方法最終產(chǎn)生的精度數(shù)值在1.9幀左右，與兩種文獻(xiàn)中的配準(zhǔn)方法相比，文中設(shè)計(jì)的配準(zhǔn)方法實(shí)際的精度數(shù)值最大。

綜合上述實(shí)驗(yàn)結(jié)果可知，文中設(shè)計(jì)的配準(zhǔn)方法的自適應(yīng)程度高，對噪聲灰度值的抑制效果較好，配準(zhǔn)效果較佳，體現(xiàn)在實(shí)際的正確配準(zhǔn)度數(shù)值最大、配準(zhǔn)速度最快且實(shí)際的配準(zhǔn)精度最大方面，適合在實(shí)際配準(zhǔn)過程中運(yùn)用。

4 結(jié)束語

1)利用Cult3D技術(shù)的優(yōu)點(diǎn)，研究一種傾斜攝影圖像前景自適應(yīng)配準(zhǔn)方法，利用圖像前景中計(jì)算得到的前景灰度數(shù)值，構(gòu)建一個(gè)歸一化處理公式，配準(zhǔn)數(shù)值在95%左右，精度數(shù)值在1.9幀左右，提高現(xiàn)有配準(zhǔn)方法的正確配準(zhǔn)率。

2)根據(jù)孔徑方位角度數(shù)值的判定，提高攝影圖像分辨率數(shù)值，間接增加圖像的信噪比，在單位時(shí)間內(nèi)配準(zhǔn)的圖像幀數(shù)在9幀以上，保證圖像前景散射數(shù)值的精度增強(qiáng)了原有配準(zhǔn)方法的自適應(yīng)性，提高前景圖像實(shí)際的配準(zhǔn)速度，為今后研究圖像前景配準(zhǔn)方法提供了一種新的研究方向。