基于改進(jìn)特征的序列圖像三維重建

陳瑞林，張曉燕

（廈門大學(xué)嘉庚學(xué)院信息科學(xué)與技術(shù)學(xué)院，福建漳州，363105）

0 引言

三維重建技術(shù)通過深度數(shù)據(jù)獲取、預(yù)處理、點(diǎn)云配準(zhǔn)與融合、生成表面等過程，把真實(shí)場(chǎng)景刻畫成符合計(jì)算機(jī)邏輯表達(dá)的數(shù)學(xué)模型。這種模型有許多優(yōu)勢(shì)，在無損檢測(cè)，地理三維信息測(cè)量等領(lǐng)域已經(jīng)有了一定的實(shí)際應(yīng)用。2019年，吳越、李勝旺等人提出了一種改進(jìn)的特征點(diǎn)匹配策略，對(duì)SIFT的匹配結(jié)果和SURF的匹配結(jié)果進(jìn)行融合,將融合后的結(jié)果應(yīng)用到三維重建技術(shù)中。改進(jìn)后的特征匹配策略使三維重建的運(yùn)行速度提高了40%,不僅可以減少特征匹配過程的運(yùn)算量,還可以提高三維重建的穩(wěn)定性,在三維重建研究工作中具有一定的參考價(jià)值[1]。2020年，李新春、閆振宇等人為解決噪聲干擾,數(shù)據(jù)丟失情況下迭代最近點(diǎn)算法的魯棒性差,配準(zhǔn)精度低等問題,提出一種基于鄰域特征點(diǎn)提取和匹配的點(diǎn)云配準(zhǔn)方法[2]。該算法能夠在噪聲環(huán)境下有效地完成缺失點(diǎn)云的配準(zhǔn),在魯棒性和精確配準(zhǔn)方面有一定的優(yōu)勢(shì)。2020年，吳正斌、彭業(yè)萍等人提出了一種基于Kanade-Lucas-Tomasi(KLT)多視圖特征跟蹤的物體三維重建方法，該方法通過使用KLT算法,不僅提高了特征點(diǎn)匹配數(shù)量,還解決了多視圖構(gòu)建的不同三維點(diǎn)云坐標(biāo)系的相互轉(zhuǎn)換問題,實(shí)現(xiàn)了物體的多視圖三維重建[3]。盡管提出的方法很多，但是三維重建的精度問題仍然有待研究，本文對(duì)Harris特征提取算法進(jìn)行了改進(jìn)，在序列圖像中對(duì)結(jié)合視覺點(diǎn)跟蹤器對(duì)提取出的特征點(diǎn)進(jìn)行跟蹤，進(jìn)行特征的稀疏重建和稠密重建后，使用估計(jì)樣本一致性算法進(jìn)行三維重建，提高了序列圖像三維重建的精度。

1 序列圖像三維重建

本文先采用坐標(biāo)對(duì)應(yīng)和最近鄰插值法對(duì)獲取到的序列圖像進(jìn)行處理，后在序列圖像之間使用檢測(cè)最小特征值法結(jié)合視覺點(diǎn)跟蹤器提取并匹配出一組稀疏點(diǎn)。再在圖像中以降低最低可接受的角質(zhì)量獲取更多的點(diǎn)并匹配一組密集的點(diǎn)集，完成稠密重建。利用三角確定匹配點(diǎn)的三維位置，在點(diǎn)云找到地球，恢復(fù)實(shí)際比例，進(jìn)行度量標(biāo)準(zhǔn)重建。本文的設(shè)計(jì)流程圖如圖1所示。

圖1 設(shè)計(jì)流程圖

1.1 數(shù)據(jù)準(zhǔn)備及預(yù)處理

在整個(gè)的項(xiàng)目流程中，最開始也極其關(guān)鍵的一步就是獲取詳細(xì)、精確的序列圖片，但是由于目前能夠獲取到的圖片多存在像素差以及圖像畸變嚴(yán)重等問題，會(huì)嚴(yán)重影響圖像特征提取。本文采用坐標(biāo)對(duì)應(yīng)和最近鄰插值法對(duì)獲取到的序列圖像進(jìn)行處理。先加載出圖片預(yù)先計(jì)算的相機(jī)參數(shù)，使用內(nèi)參矩陣歸一化畸變圖像的坐標(biāo)，再通過徑向畸變模型得到歸一化的畸變坐標(biāo)，坐標(biāo)映射回去，去歸一化，就能得到畸變坐標(biāo)。通過以上步驟，可以找到正常圖像坐標(biāo)對(duì)應(yīng)的畸變圖像坐標(biāo)，接下來使用最近鄰插值法進(jìn)行賦值，可以得到處理后的圖像。

1.2 特征點(diǎn)提取與匹配

序列圖像三維重建中Harris特征得到廣泛應(yīng)用，Harris算法首先要將窗口（小的圖像片段）同時(shí)向x和y兩個(gè)方向移動(dòng)，計(jì)算窗口內(nèi)部的像素值變化量E（u,v）；然后對(duì)每個(gè)窗口都計(jì)算一個(gè)角點(diǎn)響應(yīng)函數(shù)R，具體公式如下：

其中λ1和λ2（特征值）是經(jīng)過對(duì)角化處理后，提取出的兩個(gè)正交方向的變化分量，k是一個(gè)經(jīng)驗(yàn)常數(shù)，將R值同預(yù)先給定的閾值進(jìn)行比較，將窗口劃分成平面、邊緣或角點(diǎn)。然后對(duì)該函數(shù)進(jìn)行閾值處理，如果R>threshold，表示該窗口對(duì)應(yīng)一個(gè)角點(diǎn)特征。從公式可看出，Harris 算法的穩(wěn)定性和 k值有關(guān)，而 k 是一個(gè)經(jīng)驗(yàn)常數(shù)，難以設(shè)定出一個(gè)最佳值。

但是，角點(diǎn)的穩(wěn)定性其實(shí)和矩陣M的較小特征值有關(guān)，直接用較小的特征值作為分?jǐn)?shù)，就不用調(diào)整k值了。因此對(duì)特征提取進(jìn)行了一定的改進(jìn)，若兩個(gè)特征值中較小的一個(gè)大于最小閾值，則會(huì)得到強(qiáng)角點(diǎn)，公式如下：

提取出特征點(diǎn)后，采用KLT（Kanade-Lucas-Tomasi Tracking）特征跟蹤算法進(jìn)行跟蹤。將這些點(diǎn)跟蹤到第二張圖像中， KLT特征跟蹤算法基于梯度，求出光流約束方程。通過初始化點(diǎn)跟蹤器，對(duì)點(diǎn)進(jìn)行跟蹤，可視化它們之間的對(duì)應(yīng)關(guān)系。

1.3 稀疏重建與稠密重建

在提取并匹配出特征點(diǎn)后，得到的結(jié)果如圖2的（a）、（b）所示，可以看出特征點(diǎn)圖片的邊緣存在異常值，為了得出更加精確的模型，還需要排除異常值。使用RANSAC算法（Random Sample Consensus，隨機(jī)抽樣一致算法）剔除異常點(diǎn)擬合出一個(gè)平面。RANSAC算法是通過反復(fù)選擇數(shù)據(jù)中的一組隨機(jī)子集來達(dá)成剔除異常值的目的。圖2的（c）是排除異常值后的稀疏重建結(jié)果,使得模型較之前也更加精確。

圖2 稀疏重建后效果

在稠密重建步驟，使用較低的像素重新檢測(cè)第一張圖像中的“MinQuality”點(diǎn)（即最低可接受的角質(zhì)量）以獲得更多的點(diǎn)。跟蹤這一步新得到的點(diǎn)到第二個(gè)圖像。使用實(shí)現(xiàn)直接線性變換算法[4]的三角函數(shù)來估計(jì)與匹配點(diǎn)對(duì)應(yīng)的三維位置。將原點(diǎn)放置在與第一個(gè)圖像相對(duì)應(yīng)的相機(jī)的光學(xué)中心處。

其中，S為未知尺度因子，tù表示相機(jī)光心在世界坐標(biāo)下的坐標(biāo)，P為3×4的透視投影矩陣，Rcw，K是分解矩陣P得到的內(nèi)參矩陣。圖3即本文稠密重建后的結(jié)果。

圖3 稠密重建后效果

1.4 擬合重建

因?yàn)楸敬我獧z測(cè)的是已知半徑為10厘米的地球儀，所以最后要從點(diǎn)云中擬合球面，使用的是MSAC（M-Estimate Sample Consensus）算法。MSAC算法使用估計(jì)基本矩陣，找到滿足極線約束的內(nèi)點(diǎn)，即當(dāng)同一個(gè)點(diǎn)投影到兩個(gè)不同視角的圖像上時(shí)，像點(diǎn)、相機(jī)光心在投影模型下形成約束。之后再對(duì)模型進(jìn)行反推并反復(fù)迭代，最終找到一個(gè)優(yōu)化的模型，剔除所有不符合該模型的匹配對(duì)得出以下結(jié)果，如圖4所示。

圖4 擬合球體

2 實(shí)驗(yàn)結(jié)果分析

按照本文算法對(duì)圖5(a)圖像序列進(jìn)行了重建,結(jié)果如圖5(b)所示，采用改進(jìn)后的Harris算法結(jié)合視覺點(diǎn)跟蹤器提取并匹配出一組稀疏點(diǎn)，后在圖像中以降低最低可接受角點(diǎn)質(zhì)量獲取更多的點(diǎn)并匹配一組密集的點(diǎn)集，完成稠密重建。再使用估計(jì)樣本一致性算法進(jìn)行三維重建。把特征篩選和提取方面改成結(jié)合BRISK算法和最小平方中位數(shù)[5]進(jìn)行重建，結(jié)果如圖5(c)。采用fast特征和抽樣一致[6]兩種算法進(jìn)行重建，得到的結(jié)果如圖5 (d)。比較本文這兩種算法重建的結(jié)果，可以看出本文的方法在特征點(diǎn)提取與匹配以及重建精度等方面有了一定的提升。

3 總結(jié)

本文對(duì)Harris特征提取算法進(jìn)行了改進(jìn)，在序列圖像中對(duì)特征進(jìn)行基于KLT算法進(jìn)行了跟蹤，進(jìn)行特征的稀疏重建和稠密重建后，使用估計(jì)樣本一致性算法進(jìn)行三維重建，提高了序列圖像三維重建的精度。通過對(duì)實(shí)驗(yàn)的結(jié)果對(duì)比分析，本文方法能夠提高特征點(diǎn)的提取數(shù)量和質(zhì)量，能夠在一定程度上提高三維重建準(zhǔn)確度。