基于激光雷達(dá)及特征匹配的室內(nèi)場景設(shè)計重建

谷曉龍,張文松

(1.石家莊職業(yè)技術(shù)學(xué)院,河北 石家莊 050081；2.石家莊鐵道大學(xué),河北 石家莊 050081)

1 引 言

室內(nèi)場景重建是采用虛擬現(xiàn)實(shí)技術(shù)結(jié)合采集到的建筑物信息,對室內(nèi)場景建模的過程。室內(nèi)場景重建主要由圖像獲取、攝像機(jī)標(biāo)定、特征提取、立體匹配以及三維重建等五方面組成[1-3]。室內(nèi)場景重建不僅可以設(shè)計出滿足人們需求的室內(nèi)環(huán)境,還可讓用戶直觀地了解到設(shè)計師對室內(nèi)場景的設(shè)計布局[4-5],幫助用戶提出建議,協(xié)助設(shè)計師去完善室內(nèi)場景。激光雷達(dá)掃描技術(shù)通過向目標(biāo)發(fā)射探測信號(激光束),經(jīng)過適當(dāng)處理獲得目標(biāo)的相關(guān)信息,從而實(shí)現(xiàn)目標(biāo)的探測及識別。由于室內(nèi)場景中存在布局復(fù)雜及光照變化較大的問題,會導(dǎo)致圖像采集的準(zhǔn)確性較差,影響室內(nèi)場景重建的效果[6]。

相關(guān)領(lǐng)域?qū)W者對室內(nèi)場景重建方法已經(jīng)有了一定的研究,文獻(xiàn)[7]設(shè)計了基于雙視系統(tǒng)的室內(nèi)三維場景重建方法,通過雙目立體匹配算法SGBM和RGB-D深度圖像實(shí)現(xiàn)點(diǎn)云三維重建,并利用ORB對采集到的信息實(shí)現(xiàn)快速特征點(diǎn)提取,結(jié)合迭代最近點(diǎn)實(shí)現(xiàn)室內(nèi)場景的全景三維重建。但室內(nèi)圖像重建后的覆蓋率較差,影響室內(nèi)三維場景重建的效率。文獻(xiàn)[8]設(shè)計了基于RealSense的室內(nèi)3D場景重建方法,采用RealSense攝像頭獲取數(shù)據(jù)信息,通過OpenVINO構(gòu)建硬件平臺,增強(qiáng)了數(shù)據(jù)運(yùn)算速度,結(jié)合ICP算法,縮小數(shù)據(jù)的運(yùn)算量,優(yōu)化了室內(nèi)3D場景重建方法。但沒有對采集的圖片進(jìn)行降噪處理,會導(dǎo)致采集到的圖像模糊不清,影響室內(nèi)三維場景重建的精準(zhǔn)性。

針對上述問題,設(shè)計了基于激光雷達(dá)掃描及關(guān)鍵點(diǎn)特征匹配的室內(nèi)場景設(shè)計重建,通過Deleta-2B型激光雷達(dá)傳感器全方位測量并獲取室內(nèi)圖像的三維點(diǎn)坐標(biāo)信息,通過點(diǎn)云配準(zhǔn)整合重合的數(shù)據(jù)集得到三維點(diǎn)云數(shù)據(jù),利用主成分分析法對形狀特征進(jìn)行投影,完成關(guān)鍵點(diǎn)特征匹配,提升采集場景的分辨率,保證場景采集的完整性；將尺度因子引入ICP算法,精確配準(zhǔn)點(diǎn)云,通過配準(zhǔn)的點(diǎn)云數(shù)據(jù)建立德洛內(nèi)三角網(wǎng),得出三維網(wǎng)格模型,重建室內(nèi)場景,通過wallis濾波器變換目標(biāo)某部位的平均灰度值以及方差,提升室內(nèi)場景的視覺效果,實(shí)現(xiàn)室內(nèi)場景的重建。

2 基于激光雷達(dá)掃描及關(guān)鍵點(diǎn)特征匹配的室內(nèi)場景設(shè)計重建

采用Deleta-2B型二維激光雷達(dá)傳感器采集室內(nèi)場景圖像,為提升采集圖像的分辨率,通過最小二乘擬合的濾波算法對圖像進(jìn)行去噪,基于關(guān)鍵點(diǎn)特征匹配算法進(jìn)行室內(nèi)場景圖像關(guān)鍵點(diǎn)特征匹配,引入尺度因子精確配準(zhǔn)多尺度的點(diǎn)云,實(shí)現(xiàn)室內(nèi)場景圖像高效配準(zhǔn)；

通過德洛內(nèi)三角化算法處理室內(nèi)場景圖像的點(diǎn)云數(shù)據(jù),可以將混沌室內(nèi)場景圖像的點(diǎn)云數(shù)據(jù)以網(wǎng)格的形式進(jìn)行網(wǎng)格連接,實(shí)現(xiàn)室內(nèi)場景圖像的高精度重構(gòu)。通過wallis濾波器實(shí)現(xiàn)目標(biāo)部位的平均灰度值以及方差變換,提升室內(nèi)場景的光線分布規(guī)整性,提升室內(nèi)場景重建的視覺效果。

2.1 基于激光雷達(dá)掃描的室內(nèi)場景圖像配準(zhǔn)

激光雷達(dá)單次投射僅可獲取待檢測對象某側(cè)的點(diǎn)云數(shù)據(jù),重建室內(nèi)場景圖像應(yīng)構(gòu)建三維室內(nèi)模型,需要通過多角度掃描目標(biāo)物體,將所有外部數(shù)據(jù)整合,確保待檢測對象的完整性。點(diǎn)云配準(zhǔn)是將存在重合的數(shù)據(jù)集進(jìn)行比對整合,調(diào)整不同視場所得三維信息至相同坐標(biāo)系,獲取具有豐富完整信息的目標(biāo)三維點(diǎn)云數(shù)據(jù),得出點(diǎn)云之間的歐拉變換關(guān)系。

通過激光雷達(dá)掃描技術(shù)直接采集自然光條件下室內(nèi)場景圖像的三維點(diǎn)坐標(biāo)信息,利用反饋激光強(qiáng)度信號的差異識別出光束在所有層之間穿梭時其內(nèi)部具有的關(guān)系。采用二維激光雷達(dá)傳感器采集室內(nèi)場景圖像點(diǎn)云信息,選用Deleta-2B型激光雷達(dá)傳感器,其激光波長為780 nm,半徑范圍在0.2～8 m之間,能夠?qū)崿F(xiàn)360°全方位測量。由于激光雷達(dá)采集到的室內(nèi)場景圖像存在缺損、模糊等問題,需要對其展開處理,以便實(shí)現(xiàn)室內(nèi)場景圖像噪聲的消除、空缺信息的補(bǔ)充[9]。根據(jù)激光雷達(dá)掃描室內(nèi)場景圖像的類別以及所獲取的點(diǎn)特征,利用數(shù)字圖像的表示方法提取灰度室內(nèi)場景圖像的灰度值,通過基于最小二乘擬合的濾波算法曲線擬合灰度值,實(shí)現(xiàn)室內(nèi)場景圖像去噪,得到的直線方程為:

yi=axi+b

(1)

式中,i=1,2,…,m,m為測量點(diǎn)個數(shù);a,b都表示待計算數(shù)值;a0,b0表示其估計值,測點(diǎn)坐標(biāo)描述為(xi,yi)。

當(dāng)室內(nèi)各點(diǎn)反射率差異較大時,需要對采集數(shù)據(jù)分層處理,設(shè)a=a0+δa,b=b0+δb,δa、δb均為參數(shù),自、因變量分別通過x、y描述,獲取分層后的誤差公式為:

(2)

數(shù)據(jù)分層后,根據(jù)最小二乘準(zhǔn)則可得出:

(3)

則單位權(quán)重誤差為:

(4)

得到擬合時的直線公式:

xi=k1yi+k2(i=1,2,…,m)

(5)

通過基于最小二乘擬合的濾波算法可有效消除基于激光雷達(dá)掃描技術(shù)的室內(nèi)場景圖像所存在的光照等方面的差異以及室內(nèi)場景圖像的噪聲[10],并補(bǔ)充室內(nèi)場景圖像的空缺信息。

通過激光雷達(dá)掃描室內(nèi)N次得出N個視場點(diǎn)云數(shù)據(jù),任意選取同一目標(biāo)在不同視角下的兩組相鄰點(diǎn)云數(shù)據(jù),設(shè)兩組點(diǎn)云中各采樣點(diǎn)為h,并以該點(diǎn)坐標(biāo)為球心,以全部點(diǎn)云信息為球體內(nèi)半徑r,利用局部表面矩陣對其進(jìn)行描述[11-12],得到:

Lj=[xj,yj,zj]T(j=1,2,…,m)

(6)

在局部表面通過霍特林變換建立局部坐標(biāo)系,將各局部表面矩陣變換至局部坐標(biāo)系中并令其與所得兩個主軸方向?qū)R,曲線擬合變換后的局部表面矩陣所含數(shù)據(jù),將所得擬合曲面進(jìn)行n×n采樣并提取室內(nèi)場景圖像的特征向量[13],基于其自身性質(zhì)將其作為特征輸入,兩組形狀特征分別為Np、Nq。由于形狀特征的向量維數(shù)較高,導(dǎo)致內(nèi)存占用量與時間耗費(fèi)量大,所以需要通過主成分分析法降維兩組形狀特征,并在主成分分析子空間中對其進(jìn)行投影,完成室內(nèi)場景圖像的關(guān)鍵點(diǎn)特征匹配。形狀特征Np與Nq之間的誤差公式為:

er=arccos(Np(Nq)T)

(7)

其中,誤差分布區(qū)間為0～π/2,0與π/2分別代表兩組形狀特征向量完全相同與完全不同[14],在er的取值為最小的情況下其匹配情況為最佳。

為精確配準(zhǔn)多尺度的點(diǎn)云,將尺度因子引入ICP算法,令目標(biāo)、參考的點(diǎn)云相減,以其誤差之和輸入為目標(biāo)函數(shù),同時使目標(biāo)函數(shù)值最小,求取兩組點(diǎn)云的各項最優(yōu)參數(shù)。目標(biāo)函數(shù)的公式為:

(8)

其中,xk與yk分別表示目標(biāo)點(diǎn)云以及參考點(diǎn)云中對應(yīng)目標(biāo)點(diǎn)云的點(diǎn),目標(biāo)點(diǎn)云數(shù)量描述為f。

利用所獲得目標(biāo)特征比對的相同點(diǎn)計算兩組點(diǎn)云的各項最優(yōu)參數(shù),在初始值確定之后通過多次迭代完成精確配準(zhǔn)點(diǎn)云,迭代過程如下:

步驟一:初步調(diào)整目標(biāo)點(diǎn)云的各項參數(shù),得出完成調(diào)整的目標(biāo)點(diǎn)云。

步驟二:尋找調(diào)整參考點(diǎn)云中與目標(biāo)點(diǎn)云最接近的點(diǎn),分別計算兩組點(diǎn)云的各項參數(shù),降低目標(biāo)函數(shù)誤差至最低,其公式為:

(9)

步驟三:描述兩次迭代之間的參數(shù)變化關(guān)系得到:

(10)

設(shè)Si+1、Ri+1、Ti+1為初始值,返回并重復(fù)步驟一、二,在尺度因子、旋轉(zhuǎn)矩陣以及平移向量的變化量(分別表示為ΔS=Si+1-Si、ΔR=Ri+1-Ri以及ΔT=Ti+1-Ti)都比設(shè)定閾值小的情況下,結(jié)束迭代并輸出最優(yōu)參數(shù)項。

步驟四:通過均方根誤差對配準(zhǔn)的精度進(jìn)行分析評價,均方根誤差的計算公式表示為:

(11)

2.2 三維網(wǎng)格模型構(gòu)造及可視化紋理映射

通過點(diǎn)云數(shù)據(jù)構(gòu)建三維網(wǎng)格模型完成室內(nèi)場景重建,其實(shí)質(zhì)上是建立與真實(shí)室內(nèi)模型表面層相貼近的空間網(wǎng)格模型[15]。通過德洛內(nèi)三角化算法處理室內(nèi)場景圖像的點(diǎn)云數(shù)據(jù),能夠?qū)㈦s亂無序的室內(nèi)場景圖像點(diǎn)云數(shù)據(jù)以網(wǎng)格的形式串聯(lián)起來[16],實(shí)現(xiàn)室內(nèi)場景圖像的高精度重建。通過德洛內(nèi)算法構(gòu)造三維網(wǎng)格模型的主要步驟如下:

第一步,規(guī)劃一個包括了該面上全部離散點(diǎn)的外殼；

第二步,在外殼與其最靠近的部位構(gòu)成一個三角網(wǎng),以此為第一內(nèi)圈,然后在該圈的基礎(chǔ)上,不斷與其他點(diǎn)構(gòu)建新型三角網(wǎng),重復(fù)操作,直至所有點(diǎn)均完成生成[17]。

通過實(shí)現(xiàn)配準(zhǔn)的點(diǎn)云數(shù)據(jù)建立德洛內(nèi)三角網(wǎng),得出三維網(wǎng)格模型完成室內(nèi)場景圖像重建,如圖1所示。

圖1 按照點(diǎn)云形成三角網(wǎng)絡(luò)

激光雷達(dá)的點(diǎn)云數(shù)據(jù)僅具有數(shù)據(jù)點(diǎn)的空間坐標(biāo)及回波反射強(qiáng)度值[18-20],為提升三維模型完成室內(nèi)場景重建后的可辨識度以及視覺效果,通過wallis濾波器變換目標(biāo)某部位的平均灰度值以及方差[21],令室內(nèi)場景的光線均勻,其公式表示為:

(1-d)mg

(12)

其中,g(x,y)與f(x,y)分別描述室內(nèi)場景的原灰度值以及濾波器變換后的灰度值;mg與mf分別表示室內(nèi)場景的原局部灰度均值以及結(jié)果局部灰度均值的目標(biāo)值[22]；sg與sf分別描述室內(nèi)場景的原始目標(biāo)某部位的標(biāo)準(zhǔn)灰度偏差以及最終目標(biāo)某部位的標(biāo)準(zhǔn)灰度偏差指定值,c∈[0,1]與d∈[0,1]分別表示室內(nèi)場景的拓展與亮度系數(shù),前者跟隨處理窗口的增大而增加,后者在d→1的情況下室內(nèi)場景的目標(biāo)某部位的平均灰度值被強(qiáng)制到最終目標(biāo)某部位平均灰度值的指定值,在d→0的情況下被強(qiáng)制到原始目標(biāo)某部位平均灰度值。

3 實(shí)驗(yàn)分析

為檢驗(yàn)基于激光雷達(dá)掃描及關(guān)鍵點(diǎn)特征匹配的室內(nèi)場景設(shè)計重建的性能,在MATLAB仿真平臺中進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)對象選取某建筑的室內(nèi)場景,本實(shí)驗(yàn)激光雷達(dá)掃描的每秒點(diǎn)數(shù)為655360,分析本文方法使用前后的室內(nèi)場景圖像匹配結(jié)果,見圖2。

圖2中,圖像正確匹配點(diǎn)對以及錯誤匹配點(diǎn)對分別用不同顏色線條描述。對比分析圖2(a)和(b)能夠直觀得出,未使用本文方法的圖像匹配結(jié)果中存在較多的錯誤匹配點(diǎn),而使用本文方法的圖像匹配結(jié)果中都是正確匹配點(diǎn)。上述結(jié)果表明本文方法具有較高的室內(nèi)場景重建效果,可辨識度較高。

(a)未使用本文方法的圖像匹配結(jié)果

采用文獻(xiàn)[7]方法(基于雙視系統(tǒng)的室內(nèi)三維場景重建方法)與文獻(xiàn)[8]方法(基于RealSense的室內(nèi)3D場景重建方法)作為實(shí)驗(yàn)對比方法,對比三種方法重建室內(nèi)場景圖像的信噪比,圖像信噪比可以直觀展示圖像中的噪聲大小,其與圖像內(nèi)的噪聲大小成反比,噪聲隨著信噪比的增大而減小,與之相對的圖像的質(zhì)量越高；噪聲隨著信噪比的減小而增大,與之相對的圖像的質(zhì)量越低。結(jié)果如圖3所示。

圖3 三種方法輸出圖像信噪比對比

采用三種方法對客廳、主臥室、次臥室、浴室以及廚房的圖像進(jìn)行信噪比測定,通過圖3可知,使用本文方法輸出圖像信噪比范圍在28.4～49.8 dB之間。使用文獻(xiàn)[7]方法輸出圖像信噪比范圍在21.1～41.7 dB之間。使用文獻(xiàn)[8]方法輸出圖像信噪比范圍在19.7～37.9 dB之間。并且本文方法重建的室內(nèi)圖像信噪比均高于其他兩種對比方法,因?yàn)楸疚姆椒ㄍㄟ^最小二乘擬合的濾波算法減小場景所存在的光照等方面的差異以及室內(nèi)圖像的噪聲,證明應(yīng)用本文方法重建的室內(nèi)圖像質(zhì)量最好,具有較高的圖像清晰度與較強(qiáng)的視覺表達(dá)力。

測試三種應(yīng)用方法下的室內(nèi)場景重建覆蓋率,結(jié)果如圖4所示。

圖4 三種重建方法的室內(nèi)場景圖像覆蓋率對比

通過圖4可知,應(yīng)用本文方法重建的室內(nèi)場景圖像覆蓋率最高,平均都在90 %以上；應(yīng)用文獻(xiàn)[7]方法重建的室內(nèi)場景圖像的覆蓋率最低,最高僅為85.02 %；應(yīng)用文獻(xiàn)[8]方法重建的室內(nèi)場景圖像覆蓋率取值范圍為85 %～90 %之間。應(yīng)用本文方法重建的室內(nèi)場景圖像覆蓋率最高,因?yàn)楸疚牟捎枚嘟嵌葤呙枘繕?biāo)物體,并將所有外部數(shù)據(jù)整合,確保待檢測對象完整,從而提高了室內(nèi)場景圖像覆蓋率。

對比三種方法重建室內(nèi)場景后的結(jié)構(gòu)相似度,結(jié)果如表1所示。

通過測試場景結(jié)構(gòu)的類似程度來評價場景重建的效果,該值越接近1,說明重建的場景結(jié)構(gòu)極為接近實(shí)際,重建的場景效果的結(jié)果更好,分析表1可知,應(yīng)用本文方法重建的室內(nèi)場景結(jié)構(gòu)相似度整體均優(yōu)于文獻(xiàn)[7]方法與文獻(xiàn)[8]方法,本文方法重建的室內(nèi)圖像邊緣保持得較好,邊緣銳度較其他兩種方法存在明顯改善,整體圖像更加清晰,因此場景重建精度較為準(zhǔn)確。

表1 三種方法重建場景的結(jié)構(gòu)相似度對比

場景重建時間可有效體現(xiàn)出重建方法的效率,對比三種方法室內(nèi)場景重建時間,結(jié)果如圖5所示。

圖5 三種方法的場景重建時間對比

分析圖5可得,采用三種方法分別對客廳、主臥室、次臥室、浴室以及出廚房的場景時間進(jìn)行對比,本文方法、文獻(xiàn)[7]方法、文獻(xiàn)[8]方法的場景重建時間最長是次臥室,重構(gòu)時間分別為59.2 h、68.4 h、62.5 h。且本文方法的場景重建時間均小于實(shí)驗(yàn)對比方法,因?yàn)楸疚姆椒ú捎玫侣鍍?nèi)三角化算法將室內(nèi)場景的點(diǎn)云數(shù)據(jù)以網(wǎng)格的形式串聯(lián)起來,證明了本文方法的重建效率與實(shí)時性。

4 結(jié) 論

本文提出基于激光雷達(dá)掃描及關(guān)鍵點(diǎn)特征匹配的室內(nèi)場景設(shè)計重建,從激光三維重建技術(shù)入手,獲取室內(nèi)場景圖像的點(diǎn)云、對其進(jìn)行匹配、實(shí)現(xiàn)三角網(wǎng)構(gòu)建等操作。實(shí)驗(yàn)結(jié)果表明,該方法的重建室內(nèi)圖像信噪比最高可達(dá)到49.8/dB,室內(nèi)場景圖像覆蓋率均在90%以上,重建場景的結(jié)構(gòu)相似度接近1,場景重建時間最短為59.2 h。上述實(shí)驗(yàn)結(jié)果證明了該方法具有較好的重建效果,對室內(nèi)場景的重建完整度很高。該方法在一定程度上為三維目標(biāo)的點(diǎn)云數(shù)據(jù)配準(zhǔn)與重建等工作提供了理論指導(dǎo),具有較好的實(shí)際應(yīng)用效果,但未來還可以從影響圖像品質(zhì)參數(shù)的角度出發(fā),進(jìn)一步提升室內(nèi)場景重建的精度。