卷積神經(jīng)網(wǎng)絡(luò)在SLAM視覺里程計(jì)中的研究與應(yīng)用分析

潘志豪 李靖華 李晚秋 盧楚文

北京理工大學(xué)珠海學(xué)院 廣東 珠海 519000

前言

在視覺里程計(jì)設(shè)計(jì)中應(yīng)用CNN，可通過(guò)創(chuàng)建具有仿生效果的視知覺機(jī)制，進(jìn)行學(xué)習(xí)，在CNN層內(nèi)，可共享卷積核參數(shù)，層間稀疏連接，基于此特點(diǎn)，可以少量計(jì)算學(xué)習(xí)音頻或像素，效果穩(wěn)定，數(shù)據(jù)要求有限，無(wú)須另行特征工程支持，常被應(yīng)用于計(jì)算機(jī)視覺（如識(shí)圖或識(shí)物等）和自然語(yǔ)言處理。

1 研究思路

以CNN構(gòu)建視覺里程計(jì)，預(yù)處理目標(biāo)數(shù)據(jù)集，串聯(lián)圖片序列內(nèi)的相鄰RGB圖片，單圖設(shè)置3個(gè)通道，獲取6通道張量，將其輸入到神經(jīng)網(wǎng)絡(luò)，提取特征，并在全連接層輸入特征，壓縮張量，使用KITTI數(shù)據(jù)集實(shí)驗(yàn)比較。

2 理論支持

（1）經(jīng)典幾何算法。經(jīng)典幾何算法應(yīng)用時(shí)間較久，計(jì)算方式為幀間估算，可應(yīng)用于方案設(shè)計(jì)。在應(yīng)用之初，該算法是以系數(shù)特征跟蹤為計(jì)算基礎(chǔ)，相關(guān)研究者針對(duì)點(diǎn)特征提取方案，并設(shè)計(jì)與之相適應(yīng)的算法，可進(jìn)行角點(diǎn)處理、邊緣點(diǎn)處理以及區(qū)塊處理，提取相應(yīng)特征。基于相關(guān)特征，預(yù)測(cè)相機(jī)運(yùn)動(dòng)，了解ORB、SIFT以及SURF的狀態(tài)。在眾多方法中，較為經(jīng)典且可直接應(yīng)用的即為L(zhǎng)SD-SLAM。該方法得到諸多關(guān)注。ORB-SLAM為稀疏特征跟蹤式算法，魯棒性良好，精度較高[1]。

（2）深度學(xué)習(xí)。在該部分中，執(zhí)行“端-端”模式，開展大數(shù)量自動(dòng)學(xué)習(xí)，進(jìn)行數(shù)據(jù)推斷。采取監(jiān)督和無(wú)監(jiān)督兩種學(xué)習(xí)模式，前者有明確標(biāo)簽，后者無(wú)明確標(biāo)簽，使用聚類思想。有研究者基于CNN進(jìn)行相機(jī)姿態(tài)估計(jì)，對(duì)CNN進(jìn)行訓(xùn)練，使其由RGB圖像轉(zhuǎn)化回歸，呈現(xiàn)相機(jī)姿態(tài)，同時(shí)進(jìn)行場(chǎng)景實(shí)驗(yàn)，包括室內(nèi)外兩種場(chǎng)景環(huán)境實(shí)驗(yàn)。

3 算法研究

（1）特征提取。在以CNN為基礎(chǔ)進(jìn)行特征提取時(shí)，需要6個(gè)通道支持，且這些通道是以2個(gè)連續(xù)圖片進(jìn)行串聯(lián)而成，然后實(shí)施特征提取。在卷積層，卷積核為3×3，池化核為2×2，串聯(lián)3×3卷積層2個(gè)，約等于5×5卷積層，3個(gè)3×3卷積層串聯(lián)后約等于7×7卷積層，但前者參數(shù)量?jī)H為1/2后者參數(shù)量，可實(shí)現(xiàn)參數(shù)量降低，從大特征捕捉過(guò)渡至小特征捕捉。堆疊多個(gè)小規(guī)格卷積核，以其取代大卷積核，促進(jìn)非線性激活函數(shù)增量，使特征學(xué)習(xí)能力提升。

（2）降維處理。將全連接層設(shè)置于卷積層后，可實(shí)現(xiàn)特征張量降維，進(jìn)而實(shí)現(xiàn)6維度相機(jī)位姿的有效輸出。隱藏部分單元，進(jìn)行圖片壓縮，進(jìn)行6維表示，分析圖片相對(duì)位姿，獲取特征向量。在全連接層后，有非線性激活函數(shù)與之連接，形成整體網(wǎng)絡(luò)結(jié)構(gòu)。

（3）損失函數(shù)處理。位移損失和旋轉(zhuǎn)損失以加權(quán)耦合作為結(jié)合方式，將臨近RGB圖片輸入，該圖片在公式中顯示為，根據(jù)相鄰圖片的相對(duì)位置，分析圖片姿態(tài)，以其為標(biāo)簽。其中姿態(tài)公式表示為。通過(guò)前向網(wǎng)絡(luò)傳輸，獲取預(yù)測(cè)姿態(tài)，表示為。從而可知第i組樣本損失函數(shù)如下（公式1）。在該公式中，損失函數(shù)內(nèi)，旋轉(zhuǎn)權(quán)重占比和函數(shù)位置占比因子表示為β。訓(xùn)練M對(duì)樣本，獲取最優(yōu)參數(shù)（公式2）。

4 應(yīng)用分析

（1）特征提取處理。以u(píng)buntu16.04系統(tǒng)作為操作系統(tǒng)，顯卡型號(hào)為RTX2080ti，構(gòu)建實(shí)驗(yàn)平臺(tái)。使用pytorch開源框架。使用KITTI數(shù)據(jù)集，進(jìn)行監(jiān)督學(xué)習(xí)。在數(shù)據(jù)集內(nèi)獲取變換矩陣，轉(zhuǎn)化位姿，使其進(jìn)行三維平移，表示為三維歐拉角，提升傳輸反向梯度的效率。利用數(shù)據(jù)集進(jìn)行圖片均值計(jì)算，確定標(biāo)準(zhǔn)差，并實(shí)施歸一化處理，提取特征。

（2）訓(xùn)練。訓(xùn)練網(wǎng)絡(luò)，將訓(xùn)練集中的數(shù)據(jù)進(jìn)行0.2比例分割，驗(yàn)證數(shù)據(jù)集。執(zhí)行Adam優(yōu)化算法，初始學(xué)習(xí)率參數(shù)設(shè)置為0.0005。降低batch梯度，Batchsize參數(shù)設(shè)置為16。網(wǎng)絡(luò)訓(xùn)練的時(shí)間為epoch訓(xùn)練5min/個(gè)，整體收斂網(wǎng)絡(luò)訓(xùn)練誤差，驗(yàn)證模型誤差，總計(jì)約130 epoch，共計(jì)26h左右。獲取訓(xùn)練損失曲線并進(jìn)行驗(yàn)證。迭代次數(shù)遞進(jìn)，損失隨之增加。分析函數(shù)曲線，可知訓(xùn)練損失和驗(yàn)證損失收斂良好，兩項(xiàng)收斂效果相近。

5 未來(lái)發(fā)展展望

結(jié)合本次實(shí)驗(yàn)分析視覺里程計(jì)設(shè)計(jì)中的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用，可知在設(shè)計(jì)應(yīng)用時(shí)，應(yīng)優(yōu)化參數(shù)，對(duì)經(jīng)典幾何算法進(jìn)行性能補(bǔ)充，促進(jìn)性能提升。利用試驗(yàn)擴(kuò)充原有數(shù)據(jù)集，確保相機(jī)可提升運(yùn)動(dòng)圖像的捕捉效果。在未來(lái)，可應(yīng)用性能更優(yōu)越的視覺傳感器，提升天氣變化敏感度和光線敏感度，還應(yīng)加強(qiáng)傳感器融合研究。在該領(lǐng)域，后端優(yōu)化研究有限，也應(yīng)拓展以深度學(xué)習(xí)為基礎(chǔ)的整體過(guò)程研究，加強(qiáng)閉環(huán)檢測(cè)，在深度學(xué)習(xí)基礎(chǔ)上進(jìn)行相機(jī)位姿性能增強(qiáng)研究，創(chuàng)造更多可能[2]。

如果一個(gè)設(shè)備想要提供3D效果的AR，顯然運(yùn)動(dòng)追蹤模塊是必備的。如果想讓虛擬物體和場(chǎng)景交互，或是想要掃描一個(gè)真實(shí)物體，那么（稠密）三維地圖可以提供場(chǎng)景的三維幾何信息。而定位（運(yùn)動(dòng)追蹤）和建圖（稀疏或者稠密地圖）構(gòu)成了SLAM的核心功能。因此，SLAM可以說(shuō)是AR中最基礎(chǔ)的模塊，屬于設(shè)備感知周邊環(huán)境的范疇。

6 結(jié)束語(yǔ)

綜上所述，本文分析了SLAM視覺里程計(jì)設(shè)計(jì)應(yīng)用中卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用原理與具體應(yīng)用方式，通過(guò)串聯(lián)，將原始RGM圖片傳輸至神經(jīng)網(wǎng)絡(luò)。通過(guò)實(shí)驗(yàn)可知，訓(xùn)練過(guò)程要點(diǎn)為設(shè)置科學(xué)參數(shù)，進(jìn)行參數(shù)調(diào)整，優(yōu)質(zhì)收斂網(wǎng)絡(luò)，完善結(jié)果測(cè)試。利用優(yōu)質(zhì)模型，使用優(yōu)化器，可提升訓(xùn)練效果，精準(zhǔn)估計(jì)位姿，為AR開發(fā)提供便利。