基于卷積神經(jīng)網(wǎng)絡(luò)的機器人視覺地點識別分析

高振懷

摘要：針對傳統(tǒng)移動機器人視覺位置識別容易受環(huán)境影響、效率低等問題，文章提出了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的機器人視覺地點識別技術(shù)。結(jié)合CNN的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計圖像描述提取方法，旨在提升提取圖像特征魯棒性；通過構(gòu)建公開數(shù)據(jù)集離線訓練視覺詞袋模型，提升圖像匹配過程的搜索速度；通過對兩幅圖像相似度的分析，獲得視覺地點識別的匹配結(jié)果。研究結(jié)果證明，基于CNN的機器人視覺地點識別在場景外觀變化下地點識別魯棒性、準確性均較傳統(tǒng)方法好。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；機器人視覺；地點識別；魯棒性；圖像描述符提取

中圖分類號：TP18 ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）29-0012-04

作為移動機器人核心技術(shù)，視覺地點識別主要指的是借助圖像識別對圖像中位置進行判斷，并明確是否為機器人到過地點的過程，其在機器人領(lǐng)域有著廣泛的應(yīng)用，常見包括SLAM閉環(huán)檢測、重定位等。近年來研究發(fā)現(xiàn)，機器人視覺地點識別的精準度會受到光照、季節(jié)等外界環(huán)境因素的影響，因此，如何保障在不斷變換的場景外觀下獲得較好的魯棒性成為相關(guān)領(lǐng)域的研究重點[1]。

傳統(tǒng)機器人視覺地點識別多是通過SURF、SIFT等圖像局部特征，與視覺詞袋模型相結(jié)合，能夠反映出圖像的細節(jié)，在平移變換狀態(tài)下仍具有較好的魯棒性，但其對于光照、天氣等因素較為敏感，限制了其在不同應(yīng)用場景的推廣，且提取特征多采用的是手工特征提取，容易出現(xiàn)圖像信息缺失，對匹配結(jié)果造成影響[2]。基于此研究提出了卷積神經(jīng)網(wǎng)絡(luò)（CNN），其在大量數(shù)據(jù)中對特征表示進行學習，采用逐層提取的方式，具有一定的抽象性，語義信息豐富，較傳統(tǒng)手工設(shè)計體現(xiàn)出鮮明的優(yōu)勢。以往有學者在研究中提出CNN下圖像匹配算法，應(yīng)用Alexnet網(wǎng)絡(luò)，對網(wǎng)絡(luò)中間層特征進行提取，經(jīng)過相似性矩陣計算，結(jié)果顯示該算法在光照條件下特征匹配改善明顯，但對于季節(jié)、視角變化魯棒性改善效果不佳[3]。針對其不足，本研究設(shè)計了CNN圖像描述提取方法，應(yīng)用于位置識別算法，體現(xiàn)了鮮明的優(yōu)勢。

1 實驗?zāi)Ｐ?/p>

基于CNN機器人視覺地點識別算法流程見圖1，其主要包括訓練與測試兩個方面，前者主要涉及到CNN、視覺詞袋模型，后者包括圖像特征提取、視覺詞袋模型加速、圖像匹配計算。

1.1 CNN結(jié)構(gòu)

作為多層神經(jīng)網(wǎng)絡(luò)，CNN由卷積層、池化層、全連接層構(gòu)成，其中卷積層主要功能為卷積運算，其能夠強化原始圖像特征，最大程度上降低噪聲的影響；池化層可針對卷積層輸出實施降維處理，使得計算量得到優(yōu)化，提升計算效率，避免出現(xiàn)過擬合[4]。全連接層在CNN中承擔的是分類器作用，在樣本標記空間對“分布式特征表示”進行映射。

1.2 CNN模型的構(gòu)建

此次研究在開源深度學習框架下對CNN圖像特征進行提取，其將場景作為中心，囊括了200多個場景類別，圖像數(shù)量多達250萬幅，均來源于Places數(shù)據(jù)集。模型經(jīng)過預先訓練，將其作為全局圖像描述發(fā)生器，對CNN全局圖像描述符進行提取，經(jīng)過重構(gòu)獲得CNN結(jié)構(gòu)圖（圖2）。

該模型預訓練后獲得了網(wǎng)絡(luò)模型VGG16-hy-brid365，屬于VGG16網(wǎng)絡(luò)模型，主要由13層卷積層、5層最大池化層與3層全連接層構(gòu)成，與其他網(wǎng)絡(luò)相比，VGG16能夠?qū)?大卷積進行核分，使其成為2～3個小卷積核，其能夠在一定程度上使網(wǎng)絡(luò)參數(shù)數(shù)量減少，當5×5卷積核被拆分為兩個3×3卷積核后，可以發(fā)現(xiàn)其參數(shù)由原有的25個變?yōu)?8個，不僅如此該算法還能夠促進網(wǎng)絡(luò)非線性程度的增加。

假設(shè)在圖片上隨機選擇一個模型輸入樣本，如227×227的patch，第一個卷積層濾波器（11×11）數(shù)量為96個，卷積步長為4，函數(shù)激活狀態(tài)下需要輸出規(guī)格為55×55特征圖共96個。CONV1、CONV2、CONV5分別與最大池化層連接，可以發(fā)現(xiàn)其Kernel均為2，池化步長參數(shù)為2。當提取到最大池化層圖像特征后，需要對其進行降維處理，對其賦予對應(yīng)特征轉(zhuǎn)換，其構(gòu)建抽象表達實際上是通過對低層局部信息的融合實現(xiàn)的，需要在近鄰窗口局部實施。經(jīng)過函數(shù)激活，卷積結(jié)果會被作為下一個卷積層完成輸入[5]。最后的卷積層濾波器參數(shù)為13×13，數(shù)量共256個。需要注意的是每個濾波器均需要與其輸入的MAP連接，然后為全連接層，每個全連接層之前的神經(jīng)元均與當前層神經(jīng)元相連。通過對CNN特征的提取，對其實施標準化處理，可表示為：

[X^=X-μxσx] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中X表示的是CNN不同層輸出的原始特征向量，X的均值采用[μx]，標準差采用[σx]。經(jīng)過計算能夠?qū)ξ恢脠D像進行查詢，獲得數(shù)據(jù)庫中位置圖像余弦距離，為位置識別提供參考。

2 基于CNN圖像描述符的提取

通過卷積、池化等相關(guān)操作，能夠獲得包括多個層級在內(nèi)的特征向量，其中低級特征位于最底層，多見于邊緣與角點位置等。當網(wǎng)絡(luò)層數(shù)增加后，所提取的特征抽象性會得到加強，輸出內(nèi)容呈現(xiàn)出語義特征，涵蓋了圖像的類別信息。在圖像分類及物體檢測等各個領(lǐng)域均可見語義特征的應(yīng)用。本研究為獲得相同位置場景，采用的是中間層特征，具有一定的抽象性，其能夠?qū)鼍巴庥^變化狀態(tài)下的位置識別魯棒性起到提升作用，且在資源節(jié)約方面具有一定的優(yōu)勢[6]。基于VGG16-hy-brid365網(wǎng)絡(luò)模型，研究提出CNN下圖像描述符，其提取方式如下：多個特征圖共同構(gòu)成了CNN的每一層輸入，將其表示為：

[X=x（i，j）1≤i≤m，1≤j≤n] ? ? ? ? ? ? （2）

其中，量為m×n×c，各個特征圖的尺寸采用m×n表示，特征圖個數(shù)表示方法為c，基于此，x（i，j）指的是其在（i，j）的位置，假設(shè)矢量維度為c，那么其在CNN某一層能夠獲得m×n個相同的適量，其可以作為輸入圖像描述符。再如CONV4-3層能夠輸出特征圖共512個，其尺寸為28×28，那么可以獲得28×28個圖像描述符，其維度均為512。

通過上述網(wǎng)絡(luò)模型，可以發(fā)現(xiàn)圖像描述符不急可作為輸入圖像局部描述，又可以作為感受野全局描述符，兼具局部與全局，體現(xiàn)整體屬性的同時能夠反映出局部細節(jié)，其特征提取流程如圖3所示。

3 基于CNN視覺詞袋模型的構(gòu)建

研究在對CNN特征視覺詞袋模型實施離線訓練時引入了數(shù)據(jù)集Bovisa，詞袋模型選擇手工特征的DBOW2，先完成圖像描述符進行提取，然后采用k-means法聚類描述訓練圖像，獲得樹形結(jié)構(gòu)，可以發(fā)現(xiàn)葉子節(jié)點以外的節(jié)點均存在10個子節(jié)點。

視覺詞袋模型在進行位置識別時能夠?qū)Ξ斍皥D像相似的候選圖像進行搜索，防止出現(xiàn)大量的圖像匹配，增加工作量，可提升識別與計算的速度[7]。經(jīng)過離線訓練的詞袋模型結(jié)構(gòu)特殊，每個葉子節(jié)點對應(yīng)有離線權(quán)重，能夠?qū)ζ淠芰M行區(qū)別。隨著離線權(quán)重的增加，節(jié)點區(qū)分圖像的能力會得到進一步增強，其計算公式如下：

[idf（i）=logNni] ? ? ? ? ? ? ? ? ? ? ? ? ? ?（3）

其中離線權(quán)重采用idf（i）表示，所有圖像數(shù)采用N表示，葉子節(jié)點i圖像數(shù)用n[i]表示。

在測試環(huán)節(jié)，首先將一幅圖像輸入，根據(jù)研究設(shè)計的特征提取方法完成多個圖像描述符的提取，到達詞袋模型葉子節(jié)點后，對其在圖像中的權(quán)重進行計算，計算方法為出現(xiàn)頻率與離線權(quán)重的乘積[8～9]，可以在葉子節(jié)點對圖像ID、權(quán)重進行存儲，作為反向索引，其權(quán)重公式如下：

[tf（i，It）=niItnIt] ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（4）

[vit=tf（i，It）×idf（i）] ? ? ? ? ? ? ? ? ? ? ? ? （5）

葉子節(jié)點用i表示，其在圖像It中出現(xiàn)的頻率采用tf（i，It）表示，出現(xiàn)的次數(shù)采用niIt表示，描述符總數(shù)采用nIt表示。

計算圖像的所有描述符，能夠獲得其對應(yīng)葉子節(jié)點圖像的權(quán)重，其形成了圖像的描述符向量，采用vt表示。在圖像匹配環(huán)節(jié)，僅需要針對相同葉子節(jié)點的圖像予以匹配，其相似度公式為

[s（v1，v2）=1-12v1v1-v2v2] ? ? ? ? ? ? ? ? ? ? ? （6）

可以發(fā)現(xiàn)，公式分數(shù)值越高表示圖像的相似度越高。

4 實驗結(jié)果分析

將基于CNN機器人視覺地點識別方法與基于傳統(tǒng)手工特征的識別方法（SURF、BRIEF）進行對比。實驗環(huán)境如下：工作站處理器Intel Xeon E5-2650 v3，實驗在Ubuntu環(huán)境下進行，選擇Caffe框架和C++編程語言實現(xiàn)程序。

4.1 性能分析

為完成性能對比試驗，針對每組數(shù)據(jù)集均在兩種不同條件下位置設(shè)置對應(yīng)圖像，兩組分別作為搜索頭像與數(shù)據(jù)庫建立應(yīng)用圖像，兩者對應(yīng)的地點相等，表示其匹配結(jié)果真實。針對數(shù)據(jù)集中相鄰幀相似度高的問題，研究提出容忍度概念，即在認可的容忍度范圍內(nèi)，可判斷匹配結(jié)果為成功[10]。在實驗環(huán)節(jié)，需要對每一幅搜索圖像與數(shù)據(jù)庫中圖像的相似性進行計算，其能夠為圖像匹配提供可靠的參考。研究引入匹配比率作為實驗結(jié)果判斷標準，具體如下：

[F（r，k）=i=1nj=1kI（zij∈Si（r））/nk）] ? ? ? ? ? ? ?（7）

[Si（r）=xi-r，xi-r+1，...xi...xi+r-1，xi+r] ? ? ? （8）

n與k分別表示的是圖像數(shù)（搜索圖像/數(shù)據(jù)庫圖像）、匹配分數(shù)最高圖像數(shù)量，容忍度用r表示，第i幅搜索圖像與數(shù)據(jù)庫對應(yīng)的第j大的圖像用zij表示，在容忍度r條件下，第i幅搜索圖像對應(yīng)的圖像采用Si（r）表示，第i幅圖像表示方法為xi。

以曲線圖的形式對實驗結(jié)果予以描述，能夠反映出不同容忍度下匹配率的高低變化。其中容忍度作為橫坐標，數(shù)據(jù)為0～40，縱坐標為匹配圖像比率。每個數(shù)據(jù)集能夠獲得曲線圖2幅，其中1幅表示取1幅的分數(shù)最高圖像，另一幅表示取5幅分數(shù)最高的圖像，即k=1、k=5。

4.2 實驗數(shù)據(jù)集

4.2.1 訓練數(shù)據(jù)集

CNN的ImageNet數(shù)據(jù)集與Places2數(shù)據(jù)集的Places365-Standard構(gòu)成了實驗訓練集，前者屬于圖像分類范疇，可以劃分為1000個類別，后者則屬于場景數(shù)據(jù)集，其場景類型豐富，多達1300多個。該訓練集共囊括圖片多達300萬張。

視覺詞袋模型將Bovisa數(shù)據(jù)集中隨意挑選的圖片作為訓練對象，共包含8000多張，且數(shù)據(jù)集公開。

4.2.2 測試數(shù)據(jù)集

在算法性能評估過程中，分別設(shè)計了視角變化、季節(jié)變化與光照變化對地點的識別情況，共3個測試集。作為大場景環(huán)境數(shù)據(jù)集，KITTI數(shù)據(jù)集在對城市環(huán)境拍攝時采用的是雙目攝像頭，圖像包括左視與右視。在季節(jié)測試集方面采用的是Nordland數(shù)據(jù)集，其具有較高的挑戰(zhàn)性，在一年的不同季節(jié)進行采集，地點為同一火車旅程。選擇冬天、夏天對應(yīng)的圖像作為場景外觀變化，以完成不同季節(jié)對位置識別影響的實驗。Campus數(shù)據(jù)集所用攝像頭為單目攝像頭，拍攝于校園，在相同路線的下午、傍晚兩個時間段采集，針對左視、夏天與下午圖像構(gòu)建了3個數(shù)據(jù)集，檢索用右視、冬季及傍晚數(shù)據(jù)。

4.3 結(jié)果分析

4.3.1 CNN圖像描述符對比分析

研究選擇VGG16中的POOL3、CONV4-3、POOL4、CONV5-3以及POOL5層對圖像特征進行提取，在對比不同描述符在各類影響因素下的地點識別精度時，利用CNN對應(yīng)層輸出的特征圖提取描述符。如圖4所示，當k=1、k=5時，KITTI數(shù)據(jù)集POOL5當出現(xiàn)視角變化影響后，呈現(xiàn)出較差的魯棒性，CONV4-3魯棒性最好，且有著較高的識別精度，其他層差異不大。當k=1，k=5情況下，Nordland數(shù)據(jù)集的CONV4-3較其他層有著更高的匹配率，提示CONV4-3受季節(jié)變化影響最小，魯棒性好（圖5）。k=1、k=5條件下，Campus數(shù)據(jù)集在不同光照條件下，與其他層匹配率相比，CONV4-3地點識別匹配率更高，且效果穩(wěn)定（圖6）。

綜合上述不同數(shù)據(jù)集的研究結(jié)果，可以發(fā)現(xiàn)，當發(fā)生視角變化、季節(jié)變化及光照變化，CONV4-3均表現(xiàn)出鮮明的優(yōu)勢，考慮CONV4-3層厚網(wǎng)絡(luò)，在圖像描述符提取方面進行了精簡處理，減少了提取圖像的數(shù)量，對地點識別效果產(chǎn)生了明顯的影響。處于CONV4-3前的層圖像描述符質(zhì)量低，且僅含有少量的語義信息，以CONV4-3層提取效果最佳，因此可以將其作為地點識別算法的描述符。

4.3.2 CNN法與傳統(tǒng)視覺地點識別方法對比分析

研究選擇CNN下的CONV4-3層圖像描述符，將其與手工設(shè)計特征SURF進行對比，可以發(fā)現(xiàn)兩者在視角變化條件下能夠達到相近的效果。當出現(xiàn)季節(jié)與光照變化因素時，場景外觀發(fā)生改變，SURF算法表現(xiàn)得敏感，CNN描述符的地點識別算法具有較好的魯棒性與精度。

5 結(jié)束語

綜上所述，CNN下的圖像描述符地點識別算法經(jīng)過預訓練，提取圖像描述符，能夠反映局部感受野區(qū)域圖像的全局描述，且具有語義信息，其中CONV4-3層描述符在不同場景變化中均呈現(xiàn)出較好的魯棒性與精度，效果穩(wěn)定，具有一定的推廣價值。

參考文獻：

[1] 朱明秀.采摘機器人水果檢測及定位研究——基于圖像處理和卷積神經(jīng)網(wǎng)絡(luò)[J].農(nóng)機化研究，2022，44（4）：49-53.

[2] 熊勛，尹玲，陳新度，等.基于卷積神經(jīng)網(wǎng)絡(luò)的機器人象棋識別與視覺定位算法設(shè)計[J].東莞理工學院學報，2019，26（5）：104-109.

[3] 辛菁，姚雨蒙，程晗，等.基于卷積神經(jīng)網(wǎng)絡(luò)的機器人對未知物體視覺定位控制策略[J].信息與控制，2018，47（3）：355-362.

[4] 馬倩倩，李曉娟，施智平.輕量級卷積神經(jīng)網(wǎng)絡(luò)的機器人抓取檢測研究[J].計算機工程與應(yīng)用，2020，56（10）：141-148.

[5] 仉新，張禹，蘇曉明.基于四元數(shù)卷積神經(jīng)網(wǎng)絡(luò)的移動機器人閉環(huán)檢測[J].中國慣性技術(shù)學報，2019，27（3）：357-365.

[6] 張順，龔怡宏，王進軍.深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計算機視覺領(lǐng)域的應(yīng)用[J].計算機學報，2019，42（3）：453-482.

[7] 田應(yīng)仲，劉伊芳，李龍.融合卷積神經(jīng)網(wǎng)絡(luò)的核相關(guān)濾波視覺目標跟隨算法研究[J].計算機測量與控制，2020，28（12）：176-180.

[8] 趙德安，吳任迪，劉曉洋，等.基于YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的復雜背景下機器人采摘蘋果定位[J].農(nóng)業(yè)工程學報，2019，35（3）：164-173.

[9] 朱斌，陳磊，鄔金萍.基于改進卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的機器視覺室內(nèi)定位算法[J].國外電子測量技術(shù)，2021，40（1）：58-64.

[10] 于乃功，魏雅乾，王林.基于卷積神經(jīng)網(wǎng)絡(luò)的仿鼠腦海馬結(jié)構(gòu)認知地圖構(gòu)建方法[J].模式識別與人工智能，2020，33（1）：50-58.

【通聯(lián)編輯：張薇】