基于Mask R-CNN的回環檢測算法

林釗浩 徐穎

（深圳大學機電與控制工程學院 廣東省深圳市 518061）

1 引言

近年來，隨著家用機器人、自動駕駛、無人機、AR/VR 等產業的發展。SLAM（Simultaneous Localization and Mapping，同步定位與建圖）技術也呈現出了一個快速發展的態勢。SLAM 技術為可移動設備提供了實時可靠的定位功能。其中，使用攝像頭作為傳感器的視覺SLAM，憑借其遠低于激光雷達的成本，獲得了市場和研究人員的青睞，得到了快速的發展。

回環檢測是視覺SLAM 中的一個重要組成部分，其目的是消除移動機器人在長時間的工作下產生的位姿估計的累計誤差。它通過計算圖像之間的相似度檢測回環。在得到了回環信息之后，SLAM 后端優化算法便可以根據回環約束對位姿進行優化，得到更加精確的定位。

目前，在回環檢測問題中已經比較成熟且廣泛應用的算法是基于BOW（BagofWords，詞袋模型），并使用無監督學習算法K-means 和TF-IDF 加 權 方 式（Term Frequency-Inverse Document Frequency）[1]的算法[2]。但是，BOW 存在一些缺點。它需要計算SIFT，SURF，ORB 等人工設計的圖像特征，這通常比較消耗計算資源且效率低下。而且，這些人工設計的特征對于光線強度的變化都比較敏感[3]。

近年來，隨著深度學習技術的發展，CNN（Convolutional Neural Network,卷積神經網絡）在圖像處理上的應用也越來越廣泛，并且取得了超過傳統算法的效果。而回環檢測問題，本質上就是一個圖像間的特征匹配問題，屬于圖像處理的范疇，所以，可以借用CNN 的技術對回環檢測算法進行提高。

圖2：City Centre 數據集0326.jpg

圖3：City Centre 數據集0508.jpg

2 算法結構

本文提出的算法稱為LOM（ListofMasks，掩膜列表），通過Mask R-CNN[4]得到圖像中可識別物體的掩膜，利用掩膜表示圖像特征。它通過計算兩張圖像所有掩膜之間的相似程度來判斷兩張圖像是否構成回環。為了提高該算法的通用性，本文還將該算法與經典的詞袋模型進行融合。

2.1 LOM

2.1.1 特征表示

LOM 使用Mask R-CNN 提取的掩膜來表示圖像特征。一幅圖像可以表示為若干個物體掩膜的列表：

其中，Mi表示第i 張圖像，miu表示Mi的第u 個掩膜，其表現形式是和圖像同等大小的矩陣，若圖像中某一個像素屬于miu，則miu的矩陣中該位置的值為1，否則為0。|Mi|是圖像Mi中檢測得到的物體掩膜的個數。

2.1.2 相似度計算

本文通過計算兩張圖像的同類別的物體掩膜之間的交并比IOU（Intersection over Union，交并比）來衡量兩張圖像的相似度。

表1：子數據集信息標表

表2：實驗結果

但是，由于一張圖像中存在的1 個類別的掩膜可能不止1 個，所以，需要確定Mi中的每一個掩膜是匹配Mj中的哪一個掩膜。匹配的原則是要盡量保證Mi與Mj對應的掩膜來自于物理世界中的同一個物體。

如果Mi和Mj存在回環，那么Mi和Mj匹配的每兩個掩膜之間應該存在比較大的IOU，因為此時兩張圖像是極為相似的。而且，掩膜之間應該一一匹配，不能出現1 個掩膜匹配2 個掩膜的情況。那么，掩膜匹配問題就可以抽象成一個指派問題，即如何找到一個最優的匹配關系，使得使用該匹配關系計算得到的IOU 的和最大，且每一個Mi掩膜只能與一個Mj掩膜匹配。解決指派問題的經典算法之一就是匈牙利算法[5]。匈牙利算法應用在掩膜匹配問題中的算法流程圖如圖1 所示。

其中，第2 步要交換Mi,Mj是為了保證|Mi|≥|Mj|，這樣便于編程實現。

第4 步要使用1 減去矩陣T 的每一個元素是因為匈牙利算法的最優值是代價的最小值，而掩膜匹配問題的最優值是IOU 的最大值，所以使用1 減去矩陣T 的每一個元素，再利用匈牙利算法進行求解，才可以得到掩膜匹配問題的最優解，求解得到的結果是一個形如P的由二元組組成的集合。

其中，一個匹配對是一個二元組，第一個元素表示Mi中的掩膜序號，第二個元素表示與之匹配的M_j 中的掩膜序號，0 表示“未找到匹配”，因為|Mi|≥|Mj|，所以只有二元組的第二個元素可能為0。

得到匹配關系之后就可以計算兩張圖像之間的總IOU 作為LOM 的相似度：

其中，|miu∩mjw|表示miu和mjw的交集的像素個數。|miu∪mjw|表示miu和mjw的并集的像素個數。假如w 為0，即miu沒有匹配的Mi掩膜，則|miu∩mjw|=0，|miu∪mjw|=|miu|

得到相似度之后，通過設置閾值就可以判斷兩張圖片是否存在回環。

2.2 算法融合

LOM 依賴于Mask R-CNN 檢測到的物體掩膜，只能識別場景中的部分物體。當場景中可識別的物體比較少時，LOM 的性能就會下降。所以，為了提高LOM 的通用性，本文將其與BOW 進行融合，并提出了兩種算法融合的方式，分別是線性組合和使用雙閾值。

2.2.1 線性組合

本文首先考慮的是使用線性組合。由于LOM 在物體較多的時候更為可靠，所以，利用圖像中的物體個數對LOM 分配權重。物體數量多時給予LOM 更大的權重，反之給予BOW 更大的權重。公式如下。

其中，max|M|表示整個數據集中在一張圖像中能檢測出來的最大物體掩膜個數。λ 是LOM 的權重。表示使用線性組合融合LOM 和BOW 的相似度。表示判斷結果。

2.2.2 設置雙閾值

另外一種融合LOM 和BOW 的方式是使用兩個閾值。分別利用BOW 和LOM 對Mi和Mj是否存在回環進行判斷，只有當兩個算法同時判定Mi和Mj存在回環，才判斷Mi和Mj存在回環。公式如下：

3 實驗

3.1 數據集

實驗使用兩個開放的數據集New College 和City Centre。以圖像中的最少物體數為篩選條件，本文篩選出6 個子數據集，全部子數據集的信息如表1 所示，其中，nc0 和cc0 等價于原數據集。nc2由于圖像張數過少，所以不使用它進行實驗。

3.2 模型訓練

本文使用谷歌發布的預訓練網絡。該網絡基于InceptionV2 并在MSCOCO 數據集上完成訓練。BOW 的實現使用DBoW3 庫 。在New College 和City Centre 數據集上使用的詞袋模型字典分別是使用New College 和City Centre 數據集進行訓練的。

3.3 實驗結果

本文使用100%精確度下的最高召回率作為系統性能的指標。實驗結果如表2 所示，fusion 表示使用線性組合融合的算法，fusion2 表示使用雙閾值融合的算法。在計算精確度和召回率的過程中，所有的閾值都是從0 以最大值的1/500 增加到最大值。加粗字體是在同一個子數據集下得到的最好性能。

表2 中LOM 沒有數據是因為無論取任何一個閾值，LOM 都無法達到100%精確度，所以不存在100%精確度下的最高召回率。LOM 之所以性能這么差，是因為它只考慮了圖像的高層特征，而不考慮圖像的低層特征。如圖2 和圖3，高層特征，也就是圖像中可識別物體的類別和占據的像素位置，都很相似，但是低層特征，如顏色，紋理等，很不相似。

表2 中，從橫向來看，無論是在哪一個數據集上，使用雙閾值融合LOM 和BOW 的性能在各個數據集上都是最好的。這得益于該融合方式存在2 個閾值，將BOW 相似度和LOM 相似度分開計算和判斷，同時考慮了圖像的高層特征和低層特征，只有在高層特征和低層特征都相似的時候，才會判定為存在回環。從縱向來看，不論是New College 還是City Centre，隨著圖像中的可識別物體數越來越多時，2 種融合算法相對于BOW 的提升越來越大。

4 結論

本文使用Mask R-CNN 提取圖像中的物體掩膜，并利用物體掩膜表示圖像特征，定義了一種基于物體掩膜計算圖像相似度的方法。本文還提出了兩種融合LOM 和BOW 的方法。通過實驗，可以看到融合算法在New College 和City Centre 數據集上的表現優于BOW，而且隨著圖像中物體掩膜個數的增加，與BOW 的性能差距也逐漸增大。