室外光照易變場景下的回環檢測方法*

劉凌云， 蔡成林， 吳 芊

(湘潭大學 自動化與電子信息學院，湖南 湘潭 411105)

0 引 言

同時定位與地圖構建(simultaneous localization and mapping，SLAM)是應用于室內外機器人導航、無人駕駛技術、增強現實(AR)和虛擬現實(VR)的關鍵技術之一，SLAM系統長時間運作會產生累計誤差，最終使定位結果嚴重偏離現實情況。回環檢測是以相機為傳感器的視覺SLAM[1]中的關鍵環節，它能夠評估當前圖像與歷史圖像的相似程度，判斷相機是否回到歷史位置，以此來消除累計誤差。傳統的回環檢測方案多基于視覺詞袋(bag of visual words，BoVW)方法[2]，該方法利用特征點構造詞袋，通過相似性計算檢測回環。早期方案使用實值特征進行特征提取，限制了算法效率，Mur-Artal R等人提出的ORB-SLAM[3]使用二進制特征ORB降低了計算復雜性，提高了算法效率。針對圖像中重復特征較多的環境，Lee S等人提出了一種抑制重復特征占用圖像直方圖的算法[4]。徐慧等人針對動態場景下算法不穩定的問題，提出了一種動態場景下基于場景流的回環檢測算法[5]。上述方法暫未考慮光照變化明顯的室外場景。在室外壞境下，光照不穩定會造成圖像過曝或者曝光不足，圖像中有效信息減少，進而影響回環檢測的準確性。

本文結合一種可在線刪增視覺詞的詞袋模型[6]，提出了一種適用于光照易變場景的回環檢測方法，先對圖像進行曝光情況檢測，再利用基于曝光區域的自適應直方圖均衡對圖像進行預處理，恢復圖像的部分細節。實驗結果表明，該方法在保證實時性的同時，在室外光照易變場景下增強了算法的魯棒性，提升了100 %準確率下的召回率。

1 基于BoVW的回環檢測

1.1 BoVW模型

BoVW是用于圖像檢索和分類的圖像表示方法。該方法從離線圖像中提取特征，聚類生成視覺詞，再利用視覺詞構建詞袋。如圖1所示。

圖1 BoVW模型

1.2 相似性得分計算

當查詢圖像A輸入時，先對A提取特征點，利用查找算法查詢詞袋中對應的視覺詞。然后利用TF-IDF對不同的視覺詞加上權重，設所有特征數量為n，視覺詞為wi,wi的數量為ni，wi的權重為TF與IDF的乘積

(1)

圖像A可由下式表示

A={(w1,η1),(w2,η2),…,(wN,wN)}?vA

(2)

若給定圖像vA和vB，可用L1范數來計算圖像A與圖像B的相似性得分

(3)

經歸一化處理后，將s與設定的閾值比較判斷是否產生回環。

2 光照易變環境下的回環檢測算法

2.1 算法整體流程

本文提出的回環檢測算法流程如圖2所示。該算法無需離線構建詞袋，首次輸入的圖像將被用于初始化詞袋，后續輸入圖像中提取的視覺詞將可能被添加到詞袋中。

圖2 光照易變環境下的回環檢測算法流程圖

2.2 基于信息熵的圖像曝光檢測算法

相機傳感器因光照原因采集到的部分圖像曝光不正常，不利于特征點提取及視覺詞生成，最終導致回環檢測失敗。需先將非正常曝光圖像篩選出來，本文基于信息熵提出了一種圖像曝光檢測算法。首先，根據Shannon提出的圖像熵[7],將灰度圖像的圖像熵表示為

(4)

在圖像飽和度檢測中，可用像素活動來捕獲熵的變化[8]。首先用f(x,y,t)重寫熵方程以表示圖像。f(x,y,t)表示第t次精細到粗略變換后在位置(x,y)處的像素的歸一化亮度等級

(5)

文獻[8]中，像素活動被定義為式(5)相對于變換步驟的偏微分

(6)

其中，δ為熵產生密度

(7)

用上述公式將式(6)重寫為

(8)

通過傅立葉變換可直接計算該熵方程的解。為將傅立葉偏微分方程應用于導電擴散方程，可將經過精細到粗略變換后的圖像的歸一化像素值表示為

f(x,y,t)=

(9)

(10)

(11)

因為熵微分的平方梯度值分布反映了圖像區域中的信息量，所以熵微分可度量原始圖像的局部信息。因此，當熵值的微分接近于零時，可以將其視為沒有信息的飽和區域。

設像素的熵微分閾值T=0.01，若a(x,y)≤s,可判定該像素處于非正常曝光狀態，反之則處于正常曝光狀態。設圖像曝光閾值為d=0.0015E，E為像素個數，則圖像曝光情況可由下式檢測

(e-N(u2+v2)-1)}

(12)

式中M為低熵像素個數，若SUM[am(x,y)]≥d,則判斷該圖像過曝光及曝光不足較為嚴重，需進行后續的圖像增強處理。

2.3 基于不同曝光區域的自適應直方圖均衡算法

目前，對于非正常曝光圖像可利用多圖像融合技術[9]進行處理，該方法不適用于傳感器為單一相機的純視覺SLAM。本文考慮利用直方圖均衡(histogram equalization，HE)調節圖像整體對比度，恢復圖像更多細節。

傳統HE對圖像整體進行無差別處理，容易過度增強圖像，增加背景干擾信息的對比度并降低有用信息的對比度。考慮到ORB特征的FAST角點提取策略，算法應側重于使圖像主體信息區域的灰度值分布均勻，更利于特征點的提取。本文改進了一種基于不同曝光區域的自適應直方圖均衡算法，使其能改善圖像中主體信息區域的對比度。

假設圖像中有M個離散灰度等級，共有N個像素點，nk表示灰度等級k的像素個數，k∈[0,M-1]。其累積密度函數可表示為

(13)

則像素灰度值的輸入輸出映射關系可由下面的公式表示

yout=ymin+(ymax-ymin)Fk(yin)

(14)

式中ymax和ymin分別為圖像中像素灰度級的最大值和最小值。

將圖像的直方圖按照灰度等級劃分為暗、中和亮三個大小相等的區域，分別對三個區域進行加權直方圖均衡處理。加權因子可通過計算每個區域的灰度標準差得到

(15)

式中m為區域灰度平均值，yj為像素點j的灰度值，nj為灰度值為yj的像素點個數，N為該區域中像素點總個數，i∈[1,3]。σi反映了該區域直方圖分布情況，當σi值很小時，說明該區域直方圖集中在平均亮度附近，直接處理可能導致偽像的產生，應對該區域進行低權重處理，σi值過大時同理。當σi介于較大值和較小值之間時，應對該區域設置更高的權重進行處理。改進后的算法與HE處理效果對比見圖3和圖4。

圖3 人物原圖及經兩種算法處理后的圖像對比

圖3中左圖是過曝光人物原圖。中間為HE處理后的圖像，圖像整體產生了沖洗后的偽像感，背景部分的區域(淺色框)被過度增強，人物部分(深色框)灰度值被拉低，人物對比度較低，且人物與背景銜接處噪點被放大。右圖是改進的算法處理后的圖像，人物與背景對比明顯，人物部分對比度提高，圖像主體部分的細節得到恢復，圖像整體沒有多余噪點產生。

圖4中灰度直方圖分別對應于圖3。原圖的像素灰度集中在145～255灰度級之間，表明圖像整體偏亮，過曝現象嚴重。中間圖像灰度集中在0～176之間，原高亮區域向灰暗區轉移，人物局部過暗。右圖中像素分布于整個灰度區間內，不同像素灰度值之間過渡較為平滑，圖像對比度較好，主體信息區域突出，有利于特征點的提取。

圖4 人物原圖及經兩種算法處理后圖像的灰度直方圖

圖5為圖像的ORB特征點提取結果。原圖中，僅在人物面部(淺色框)和肩部(深色框)提取到了少量特征。中間圖像特征點集中在人物邊緣處以及背景部分。右圖中，在人物面部和肩部提取到了大量特征點，這說明圖像中的主體信息被算法充分捕獲，這將對后續的回環檢測產生積極的影響。

圖5 ORB特征點提取結果對比

2.4 可在線刪增視覺詞的BoVW

傳統BoVW需利用離線圖像構建詞袋，當實際環境與離線圖像差別明顯時，算法將產生難以消除的誤差，且詞袋中冗余的視覺詞會降低檢索效率。本文利用可在線刪增視覺詞的方法構建詞袋：首先隨機選擇K個描述子作為聚類中心；然后根據每個剩余輸入描述子的漢明距離將它們分配給最近的聚類中心；遞歸地重復此過程，直到一個簇中的描述子數量低于某個閾值S。層級樹示例如圖6所示。

圖6 層級樹示例(K=2,S=3)

視覺詞刪增及詞袋更新策略：計算查詢圖像特征的描述子；用層級樹檢索和新描述子匹配的描述子；若匹配失敗，評估葉節點上的描述子數是否超過S，若超過則遞歸重建該節點，新描述子添加到原始描述子中，反之則將描述子直接附加到葉節點；刪除經評估無效的描述子，對其附加節點和上級節點進行遞歸修訂，若被刪描述子與聚類中心重合，則隨機選擇一個新的中心。

3 實驗與分析

本文在實驗部分與基于詞袋的iBoW-LCD[10]算法進行了對比實驗，分別在室外數據集City Centre和New College上進行性能測試，該實驗主要考慮算法在100 %準確率下的召回率。實驗中所用計算機配置CPU為AMD R7—3800X(3.9 GHz)，內存16GB，系統平臺為Ubuntu16.04。

表1為本文提出的算法與iBoW-LCD算法的性能測試結果對比，在City Centre數據集的測試中，召回率僅少許提升，該數據集中受不正常曝光影響的圖像較少，因此算法性能提升不明顯。而在New College數據集中，部分圖像存有大面積不正常曝光區域，召回率相比提高了8.6 %。此外，部分圖像細節恢復使可提取特征增加，詞袋容量有所增大。同時，詞袋容量變大以及圖像預處理模塊的引入，算法處理每幀圖像的平均耗時有所增加。

表1 本文提出的算法與iBoW-LCD對比

將基于多哈希索引的MILD[11]加入實驗測試中。三種算法均在數據集New College上進行測試，其P-R曲線如圖7所示。實驗結果顯示，在100 %準確率下，本文提出的算法和MILD的召回率明顯高于iBoW-LCD，且本文算法的召回率略高于MILD。在召回率達到92.8 %時，三種算法準確率先后開始加速下降，最終在召回率達100 %時，準確率僅為50 %左右。顯然，本文提出的算法性能在大部分情況下均優于其他兩種算法，僅在召回率為95 %附近時與MILD表現出極為相近的結果。

圖7 三種算法的準確率—召回率(P-R)關系曲線

4 結 論

本文提出了一種適用于光照易變場景的回環檢測方法。將圖像預處理模塊融入在線刪增視覺詞的BoVW，先對圖像曝光情況進行檢測，對非正常曝光圖像進行預處理后再交由后續回環檢測模塊處理。實驗結果表明:本文提出的算法在光照易變場景下性能優于iBoW-LCD以及MILD算法，在New College數據集測試中保證實時性的同時召回率比iBoW-LCD提高8.6 %。下一步計劃將光照變化場景與動態場景處理模塊融合，提高回環檢測技術在復雜環境下的魯棒性。