視覺SLAM失效機理及檢測研究

王一波，胡家俊，蔡洪煒，趙 云

（柳州工學院，廣西 柳州 545616）

0 引 言

同時定位與地圖構建（Simultaneous Localization And Mapping，簡稱SLAM），通常是指在機器人或者其他載體上，通過對各種傳感器數據進行采集和計算，生成對其自身位置姿態的定位和場景地圖信息的系統，其在智能機器人走向方面的應用發揮著關鍵作用。當前，主流SLAM技術分為激光和視覺兩大類，激光SLAM算法簡單，但成本相對較高，應用具有一定局限性。視覺SLAM利用攝像機（單目、雙目或者RGBD）可以從環境中獲取海量的、富于冗余的紋理信息，擁有超強的場景辨識能力，將成為今后技術發展的主要趨勢。當機器人運動或者環境條件過于具有挑戰性時（比如機器人快速運動，高度動態的環境），視覺SLAM系統將會出現無法定位和建圖的失效情形，這對于未來無人系統越來越苛刻的應用需求無疑是重大難題。而從系統狀態估計的角度認識視覺SLAM系統失效的本質，從機理上認清失效的原因，從而有針對性地做出預防顯得更為重要。本文分析了視覺SLAM的概念，并以此為研究起點，通過對亮度、對比度、清晰度等構建模型評價圖像質量，以此檢測失效圖像。

1 視覺SLAM失效定義及機理分析

1.1 視覺SLAM失效定義

一般視覺SLAM系統失效可分為軟失效和硬失效。

（1）視覺SLAM軟失效

視覺SLAM軟失效：由于視覺SLAM算法未能及時、有效解析觀測信息，而無法為無人系統提供有效的位姿及地圖反饋。軟失效的一種典型情況是：當相機視角發生大幅變化時，相鄰幀之間圖像特征點匹配數目驟減，而一般的視覺SLAM算法無法從有限的匹配點對中得到有效的位姿變化，引起定位失敗的失效；另一種典型情況是：感知混淆（perceptual aliasing），即對于不同的輸入，傳感器感知到了相同信號的現象，使一般算法建立錯誤的觀測-狀態（measurement-state）匹配關系（false positive，假陽性），從而導致后端優化做出錯誤的狀態估計。算法如果未對環境的動態性（包括短期變化和長期的季節性變化）進行建模，錯誤的情況會很嚴重。軟失效只能通過不斷改進算法進而提升算法對于環境的魯棒性來解決。

（2）視覺SLAM硬失效

絕大多數無人系統都由于其需要反饋數據形成閉環流程，故極其依賴SLAM系統的正常運作。而視覺SLAM系統的失效更多是由于傳感器發生的異常或錯誤導致。由于視覺傳感器無法提供有效觀測，造成SLAM系統無法繼續跟蹤機器人的空間位置、姿態及建圖，即視覺SLAM硬失效。

1.2 視覺SLAM失效機理

一般的SLAM系統（包括激光SLAM和視覺SLAM）都是基于不同傳感器回傳數據、時序信息及歷史信息進行定位與建圖。傳感器提供的數據將是系統能否有效工作的前提，當傳感器發生嚴重失效時，無論SLAM算法多么魯棒，也無法對錯誤信息或者干擾嚴重信息做出正確處理，自然也就無法做出正確的狀態估計。傳感器的兩種失效情況本質上是不同的，可以從概率學的角度進行考察。傳感器失效的本質即觀測丟失，系統觀測總是假定包含了被估狀態或信號的信息，然而由于傳感器失效造成觀測僅包含噪聲或者噪聲占主要比重問題，視覺SLAM算法將以一定的概率利用的信息進行定位與建圖。取值為0或1的伯努利白噪聲序列是描述丟失觀測的一種重要方法。假設系統模型如下：

式中：()∈R是系統狀態（位姿及標志點空間坐標）；()∈R是觀測圖像；()∈R表示加性過程噪聲；()∈R表示加性觀測噪聲；∈R和∈R是帶適當維數的已知常矩陣。根據傳感器的失效分類，()表示某種概率分布，一般可描述為伯努利分布和非伯努利分布兩種。

（1）伯努利分布

()是取值為0或1的伯努利白噪聲，且已知概率為：

當()=1時，觀測()被正常接收；而當()=0時，觀測()=()，僅有噪聲信號被接收，即未包含狀態()的信息，此時視覺SLAM完全失效。這種情況即對應著傳感器物理損壞，造成無法接收有效信息。

（2）非伯努利分布

當()是在區間[,]上（0≤≤≤1）服從已知概率密度函數()的非伯努利白噪聲序列時，觀測中包含部分狀態()的信息，此時視覺SLAM部分失效。這種情況則對應著部分硬失效，傳感器只能接收部分有效信息，可通過改善視覺SLAM算法來補救，比如通過增加閉環檢測。

2 視覺SLAM失效檢測算法

2.1 圖像質量綜合評價算法

現在常用的客觀評價方法分為：MSE和PSNR模型，基于SSM的方法和基于HVS的方法。MSE 和PSNR忽視了圖像的實際內容對人眼的影響，很難與主觀評價相一致；基于SSM的結果與圖像的主觀視覺質量基本一致，但計算過程相對復雜；基于HVS的方法只能依據一定的假設前提進行，目前對它的認知還很有限。無人系統運動過程中，掃描單元始終處于一種無約束狀態，圖像質量將受到各種因素的影響。為此，針對圖像的特征，本文將利用客觀評價方法，建立評價模型，分別對對比度、亮度、清晰度和信息量做出評價，最后得到一個綜合的評價結果，作為是否失效的依據。

（1）對比度評價

SLAM圖像的對比度受直方圖控制，通常對比度較高的圖像其直方圖分布較寬，理想情況下覆蓋整個灰度范圍，反之則對比度較低。對比度越高，則越有利于SLAM特征的提取。為此，定義圖像對比度評價系數為λ，則其求解如下：

式中：(r)為圖像的歸一化直方圖；r表示第級灰度；n表示灰度級為r的像素個數；為圖像像素總數。

（2）亮度評價

對于SLAM圖像，過亮或者過暗都不利于后續特征提取或者匹配，可以基于平均灰度來定義聯亮度評價因子λ，則其評價函數為：

式中，為圖像像素的平均灰度值，即：

其中，、分別為圖像的行數和列數。

（3）清晰度評價

SLAM圖像同樣會受到模糊的影響，包括離焦模糊和運動模糊，前者主要是由鏡頭與周圍物體表面的距離較大變化引起，后者則是由于運動劇烈造成。本文選用拉普拉斯算子定義模糊度評價函數，其對于離焦模糊和運動模糊評價都有很好的效果。設其評價因子為λ，定義如下：

其中，=∑|4(,)-(,-1)-(,+1)-(-1,)-(+1,)|。

（4）總體評價

在對每個分項進行評價后，須給出一個總體的評價，設總體評價得分為，則：

其中，μ、μ、μ分別為3個評價分項的權重系數。綜合反映了圖像質量，決定著該幅圖像是否有效，而權重系數的合理取值決定著評價的科學性。

2.2 模擬圖像退化系數求解算法

本文將采用模擬可控退化圖像的方式，確定式（8）中的權重系數。視覺SLAM在運行過程中，可能存在各種干擾，見表1所列。但各種干擾的出現概率不一，如果單純靠實驗進行失效算法驗證，則樣本缺乏多樣性，所得結果缺乏魯棒性，同時對于失效檢測算法的優化也缺少相應的數據支持。為此，本文將基于退化仿真的手段，對原始標準圖像進行加噪、模糊、灰度/對比度變化、位移形變、降采樣等圖像處理，如圖1所示。在此各種處理可任意組合調用，同時通過調整各種處理參數，實現由一張圖像生成一批不同退化形式、不同退化程度的圖像數據集，實現干擾工況的充分模擬和數據增廣。

表1 常見干擾與算法實現方法

圖1 圖像退化處理

選用標準的棋盤格圖像分別進行加噪、模糊和對比度處理，以目前視覺SLAM常用的ORB角點提取算法作為圖像退化評價的基準，定量評價各種退化處理對ORB角點提取產生的影響，其結果如圖2所示。

圖2 棋盤格圖像退化對特征提取的影響

由圖中可以看出，圖像退化對于ORB特征的提取都會產生負面影響，模糊退化對于ORB角點提取的影響最大。本文將以特征檢測錯誤率定量描述不同退化產生的影響，具體見表2所列。

表2 圖像退化特征檢測

同時也可推出，特征檢測錯誤率越高說明其對應的指標權值越大，錯誤率越低說明其對應的指標權值越小。這里可根據角點提取的錯誤率確定權重并進行歸一化：

其中：γ、γ、γ分別為亮度、對比度和模糊退化的錯誤檢測率；μ表示任意一種評價指標的權重。通過對不同形變條件下的20幅棋盤格圖像進行實驗，分別計算權重系數，最后取均值，結果見表2所列。以上述圖像為例，設定允許的錯誤率為0.05條件下，通過估計可得圖像的綜合評價閾值為2.7，當大于該閾值時，圖像的錯誤率將滿足要求，反之則不滿足。對于SLAM而言，在無人駕駛等場景下可靠性要求更高，對于錯誤判斷的容忍度更小，為此可通過提高閾值，從而提高判斷正確的指標。

3 實驗及分析

本文通過對真實場景不同程度的退化圖像進行評價，然后對照其ORB提取結果，以此驗證算法的有效性。這里分別采集了一組細節程度不同的圖像，并分別對其進行亮度、對比度及清晰度退化，如圖3所示。

圖3 單一圖像退化對特征提取的影響

根據上述圖像對其進行綜合評價，結果見表3所列，通過與閾值2.7進行比較，發現三種退化都將造成圖像失效，與主觀觀察得出的結論一致。

表3 簡單場景圖像質量評價

實際SLAM運行過程中，圖像退化往往是幾種退化綜合作用產生的結果，為此將通過組合各種退化模擬實際場景，如圖4所示，分別綜合使用了亮度與模糊退化、對比度與模糊退化，前者評價分值為1.4，后者評價分值為1.3，二者都低于閾值2.7，算法判定為失效，該結論與主觀觀察得出的結論一致。

圖4 綜合圖像退化對特征提取的影響

4 結 語

基于圖像質量評價的方法重點研究了視覺SLAM失效檢測方法，定義了評價指標體系，應用標準棋盤格標準圖像模擬視覺SLAM運行過程中可能產生的退化；按照退化對于特征提取的影響程度成正比的關系，確定了不同指標的權重，根據閾值方法進行失效評判。實驗表明，文中提出的失效檢測算法能夠有效檢測各種退化圖像，并且可以輔助視覺SLAM線上實時運行，具有穩定可靠的特點。今后將繼續優化算法設計，不斷提升算法效率。