粗精結(jié)合的室內(nèi)機(jī)器人視覺定位方法

唐國棟，方 明,2+，雷立宏

(1.長春理工大學(xué) 計算機(jī)科學(xué)技術(shù)學(xué)院，吉林 長春 130022；2.長春理工大學(xué) 人工智能學(xué)院，吉林 長春 130022)

0 引 言

由于室內(nèi)環(huán)境一般較為復(fù)雜，存在建筑物遮擋，行人闖入等情況。因此，移動機(jī)器人室內(nèi)定位技術(shù)已逐漸受到關(guān)注。

Google公司曾將GPS與Wi-Fi技術(shù)相結(jié)合[1]，對具體位置進(jìn)行標(biāo)記從而實現(xiàn)室內(nèi)定位；北京航天航空大學(xué)的王田苗教授將多傳感器數(shù)據(jù)融合提出了一種基于無線定位的單目視覺定位相結(jié)合的傳感器融合室內(nèi)定位方法[2]；盡管這些方法在室內(nèi)定位中也有明顯的成效，準(zhǔn)確度也較好，但由于相關(guān)的儀器設(shè)備成本較高、受周邊環(huán)境影響因素較大、部署繁瑣等問題，使在實際應(yīng)用中會存在諸多困難。因此，基于計算機(jī)視覺的定位方法由于其設(shè)備成本較低，部署容易，被廣泛重視。

目前，基于機(jī)器視覺的室內(nèi)定位方法主要通過視覺傳感器不斷地獲得更多當(dāng)前場景的特征，矯正自身的位置與姿態(tài)，并利用圖像中的特征信息來進(jìn)行場景環(huán)境的定位與建模[3]。但由于視覺傳感器成像過程容易受到光照變化、行人闖入[4]等問題的影響，導(dǎo)致該方法一般精準(zhǔn)度不高，這也是現(xiàn)如今視覺室內(nèi)定位研究的主要難題。為實現(xiàn)低成本高精度的室內(nèi)定位算法，本文將指紋定位思想引用到視覺定位中。用指紋定位技術(shù)來縮小定位范圍，再將定位場景轉(zhuǎn)移到天花板中進(jìn)行精確定位，從而避免了周圍環(huán)境變化對定位結(jié)果的影響。

1 方 法

如圖1所示，本文方法主要是通過實驗室自制的輪式機(jī)器人為搭載平臺。其搭載4個水平方向且視場角均為80°的單目相機(jī)及1個朝向正上方且視場角為120°的單目廣角相機(jī)。系統(tǒng)的總體工作流程如圖2所示。在預(yù)處理工作中獲取圖像信息并生成指紋信息庫。定位工作中，采用由粗匹配到精確定位相結(jié)合的方法。在粗匹配中通過測試圖信息與指紋庫中的信息進(jìn)行匹配來縮小定位范圍，再到精確定位中計算精確的位移及偏轉(zhuǎn)角度，達(dá)到最終定位目的。

圖1 機(jī)器人視野

圖2 定位流程

1.1 預(yù)處理

首先，通過單目廣角相機(jī)，對室內(nèi)實驗天花板進(jìn)行圖像采集，同時使用4個單目相機(jī)對室內(nèi)四周環(huán)境進(jìn)行圖像信息采集。之后，提取圖像中的紋理特征，找到當(dāng)前圖像的中心點及機(jī)器人當(dāng)前位置記錄下來形成信息庫；在實驗室中進(jìn)行不同位置的環(huán)境信息采集，用于后期的粗匹配定位。

(1)指紋信息庫生成

對采集到的室內(nèi)環(huán)境圖像(大小為：640×480)進(jìn)行灰度化處理；利用分塊的方法將圖像分成8×8平均大小的子塊，通過DCT變換[5,7]和反變換[5]對各子塊進(jìn)行處理，保留其左上角4×4的系數(shù)，并利用相關(guān)系數(shù)組合成新的矩陣，此時，圖像大小縮小為320×240；按固定順序?qū)⒖s小后的4幅環(huán)境圖拼接成1280×240新矩陣D，通過白化及奇異值分解的方法[5,6]提取出圖像中的特征向量P，起到降低冗余度與降維的目的，最后，令G=PD，得到一個1280×1的全局特征向量G(具體公式推導(dǎo)請參見文獻(xiàn)[5-7])；顯然，每一個位置的4幅圖都可以用一個全局特征描述向量作為指紋信息來表示，多個地點的圖像指紋信息形成指紋信息庫。

(2)天花板信息處理

在室內(nèi)場景中，由于天花板的結(jié)構(gòu)較為簡單，不會存在物體闖入的情況且不易受干擾，但其特征信息較少，所以需要對其進(jìn)行圖像信息處理，通過邊緣檢測算法對天花板圖像進(jìn)行邊緣提取，再通過改進(jìn)的自適應(yīng)中值濾波對圖像進(jìn)行優(yōu)化，從而將測試圖中天花板中的紋理信息提取出來，最后記錄圖像中心點并標(biāo)記。

1.2 定 位

采用粗匹配定位與精確定位相結(jié)合的方法，在粗匹配中縮小定位范圍，再通過精確定位在小范圍內(nèi)計算位移與偏轉(zhuǎn)角，完成定位。

(1)粗匹配定位

同生成信息庫的方法類似，對測試圖中的環(huán)境信息圖像生成指紋信息，并與指紋庫中的信息進(jìn)行對比找到匹配率最高的一組信息作為匹配結(jié)果，完成粗匹配定位。

目前特征匹配算法主要面臨著匹配精準(zhǔn)度高的方法運行時間較長，運行速度快的匹配算法其穩(wěn)定性差的難題，一般導(dǎo)致這種情況的問題在于鄰域一致性約束的利用，由于稀疏特征的鄰域在定義上十分復(fù)雜，一致性特征匹配的計算比較繁瑣。我們選用GMS(grid-based motion statistics for fast)[8]方法，能很好地解決這個問題。其核心思想是憑借運動的平滑性使匹配的特征點鄰域有較多匹配的點，通過計算鄰域的匹配點個數(shù)來判斷一個匹配正確與否。

其實現(xiàn)過程如下：①將待匹配圖像分成20×20網(wǎng)格塊，對每一塊中的特征匹配個數(shù)進(jìn)行統(tǒng)計，由于許多特征位于網(wǎng)格邊緣，為解決這種情況，采用多次計算來減少誤差，分別在 (x,y) 點及x和y方向上各移動半個單元寬度的情況下進(jìn)行計算；②以3×3的網(wǎng)格為模型進(jìn)行閾值計算；③正確與錯誤匹配的鑒別，公式如下

(1)

圖3為GMS方法的網(wǎng)格模擬，其中I1,I2,…,I9為I鄰域內(nèi)各自匹配個數(shù)；J1,J2,…,J9為J鄰域內(nèi)各自匹配個數(shù)。

圖3 網(wǎng)格

當(dāng)要判斷 {i,j} 是否為正確匹配時，將i鄰域內(nèi)的各網(wǎng)格內(nèi)的匹配數(shù)中加入其自身權(quán)重wi，從而達(dá)到自適應(yīng)性，如下式

(2)

式中：Mi為i鄰域網(wǎng)格中匹配數(shù)的中值，gik表示為鄰域中各網(wǎng)格位置的匹配數(shù)(k=1,2,…,9)，Ti公式如下

(3)

式中：N為3×3網(wǎng)格的格數(shù)9。

將式(2)與式(3)整合后公式為

(4)

再將ni代入回式(1)進(jìn)行鑒別運算。

如圖4所示，我們通過3種優(yōu)化算法對ORB[9]特征匹配結(jié)果進(jìn)行優(yōu)化，由圖4(a)可以看出ORB特征匹配算法匹配對的線條相互交錯，存在較多的錯誤匹配；傳統(tǒng)的RANSAC[10]優(yōu)化方法雖排除了一些錯誤匹配，但仍然有錯誤的匹配沒有被優(yōu)化掉，圖4(b)中依舊可以看到交錯的匹配對；圖4(c)中GMS優(yōu)化方法很好的將所有的錯誤匹配排除掉，匹配對之間較為順滑，方向較為一致，但匹配對的數(shù)量較少，許多正確的匹配已被誤處理掉；而圖4(d)中的匹配對不僅數(shù)量較多，而且較為順滑，可以看出本文提出的改進(jìn)的GMS優(yōu)化方法不但可以抑制錯誤匹配，而且盡可能保留更多的正確匹配。

圖4 匹配優(yōu)化對比

(2)精確定位

通過對測試圖像中的天花板圖像進(jìn)行處理，得到其紋理特征與圖像中心點坐標(biāo)并進(jìn)行標(biāo)記，再運用σ=1.5的高斯函數(shù)對梯度做平滑處理，減小噪點影響，通過Harris關(guān)鍵點檢測算法來提取測試圖與匹配結(jié)果圖中的關(guān)鍵點，利用ANMS[11]方法對得到的關(guān)鍵點進(jìn)行擇優(yōu)，再通過改進(jìn)的GMS對匹配后的結(jié)果進(jìn)行優(yōu)化，從而達(dá)到最佳的匹配結(jié)果，將最佳匹配結(jié)果作為兩圖之間關(guān)系模型，通過透視變換將匹配得到的原數(shù)據(jù)集中的天花板信息與測試圖像中的天花板信息進(jìn)行融合、拼接[12]，從而得到一張包含兩張圖像信息的融合圖。因為透視變換[13]是利用透視中心、像點、目標(biāo)點3點共線的原理，經(jīng)過透視變換后原圖中的直線關(guān)系在變換后的圖中依舊可以維持(透視變換原理請參照文獻(xiàn)[13])。再對融合圖像進(jìn)行圖像處理找到融合圖像中原兩幅圖像的相應(yīng)點，計算融合圖像中的原兩幅圖像中心點位置，通過式(5)得到兩點之間的距離，即為其位移

(5)

最后通過變換矩陣來計算疊加后測試圖圖像的4個角點坐標(biāo)值，對任意相鄰兩角點求Δx，Δy，通過式(6)計算偏轉(zhuǎn)角

(6)

通過檢測融合后圖像中原兩幅圖像中的圖像中心位置差來計算位移差，兩張圖像融合的透視變換矩陣來計算機(jī)器人當(dāng)前的偏轉(zhuǎn)角度，從而實現(xiàn)精確定位，其整體流程如圖5所示。

圖5 精確定位流程

2 實 驗

本實驗中的室內(nèi)環(huán)境選用的是占地面面積為60 m2、高度為2.8 m的實驗室場地，通過在室內(nèi)12個不同的位置進(jìn)行相關(guān)的信息采集，分別獲取當(dāng)前位置的四周環(huán)境4張圖像與天花板1張圖像作為當(dāng)前位置的相關(guān)信息，然后在實驗室任意一個位置采集相關(guān)數(shù)據(jù)作為測試用例，并通過場景中闖入行人的方式，驗證算法對場景存在局部變化的魯棒性。

2.1 室內(nèi)定位

將測試圖像生成指紋信息與指紋庫中的信息進(jìn)行比較，得到匹配度最高的一組數(shù)據(jù)完成粗匹配，再對天花板進(jìn)行處理計算位移與偏轉(zhuǎn)角，如圖6所示。

圖6 本文定位方法結(jié)果

在室內(nèi)12個不同位置采集圖像集并生成指紋信息，將測試信息圖6(a)與指紋庫信息進(jìn)行粗匹配，得到的匹配結(jié)果如圖6(b)所示，相應(yīng)的指紋匹配結(jié)果如圖6(c)所示。

將測試圖中的天花板圖與匹配結(jié)果圖中的天花板圖相融合，如圖6(d)所示。其中虛線為融合后天花板中原測試圖與匹配結(jié)果圖的圖像邊界，圓點為兩幅圖像的中心點，通過計算兩點間距離得到位移為distance≈204.6 cm。

為進(jìn)一步驗證本實驗方法在室內(nèi)定位中的性能，我們使用廣泛應(yīng)用于特征提取與匹配的pHash[14]、ORB與指紋方法進(jìn)行對比實驗分析。其中ORB是局部特征提取方法，pHash是全局特征提取方法。對采集間隔為10 cm的連續(xù)圖像進(jìn)行測試，來測試定位的準(zhǔn)確度，圖7(a)、圖7(b)分別為測試圖像與匹配結(jié)果圖像。通過測量發(fā)現(xiàn)測試圖與匹配圖結(jié)果之間的實際距離仍然存在10 cm的誤差，我們將在下一步的精確定位中進(jìn)一步抑制該誤差。

圖7 匹配結(jié)果對比

圖8為上述3種方法的粗匹配精度對比。其中，橫軸表示不同位置采集到的圖像集，ORB的縱軸表示匹配點個數(shù)，pHash與指紋方法的縱軸都表示匹配度。

圖8 粗匹配結(jié)果對比

通過精確定位計算，測得融合后天花板中原測試圖與匹配結(jié)果圖的圖像中心點，兩點間的橫坐標(biāo)距離差為dx=9.0 cm，兩點間縱坐標(biāo)距離差為dy=0.5 cm，兩點間距離為distance≈9.0 cm。

對以上多組實驗數(shù)據(jù)進(jìn)行對比，結(jié)果見表1。表中A表示測試圖在指紋庫中得到最優(yōu)匹配圖像的序號，B表示匹配成功的點對數(shù)量。顯然兩圖位置越接近該數(shù)量越大。C代表測試圖像與指紋庫中最優(yōu)匹配圖像的匹配相關(guān)系數(shù)，其值越大，表示兩圖之間距離越小。D代表距離差，單位為厘米。H表示為應(yīng)該匹配到的正確序號。ORB、pHash、指紋的誤差為單位向量，精確度到分米，而本文的誤差可以精確到厘米。

由表1中的數(shù)據(jù)可以看出本文的方法更精確，誤差值在4 cm之內(nèi)；由于ORB算法對變化較少的連續(xù)圖像無法較好的區(qū)分，容易產(chǎn)生誤判情況[9]，因此當(dāng)圖像采集的越密集，其間相似度越高時，ORB匹配誤差也就越大；pHash算法是對整張圖像進(jìn)行匹配,當(dāng)室內(nèi)環(huán)境變化較小時，其區(qū)分效果較差，從而使其準(zhǔn)確率下降；指紋匹配由圖像采集密集度來決定準(zhǔn)確率，當(dāng)圖像越密集時，其精度越高，從而也說明其內(nèi)部數(shù)據(jù)較多，前期工作量大；而本文的方法受圖像的密集度影響較小，且有著較高的精準(zhǔn)度。

表1 匹配結(jié)果對比

為驗證本文的計算效率，對以上多組實驗數(shù)據(jù)進(jìn)行粗匹配計算效率對比，在Matlab2016編程環(huán)境下運行，并得出不同方法的匹配準(zhǔn)確率(正確的匹配次數(shù)與實驗的總結(jié)果次數(shù)之比)與每組數(shù)據(jù)的平均匹配時間，見表2。

表2 計算效率對比

由表2可以看出ORB方法耗時最少，由于ORB方法采用了實現(xiàn)簡單的FAST特征點檢測法，但其準(zhǔn)確率較低。pHash與本文的方法都可以通過一個矩陣來描述一幅圖像的特征，匹配時只需計算矩陣的相關(guān)性，從而節(jié)省大量時間，但本文方法的準(zhǔn)確率上高于其它方法。

上述室內(nèi)實驗是在開燈狀態(tài)下進(jìn)行的測試。下面，我們再對關(guān)燈下的情況進(jìn)行對比實驗，驗證光照變化對本實驗的影響，如圖9所示。

圖9 光照對比結(jié)果

通過實驗測得融合后天花板中原測試圖與匹配結(jié)果圖的圖像中心點的坐標(biāo)，兩點間的橫坐標(biāo)距離差為dx=10.6 cm，兩點間縱坐標(biāo)距離差為dy=1.4 cm，其距離為distance≈11.5 cm。 由計算結(jié)果可以看出光照對本實驗影響較小，在不開燈的情況下，本方法依舊可以完成精確定位。

為驗證本文方法的適應(yīng)性，在90 m2的室內(nèi)環(huán)境中進(jìn)行定位實驗，將測試圖如圖10(a)輸入定位系統(tǒng)中得到的粗匹配結(jié)果如圖10(b)所示，兩圖之間的位置距離相差20 cm，經(jīng)過精確定位后得到的位移為distance≈19.4 cm。

由于室內(nèi)存在人流穿梭、物體突然闖入等情況，所以對此情況進(jìn)行行人闖入對比實驗，驗證本文方法的適應(yīng)性，實驗結(jié)果如圖11所示。

圖10 匹配結(jié)果對比

圖11 行人闖入情況的場景4

通過本文的精確定位，計算得到的位移值為distance≈18.4 cm。 由圖12可以看出3種方法的粗匹配結(jié)果與正確的匹配位置4都有所偏差，其中每個圖像集序列之間間隔為10 cm。ORB、pHash、指紋的方法在遇到測試圖與其自身數(shù)據(jù)集圖像的差異較大時其匹配效果較差，而本文的方法經(jīng)過精確定位后可以計算出粗定位的誤差值，較為準(zhǔn)確完成最終定位,從而改善周圍環(huán)境變化對定位準(zhǔn)確度的影響。

圖12 粗匹配結(jié)果對比

為驗證行人闖入場景中面積大小對本實驗粗匹配精度影響，在上述行人闖入實驗中場景4的環(huán)境下，以3號相機(jī)為例，在其視野中增加多種面積的行人闖入情況。如圖13 所示，其中圖13(a)～圖13(h)表示不同行人闖入面積大小的效果，通過粗匹配定位計算得到相應(yīng)的匹配結(jié)果值，并將在場景4得到的不同匹配度進(jìn)行匯總，結(jié)果如圖14所示，其中圖像序列集為上述8種不同面積大小的行人闖入情況。由粗匹配結(jié)果可以看出當(dāng)遮擋面積較大時，粗匹配精度較差。

2.2 偏轉(zhuǎn)角

對測試圖與匹配結(jié)果圖進(jìn)行特征提取并將兩幅圖中的相同位置進(jìn)行疊加，通過相應(yīng)的變換矩陣計算偏轉(zhuǎn)角。

圖13 場景中存在行人闖入情況

圖14 粗匹配結(jié)果

手動將機(jī)器人分別順時針旋轉(zhuǎn)30°、45°、60°來計算偏轉(zhuǎn)角度，計算結(jié)果如圖15所示。再將本文的方法與目前常用的改進(jìn)相位相關(guān)[15,16]計算偏轉(zhuǎn)角的方法進(jìn)行對比，對比結(jié)果見表3。

由表3可以看出基于相位相關(guān)的方法計算偏轉(zhuǎn)角度誤差較大，并且隨著偏轉(zhuǎn)角度逐漸變大，誤差變的更大；而本文基于特征匹配及透視變換的方法可以較好的將誤差值控制在2.4°之內(nèi)，且誤差不會隨著偏轉(zhuǎn)角度越大而明顯增長。

3 結(jié)束語

針對室內(nèi)真實場景進(jìn)行定位操作，本文提出了一種由粗匹配到精確定位的室內(nèi)機(jī)器人視覺定位方法，較好地解

圖15 系統(tǒng)測得偏轉(zhuǎn)角為30.4°、46.1°、59.2°

表3 視覺定位偏轉(zhuǎn)角度/°

決了在室內(nèi)定位中由于行人闖入、亮度變化等情況發(fā)生時定位精確度變差的問題。該方法是建立在改進(jìn)的GMS算法的基礎(chǔ)上而實現(xiàn)的，通過指紋的方法對室內(nèi)位置進(jìn)行粗匹配，再通過對相應(yīng)天花板中的信息進(jìn)行自適應(yīng)GMS的匹配、疊加、旋轉(zhuǎn)等操作將粗匹配結(jié)果進(jìn)一步求精，從而達(dá)到精確定位的目標(biāo)。分析實驗結(jié)果可以得到，本文提出的定位方法，在高度為2.8 m的室內(nèi)場景中定位誤差在4 cm之內(nèi)，偏轉(zhuǎn)角度誤差在2.4°之內(nèi)，達(dá)到了較高的室內(nèi)精度標(biāo)準(zhǔn)。