基于Harris-改進LBP的特征匹配及目標定位算法

張 震, 張照崎, 朱留存, 苗志濱, 王驥月, 李修明, 趙成龍, 張坤倫

(1. 北部灣大學 先端科學技術研究院, 廣西 欽州 535001； 2. 大連理工大學-立命館大學國際信息與軟件學院, 遼寧 大連116085；3. 廣西機械工業研究院有限責任公司, 廣西 南寧 530007)

0 引 言

圖像局部特征點在不同觀察場景下不變地反映圖像信息, 廣泛應用于目標定位[1-2]、 圖像配準與圖像拼接[3-5]、 目標識別[6]和SLAM(simultaneous localization and mapping)[7-8]等領域, 已成為計算機視覺領域的研究熱點. 這類方法首先對圖像中顯著特征進行提取, 然后利用提取特征的描述子完成兩張圖像間特征的匹配, 再通過特征匹配關系建立圖像間的幾何變換模型[8-9], 特征點檢測算法大多數基于灰度的一階或二階導數尋找極值點. Harris等[10]提出了經典的Harris特征點檢測算法, 對圖像旋轉、 光線變化、 噪聲和視點變換不敏感; Rosten[11]提出了FAST特征點檢測算法, FAST算法速度較快, 但易受噪聲影響. 上述特征點檢測算法都基于單一尺度, 之后研究者們提出了能適應多尺度變化的特征檢測算法, 如SIFT算法[12]和SURF算法[13], SURF是SIFT的改進算法. 這類算法需要用Laplace算子或高斯差分算子構建尺度空間, 增加了計算復雜度和匹配識別的難度, 實時性較差. 文獻[10-11]僅關注于特征點檢測, 并未給出描述子定義算法和匹配算法. SIFT算法[12]在特征點周圍取16×16的鄰域, 再將鄰域化為4×4個小區域, 每個小區域統計8個方向梯度, 得到128維的向量作為描述子. SURF算法[13]在特征點周圍取一個具有方向的正方形鄰域, 再劃分為16個子區域, 每個子區域統計4個Haar小波特征, 得到64維的向量作為描述子. 上述描述子信息豐富, 但運算代價較高, 占用內存大. Calonder等[14]提出的BRIEF描述子, 極大節省了內存空間； Rublee等[15]對BRIEF描述子進行改進提出了ORB算法, 根據角度參數提取BRIEF描述子, 使其具有旋轉不變性. 近幾年， 相繼提出了一些改進融合算法[16-23], 如文獻[16]實現了Harris算法與Hist算法的融合; 文獻[20]和文獻[22]分別對SURF和SIFT算法做了改進， 均取得了較好的實驗效果.

本文應用背景源于機器人視覺伺服抓取, 對定位精度和實時性要求較高. 經典的SIFT和SURF算法雖適應范圍廣、 魯棒性好, 但實時性較差； ORB算法運行速度快, 但定位精度較低. 因此本文首先選擇Harris算法[10]提取特征點; 然后采用胡矩確定特征方向, 根據特征方向獲取標準化局部圖像, 提取標準化局部圖像的LBP特征[24]作為特征描述子； 在特征匹配階段, 通過計算兩張圖像中各特征點描述子間的漢明距離實現特征匹配; 最后根據匹配結果, 定位目標在場景圖像中的位置, 算法流程如圖1所示.

圖1 算法流程

1 Harris圖像特征點提取算法

Harris算法[10]思想： 先以待檢測點為中心加窗, 獲取窗內像素強度; 然后移動窗口, 重新獲取窗內像素強度, 計算窗口移動前后強度差. 若沿任意方向移動窗口, 強度差值均很大, 則認為待檢測點為特征點.

根據上述思想可定義計算公式為

(1)

其中W(x,y)為高斯窗口,u,v為以待檢測點為中心的偏移量. 由Taylor公式,

可近似為

(2)

則有

(3)

R=detM-k(trM)2.

(4)

根據經驗k=0.04～0.06, 特征檢測結果如圖2所示. 其中： (A)為原始圖像； (B)為原始圖像檢出的特征點； (C),(D)分別為(A)旋轉10°,-10°后檢出的特征點. 實驗中, 將最大特征響應強度的0.1倍作為閾值. 由圖2可見, Harris特征點具有旋轉不變性.

圖2 Harris特征點檢測結果

2 LBP的特征描述子定義

以特征點為中心截取局部圖像, 計算局部圖像的質心, 規定中心到質心的向量為特征點方向θ. 將局部圖像旋轉-θ, 得到標準化局部圖像. 提取標準化局部圖像的局部二值模式(LBP)特征作為特征描述子, 特征描述子生成過程如圖3所示, 步驟如下.

圖3 特征描述子生成過程

1) 以特征點為中心截取局部圖像, 本文取21×21窗口, 截取局部圖像放大分別如圖3(B),(C),(D)上方左側小圖所示.

2) 計算局部圖像的質心(Cx,Cy)：

為保持旋轉不變性, 按圓形鄰域取樣, 計算公式定義為

(5)

其中wx和wy為灰度圖像橫縱坐標,vx和vy為特征點橫縱坐標,rwindow為取樣窗口半徑, 圖3(A)淺灰色圓形區域為按式(5)設計的取樣窗口, 窗口大小為21×21, 取到圓形鄰域內349個點, 取樣窗口大小可根據實際需要做調整.

3) 確定特征點方向θ：

各特征點方向如圖3(B),(C),(D)中白線所示.

4) 將局部圖像旋轉-θ, 截取圓形鄰域內的15×15子圖像作為標準化局部圖像. 15×15采樣窗口如圖3(A)中深灰色區域所示, 步驟1)中截取的21×21局部圖像, 通過旋轉-θ, 截取得到15×15標準化局部圖像分別如圖3(B),(C),(D)上方中間小圖所示.

5) 提取標準化局部圖像LBP特征作為特征描述子.

傳統LBP在一個3×3的圖像塊中對區域進行描述, 將中心像素的灰度作為閾值, 與其8個鄰域像素的灰度值對比并二值化, 小于該閾值置1, 否則置0, 然后與加權矩陣對應的值相乘, 得到8位二進制串作為LBP特征, 原理如圖4所示[24], 該描述子具有速度快、 不受光照變化影響的優點.

圖4 傳統LBP原理

實驗表明, 直接采用傳統LBP提取的特征描述在特征匹配過程中算法性能較差, 這是因為提取的特征點位置難免有誤差, 且特征點坐標位置是浮點型, 在取整過程中也存在誤差, 這種誤差的累計對特征匹配影響較大. 因此, 本文對傳統LBP算法進行改進, 方法如圖3(A)中深灰色區域粗實線所示, 將15×15標準化局部圖像分成5×5個子塊, 將每個子塊(3×3個像素)作為一個整體, 然后進行LBP特征提取, 該步驟采用積分圖像法提高速度. 針對5×5個子塊, 可提取到3×3個LBP特征作為特征點的描述子, 如圖3(B),(C),(D)上方矩陣所示. 改進后的LBP算法可削弱特征點定位誤差的影響, 使匹配過程中算法的穩定性得到改善.

3 特征匹配與目標定位算法

特征匹配的依據是特征點描述子間的相似度, 本文采用漢明距離作為度量標準, 即待匹配兩個描述子間9個二進制串中不相同位的個數.

特征匹配步驟如下：

1) 選擇標準圖像中的任意描述子G[m];

2) 在場景圖描述子中尋找G′[n], 使得d(G[m],G′[n])最小;

3) 若d(G[m],G′[n])<τ, 則認為標準圖像特征點m與場景圖像特征點n匹配(τ為閾值).

特征匹配結果如圖5所示, 每條連線對應的兩點為匹配的特征點.

目標定位過程如下：

1) 尋找兩組匹配特征點間的變換關系, 即估計歸一化單應性矩陣：

(6)

2) 根據標準圖像4個頂點坐標, 利用式(6)計算對應場景圖像4個頂點的坐標, 從而定位目標. 目標定位結果如圖5所示, 紅色框定位了標準圖像在場景圖像中位置, 利用式(6)可計算標準圖像每個像素點在目標圖像中的位置.

圖5 旋轉10°(A)和-10°(B)特征匹配及目標定位結果

4 實驗結果對比分析

圖6～圖9分別為本文算法與SIFT[12],SURF[13],ORB[15]算法的匹配及定位效果對比. 圖6～圖9分別采用Lena圖像、 Barche圖像、 Goldhill圖像和Barbara圖像作為標準圖像, 各自旋轉10°后作為場景圖像. 通過調整算法參數, 4種算法特征匹配數量基本相同. 觀察發現, SIFT及本文算法定位精度差異較小, 但均好于SURF和ORB算法. 下面以圖7中Barche圖像為例進行實驗數據對比, 衡量4種算法的運行速度和定位精度. 定位精度實驗中, 考慮到機器人視覺伺服抓取過程, 相機位置固定, 工件圖像只發生位置偏移和旋轉變化, 不存在尺度變化和仿射變換, 因此主要對平移和旋轉誤差進行對比.

圖6 不同算法的Lena圖像匹配及定位效果對比

圖7 不同算法的Barche圖像匹配及定位效果對比

實驗環境： 電腦主頻3.6 GHz, 內存16 GB, 操作系統Win10 64位, 開發平臺VSC++. 其中, SIFT,SURF,ORB算法實現調用了OPENCV庫函數. 由于SIFT,SURF算法已申請專利, 不能在RELEASE模式下運行, 為具可比性, 4種算法均在DEBUG模式運行. 表1為Barche圖像各角度下不同算法定位過程運行時間的對比.

表1 不同算法運行時間(ms)對比

由表1可見: ORB算法耗時最少； 本文算法次之, 約為ORB算法的3倍； SURF和SIFT算法實時性較差, 耗時約為ORB算法的9倍和15倍.

平移誤差定義為： 定位中估計的4個邊界頂點坐標與場景中對應4個實際邊界頂點坐標之間距離的最大值. 表2為各角度下不同算法定位過程平移誤差的對比. 由表2可見： SIFT算法精度最高, 誤差均值為0.52, 誤差最大值為0.77； 本文算法略差于SIFT算法, 誤差均值為0.63, 誤差最大值為1.15； SURF算法誤差均值為1.18, 誤差最大值為5.60； ORB算法精度最差, 誤差均值為3.31, 誤差最大值為7.22.

圖8 不同算法的Goldhill圖像匹配及定位效果對比

圖9 不同算法的Barbara圖像匹配及定位效果對比

旋轉誤差定義為： 定位中估計的4條邊界線與場景對應4條實際邊界線角度偏差絕對值的最大值. 表3為各角度下不同算法定位過程旋轉誤差的對比. 由表3可見： SIFT算法精度最高, 誤差均值為0.02, 誤差最大值為0.04； 本文算法精度次之, 誤差均值為0.15, 誤差最大值為0.25； SURF算法誤差均值為0.44, 誤差最大值為1.05； ORB算法精度最差, 誤差均值為0.50, 誤差最大值為1.84.

實驗結果表明： 本文算法定位精度略差于SIFT算法, 明顯優于SURF和ORB算法； 定位速度慢于ORB算法, 遠好于SIFT和SURF算法, 能滿足實時性要求. 基于本文應用背景, 本文算法綜合表現最好, 已應用于5軸機器人伺服定位抓取系統, 經過近30 d實際驗證表現出良好的穩定性.

表2 不同算法平移誤差(像素)對比

表3 不同算法旋轉誤差(°)對比

綜上所述, 本文算法通過改進傳統LBP定義的特征描述子, 具有定位精度高、 運行速度快、 魯棒性好、 不受光照變化影響的優點. 但在特征提取過程中保留了Harris算法對尺度變化敏感的不足, 在描述子生成過程中旋轉子圖像步驟耗時較多.