基于圖像非剛性匹配的物體空間轉角檢測方法

王宇佳,楊 靜

(西安理工大學機械與精密儀器工程學院，陜西西安710048)

物體空間位姿檢測是導航、現代控制等領域的關鍵技術[1]，其中，轉角是空間位姿的重要檢測參數。基于機器視覺的檢測是通過電子化感知和理解圖像的一種非接觸式測量方法[2]，具有結構簡單，安裝方便，實時、高效等優點，得到了越來越廣泛的應用[3]。通過機器視覺識別轉角的方法已經得到國內外諸多學者的重視，Sellami M[4]構造了基于Fourier-Mellin轉換，通過對旋轉前后圖像用雙傅立葉變換，確定旋轉角度的算法；Lay等[5]利用小波變換求角度直方圖，對旋轉角度自動校正；張楠[6]提出Hough變換直線特征檢測器，使用Hough變換提取特定長度直線，分組后得到圖像主方向，以計算圖像配準中的旋轉參數。現有轉角的圖像檢測方法中，檢測相機光軸線與物體旋轉軸線是平行的，如圖1(a)所示，此時待測位姿角度轉化為平面內的角度。但在一些特殊場景，由于安裝空間受限，導致相機鏡頭軸心線與旋轉物體回轉軸線垂直，詳見圖1(b)。此時，由于透視變換導致圖像發生非剛性變形，空間角度的機器視覺測量就成為了一個難題。

在圖1(b) 相機光軸線垂直于物體旋轉軸線的情況下，物體空間轉角越大，圖像的相似度就越小，因此，可以利用圖像相似度衡量轉角大小。圖像相似度可以利用圖像的匹配程度來表征，本文基于匹配特征點的統計信息定義了圖像的相似度系數[7]。但由于透視變換，圖像發生非剛性變形[7]，圖像特征匹配的準確性和穩定性下降。為了提高圖像相似度計算的準確性，本文基于向量場一致性原理[7]，提出特征點篩選算法，解決旋轉圖像非剛性形變的特征點誤匹配問題。

圖1 相機與旋轉物體相對位置Fig.1 Relative position of the camera and the rotating object

1 空間轉角的圖像識別算法

圖2給出了相機鏡頭軸心線與旋轉物體回轉軸線垂直情況下，一個矩形物體不同姿態角的圖像。圖2(a)為初始位置(不旋轉)圖像；圖2(b)、(c)分別為30°、60°轉角下的圖像。由圖可見，以初始位置的圖像為樣本，隨著空間轉角增加，圖像形變量增大，與樣本的相似度逐漸減小，因此，可以利用相似度估計物體的空間轉角。

圖2 物體在不同空間角度下的圖像Fig.2 Image of objects in different spatial angles

兩幅圖像的相似度定義為γ：

(1)

式中，n為旋轉圖像與樣本之間的正確匹配的特征點數；P為樣本圖像的所有特征點數；γ為正確匹配的特征點數占所有特征點數的比例。

γ值表示了兩幅圖像的接近程度。若γ=1，則兩圖相似性極高，即當前圖像相對樣本位置沒有改變；若γ=0，則兩圖相似性極小，即當前圖像相對樣本轉角至少大于90°，兩圖之間幾乎沒有匹配的特征點；若0<γ<1，則兩圖有一定相似性，即當前圖像相對樣本轉角幅度在0°～90°之間[7]。

當相機光軸線垂直于物體旋轉軸線，利用特征點匹配的相似度識別物體轉角的算法流程如圖3所示。

第一步 提取特征。以物體非旋轉時的圖像為樣本提取特征點P。特征選取與圖像配準結果直接相關。本文采用尺度不變特征變換(SIFT)算子提取特征點，該算子可實時提取圖像的局部特征信息，且具有旋轉與尺度變換不變性，對隨機噪聲、光線亮度的容忍度較高等特征。

第二步 圖像初次匹配。利用k-d tree搜索策略和歐式距離進行初次特征點匹配。

第三步 圖像匹配篩選。篩選算法通常應用于特征選擇，用來剔除錯誤匹配的特征，該過程是在全部特征中選取一個準確性最高的特征子集。一般篩選算法，如RANSAC算法，在剛性變形下，能通過確定參數化模型，篩選錯誤匹配點對，效果顯著，但對非剛性形變而言，無法確定固定的變換關系，使得篩選效果不理想。針對非剛性形變，本文采用向量場一致性(VFC)算法，剔除誤匹配點，得到樣本圖像與轉動圖像之間正確匹配的特征點數n。

第四步 物體空間轉角檢測。首先標定物體轉角β與圖像相似度系數γ的線性關系，在此基礎上，利用前面得到的P以及n，由式(1)可以計算任意角度下圖像的相似度系數。然后，利用β與γ的標定關系可以得到物體轉角。

圖3 本文算法主要流程Fig.3 Main flow of the algorithm in this paper

2 基于向量場一致性的匹配篩選

向量場，又名矢量場(vector field)，是一個用向量函數定義的映射變換，該變換給場內的每個位置分配了一個向量[7]。向量場一致性算法是從包含噪聲的稀疏位置的樣本集中魯棒的插值出整個向量場[7-8]。在圖像點集中區分外點(錯誤匹配點)和內點(正確匹配點)，學習符合內點的向量場函數，將特征點匹配問題轉化為魯棒的向量場插值問題[7-8]，從而將誤匹配點剔除。

向量場一致性算法的基本假設：

1) “光滑”的向量場產生正確的匹配，服從高斯分布；錯誤匹配服從均勻分布[7]；

2) 給每個特征點賦一個隱變量，作為該點是否屬于內點的標志，內點則zn=1，外點則zn=0[7]。

根據假設，正確匹配為高斯分布，其均值為0、標準差為σ；而錯誤匹配為均勻分布，其概率密度為1/a[7]，a為待匹配圖像面積的大小。γ為正確匹配點的比例，定義數集由樣本到待匹配圖像變換過程中間參數θ：

θ={f,σ2,γ}

(2)

通過求解似然函數L(X,Y|θ)，可估計出參數θ，即得到向量場f。由似然函數定義，L(X,Y|θ)=p(θ|X,Y)，即：似然函數在數值上等于給定參數θ后，變量為X、Y的概率；

向量場f的先驗概率可表示為：

(3)

式中，λ>0為正則化參數；‖·‖為H的范數。概率p(θ|X,Y)通過貝葉斯公式求解：

p(θ|X,Y)∝p(Y|X,θ)p(f)

(4)

賦隱變量zn∈{0,1}，zn=1為正確匹配的高斯分布，zn=0為錯誤匹配的均勻分布。

由正確、錯誤匹配分布組成的混合似然概率p(Y|X,θ)表示為：

(5)

式中，D為H的維度。

(6)

將式(5)代入式(6)，得似然函數的最大似然估計量：

(7)

對p(θ|X,Y)兩邊取自然對數，得能量函數E(θ)：

(8)

由式(5)和(8)，能量函數可表示為：

(9)

zn=1時正確點高斯分布的后驗概率為pn=p(zn=1|xn,yn,θ)，由貝葉斯分布得：

(10)

通過比較后驗概率pn是否超過正確點預設閾值，繼而得出正確點的點集。

3 實驗與結果分析

3.1 實驗場景介紹

本文實驗環境：中建施工現場。具體場景：對現場施工電梯安全門進行轉角識別[7]。施工電梯安全門，是嵌于建筑物主體墻面內臨邊洞口處的安全屏障門。其通常處于關閉狀態，工作中，施工升降機到達指定樓層，要先打開該樓層安全門，工人、運輸的工具物料才得以從升降機進出該樓層[7]；但當運輸完成后，為防止安全門未關閉導致的安全事故發生，在升降機離開前，需監控安全門旋轉狀態。從節約成本角度考慮，本文選擇用機器視覺的方法對安全門狀態進行監控。攝像頭安裝在施工升降機外部。圖4和圖5為施工升降機、樓層安全門、攝像頭之間的相對位置關系。由圖5可見，安全門回轉軸線與攝像機光軸線垂直，即獲取的圖像發生非剛性形變。圖6是中建公司常用的施工電梯安全門，門左右兩側有相同的中建標識。

圖4 位置關系側視圖Fig.4 Location relationship side view

圖5 位置關系俯視圖Fig.5 Top view of location relationship

圖6 中建公司施工升降機安全門Fig.6 China construction company construction elevator safety door

3.2 實驗流程

本文通過求解旋轉的左側門與轉角0°安全門樣本的相似度，識別安全門的轉角。根據圖3算法流程，首先，獲取安全門關閉圖像(門轉角為0°)為樣本，圖像大小120×160像素。用SIFT算子搜索生成尺度空間鄰域的極大值，通過三維二次函數擬合出穩定特征點，每個特征點用32維特征向量描述；然后，建立k-d tree搜索策略，利用k-d tree搜索策略和歐氏距離(以下簡稱歐式k-d tree)建立初匹配關系；在此基礎上，利用向量一致性算法對匹配點進行篩選，得出正確匹配點；最后，利用正確匹配點計算圖像相似度系數γ值。

3.3 實驗結果分析

表1給出了左側門分別轉動5°、20°、30°、45°以及60° 5個典型位置時，不同轉角位置圖像與樣本圖像的匹配結果。表中第1列為門的實際轉角，第2列為歐式k-d tree匹配的結果(未篩選)，第3列為VFC算法篩選后的匹配結果，其中紅線表示圖像匹配點的對應關系。由表1可得：

1) 當安全門圖像轉角增大，匹配上的特征點紅色線數量逐漸減少，即隨著安全門轉角增大，匹配上的特征點數量減小，根據式(1)，也說明圖像的相似度越來越小；

表1 安全門的匹配效果對比

2) 對比表中第2、3兩列，觀察到第2列中每個轉角的圖像歐式k-d tree匹配都有交叉紅線，說明歐式k-d tree匹配存在誤匹配；而經過VFC算法進行正確匹配點篩選后，匹配點的對應關系不存在交叉紅線，匹配線方向一直、光滑。

本文的安全門樣本圖像利用SIFT算法提取特征點總數P=89。表2給出了表1中不同角度下，歐式k-d tree匹配的匹配特征點數以及VFC篩選后的匹配特征點數n。通過數據對比可見，VFC算法有效剔除了歐式k-d tree初匹配的誤匹配特征點，錯誤匹配的特征點數明顯減少。

利用表2中歐式k-d tree初匹配點數與VFC篩選匹配點數，代入式(1)可以計算得到兩種算法在不同轉角下，圖像的相似度系數。圖7給出了k-d tree初匹配與VFC篩選匹配兩種算法的相似度系數與安全門實際空間轉角β的關系。由圖可見，歐式k-d tree初匹配對應的相似度系數值變化波動較大，不具有明顯的統計學規律；經VFC算法篩選后的相似度系數值變化平滑，趨勢明顯，在10°～70°范圍內VFC算法篩選后的相似度系數與安全門實際轉角β呈線性關系。

表2 歐式k-d tree匹配和向量一致性篩選的特征點數n

圖7 兩種算法的相似度系數γ與轉角β關系Fig.7 Relationship between similarity coefficient γ and angleβof two algorithms

利用簡單的兩點標定，可以得到VFC算法篩選后的相似度系數γ與安全門實際轉角β的關系：

β=81.56-1.1×γ

(11)

由此，在有效剔除誤匹配點后，根據匹配特征點的相似度系數γ，由式(11)可以在10°～70°范圍內估計空間轉角，平均檢測誤差小于2°。

4 結 語

針對物體空間旋轉軸線與相機光軸線垂直情況下的機器視覺角度檢測問題，本文采用了圖像匹配相似度識別方法，定義了基于特征點的相似度系數。考慮到圖像非剛性幾何形變導致的誤匹配，本文利用向量場一致性算法，解決特征點誤匹配問題，提高相似度系數計算的準確性。實驗證明，基于向量場一致性算法可以有效剔除誤匹配點，通過標定相似度系數與物體轉角的關系，在一定范圍內可以利用相似度系數估計物體空間轉角。