基于幾何約束的改進(jìn)SURF算法

易業(yè)曦，陸 艷，肖業(yè)夫，周政雷，劉運(yùn)毅,2,3+

(1.廣西大學(xué) 計(jì)算機(jī)與電子信息學(xué)院，廣西 南寧 530004；2.廣西大學(xué) 廣西多媒體通信與網(wǎng)絡(luò)技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣西 南寧 530004；3.廣西大學(xué) 廣西高校多媒體通信與信息處理重點(diǎn)實(shí)驗(yàn)室，廣西 南寧 530004)

0 引 言

在計(jì)算機(jī)視覺(jué)領(lǐng)域，特征提取操作能夠提取圖像的主要特征信息，再通過(guò)匹配特征操作可實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別。作為圖像匹配的前提，圖像特征的提取會(huì)直接影響匹配處理效果[1]。尤其于工業(yè)視覺(jué)機(jī)器人領(lǐng)域，特征點(diǎn)的提取數(shù)量與匹配的精度對(duì)于后續(xù)工業(yè)機(jī)器人的操作有較大的影響。

對(duì)于經(jīng)典的特征提取與匹配算法如SIFT算法[2]、SURF算法[3]、KAZE算法[4]等都有不少學(xué)者進(jìn)行改進(jìn)與探索，其中陳天華等[5]通過(guò)改進(jìn)特征點(diǎn)描述算子，重新描述其特征點(diǎn)的方向，結(jié)合SIFT和ORB算子的特性，獲得了更強(qiáng)的旋轉(zhuǎn)與尺度不變性，實(shí)現(xiàn)了實(shí)時(shí)魯棒的匹配效果；桑書(shū)娟等[6]將分級(jí)聚類(lèi)模型與最優(yōu)節(jié)點(diǎn)優(yōu)先方法引入SURF算法中，實(shí)現(xiàn)了更高效率與更高精度的圖像篡改識(shí)別功能；李鵬等[7]利用計(jì)算幾何變換模型來(lái)優(yōu)選特征點(diǎn)，并在KAZE算法基礎(chǔ)上利用空間約束來(lái)提高匹配速度和精度，最后采用均方根誤差迭代法剔除錯(cuò)誤匹配點(diǎn)，實(shí)現(xiàn)了具有更強(qiáng)適應(yīng)性的多遙感影像匹配。

以上文獻(xiàn)中可見(jiàn)學(xué)者們主要對(duì)幾種經(jīng)典的圖像進(jìn)行研究，在理論上對(duì)算法進(jìn)行改進(jìn)，或者通過(guò)結(jié)合新的模型來(lái)提高特征提取與匹配算法的精度與效率，而針對(duì)于某一特定領(lǐng)域如工業(yè)領(lǐng)域的改進(jìn)與研究較少。因此本文結(jié)合實(shí)際工業(yè)現(xiàn)場(chǎng)中的環(huán)境與作業(yè)需要，對(duì)經(jīng)典的SURF算法進(jìn)行改進(jìn)，以期在工業(yè)應(yīng)用中能獲得更好的性能。

1 基于曲線幾何約束的聚類(lèi)算法過(guò)濾規(guī)則

在實(shí)際工業(yè)生產(chǎn)環(huán)境上采集到的工件圖像,可能會(huì)受現(xiàn)場(chǎng)光線或粉塵、工業(yè)機(jī)器人的運(yùn)動(dòng)干擾以及工作臺(tái)背景損耗造成的復(fù)雜背景線條的影響,如圖1所示。在使用傳統(tǒng)特征提取與匹配算法操作時(shí),可能會(huì)出現(xiàn)提取出錯(cuò)誤的特征點(diǎn)或者匹配精度下降的情況。為了能夠保證后續(xù)提取特征點(diǎn)的準(zhǔn)備率與匹配的精度，本文算法從制定過(guò)濾規(guī)則過(guò)濾背景干擾曲線出發(fā)。

圖1 工業(yè)環(huán)境下的工件圖片

1.1 圖像預(yù)處理

為了制定適用于工業(yè)環(huán)境的過(guò)濾背景曲線幾何約束規(guī)則，首先需要對(duì)工業(yè)環(huán)境下采集到的工件圖像進(jìn)行預(yù)處理，分析其具有的幾何特性。其中處理操作主要為對(duì)采集到的圖像進(jìn)行濾波處理、邊緣檢測(cè)、連通域處理、過(guò)濾干擾曲線等[8],具體流程如圖2所示。

首先為了減少工業(yè)現(xiàn)場(chǎng)光線或粉塵對(duì)工件圖像的影響,需要對(duì)圖像進(jìn)行過(guò)高斯濾波處理[9],在一定程度上能減少工件圖片中的噪聲影響。

為了分析工件圖像的幾何特性，需要檢測(cè)出工件的主要特征曲線。本文首先采用Canny算子[10]進(jìn)行邊緣檢測(cè)處理，其能檢測(cè)出整幅圖像的曲線信息。其中為了保留更多的工件圖像曲線信息以便后續(xù)處理，將Canny算子的閾值設(shè)為0.01，效果如圖3所示。

圖2 基于聚類(lèi)的曲線過(guò)濾規(guī)則流程

圖3 Canny邊緣檢測(cè)

由Canny算子檢測(cè)出的工件曲線圖可知，圖中包括了前景工件的形狀曲線和復(fù)雜背景里的干擾曲線，兩種曲線相互交錯(cuò)連接。如果按照一定的規(guī)則過(guò)濾曲線，在過(guò)濾了背景曲線的同時(shí)也會(huì)過(guò)濾一部分工件曲線。為了避免此情況，采用提取圖像連通域后打斷連通域分叉的方法對(duì)圖像進(jìn)行處理，將粘連到一起的曲線分隔開(kāi)，其處理效果如圖4所示。

圖4 連通域打斷分叉

仔細(xì)觀察可發(fā)現(xiàn)，通過(guò)預(yù)處理后圖像中的曲線在曲線長(zhǎng)度、曲線所圍周長(zhǎng)、曲線所圍面積這3個(gè)幾何特性上有較大的差異。背景曲線與工件曲線在幾何特性上的差異為后續(xù)過(guò)濾規(guī)則的制定提供了理論依據(jù)。

1.2 根據(jù)曲線幾何特性制定過(guò)濾規(guī)則

為了利用背景曲線與工件曲線在幾何特性上的差異,將差異定量分析。分別依據(jù)長(zhǎng)度、周長(zhǎng)、面積提出了3個(gè)幾何約束規(guī)則：

(1)基于曲線長(zhǎng)度L的約束規(guī)則。由于實(shí)際采集到的圖像中，目標(biāo)工件的曲線都具有完整且較長(zhǎng)的長(zhǎng)度，而復(fù)雜背景中的曲線一般都較短，依據(jù)適當(dāng)?shù)拈L(zhǎng)度閾值可以過(guò)濾復(fù)雜背景中的曲線。因無(wú)法直接測(cè)量圖像連通域中某一段曲線的長(zhǎng)度，本文將每個(gè)連通域中像素點(diǎn)的個(gè)數(shù)N來(lái)體現(xiàn)某段曲線的長(zhǎng)度L。

(2)基于曲線周長(zhǎng)P的約束規(guī)則。通過(guò)對(duì)曲線長(zhǎng)度約束后的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析,該約束規(guī)則過(guò)濾干擾曲線時(shí)不能過(guò)濾分布在背景中長(zhǎng)度相同，但具有不同彎曲程度的曲線。為了處理該情況，本文通過(guò)將包圍某一段曲線的最小矩形的周長(zhǎng)近似看成該段曲線的周長(zhǎng)。預(yù)先設(shè)定周長(zhǎng)閾值，便可過(guò)濾具有特定周長(zhǎng)和彎曲的干擾曲線。一段曲線的周長(zhǎng)具體由該曲線上的點(diǎn)的最大值與最小值確定，其計(jì)算公式如式(1)所示

P=(max(X)-min(X)+max(Y)-min(Y))×2

(1)

其中，X，Y分別為曲線上的點(diǎn)的橫坐標(biāo)與縱坐標(biāo)。

(3)基于曲線面積S的約束規(guī)則。由于存在當(dāng)包圍某段曲線的最小矩形的周長(zhǎng)相等時(shí)，其包圍某段曲線的最小矩形的面積不相等的情況。為了進(jìn)一步過(guò)濾此種情況下的干擾曲線，利用包圍某段曲線的最小矩形的面積作為一個(gè)度量過(guò)濾曲線，可增加干擾曲線與工件曲線的區(qū)分度。一段曲線的面積具體由該曲線上的點(diǎn)的最大值與最小值確定，其計(jì)算如式(2)所示

S=(max(X)-min(X))×(max(Y)-min(Y))

(2)

分別使用以上3個(gè)過(guò)濾規(guī)則過(guò)濾干擾曲線的效果如圖5所示，其中每個(gè)規(guī)則的閾值由其規(guī)則直方圖確定。

圖5 3種過(guò)濾規(guī)則效果

1.3 基于聚類(lèi)的曲線過(guò)濾規(guī)則

由于使用上述過(guò)濾規(guī)則過(guò)濾背景中的干擾曲線以及工件形狀上的干擾曲線需要根據(jù)每個(gè)工件圖片的直方圖確定閾值，為了提高在工業(yè)應(yīng)用時(shí)的自適應(yīng)能力，采用無(wú)監(jiān)督學(xué)習(xí)的K_Means聚類(lèi)算法[11]與幾何約束過(guò)濾規(guī)則結(jié)合，實(shí)現(xiàn)曲線的分類(lèi)處理，達(dá)到自適應(yīng)過(guò)濾干擾曲線的目的。

K_Means聚類(lèi)主要是依據(jù)相似性原則，按所有數(shù)據(jù)的相似程度將每個(gè)數(shù)據(jù)劃分至對(duì)應(yīng)的類(lèi)別，即相似程度高的數(shù)據(jù)能聚集到同一類(lèi)中，而相似程度低的數(shù)據(jù)會(huì)劃分到不同的類(lèi)中。對(duì)比其它分類(lèi)方法，K_Means聚類(lèi)算法為無(wú)監(jiān)督過(guò)程，不需要具有先驗(yàn)知識(shí)的數(shù)據(jù)集參與計(jì)算，只需要依據(jù)工業(yè)現(xiàn)場(chǎng)處理的工件圖像選取合適的聚類(lèi)中心初始點(diǎn)個(gè)數(shù)，便能完成曲線分類(lèi)與過(guò)濾操作。基于聚類(lèi)的曲線過(guò)濾規(guī)則流程如圖6所示。

圖6 基于聚類(lèi)的曲線過(guò)濾規(guī)則流程

考慮到本文算法的主要對(duì)象為實(shí)際工業(yè)環(huán)境下采集到的工件圖像，其中包括目標(biāo)工件曲線與背景干擾曲線，應(yīng)當(dāng)將聚類(lèi)算法的中心初始點(diǎn)設(shè)為2。即將所有干擾曲線分為兩大類(lèi)，一類(lèi)是目標(biāo)工件形狀曲線，另一類(lèi)是背景干擾曲線和工件上的干擾曲線。但通過(guò)具體實(shí)驗(yàn)結(jié)果可知，此方法可能過(guò)多過(guò)濾了全圖的曲線，如一部分與背景干擾曲線相似的工件形狀曲線也會(huì)被聚類(lèi)算法劃分到干擾曲線的分類(lèi)中，可能存在錯(cuò)誤過(guò)濾工件形狀曲線的情況，造成工件形狀曲線的信息缺失。

因此需要通過(guò)實(shí)驗(yàn)，確定符合工件圖片的聚類(lèi)中心初始點(diǎn)個(gè)數(shù)。實(shí)驗(yàn)效果如圖7所示(其中k為初始中心點(diǎn)個(gè)數(shù))。

圖7 聚類(lèi)算法處理結(jié)果

通過(guò)對(duì)比不同初始中心點(diǎn)個(gè)數(shù)的效果可知：

(1)初始中心點(diǎn)個(gè)數(shù)k=1時(shí)，圖像曲線只分為一類(lèi)，不做處理，保持原圖曲線；

(2)初始中心點(diǎn)個(gè)數(shù)k=2時(shí)，圖像曲線分為兩類(lèi),即主體工件曲線類(lèi)與干擾曲線類(lèi)。由圖7(b)知，通過(guò)過(guò)濾最弱曲線類(lèi)，即過(guò)濾干擾曲線類(lèi)，干擾曲線能完全過(guò)濾，但因干擾曲線類(lèi)中包含大部分的工件曲線，部分主體工件曲線也被過(guò)濾了；

(3)初始中心點(diǎn)個(gè)數(shù)k=3時(shí)，圖像曲線會(huì)被分為3類(lèi)，即主體工件曲線類(lèi)、過(guò)渡曲線類(lèi)、干擾曲線類(lèi)。其中過(guò)渡類(lèi)曲線包含的是曲線幾何特性處于工件曲線與干擾曲線之間的類(lèi)別。過(guò)濾最弱類(lèi)后，仍然有部分主體工件曲線被錯(cuò)誤過(guò)濾了，因此初始中心點(diǎn)個(gè)數(shù)為3時(shí)也無(wú)法準(zhǔn)確地過(guò)濾干擾曲線；

(4)初始中心點(diǎn)個(gè)數(shù)k=4時(shí)，圖像曲線會(huì)被分為4類(lèi)，即主體工件曲線類(lèi)、兩個(gè)過(guò)渡曲線類(lèi)、干擾曲線類(lèi)。由結(jié)果可知，通過(guò)此分類(lèi)進(jìn)行過(guò)濾曲線，圖像中仍存在一部分干擾曲線，但是主體工件曲線能夠完整保留下來(lái)，并不會(huì)被錯(cuò)誤過(guò)濾；

綜合以上4種情況，為了保留完整的主體工件曲線，選擇初始中心點(diǎn)個(gè)數(shù)為4。并可通過(guò)多次進(jìn)行此聚類(lèi)算法，進(jìn)一步過(guò)濾干擾曲線，得到不含干擾曲線的完整的工件形狀曲線圖，如圖8所示。該基于幾何約束的聚類(lèi)算法過(guò)濾規(guī)則簡(jiǎn)化了處理過(guò)程，更適用于實(shí)際的工業(yè)應(yīng)用。

圖8 多次基于曲線特性聚類(lèi)處理效果

2 基于幾何約束的改進(jìn)SURF算法

2.1 SURF算法的Hessian矩陣跡處理

SURF算法相較于其它經(jīng)典匹配算法，具有耗時(shí)更短，精度更高等優(yōu)勢(shì)，其核心是Hessian矩陣[12]，又稱(chēng)為海森矩陣。利用Hessian矩陣可優(yōu)化多元函數(shù)求極值。在SURF算法中，圖像中的每一個(gè)像素點(diǎn)都可以通過(guò)計(jì)算得出對(duì)應(yīng)的Hessian矩陣行列式，根據(jù)該行列式的取值正負(fù)判斷是否極值點(diǎn)，再分類(lèi)極值點(diǎn)可得到近似值圖像。Hessian矩陣主要由函數(shù)和偏導(dǎo)數(shù)兩部分組成。假設(shè)一個(gè)點(diǎn)的函數(shù)值為f(x，y)，則該點(diǎn)的Hessian矩陣為

(3)

在圖像處理中，設(shè)圖像中一個(gè)像素點(diǎn)為x=(x，y)，則該點(diǎn)x在尺度σ中的Hessian矩陣為

(4)

其中，Lxx(x,σ)是像素點(diǎn)在圖像I的x方向的二階導(dǎo)數(shù)，同理Lxy(x,σ)、Lxy(x,σ)、Lyy(x,σ)也是在對(duì)應(yīng)方向上的導(dǎo)數(shù)二階導(dǎo)數(shù)。

為了保證特征點(diǎn)的尺度不變性[13]，需要預(yù)先對(duì)原圖像進(jìn)行高斯濾波處理操作后再構(gòu)造對(duì)應(yīng)Hessian矩陣，其計(jì)算公式如下

L(x,t)=G(t)×I(x,t)

(5)

其中，L(x,t)是在不同解析度下的圖像。可用高斯核G(t)和圖像函數(shù)I(x,t)在圖像點(diǎn)x的卷積來(lái)表示，其中常用高斯核G(t)公式為

(6)

通過(guò)以上處理可以近似計(jì)算出圖像的每個(gè)像素點(diǎn)的近似Hessian矩陣。原SURF算法中采用的是Hessian矩陣的行列式值來(lái)表示單個(gè)像素點(diǎn)的信息，在本文算法中，改為采用Hessian矩陣的跡。矩陣的跡為矩陣對(duì)角線元素之和，其包含了該點(diǎn)基本的幾何特性信息。通過(guò)改變圖像的高斯模板大小處理得到不同尺度的近似值圖，其中Hessian矩陣跡進(jìn)行處理后具有更明顯的幾何特性，如圖9所示。

圖9 不同尺度的原圖與Hessian矩陣跡

2.2 對(duì)Hessian矩陣跡的連通域應(yīng)用幾何約束應(yīng)用規(guī)則

利用基于聚類(lèi)與幾何約束的曲線規(guī)律規(guī)則同時(shí)對(duì)不同尺度原圖及Hessian矩陣跡的處理效果實(shí)際過(guò)濾分析，處理效果如圖10所示。

圖10 對(duì)不同尺度的原圖和矩陣跡處理效果

對(duì)相同尺度的原圖和Hessian跡處理，Hessian矩陣跡能夠保留更為完整和精確的目標(biāo)工件曲線，且背景中不存在干擾曲線。而對(duì)比不同尺度的原圖和不同尺度的Hessian矩陣處理效果，可知在第0尺度能夠保留豐富的特征信息。綜上，考慮使用第0尺度的Hessian矩陣跡進(jìn)行后續(xù)處理操作。

2.3 基于幾何約束的改進(jìn)SURF算法

為了更好地把SURF算法應(yīng)用于對(duì)實(shí)際作業(yè)環(huán)境中工件的特征提取與匹配，通過(guò)提出的基于幾何約束的過(guò)濾干擾曲線規(guī)則，結(jié)合對(duì)不同尺度的Hessian矩陣跡的處理，對(duì)原SURF算法進(jìn)行了相關(guān)改進(jìn)及補(bǔ)充。改進(jìn)后的SURF算法主要流程如圖11所示。

圖11 SURF算法流程

本文主要針對(duì)原SURF算法進(jìn)行了以下改進(jìn)：

(1)修改原始SURF算法中對(duì)基礎(chǔ)特征點(diǎn)的提取規(guī)則，同時(shí)提高提取極大點(diǎn)的閾值，使該算法能提取更多待過(guò)濾的特征點(diǎn)；

(2)通過(guò)本文提出的基于幾何約束的曲線過(guò)濾規(guī)則對(duì)圖像Hessian跡進(jìn)行處理，提取得到目標(biāo)工件的形狀曲線，并與提取出的特征點(diǎn)進(jìn)行校驗(yàn)。通過(guò)校驗(yàn)與篩選得到具有幾何特征信息的點(diǎn)，即分布在目標(biāo)工件形狀曲線上的點(diǎn)作為匹配特征點(diǎn)進(jìn)行后續(xù)匹配操作。

3 實(shí)驗(yàn)與對(duì)比

首先分別利用原SURF算法與改進(jìn)后的SURF算法對(duì)工業(yè)現(xiàn)場(chǎng)作業(yè)過(guò)程中采集到的圖像進(jìn)行特征提取與匹配，初步驗(yàn)證改進(jìn)后SURF算法的表現(xiàn)。實(shí)驗(yàn)效果對(duì)比如圖12、圖13所示。

圖12 實(shí)際提取特征點(diǎn)效果對(duì)比

圖13 實(shí)際匹配效果對(duì)比

根劇實(shí)際特征點(diǎn)提取與匹配效果對(duì)比可知，原SURF算法主要提取的特征點(diǎn)位于工件的拐角、棱角、頂點(diǎn)處，且提取了一部分位于雜亂背景中的特征點(diǎn)，并不能體現(xiàn)工件的幾何特征信息。而改進(jìn)后的SURF算法不會(huì)提取到復(fù)雜背景中的錯(cuò)誤特征點(diǎn)，且對(duì)比原算法能提取更多位于工件上的特征點(diǎn)。這些特征點(diǎn)都分布在工件的幾何邊緣處，經(jīng)匹配后能體現(xiàn)工件更豐富的幾何曲線特性。

由于無(wú)法對(duì)工件圖片進(jìn)行客觀評(píng)價(jià)，為充分驗(yàn)證所提算法的有效性，采用牛津大學(xué)經(jīng)典圖像匹配數(shù)據(jù)庫(kù)中Bikes、Leuven、Ubc、Graffi這4組圖像進(jìn)行實(shí)驗(yàn)。4組圖像分別對(duì)應(yīng)的是圖像模糊、拍攝角度、光照變化、JPEG壓縮比變化。同時(shí)利用原SURF算法和改進(jìn)SURF算法對(duì)4組圖像進(jìn)行處理，實(shí)驗(yàn)效果與數(shù)據(jù)如圖14與表1所示。

圖14 實(shí)驗(yàn)效果對(duì)比

表1 實(shí)驗(yàn)數(shù)據(jù)對(duì)比

由4組圖像的整體處理效果與數(shù)據(jù)可知：①改進(jìn)后的SURF算法能夠大幅度增加基準(zhǔn)圖特征點(diǎn)數(shù)、待匹配圖特征點(diǎn)數(shù)和匹配特征點(diǎn)數(shù)。且利用基于幾何約束的曲線過(guò)濾規(guī)則提取的特征點(diǎn)分布在前景幾何邊緣上，能夠更好地表示圖像中目標(biāo)曲線的線性特征，以便進(jìn)行后續(xù)匹配。②在匹配過(guò)程的特征點(diǎn)大量增加的前提下，改進(jìn)后SURF算法的匹配準(zhǔn)確率相對(duì)于原SURF算法在4組圖像上皆有明顯提升。同時(shí)利用檢索特征點(diǎn)的PR(precision recall)曲線對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)分析，其對(duì)應(yīng)計(jì)算公式如下

(7)

(8)

其中，TP為檢測(cè)到的正確特征點(diǎn)個(gè)數(shù)，F(xiàn)P為檢測(cè)出的錯(cuò)誤特征點(diǎn)個(gè)數(shù)，F(xiàn)N為錯(cuò)誤排除的特征點(diǎn)個(gè)數(shù)。其中數(shù)據(jù)庫(kù)中的Leuven圖像PR曲線如圖15所示。

圖15 Leuven圖像PR曲線

圖15中橫坐標(biāo)為精確率P，縱坐標(biāo)為召回率R，結(jié)合PR曲線圖與表1數(shù)據(jù)，可知本算法在沒(méi)有降低原算法特征點(diǎn)檢索效率的基礎(chǔ)上提高了匹配精度，并且能在實(shí)際工業(yè)作業(yè)環(huán)境中，大量提取實(shí)際工件圖像上分布在幾何邊緣的特征點(diǎn)，為接下來(lái)的匹配工作提供更豐富和更準(zhǔn)確的圖像信息。

4 結(jié)束語(yǔ)

本文提出了一種基于幾何約束的改進(jìn)SURF算法，通過(guò)分析分布在工件圖像中前景與背景中曲線幾何特性的差異，并針對(duì)前景工件曲線的幾何特性制定相應(yīng)的過(guò)濾規(guī)則，同時(shí)在SURF算法中Hessian矩陣跡進(jìn)行優(yōu)化處理和應(yīng)用過(guò)濾規(guī)則，得到目標(biāo)的形狀曲線圖，進(jìn)一步使得在圖像的邊緣區(qū)域或主要幾何區(qū)域獲得密集的特征點(diǎn)進(jìn)行匹配。在實(shí)驗(yàn)過(guò)程中，在處理實(shí)際工廠環(huán)境中采集到的圖像時(shí)，改進(jìn)后SURF能比原SURF算法提取到更多的有效特征點(diǎn)數(shù)，得到更高的匹配準(zhǔn)確率。結(jié)果表明，本文算法在處理實(shí)際工業(yè)環(huán)境下的工件圖片方面是有效的。在今后的研究中，仍需進(jìn)一步優(yōu)化并提升算法的性能與自適應(yīng)性，以期能夠應(yīng)用于更復(fù)雜的工業(yè)環(huán)境中。