近色背景果實識別的多源圖像配準(zhǔn)

馬正華，呂小俊，徐黎明，王藝潔，呂繼東+

(1.常州大學(xué) 信息數(shù)理學(xué)院，江蘇 常州 213164；2.江蘇城鄉(xiāng)建設(shè)職業(yè)學(xué)院 設(shè)備工程學(xué)院，江蘇 常州 213147)

0 引 言

近色背景下果實的識別一直是圖像識別的難點和熱點。對于果實和莖葉顏色差別較大的果蔬，如紅蘋果、紫葡萄、楊梅等一般通過色彩空間轉(zhuǎn)換、顏色通道運算等傳統(tǒng)方法就可以進行有效的識別[1]。然而，對于近色背景系的果蔬，如綠葡萄、黃瓜、青蘋果等，很難通過顏色的差異把果實從背景中分離出來，而由于環(huán)境溫度、遮擋、光線等因素的影響，應(yīng)用紋理、形狀等物理屬性同樣也難以有效地分割出果實。

隨著光譜技術(shù)和傳感器的發(fā)展，人們根據(jù)從可見光到近紅外兩個波段中果實與莖葉分光反射差異較大[2]的特性，采用近紅外相機捕獲近色系果實圖片，然后通過不同的閾值分割法進行分割和識別，但這樣往往只能得到果實部分的輪廓特征信息，分割效果不佳。由于不同成像機理的相機獲得的多源圖像之間存在信息的冗余性和互補性，對其進行融合能夠有效提高圖像信息的利用率和完整性，這樣就可以有效保留果實丟失的邊緣信息。而圖像配準(zhǔn)是圖像融合至關(guān)重要的一步，因此本文利用近紅外像機和可見光像機捕獲的多源圖像進行配準(zhǔn)研究，以期提高后期果實識別的準(zhǔn)確性。

1 圖像采集及預(yù)處理

1.1 圖像采集

近紅外相機和可見光相機均采用北京大恒創(chuàng)新技術(shù)有限公司的產(chǎn)品，近紅外相機的型號為MER-131-75GM-P NIR(網(wǎng)線接口，需單獨外接220 V電源供電)，可見光相機為MER-131-210U3C(USB3.0接口，直接由筆記本供電)，濾光設(shè)備為中心波長830 nm、帶寬70 nm的帶通干涉濾光片。圖像采集軟件為其官網(wǎng)下載的Windows版本的Daheng MER-Series Viewer。實驗的圖片是從江蘇省興化市戴南鎮(zhèn)黃夏果園采集的100組綠葡萄圖片，采集時間是早上的9∶00到10∶00。采集的近紅外和可見光圖像的大小均為280*310。

1.2 圖像預(yù)處理

在大棚里面采集的多源圖像有時會存在信噪比低、對比度差的現(xiàn)象，而且容易受到各種噪聲的影響。目前圖像的噪聲種類很多，與之對應(yīng)的消噪方法也很多，但是還缺少一種對不同來源圖像都適用的消噪方法[3]。因此本文采用基于中值濾波和小波變換相結(jié)合的方法對多源圖像進行消噪處理。首先對圖像使用文獻[4]中改進的自適應(yīng)中值濾波進行去噪，然后通過Daubechies3小波對圖像進行三層小波分解。由于低頻部分包含了圖像大部分信息，基本保持了圖像的輪廓部分，因此對低頻分量使用領(lǐng)域平均進行處理。高頻部分保留了圖像的細(xì)節(jié)部分但是包含了大量噪聲，對各高頻分量進行中值濾波后進行小波重構(gòu)完成圖像的去噪。

如果直接對多源圖像進行特征點的提取會出現(xiàn)特征點分布不均勻、局部過于集中的現(xiàn)象，從而導(dǎo)致局部配準(zhǔn)誤差較大進而影響圖像最終的配準(zhǔn)效果。因此本文先使用圖像分塊技術(shù)[5]把經(jīng)消噪的圖像分割成互不重疊的子塊后再用改進的SURF進行特征的點的提取。這樣就可以在一定程度上讓提取的特征點出現(xiàn)在每個字塊中特征較顯著的位置，從而改善了特征點分布的均勻性。

2 配準(zhǔn)算法

常用的圖像配準(zhǔn)方法有基于變換域、基于特征和基于灰度3種。由于本文使用的近紅外相機和可見光相機在成像機制上不同，同時考慮到提高系統(tǒng)的實時性和有效降低使用場景的限定條件，因此采用基于特征的方法進行圖像配準(zhǔn)。

點特征是常用的配準(zhǔn)特征。基于圖像灰度的Harris[6]特征點提取法，對旋轉(zhuǎn)、噪聲和對比度的變化不敏感，但不具有尺度不變性；Lowe提出的SIFT算法提取的特征能夠很好的應(yīng)對亮度變化、旋轉(zhuǎn)平移和尺度變換，但實時性不高、計算量大、對邊緣光滑的目標(biāo)無法準(zhǔn)確提取特征點；SURF[7]算法可以看成是SIFT的一種改進。在保留SIFT特點的同時其速度更快，比較適合在非結(jié)構(gòu)化環(huán)境下對實時信息的感知，因此本文使用SURF進行特征點提取并且對特征點主方向的確定進行改進。

2.1 特征點檢測和定位

首先計算積分圖像用于提高圖像卷積的速度，SURF通過快速Hessian矩陣來檢測特征點，圖像上任意一點x=(x,y)T在尺度為σ上的Hessian矩陣定義為

(1)

為了提高運算速率，Bay等提出一種用盒子濾波器替代高斯濾波的方法，其中盒子濾波器與圖像的卷積用Dxx,Dyy和Dxy表示，從而得到Hessian矩陣的行列式近似值

Det(Happrox)=DxxDyy-(0.9Dxy)2

(2)

與SIFT直接構(gòu)建圖像金字塔不同的是，由于采用了盒子濾波器，SURF通過保持原始圖像不變，不斷擴大濾波器大小的方法建立圖像金字塔，構(gòu)建過程如圖1所示。為了定位特征點，在鄰域里使用非極大值抑制法在不同尺度下找到圖像的特征點，繼而在尺度空間和圖像空間進行插值。最后使用SIFT提出方法進行特征點的準(zhǔn)確定位。

圖1 構(gòu)建圖像金字塔

2.2 主方向選取

使用文獻[8]中的方法進行主方向的確定雖然簡單，但在相鄰二次轉(zhuǎn)動中會存在π/3-2θstep的重疊區(qū)，如果扇區(qū)每次轉(zhuǎn)動后都重新計算區(qū)域內(nèi)的矢量和，這樣大大降低了計算的效率。這里我們采用文獻[9]中的方法對主方向的確定提出改進，從而提高了SURF算法的整體效率。

2.3 生成特征描述符

2.4 特征點匹配

張瑞娟等采用的最近鄰匹配法是常用的特征點匹配算法：在目標(biāo)圖像中找到與原圖像中點q歐氏距離最近的點p′和次近的點p″，設(shè)q與p′和q與p″兩組特征點之間歐氏距離的比值為α，若α小于相應(yīng)的閾值則q與p′匹配成功，否則失敗。但是這樣會出現(xiàn)了“一對多”的現(xiàn)象且算法執(zhí)行速度較慢。

為了快速找到集合中一個特征點在另一個集合中的最近鄰和次近鄰，對于64維SURF描述子必須找到一種合適的搜索策略。窮舉法雖然原理簡單，但是效率較低。經(jīng)典的kd-tree算法在低維空間的搜索效率很高，但是擴展到高維數(shù)據(jù)上其搜索性能會大大降低。BBF(best bin first)提高了在高維空間的搜索效率，但是其找到的最近鄰都是近似的，這樣就無形中降低了特征點的匹配精度。Muja等[10]提出的FLANN搜索算法更加適用于高維數(shù)據(jù)的搜索而且在速度和近精度方面均優(yōu)于BBF。因此在特征點的粗匹配過程中使用快速近似最近鄰搜索算法(FLANN)加快對特征點的搜索速度并且使用Hessian矩陣的跡加快初匹配速率。在計算Hessian矩陣行列式的同時得到了矩陣的跡trace，如果兩個特征點的trace同號，說明兩個特征點具有相同的對比度可以繼續(xù)進行描述子的比較；如果異號，說明兩者的對比度不同，放棄后續(xù)的相似性度量。

SURF算法在特征點提取與匹配過程中只考慮了特征點處的局部信息，而沒有把圖像的幾何信息考慮在內(nèi)，因此在粗匹配后會存在大量的誤匹配。根據(jù)在參考圖像(可見光圖像)和待匹配圖像(近紅外圖像)中正確匹配特征點之間連線的方向和長度大致相同這一特性使用特征點偏移一致性原則[11]在這一方面進行改進。這樣既實現(xiàn)了特征點間一一匹配也加快了匹配速率和精度。基本原理如下：

設(shè)(u1i,v1i)與(u2i,v2i)分別為可見光圖像和近紅外圖像的一對匹配點，它們間的連線矢量為(ui,vi)，其中ui=u1i-u2i,vi=v1i-v2i，則所有候選特征點對的連接矢量坐標(biāo)平均值為

(3)

3 參數(shù)估計

在本次拍攝圖片時平面目標(biāo)的深度和它與攝像機之間的距離相比較小，投射線近似為平行的，圖像間的變換可以近似看成仿射變換，式(4)為仿射變換公式。其中(x,y)與(x′,y′)是匹配點對，矩陣M為仿射變換矩陣

(4)

經(jīng)上述方法提純后的特征點中依然會存在偽匹配點對。這里使用Fishler和Bolles提出的RANSAC[12]和最小二乘法相結(jié)合來計算圖像間的變換關(guān)系。以仿射變換為列，具體步驟如下：①把提純后的k組匹配點對作為候選匹配特征集，再從中任意選取3組匹配點對建立方程組，求變換矩陣的6個未知參數(shù)。②計算剩余k-3個特征點經(jīng)過變換矩陣的坐標(biāo)并計算與其候選匹配點之間的誤差，將誤差小于某一閾值的點歸為內(nèi)點，否則視為外點。③統(tǒng)計在該變換矩陣下內(nèi)點的數(shù)目。重復(fù)①～③找出使內(nèi)點數(shù)目最多的變換矩陣，將通過該變換矩陣所判斷出的外點剔除。④把提純后的點對通過最小二乘法進行參數(shù)估計從而得到變換矩陣的最優(yōu)解。

4 重采樣與圖像插值

確定模型參數(shù)后，對待配準(zhǔn)圖像進行重采樣得到同一坐標(biāo)系下的配準(zhǔn)結(jié)果。然后采用折衷精度和計算量的雙線性插值法進行插值。本文算法如圖2所示。

圖2 本文算法流程

5 實驗結(jié)果及分析

實驗中仿真平臺硬件環(huán)境為：CPU Intel(R) Core(TM) i5-7200U，2.5 GHz，4 G內(nèi)存的PC機。軟件開發(fā)工具為Windows 10 Pro，MATLAB2016a。這里隨機抽取3組圖片進行實驗，如圖3所示，第一組(圖3(a)、圖3(d))，第二組(圖3(b)、圖3(e))，第三組(圖3(c)、圖3(f))。其中圖3(a)、圖3(b)、圖3(c)為可見光圖像，圖3(d)、圖3(e)、圖3(f)為待配準(zhǔn)的近紅圖像。

圖3 3組實驗圖片

圖4、圖5、圖6第一行圖片是3組圖片使用文獻[13]中SURF算法進行配準(zhǔn)的效果圖，第二行是使用本文算法的配準(zhǔn)效果圖。實驗分別從特征點匹配率(提純后匹配點對數(shù)/待配準(zhǔn)圖像特征點數(shù))、匹配時間、抗噪性和抗旋能力等方面對算法進行評價。

圖4 第一組配準(zhǔn)實驗

圖5 第二組配準(zhǔn)實驗

圖6 第三組配準(zhǔn)實驗

表1、表2是對圖3中3組圖片分別使用SURF算法和本文算法在特征點匹配率和匹配時間方面的統(tǒng)計(表中提純后的匹配點對均是在使用RANSAC后進行統(tǒng)計的)。可以發(fā)現(xiàn)本文算法的匹配速度比原算法快了約15%，匹配率方面比后者提高了約37%。這是因為本文算法是在使用了基于中值濾波和小波變換相結(jié)合的消噪方法后進行特征點提取和匹配的，這樣降低了噪聲的影響，與直接在整幅圖像上使用SURF匹配相比，大大降低了匹配運算的規(guī)模，從而提高了算法的整體效率，降低了配準(zhǔn)的時間。由此節(jié)約的時間遠(yuǎn)大于使用圖像分塊技術(shù)所花費的時間。在使用最近鄰/次近鄰后會存在大量的誤匹配點對，雖然RANSAC算法可以在很大程度上去除誤匹配點對，但其仍有明顯的缺陷：每次通過一個隨機樣本集求出變換矩陣M后，都要找到該變換矩陣的支撐點。如果觀測數(shù)據(jù)集中存在較多的外點，那么找到其相應(yīng)的支撐點將很少，最后被拋棄，而尋找這樣的支撐點集往往會浪費大量的時間。本文算法在使用RANSAC前使用基于特征點偏移一致性原則對匹配點對進行提純，雖然花費了一定的時間，但其耗時卻小于直接使用RNASAC的時間。因此本文匹配算法在整體上比原SURF算法節(jié)約時間。從特征點匹配率方面來看，由于使用了相應(yīng)的消噪方法，能夠使本文算法在特征點的提取和匹配方面受噪聲影響較小，圖像分塊技術(shù)也可以在一定程度上提高特征點分布的均勻性和改善局部易產(chǎn)生誤匹配的現(xiàn)象。而且本文對粗匹配后的結(jié)果使用了特征點偏移一致性原則進行了優(yōu)化。綜合考慮來看，本文的匹配率遠(yuǎn)高于原SURF算法。

下面從抗噪聲能和抗亮度變化兩個方面來比較兩種算法。

抗噪聲效果分析：在實驗中我們分別將方差為0.02、0.03、0.04、0.05的高斯噪聲加到圖3(d)中并且與圖3(a)進行匹配。由表3可知，隨著高斯噪聲方差的增加，SURF和本文算法在匹配率上都下降了，但是SURF降低的幅度要高于本文算法。因為本文對采集的多源圖像使用了基于中值濾波和小波變換相結(jié)合的消噪方法，有效地降低了高斯噪聲對匹配過程的影響，因此本文算法的抗噪聲效果要更好。

表1 用SURF的匹配率和匹配時間統(tǒng)計

表2 用本文算法的匹配率和匹配時間統(tǒng)計

表3 兩種算法的抗噪聲能力對比

抗亮度變化效果分析：對圖3(d)進行亮度處理，其中圖3(d)為中亮度圖像，把圖3(d)的亮度降低一倍得到低亮度圖像。把圖3(d)的亮度提高一倍得到高亮度圖像。最后將圖3(a)分別與構(gòu)成的3種亮度的圖像進行匹配。由表4分析可知，兩種算法在抗亮度變化方面的效果都不錯。在不同亮度條件下，本文算法都保持著較高的匹配率，匹配點對變化數(shù)目較小。因此本文算法的抗亮度變化能力要稍好些。

表4 兩種算法的抗亮度變化能力對比

6 結(jié)束語

本文針對近色背景下果實識別率不高、邊緣信息不完整的情況，采用近紅外相機和可見光相機組和捕獲多源圖像。由于多源圖像間存在信息的冗余性和互補性，對預(yù)處理后的圖像進行配準(zhǔn)可以得到較完整的果實信息。經(jīng)比較本文改進的配準(zhǔn)算法在實時性、魯棒性和精度方面均高于原SURF算法，為下面多源果實圖像的融合和分割提供了一種配準(zhǔn)算法。