基于光譜圖像空間的F-SIFT 特征提取與匹配

丁國紳，喬延利，易維寧，李 俊，杜麗麗*

（1. 中國科學(xué)院安徽光學(xué)精密機械研究所通用光學(xué)定標(biāo)與表征技術(shù)重點實驗室，安徽合肥230031；2. 中國科學(xué)技術(shù)大學(xué)，安徽合肥230026；3. 西安科技大學(xué)安全科學(xué)與工程學(xué)院，陜西西安710054）

1 引 言

隨著機器視覺的興起，圖像處理技術(shù)已經(jīng)成為機器視覺不可缺少的組成部分。同時，圖像中含有大量的信息，因此需要采用圖像處理算法來提取圖像的顯著特征提高處理速度。圖像特征是計算機視覺領(lǐng)域最重要的概念之一，從幾何上可以將圖像特征分為三大類：點特征、線特征和塊特征［1-2］。基于不同的準(zhǔn)則衍生出了諸多圖像特征處理方法，并被廣泛應(yīng)用于目標(biāo)檢測、視頻壓縮、影像配準(zhǔn)、三維模擬等領(lǐng)域［3-5］。由于傳統(tǒng)的圖像特征提取算法不能同時滿足實時、高效、高精度的要求，學(xué)者們從不同的角度提出了許多優(yōu)秀的特征處理算法。HOG（Histogram of Orientation gradient）［6］，PCA（Principle component analysis）［7］和Krawtchouk 矩陣法［8］是幾種典型的區(qū)域塊特征提取算法，由于塊中包含更多的圖像細(xì)節(jié)信息，因此在平行空間下能夠取得良好的效果，但現(xiàn)實世界中的很多應(yīng)用場景中的圖像并不是通過單個相機拍攝得到，而是基于多角度、多維度匯總處理，這種對尺度和視角敏感的缺陷在很大程度上限制了此類方法的拓展空間。線特征能夠規(guī)避區(qū)域特征存在的一些缺陷，但其對場景的要求也較為嚴(yán)格，所提取的目標(biāo)線段應(yīng)盡可能不被遮擋、不變形、不斷裂，線段的空間完整性和尺度一致性是保證其最佳性能的前提［9］。點特征對于圖像的旋轉(zhuǎn)、拼接、尺度等維度上的變換適應(yīng)性較前兩種特征其魯棒性更優(yōu)，常見的點特征提取方法包括SURF（Speed Up Robust Feature）［10］，SIFT（Scale Invariant Feature Transform）［11］，ORB（Oriented Fast and Rotated Brief）［12］等。由于SIFT 算法是最早提出的基于尺度不變性的方法，其在圖像旋轉(zhuǎn)、視點和仿射變換條件下依舊能保持優(yōu)良的穩(wěn)定性，使得該算法被廣泛應(yīng)用于工業(yè)和實際生產(chǎn)中，也吸引了大批研究者的關(guān)注，從不同的方向?qū)λ惴ǖ男阅苓M行了提升。

Yan 等在SIFT 方法中引入了2DPCA 算子重構(gòu)低維度的描述子，將改進后的PCA 方法用于歸一化特征描述子向量，大大壓縮了算法的運行時間［13］。Rathgeb 等提出了基于SIFT 的虹膜識別方法，該方法增強了從近紅外虹膜圖像中獲得的虹膜紋理歸一化的效果，并將二值化技術(shù)納入到整個系統(tǒng)中，對提取到的特征點做了二值化，形成了二值SIFT 描述子，相對傳統(tǒng)SIFT 方法，系統(tǒng)最終的識別精度有了很大提高［14］。Xu等建立了基于圖像局部信息的自適應(yīng)分?jǐn)?shù)階微分的數(shù)學(xué)模型，建立最優(yōu)階數(shù)與圖像局部信息的關(guān)系，并根據(jù)圖像的特點自動計算出每個像素點的最優(yōu)階數(shù)，接著根據(jù)最優(yōu)階數(shù)和Riemann-Liouville分?jǐn)?shù)階定義構(gòu)造了自適應(yīng)分?jǐn)?shù)階微分動態(tài)掩模，提出了基于自適應(yīng)分?jǐn)?shù)階微分的SIFT 算子［15］。

針對SIFT 算法提取的特征點數(shù)量較少的問題，在上一步的工作中我們開創(chuàng)性地提出了利用高光譜圖像不同波段象元的DN 值差異重構(gòu)圖像金字塔的方法，使得提取到的特征點數(shù)量呈現(xiàn)了指數(shù)式增長［16］。但特征點數(shù)量的增加必然導(dǎo)致運行開銷的增大，因此本文從兩個方面對算法進行了優(yōu)化。首先利用FAST 算法在像素級上快速篩選的特性，建立八鄰域判斷準(zhǔn)則，將特征點數(shù)量降低到了初始值的1/10 以下，極大地降低了冗余特征點的數(shù)量；其次提出了雙重位置迭代匹配方法，將描述符向量的擴展維進行排序，從可靠性程度最高的20 組匹配中迭代選擇4 組構(gòu)建雙重三角平面，利用像素點的初始位置關(guān)系進行精確判斷，實驗結(jié)果表明沒有誤匹配出現(xiàn)。

2 傳統(tǒng)SIFT 算法

SIFT 算法是1999 年由British Columbia 大學(xué)的David G. Lowe 教授提出并于2004 年加以完善的基于圖像點特征的提取算法。該算法引入了尺度空間的概念，對光照、旋轉(zhuǎn)、仿射以及尺度的變化都具有良好的穩(wěn)定性，在學(xué)術(shù)界和工業(yè)界都產(chǎn)生了深遠(yuǎn)的影響。概括來說，SIFT 算法可以分為三個步驟。

2.1 關(guān)鍵點檢測

給定輸入目標(biāo)圖像I，對I分別進行一次升采樣和O-1 次降采樣，每次采樣都以當(dāng)前圖像為基準(zhǔn)做高斯變換。其中，高斯核函數(shù)G的表達式為：

其中：xt，yt分別是圖像I的第t個像素點的像素值，σ是采樣尺度，每次采樣之后的圖像I(xt，yt，σt)=G(xt，yt，σt)*I(xt，yt)。在構(gòu)建完圖像的尺度空間后，利用高斯差分的性質(zhì)建立圖像差分空間，即用圖像金字塔中的每一組圖像中的第k層減去上一層即可得到。最后比較差分空間每組圖像中除去首尾兩層剩下的每層圖像的各像素點與其相鄰的26 個像素點的差異，若該點在此27 個像素點中是極大值或極小值，則認(rèn)為該點是候選關(guān)鍵點。

2.2 關(guān)鍵點定位

通過差分空間檢測可以得到一系列離散的極值點，但實際上關(guān)鍵點可能存在于兩個極值點之間，因此這就需要通過插值的方式得到真正的關(guān)鍵點。根據(jù)泰勒函數(shù)的性質(zhì)，對尺度空間函數(shù)進行泰勒擬合，得到亞象元級別的DOG 函數(shù)，其表達式為：

2.3 描述符生成

由于拍攝的角度不同，同一目標(biāo)在不同圖像中會存在不同程度的旋轉(zhuǎn)以及仿射變換，因此在確定關(guān)鍵點的位置之后還需能唯一表征此描述符的方向信息。SIFT 算法依據(jù)當(dāng)前關(guān)鍵點的4×4 鄰域內(nèi)的像素信息統(tǒng)計其像素梯度分布，其梯度值和對應(yīng)的方向如下：

對于鄰域內(nèi)的每個子區(qū)域，將其梯度分布平均劃分為8 個方向，統(tǒng)計每個方向區(qū)間內(nèi)的梯度值之和，最終形成128 維的梯度向量。取梯度值最高的方向為描述符的主方向，最后對所有梯度向量進行歸一化處理，形成SIFT 特征描述符。

3 基于光譜圖像空間的F-SIFT 特征提取與匹配

在本節(jié)中，優(yōu)化并進一步完善了基于光譜圖像空間的SIFT 算法［16］，在特征點的數(shù)量上取得突破的同時降低冗余特征點的占比，極大地提高了特征點的有效利用率，并且采用獨特的雙重迭代優(yōu)化的方法來剔除誤匹配，整個方法的流程概括如下。

3.1 構(gòu)建光譜圖像空間

傳統(tǒng)SIFT 算法的尺度空間是由一張輸入圖像經(jīng)過升采樣和降采樣并且對于同一分辨率的圖像采用不同模糊系數(shù)進行高斯模糊得到不同模糊程度的子圖像集合。這種做法能夠解決兩張圖像因為尺度不同而難以配準(zhǔn)的問題，同時對圖像的仿射變換具有一定的魯棒性，因此在后續(xù)諸多改進的SIFT 方法中都保留了這一做法［13-14］。雖然SIFT 算法在不同尺度的圖像上穩(wěn)定性較好，但其尺度空間僅由一幅圖像經(jīng)系列變換得到，所帶有的有效圖像特征信息十分有限，因而提取到的圖像特征點數(shù)量較少。高光譜圖像在不同波段上的圖像具有良好的相似性，目標(biāo)在不同波段圖像上的位置相同而DN（Digital Number）值不同，也即傳統(tǒng)意義上的灰度值不同，但其所表征的同一目標(biāo)的DN 值趨勢相同。利用這個特性，用可見光范圍內(nèi)的高光譜圖像作為尺度空間的基準(zhǔn)圖像，并對其進行直接降采樣得到圖像的尺度空間，示意圖如圖1 所示。

圖1 高光譜圖像尺度空間Fig. 1 Hyperspectral image scale space

3.2 FAST 八鄰域準(zhǔn)則

在重構(gòu)了圖像的尺度空間后，可提取到的圖像特征點的數(shù)量較傳統(tǒng)SIFT 算法提升了幾十至幾百倍，克服了原SIFT 算法提取的特征點數(shù)量少的缺陷。但通過實驗驗證發(fā)現(xiàn)，雖然有效特征點的數(shù)量有了很大提升，但相較于特征點總數(shù)的指數(shù)級規(guī)模的增長，冗余特征點的數(shù)量明顯具有相當(dāng)?shù)囊?guī)模，因而如何降低冗余特征點的占比是本文的研究內(nèi)容之一。

FAST 算法是特征點檢測中最直觀地用原始圖像像素點與其鄰域內(nèi)像素點的差異值來判斷是否為特征點的方法之一。雖然該方法檢測到的特征點不一定是最優(yōu)特征點，但其快速選擇的特性在本文中被融合到了差分金字塔的判定中。原FAST 算法是在較大的鄰域空間上對目標(biāo)位置的像素值進行比較，雖然大部分的情況下像素值的變化趨勢相似，但在像素值有明顯突變的時候鄰域范圍較小更能較好地表征目標(biāo)像素點的周圍像素變化。因此本文采用了3+2+3 的目標(biāo)像素八鄰域的方式，在構(gòu)造差分金字塔中的每一層圖像時對該圖像上的像素做預(yù)篩選，若鄰域內(nèi)有M個點的像素值大于閾值T則保留該點的像素值，否則將該點的像素值置為-1。在特征點的判斷階段則首先判斷該點的像素值是否為-1，若是則直接進入下一個特征點的判斷階段。經(jīng)實驗驗證，加入FAST 八鄰域準(zhǔn)則之后，F(xiàn)-SIFT 算法所提取到的特征點數(shù)量降到了文獻［16］中算法的1/10 以下，且最終成功匹配的特征點數(shù)量不受大的影響。

3.3 雙重位置迭代匹配

在完成特征點的提取之后要對兩幅圖像之間的特征點進行匹配，常見的方法是采用最近鄰與次近鄰的比值來選取最優(yōu)匹配。這種方法是基于像素梯度值的分布來衡量特征點的相似程度的，圖像中往往會存在一個或多個相似的特征點，這就容易造成誤匹配現(xiàn)象，而且該方法對于比值閾值的確定異常敏感。傳統(tǒng)SIFT 算法在進行特征點匹配時常將比值設(shè)定為0.8，涉及到具體圖像時還會有小范圍的波動。這是因為當(dāng)比值增大時匹配到的特征點數(shù)量會隨之增加，有效匹配和誤匹配數(shù)量也會增大；當(dāng)比值減小時匹配到的特征點數(shù)量會隨之降低，雖然誤匹率降低但成功匹配的數(shù)量也明顯衰減。

針對這種情況，本文提出了雙重位置迭代匹配方法，將整個特征點的匹配過程分為兩步。首先采用最近鄰與次近鄰之比對特征點進行一次粗匹配，不過在此階段的比值設(shè)定較大，目的是為了盡可能多地包含有效匹配對，經(jīng)實驗驗證此階段的理想比值H設(shè)定為1.1。接著進行精細(xì)匹配操作，在粗匹配階段依據(jù)最近鄰與次近鄰的相似性對特征點的描述符向量進行了一維擴展，雖然這一階段的匹配中包含了大量的誤匹配，但精細(xì)匹配的作用就是剔除這些誤匹配。將匹配到的特征點對按照相似性程度進行排序，然后從相似性程度最高的20 組匹配對中隨機選擇4 組構(gòu)建源-目標(biāo)圖像雙三角平面。在之前的工作中選取的是相似性程度最高的3 組匹配對來構(gòu)建三角平面，但經(jīng)過后來的實驗發(fā)現(xiàn)這種情況下依舊可能出現(xiàn)誤匹配的現(xiàn)象，因為只有在沒有噪聲的理想情況下才能通過三個點來構(gòu)建一個完整的平面。為了排除噪聲的干擾，本文采用了4 組匹配對來構(gòu)建雙三角平面，即用排列組合的方式隨機從4 組中選取兩個三維組合用來構(gòu)建兩個三角平面，最后根據(jù)所有匹配對的特征點在雙三角平面中的位置關(guān)系進行是否為正確匹配對的判定。另一方面，沒有采用相似性程度最高的4 組匹配對是因為圖像上會存在相似的特征點，將其作為基準(zhǔn)點構(gòu)建三角平面可能會包含更多的正確匹配信息，因而在一定的區(qū)間上取出4 組匹配對會更有益。在兼顧算法效率的基礎(chǔ)上將此區(qū)間設(shè)定為1～20。由于圖像是用二維來映射三維空間位置關(guān)系的，因此用二維平面上的位置關(guān)系來闡述雙三角平面的構(gòu)建原理。

圖2 雙重位置迭代匹配Fig. 2 Double position iterative matching

如圖2 所示，特征點集合(A，B，C，D)與(A′，B′，C′，D′)分別是源-目標(biāo)圖像中選取的4 對基準(zhǔn)特征點對，對應(yīng)關(guān)系分別是：A?A′，B?B′，C?C′，D?D′，?表示匹配關(guān)系。Q點是源圖像中的某個特征點，假設(shè)Q′是Q點在目標(biāo)圖像中匹配到的特征點。 因為(A，B，C，D) 與(A′，B′，C′，D′) 是基準(zhǔn)特征點對，故三角平面O(A′，B′，C′)可由O(A，B，C)經(jīng)系列平面變換操作生成。直線L(B，C)中存在如下等式：

設(shè)R1=Qy-Ay，S1=Ax-Qx，T1=Ay(Qx-Ax)-Ax(Qy-Ay)，R2=By-Cy，S2=Cx-Bx，T2=Cy(Bx-Cx)-Cx(By-Cy)，可得點P坐標(biāo)：

一般來說，天線的中心頻率越高，分辨率越高，探測深度越淺；反之天線中心頻率越低，分辨率越低，探測深度越深。不同中心頻率天線的穿透深度如表1。

設(shè)M=|BP|/|BC|，N=|AP|/|AQ|，有如下等式成立：

因為平面O(A，B，C)與O(A′，B′，C′)中各點的相對位置是相同的，因而存在如下關(guān)系：

求得P′坐標(biāo)：

進而可得到理想情況下的Q′點的坐標(biāo)，接著計算Q點實際匹配到的點Q′Truth與Q′ 的位置誤差δ1：

同理可得到Q′Truth與Q′在平面O(B，C，D)與O(B′，C′，D′)中的誤差δ2，若δ1與δ2均在允許誤差范圍內(nèi)則認(rèn)為Q與Q′是一對正確匹配對，否則剔除這對匹配。

4 實驗結(jié)果與分析

因為基于高光譜圖像的SIFT 算法是由我們首次提出的，并未出現(xiàn)此方面的公用數(shù)據(jù)集，結(jié)合實驗需求，本文所用數(shù)據(jù)集都是基于IS210-0.4-1.0-L 型號的高光譜成像相機拍攝的，數(shù)據(jù)集鏈接為：https：//pan.baidu.com/s/1qYEymTvj_wjVZEoj6wLfvQ。實驗的硬件環(huán)境為Windows10 （64bit） ，Intel （R） Core （TM） i7-9700CPU @ 3.00 GHz 處理器，編程環(huán)境為MatlabR2020a。本次實驗分為兩組，在可見光波段范圍內(nèi)選取的波段間隔為10～50，精細(xì)匹配階段的迭代次數(shù)設(shè)置為1 000，驗證F-SIFT 算法對于簡單和復(fù)雜目標(biāo)情況下的基于不同波段間隔的算法性能。

圖3 和圖4 分別是傳統(tǒng)SIFT 算法與F-SIFT算法在單一目標(biāo)和復(fù)雜目標(biāo)場景下的圖像特征點匹配結(jié)果，圖像波段間隔為25，其中圖3（a）～3（b）圖是傳統(tǒng)SIFT 算法在最近鄰與次近鄰的比值為0.7 和1.1 時得到的，圖3（c），3（d）圖時FSIFT 算法在最近鄰與次近鄰的比值為0.7 和1.1 時得到的。由圖中可以看出，對于傳統(tǒng)SIFT，在最近鄰與次近鄰的比值設(shè)定較小時算法提取到的特征點數(shù)量相對較少，誤匹率較低；增大比值能夠較大提升特征點提取能力，但誤匹率也隨之增加，這種結(jié)果往往是不能忍受的。而對于F-SIFT 算法，雖然在最近鄰與次近鄰的比值較小時算法在某些場景下提取到的特征點數(shù)量有限，但能保證剔除所有誤匹配，而且隨著比值的增加這種零誤匹率的優(yōu)勢更加明顯，在比值為1.1 時算法能同時兼顧特征點數(shù)量與正確匹配率兩大優(yōu)勢，具有良好的應(yīng)用潛力。

圖3 單一目標(biāo)的特征點匹配結(jié)果Fig. 3 Feature point matching results of single target

圖4 復(fù)雜目標(biāo)的特征點匹配結(jié)果Fig. 4 Feature point matching results of complex target

表1 和表2 分別記錄了在單一和復(fù)雜目標(biāo)場景下傳統(tǒng)SIFT 算法與F-SIFT 算法在不同最近鄰與次近鄰比值的情況下特征點匹配對數(shù)。其中SIFT-O 表示傳統(tǒng)SIFT 算法只在最近鄰與次近鄰比值規(guī)則下得到的匹配對數(shù)目（包含不同程度的誤匹配數(shù)目），SIFT-F 表示在雙重位置迭代匹配準(zhǔn)則下傳統(tǒng)SIFT 算法得到的匹配對數(shù)目（不包含誤匹配）。由表中數(shù)據(jù)可以看出F-SIFT算法較傳統(tǒng)SIFT 算法其有效特征點匹配對數(shù)提升了幾十至上百倍，而且由于在匹配階段采用的雙重位置迭代匹配準(zhǔn)則，這些匹配對中均沒有誤匹配。而且隨著最近鄰與次近鄰的比值不斷增大，F(xiàn)-SIFT 算法的性能優(yōu)勢更為突出。另外，從波段間隔的變化上可以發(fā)現(xiàn)，在用高光譜圖像重構(gòu)尺度空間時，并不是波段間隔越大或越小算法的性能越好，這從圖像層面上也很好理解。在波段間隔過小時，相鄰波段的圖像之間的差異很小，提取到的特征點信息就更接近，也即多樣化信息就越少，因而能提取到的特征點數(shù)量就越少；在波段間隔過大時，不同波段之間的圖像差異太大會對差分金字塔的特征點的確定造成負(fù)面的影響，因而也會導(dǎo)致提取到的特征點數(shù)量降低。

表1 各波段下單一目標(biāo)匹配數(shù)量Tab. 1 Matching number of single target in each band

表2 各波段下復(fù)雜目標(biāo)匹配數(shù)量Tab. 2 Matching number of complex target in each band

圖5 F-SIFT 算法與文獻［16］中算法在不同波段下的特征點與匹配對數(shù)量曲線Fig. 5 Number curve of feature points and matching pairs of f-sift algorithm and the algorithm in reference［16］under different wave bands

圖5（b）表示F-SIFT 算法與文獻［16］中算法在不同波段下得到的最終正確匹配對數(shù)，由于文獻［16］中可能含有誤匹配，因而采用了相似性程度最高的4 組匹配對用來構(gòu)建雙三角平面。由此也可以看出相似性程度越高并不一定就意味著是最佳的選擇，經(jīng)實驗反復(fù)驗證，從前20 對相似性程度高的匹配對中隨機選擇基準(zhǔn)特征點對能擴大算法的性能優(yōu)勢。

5 結(jié) 論

圖像處理是機器視覺領(lǐng)域最基礎(chǔ)的研究工作之一，特征點提取與匹配在圖像處理中有著舉足輕重的位置，良好的特征點獲取與檢校方法對于后期的工作具有重要的意義。因此本文從SIFT 算法出發(fā)，對先前的工作進行了優(yōu)化和總結(jié)，提出了一種基于光譜圖像空間的F-SIFT 特征提取與匹配方法。該方法從圖像的尺度空間的構(gòu)建、冗余特征點的刪減、誤匹配的剔除三個方面進行了改良，構(gòu)造了一種新穎有效的圖像特征點處理方法。接下來準(zhǔn)備從高光譜圖像本身出發(fā)，研究不同分辨率下的高光譜圖像構(gòu)造出的尺度空間對算法最終結(jié)果的影響，以及將本文方法引入圖像的三維重構(gòu)中，拓展算法的應(yīng)用領(lǐng)域。