基于IOS的KAZE算法的應(yīng)用

康澤付 許存祿 邢磊

摘 要： 圖像拼接技術(shù)是一種在同一場景中對相互之間存在重疊的圖像序列進行匹配，然后經(jīng)過重新采樣融合形成一幅包含各個圖像信息的新圖像的技術(shù)。基于對圖像拼接技術(shù)中的圖像配準等核心技術(shù)的研究，對現(xiàn)有的一種新的圖像拼接方法KAZE進行了分析、研究和總結(jié)，并將其進行改動后應(yīng)用到IOS上，完成了圖像的拼接。

關(guān)鍵詞： 圖像拼接； KAZE； IOS； 尺度不變特征轉(zhuǎn)換

中圖分類號：TP399 文獻標志碼：A 文章編號：1006-8228（2015）12-56-04

Application of KAZE algorithm in IOS

Kang Zefu， Xu Cunlu， Xing Lei

（Lanzhou University， Lanzhou， Gansu 730000， China）

Abstract： Image stitching is a kind of technology to match a sequence of images overlapped each other in the same scene， and then through the resampling and fusion， form a new image containing the information of all the images. Based on the research of image registration and other core technology in image mosaic technology， KAZE， a new image mosaic method， is analyzed， studied and summarized， and after modifying， is applied in the IOS to complete the image stitching.

Key words： image stitching； KAZE； IOS； SIFT

0 引言

圖像拼接技術(shù)是計算機技術(shù)的一個重要研究方向，它是一種把在同一場景中的多張相互重疊的圖像融合成一幅大的、高清晰的新圖像的技術(shù)。通過它，我們可以對圖片資源進行壓縮，節(jié)省存儲空間，同時更加完美的表示圖片所帶的信息。目前，圖像拼接技術(shù)得到廣泛應(yīng)用，比如：計算機視覺、醫(yī)學(xué)圖像等領(lǐng)域。它有著很大的使用價值和廣闊的應(yīng)用前景。

通常情況下，圖像拼接的過程包含圖像獲取，圖像匹配以及圖像合成三步。其中圖像匹配是整個圖像拼接的基礎(chǔ)，也是最重要的，它包含了特征點的提取、特征向量的描述和特征點的匹配。若此環(huán)節(jié)出現(xiàn)任何問題，都會導(dǎo)致圖像的拼接失敗。本文對眾多圖像匹配算法中的一種算法KAZE[1]進行研究和分析，然后對其稍作修改，使它能夠在IOS平臺上成功運行并完成圖像的拼接。

1 KAZE算法

1.1 非線性擴散濾波

非線性擴散濾波方法就是用一定的流動函數(shù)控制擴散的差異，來表示尺度圖像亮度（B）在不同尺度上的變化。此方法可以通過非線性偏微分方程（PDE）進行表示。典型的非線性擴散方程如下：

⑴

其中div為散度，Δ為梯度算子，B為圖像的亮度。為了使擴散自適應(yīng)于圖像的局部結(jié)構(gòu)，我們需要引出一個傳導(dǎo)函數(shù)g（x，y，t），圖像的表示形式隨著尺度參數(shù)t的變大而變得簡單；接著通過各向異性擴散的圖像的梯度幅值來控制在每個級的擴散，這樣便得到該函數(shù)的表示形式：

⑵

其中ΔBσ是圖像B經(jīng)過高斯平滑后的梯度。接下來介紹傳導(dǎo)函數(shù)F，其表示形式如式⑶，它能夠優(yōu)先保留寬度較大的區(qū)域而忽略寬度較小的區(qū)域。

⑶

對比度因子λ可以決定邊緣信息被保留下來的量，被保留下來的邊緣信息與它的值成反比。

由于非線性偏微分方程采用顯式差分格式的求解方法，而此方法采用很小的步長，所以收斂速度很慢，不太理想。因此將其離散化成為下面的半隱式差分（AOS）[2]格式：

⑷

其中，Al是表示圖像在各維度（l）上傳導(dǎo)性的矩陣。該方程的解如下：

⑸

這種求解方法可以采用任意時間步長τ來創(chuàng)建特征檢測和描述問題的非線性尺度空間，而且很穩(wěn)定。

1.2 非線性尺度空間

KAZE特征的尺度空間的構(gòu)造和SIFT[3-4]相似。首先定義一個隨時間漸變的非線性尺度空間，尺度級別隨對數(shù)遞增，共有E組octaves，每個octave有L個sublevel。KAZE的每個層級的分辨率都與原始圖像的分辨率相同。不同的octave和sublevel分別使用序號e和l來進行區(qū)分，同時利用式⑹達到與尺度參數(shù)σ相對應(yīng)：

⑹

其中，參數(shù)σ0是尺度參數(shù)的初始基準值，N=E*L是整個尺度空間的圖像總數(shù)。由于非線性擴散濾波模型的單位和尺度參數(shù)σi的不同，必須對σi進行單位轉(zhuǎn)化。在高斯尺度空間下，使用標準差為σ的高斯函數(shù)對圖像進行卷積運算，從而可以得到以像素為單位的尺度參數(shù)σi轉(zhuǎn)換到以時間單位的映射公式：

⑺

其中ti是指進化時間。

對于將要處理的圖像，KAZE算法先用標準偏差為σ的高斯函數(shù)對其進行高斯濾波，接著再把該圖像的梯度直方圖給求出來，進而獲取對參數(shù)λ，然后再通過一組進化時間，利用AOS算法便能夠獲取非線性尺度空間。

1.3 特征點檢測

KAZE先獲取不同尺度歸一化后的Hessian矩陣[5]，接著通過獲取Hessian矩陣局部極大值點來實現(xiàn)。Hessian矩陣的計算式子如下：

⑻

這里我們利用該濾波器級聯(lián)的二階導(dǎo)數(shù)計算，該濾波器的近似旋轉(zhuǎn)不變性比較好[6]。在獲取極值點時，每一個像素點將會與其周圍的26個點分別進行比較，當該點是這些點中的最大，并且也是其尺度域的所有相鄰點中的最大時，才被看作是極值點。

當極值點的位置被獲取到之后，由于噪聲等一些不可以避免的原因，還需對這些極值點作進一步的篩選。這里使用Harris Corner檢測器[7]，空間尺度函數(shù)展開如下：

⑼

⑽

其中式⑽是式⑼求導(dǎo)，并令其導(dǎo)數(shù)為0而得到的精確位置。接下來把公式⑽代入到公式⑼，即在DoG Space的極值點處D（x）取值，把最后一項舍去得：

⑾

其中，其中這里k取的是0.03。若前面的不等式成立，則該特征點就保留下來。

1.4 特征點匹配

在匹配圖像中選擇一個特征點ps（x）（1?x?ns），ns為匹配圖像A特征點的數(shù)目，假設(shè)該點的特征向量為Vs（x）。在匹配圖像B中選擇一個特征點pm（1?x?nm），nm為圖像B特征點的數(shù)目，假設(shè)其特征向量為Vt（x），接著計算出兩特征向量各維的相對距離之和，然后把它看成是這兩個特征點的相似性度量S。于是有：

⑿

這里需要對|Vt（i）|和|Vr（i）|進行判斷，如它們同時為零時，就停止計算。接下來，我們要計算圖像B中所有的特征點與圖像A特征點ps（m）的相似性度量，把它們記錄下來并進行比較，得出相似性度量值最小的特征點pm（x），并初步認為pm（x）為ps（x）要找的匹配點。為了確保上述獲取的匹配特征點的準確性，我們還需要進行驗證。那就是利用上述方法在圖像A中找pm（x）的匹配點ps（y），如果x和y相等，則最終認為ps（x）與pm（x）匹配。

2 應(yīng)用與實驗

對于前面提到的KAZE算法，本文把它運用到iOS平臺上，以便能夠在移動設(shè)備上完成圖像的拼接。這里更改特征點檢測時候的閘值，使檢測出來的特征點能夠滿足圖像的拼接，同時降低匹配的耗時。

2.1 運用在iOS上

KAZE算法庫中包含了特征點的檢測（features）、特征點的匹配（match）、特征點的比較（compare）、方便外部調(diào)用的（utils）、算法的接口（AKAZE）這些類。而對于這個庫，需要對一些調(diào)用方法進行改動封裝。下面簡述該算法在IOS平臺的實現(xiàn)過程。

⑴ 我們需要建立一個控制類，然后把.m后綴變成.mm，這是因為我們要調(diào)用的為C++庫。

⑵ 在這個類中，需要建立一個顯示控鍵，這個控鍵是用來顯示拼接完成后的圖片；在建立一個指示控鍵，這個控鍵是用來指示圖像正在拼接，也是用來阻止我們對界面的操作。

⑶ 接下來就把我們將要拼接的圖片按照相鄰的原則依次放進一個數(shù)組里面，再通過utils類調(diào)用拼接算法，首先對前兩張圖片進行特征值提取，接著對特征值進行匹配，最后按照特征值匹配的原則對圖片進行拼接融合。當完成拼接后，會生成一張新的具有前兩張圖片信息的大圖，然后把這張新圖片當成第一張圖片，再從數(shù)組里面取出下一張要處理的把圖片，按照上述說的過程對這兩張圖片進行拼接融合。就這樣直到所有要拼接圖片都被拼接完成。此時指示控鍵已經(jīng)出現(xiàn)并開始轉(zhuǎn)動。

⑷ 當所有的圖片都被拼接完成后，指示控鍵將會停止轉(zhuǎn)動并消失，顯示控鍵將會出現(xiàn)，并且拼接完成后的圖片也將會展現(xiàn)在該控見上。接著我們可以根據(jù)自己的觀察方式對該圖片進行放大、縮小、滑動這三種方式操作。

具體實現(xiàn)該過程的流程圖如圖1所示。

[開始] [獲取要處理的圖像序列][初始化KAZE類][把圖像序列傳給KAZE][將生成的新圖片顯示在

視圖上并進行一些操作][釋放內(nèi)存][結(jié)束][取圖像序列的前兩張進行特征提取及配準，把新的圖片賦給結(jié)果變量][判斷是否存在下一張

要匹配的圖像][若沒有，結(jié)束][若有，新圖片與接下來要調(diào)用的圖片進行匹配]

圖1 算法實現(xiàn)流程圖

2.2 在模擬器上的效果

為了更清晰地了解它的性能，我們用了多組圖片進行仿真，從仿真結(jié)果可判斷其優(yōu)缺點。圖2～圖5是從中抽取的四組圖片的實驗結(jié)果。

實驗一采用的是建筑物，它們對稱性很好，很多地方都相似，這樣檢測出來的特征點也就具有很大的相似性，從而給特征點的匹配帶來了巨大的干擾，但是從匹配的結(jié)果圖2來看，該圖片匹配的很好，完全能夠達到我們的要求，這說明該方法對這種干擾有很強的抑制能力。

實驗二采用的是自然風(fēng)景，這個圖上有很多樹，這樣會產(chǎn)生大量的特征點，使匹配的計算量大大增加，從而導(dǎo)致一些錯誤，可是從改組實驗結(jié)果圖3來看，這些問題處理得很好。

實驗三采用一個簡單的帶有建筑物的圖片，這樣特征點就會很少，這樣可能就會出現(xiàn)因為特征點的數(shù)量不夠而導(dǎo)致不能夠完成匹配，然而圖5則說明了即使特征點不夠多，但是在匹配要求的范圍內(nèi)，也能夠完成匹配。

實驗四是由實驗一去掉第三張圖片得來的，此處它是用來方便下文的時間對比說明。

從圖6我們可以清楚的看出各組實驗的耗時情況。實驗一和實驗四相比，它們的圖片是相同的，只是第一組比第四組多一張，圖6的實驗耗時結(jié)果表明第一組實驗耗時更多，這說明圖片越多，耗時就越多；第二組和第四組相比，第二組使用的圖片較為復(fù)雜，其特征值提取的會更多，圖6中的實驗耗時結(jié)果表明第二組實驗耗時更多，這說明圖片特征點越多，耗時就越多；至于實驗三，這里要說明的是，即使圖片較為簡單，提取的特征點較少，但是所消耗的時間與復(fù)雜的圖片相比，少的不會很多。

3 結(jié)束語

通常一些圖像拼接算法都是用在電腦上對圖像進行拼接處理，KAZE算法也不例外，而本文對KAZE方法進行了探究和分析，并對其進行了一定的修改，把它成功的應(yīng)用到新的IOS平臺上，并實現(xiàn)了很好的匹配效果，這使得在移動端進行圖片的拼接有了新的發(fā)展。但是對于特征點太少的圖像，它不能夠?qū)崿F(xiàn)很好的拼接，雖然可以通過更改特征點檢測時候的閘值，增加特征點數(shù)目，這將會對特征點多的圖片產(chǎn)生影響，增加計算時間。下一步將進行更深入的研究，使它能夠在IOS平臺上實現(xiàn)全景圖的拼接。

參考文獻（References）：

[1] P. F. Alcantarilla， A. Bartoli， and A. J. Davison. KAZE

features[M]. In Eur. Conf. on Computer Vision （ECCV）：214-227

[2] J. Weickert， B. terHaarRomeny， and M. A. Viergever.

Efficient and reliable schemes for nonlinear diffusion filtering[J]. IEEE Trans Image Processing，1998.7（3）：398-410

[3] E. Rublee， V. Rabaud， K. Konolige， and G. Bradski. ORB：

an efficient alternative to SIFT or SURF[J]. In IEEE Intl. Conf. on Computer Vision （ICCV），2011：2564-2571

[4] V S Veena Devi， S.M. Prasad and H. GangadharaBhat[J].

An Efficient Algorithm for Image Stitching Based On Scale-invariant Feature Transform[J]. International Journal of Engineering and Applied Sciences，2013.2（2）：45-49

[5] Lindeberg， T.： Feature detection with automatic scale

selection[J]. Intl. J. of Computer Vision，1998.30：77-116

[6] J. Weickert and H. Scharr. A scheme for

coherence-enhancing diffusion filtering with optimized rotation invariance[J]. Journal of Visual Communication and Image Represen-tation，2002.13：103-118

[7] J. Shi and C. Tomasi. Good features to track. In

Proceedings of the Interational Conference on Computer Vision and Pattern Recognition （CVPR94），1994.