基于最大特征點(diǎn)對(duì)互信息的圖像配準(zhǔn)

摘要：定義了局部特征點(diǎn)對(duì)互信息量，并在兩個(gè)合理的假設(shè)下提出了基于最大特征點(diǎn)對(duì)互信息量的一種新的圖像配準(zhǔn)方法。該方法包含了兩個(gè)搜索過程：第一個(gè)過程是基于特征點(diǎn)對(duì)的全局搜索過程，該過程得到初始匹配點(diǎn)對(duì)；第二個(gè)過程是在初始匹配點(diǎn)對(duì)的鄰域內(nèi)利用互信息基本性質(zhì)的局部搜索，該過程可以進(jìn)一步提高匹配點(diǎn)對(duì)的精度。全局搜索過程能夠提高搜索效率，而局部搜索又可以克服依賴于準(zhǔn)確提取特征點(diǎn)的不足。最后通過理論分析和實(shí)驗(yàn)證明了所提出方法的有效性。

關(guān)鍵詞：互信息； 特征點(diǎn)對(duì)； 圖像配準(zhǔn)

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001－3695(2008)03－0939－03

基于互信息量的全局圖像配準(zhǔn)方法吸引了許多研究者的興趣，目前已成為計(jì)算機(jī)視覺和圖像處理的研究熱點(diǎn)[1]。該方法引入了聯(lián)合熵、相對(duì)熵和互信息等信息論的概念，而且是基于圖像中所有像素的配準(zhǔn)方法，無須對(duì)圖像作預(yù)處理，所以不但其自動(dòng)化程度高，而且精度高，可達(dá)到亞像素級(jí)[2，3]。但是，當(dāng)圖像受噪聲、低采樣、變形等因素影響時(shí)，將導(dǎo)致誤匹配魯棒性問題[4]。這些魯棒性問題使得互信息量的目標(biāo)函數(shù)存在大量局部極值，從而使優(yōu)化過程可能收斂到局部極值點(diǎn)；另一方面，基于幾何特征的圖像配準(zhǔn)也是一種重要的圖像配準(zhǔn)方法，該方法通過提取圖像的幾何特征，如對(duì)應(yīng)的特征點(diǎn)、邊界、表面等，建立基于這些幾何特征的目標(biāo)函數(shù)，并通過最優(yōu)化搜索技術(shù)得到配準(zhǔn)參數(shù)。然而該方法依賴于特征點(diǎn)的準(zhǔn)確提取，也受噪聲的影響，使得優(yōu)化過程極易陷入局部極值[5]。

為了尋找圖像間更加穩(wěn)定的相似性測(cè)度來改善各種圖像配準(zhǔn)方法的穩(wěn)定性，以克服圖像配準(zhǔn)存在的魯棒性問題，將幾何特征和像素相似性的方法相結(jié)合，實(shí)現(xiàn)兩者優(yōu)勢(shì)互補(bǔ)，是一種有效和可行的思路。雖然，文獻(xiàn)[4]利用圖像的梯度信息提出了融合傳統(tǒng)互信息和梯度場(chǎng)相似測(cè)度的方法，文獻(xiàn)[6]提出了基于形狀最大互信息的圖像配準(zhǔn)方法，但并沒有從本質(zhì)上改變沿x、y、θ方向搜索得到最大互信息量。另外，在文獻(xiàn)[7，8]中利用特征點(diǎn)和互相關(guān)、對(duì)齊度等方法有效地實(shí)現(xiàn)了圖像匹配，但這些方法依賴于特征點(diǎn)的準(zhǔn)確提取。本文基于以上方法的不足，在定義圖像特征點(diǎn)對(duì)互信息的基礎(chǔ)上，提出了基于特征點(diǎn)對(duì)互信息的匹配準(zhǔn)則。該方法有兩個(gè)過程：a)把基于x、y、θ等多個(gè)方向的搜索變成了基于特征點(diǎn)對(duì)的全局搜索，得到初始匹配點(diǎn)對(duì)；b)利用互信息的性質(zhì)，在初始匹配特征點(diǎn)的局部范圍內(nèi)搜索，以提高初始匹配點(diǎn)的定位精度。這樣，全局搜索過程由于避免了x、y、θ等多個(gè)方向的搜索，從而可以提高搜索效率；同時(shí)，局部搜索又可以克服依賴于特征點(diǎn)準(zhǔn)確提取的局限性，使得所提出的方法更加有效。最后，本文不但從大量的實(shí)驗(yàn)及其對(duì)比來驗(yàn)證了方法的有效性，而且還從理論分析的角度來證明所提出方法的正確性和合理性。

1基于互信息量的圖像配準(zhǔn)原理

設(shè)兩幅圖像A、B為兩個(gè)隨機(jī)變量，pAB(a，b)是圖像A、B的灰度聯(lián)合概率密度分布，pA(a)和pB(b)

是A、B的灰度邊緣概率密度分布。根據(jù)隨機(jī)變量的性質(zhì)，如果A、B相互獨(dú)立，那么pAB(a，b)=pA(a)pB(b)；如果A、B完全相關(guān)，那么pAB(a，b)=pA(a)=pB(b)。隨機(jī)變量A、B的互信息量描述了兩個(gè)隨機(jī)變量A、B之間的統(tǒng)計(jì)相關(guān)性，即一個(gè)隨機(jī)變量中所包含的另一個(gè)隨機(jī)變量中信息的量，度量了兩個(gè)隨機(jī)變量A、B之間的相關(guān)性與獨(dú)立不相關(guān)的程度。如果使用Kullback Leibler測(cè)度，隨機(jī)變量A、B的互信息量可表示為

根據(jù)式(4)，當(dāng)兩幅圖像配準(zhǔn)時(shí)，它們的空間位置將達(dá)到一致，使得圖像之間的相關(guān)性最大，灰度聯(lián)合概率密度分布pAB(a，b)最集中，圖像之間的聯(lián)合信息量H(A，B)最小，即這兩幅圖像的互信息應(yīng)為最大。由此可見，基于互信息量測(cè)度下的圖像配準(zhǔn)可以表示為

值得注意的是：雖然互信息量反映了當(dāng)前位置下待配準(zhǔn)圖像之間的相關(guān)性，但為了獲得圖像之間的變換關(guān)系f，需要從x、y、θ等多個(gè)方向進(jìn)行搜索，從而使得計(jì)算量非常大。同時(shí)，當(dāng)圖像噪聲較大，待匹配圖像所包含的有效信息較少時(shí)，可能使互信息函數(shù)收斂到局部極值點(diǎn)。正是基于這些問題的考慮，本文把特征點(diǎn)和互信息有效地結(jié)合，建立了一種新的匹配準(zhǔn)則，從而可以有效地避免上述問題。

2特征點(diǎn)對(duì)互信息及其配準(zhǔn)準(zhǔn)則

一般地，設(shè)待配準(zhǔn)圖像A和B提取出來的特征點(diǎn)集為PA={pi=(pix，piy，θpi)t}i=1，2，…，N1和PB={qj=(qjx，qjy，θqj)t}j=1，2，…，N2。其中θpi和θqj分別是點(diǎn)pi和qj的方向。如圖1(a)和(b)所示，設(shè)(pi，θi)和(qj，θj)分別是參考圖像A和待匹配圖像B的任意特征點(diǎn)，θi和θj分別是圖像特征點(diǎn)的輻角，而Δθi， j=θi-θj是其輻角之差，表示了圖像A與B之間的旋轉(zhuǎn)角度。(pi，qj，Δθi， j）(i=1，…，n; j=1，…，m)是圖像A和B的特征點(diǎn)對(duì)集合中任意兩個(gè)特征點(diǎn)的互信息，定義為

I(A， fpi，qj，Δθi， j(B))=H(A)+

H(fpi，qj，Δθi， j(B))-H(A， fpi，qj，Δθi， j(B))（6）

其意義如圖1（c）所示。把圖像B旋轉(zhuǎn)Δθi， j度，然后圖像B平移到A之上，使pi和qj重合，這時(shí)圖像A和B的互信息就是特征點(diǎn)對(duì)(pi，θi)和(qj，θj)的互信息。

(a) 參考圖像(b) 待匹配圖像(c) 基于特征點(diǎn)對(duì)的計(jì)算互信息

在大量的實(shí)驗(yàn)中筆者發(fā)現(xiàn)，在兩幅具有相關(guān)性的圖像中，通過特征點(diǎn)的選取，可以使得下面的假設(shè)成立。

假設(shè)1設(shè)pi(i=1，2，…，n)和qj(j=1，2，…，m)分別是具有相關(guān)性的圖像A、B的特征點(diǎn)集，Δθi， j是任意兩個(gè)特征點(diǎn)對(duì)的角度之差，那么在(pi，qj，Δθi， j）(i=1，…，n; j=1，…，m)中，至少存在一對(duì)對(duì)應(yīng)的匹配點(diǎn)對(duì)(p，q，Δθ)。

通過大量的實(shí)驗(yàn)證明了如下事實(shí)：對(duì)任意一對(duì)匹配點(diǎn)，隨著平移的增大，其互信息量將迅速遞減。實(shí)際上，互信息量的含義也反映了這個(gè)事實(shí)。圖2(a)是實(shí)驗(yàn)結(jié)果圖3(a)匹配點(diǎn){(45，205)，(94，167)}中的特征點(diǎn)(45，205)與特征點(diǎn)(94，167)的10×10鄰域的點(diǎn)集互信息；圖2(b)是實(shí)驗(yàn)結(jié)果圖3(b) 匹配點(diǎn){(45，205)，(94，167)}中特征點(diǎn)(45，205)與特征點(diǎn)(94，167)的10×10鄰域的點(diǎn)集互信息。因此，可以提出假設(shè)2。

圖2基于匹配點(diǎn)對(duì)的10×10鄰域的互信息變化

假設(shè)2設(shè){p，q}是匹配點(diǎn)對(duì)，而{p，q}是非匹配點(diǎn)對(duì)，那么匹配點(diǎn)互信息大于非匹配點(diǎn)互信息，即I(A， fp，q，Δθ(B))>I(A，fp，q，Δθ(B))。

基于假設(shè)1和2，可以提出基于特征點(diǎn)互信息量測(cè)度下的圖像配準(zhǔn)的匹配準(zhǔn)則:

fp，q，Δθ=arg maxi， j I(A， fpi，qj，Δθi， j(B))(7)

注：a）在式（6）中引入了特征點(diǎn)信息，擴(kuò)充了互信息的定義；

b）式(7)與(5)的最大區(qū)別在于包含了特征點(diǎn)，從而把基于x、y、θ三個(gè)方向的搜索變成了基于特征點(diǎn)搜索，使得搜索效率提高，這就是全局搜索過程；

c）同時(shí)，由式(7)得到的匹配點(diǎn)對(duì)，還可以利用式(5)在該匹配點(diǎn)對(duì)的小鄰域內(nèi)進(jìn)行搜索，可以進(jìn)一步提高匹配的精度，從而使得該匹配準(zhǔn)則不依賴于特征點(diǎn)的準(zhǔn)確提取，這就是局部搜索過程；

d）如果圖像A和B的特征點(diǎn)對(duì)集合(pi，qj，Δθi， j)存在多對(duì)匹配點(diǎn)對(duì)，那么通過遍歷所有的特征點(diǎn)對(duì)，可以得到匹配點(diǎn)對(duì)集合{(p，q)|p，q是匹配點(diǎn)對(duì)}。

3理論分析

1）設(shè)(p，q，Δθ)和(p，q，Δθ)是兩對(duì)匹配點(diǎn)對(duì)，那么I(A， fp，q，Δθ(B))=I(A， fp，q，Δθ(B))。事實(shí)上，根據(jù)匹配點(diǎn)對(duì)和特征點(diǎn)對(duì)互信息的意義，由這兩對(duì)匹配點(diǎn)對(duì)得到的圖像重疊是相同的，所以有結(jié)論成立。可以通過實(shí)驗(yàn)證明，如果兩幅圖像之間沒有旋轉(zhuǎn)只有平移，那么其匹配點(diǎn)的互信息完全相等。

2）設(shè)在圖像A、B的(pi，qj，Δθi， j)中存在匹配點(diǎn)對(duì)，且I(A， fp，q，Δθ(B))在所有I(A， fpi，qj，Δθi， j(B))中是最大的互信息，那么(p，q)是匹配點(diǎn)對(duì)。這實(shí)際上是匹配準(zhǔn)則所表達(dá)的意義。

3）設(shè)(p，q，Δθ)是匹配點(diǎn)對(duì)，且它的互信息與(p，q，Δθ)的互信息相等，即I(A， fp，q，Δθ(B))=I(A， fp，q，Δθ(B))，則(p，q)是匹配點(diǎn)對(duì)。事實(shí)上，如果(p，q)不是匹配點(diǎn)，那么由假設(shè)2可以得到I(A， fp，q，Δθ(B))>I(A， fp，q，Δθ(B))，這與假設(shè)2矛盾。

4）根據(jù)假設(shè)1和前面的結(jié)論，一定可以得到匹配點(diǎn)對(duì)，從而算法得到證明。

注意，即使(p，q，Δθ)和(p，q，Δθ)都是匹配點(diǎn)對(duì)，這兩點(diǎn)分別得到的圖像重疊是相同的，但由于計(jì)算互信息要受插值和噪聲的影響，一般情況下，互信息I(A， fp，q，Δθ(B))和I(A， fp，q，Δθ(B))不會(huì)完全相等。然而兩者相差較小，可以看成近似相等。這將由第4章的實(shí)驗(yàn)得到驗(yàn)證。

4實(shí)驗(yàn)結(jié)果及分析

本節(jié)將通過實(shí)驗(yàn)驗(yàn)證所提出的匹配準(zhǔn)則的正確性和有效性。下面的實(shí)驗(yàn)數(shù)據(jù)及結(jié)果都是在MATLAB 6.5環(huán)境下得到的結(jié)論，且在所有實(shí)驗(yàn)中，特征點(diǎn)是通過小波多尺度積而提取的邊緣特征點(diǎn)[7，9]。

為了說明本文方法的有效性，筆者選取了高度形變旋轉(zhuǎn)角度較大的航空?qǐng)D像，以及傳感器圖像和雷達(dá)圖像、景物圖像，還有它們的噪聲圖像。圖 3表示了配準(zhǔn)原圖像（http://nayana.ece.ucsb.edu/registration）。

例如，圖4(a)表示高度形變 (highly distorted)且旋轉(zhuǎn)角度較大的圖像配準(zhǔn)結(jié)果；(b)表示不同時(shí)間以及不同傳感器圖像(urban SPOT band 3 (08/08/95) 和TM band 4 (06/07/94))的配準(zhǔn)結(jié)果；(c)表示不同時(shí)間雷達(dá)圖像(JERS1 radar (10/10/95) 和(08/13/96))的配準(zhǔn)結(jié)果。圖5分別表示航空、景物以及加噪圖像的配準(zhǔn)結(jié)果。其中(b)(d)是增加了高斯白噪聲（σ=0．002）的圖像。從配準(zhǔn)效果和表1、2的實(shí)驗(yàn)數(shù)據(jù)可以看出所提出方法的有效性。其中，表1列出了圖4和5的部分實(shí)驗(yàn)數(shù)據(jù)。為了參考，在表1中列出了網(wǎng)上的Regweb ( http://nayana.ece.ucsb.edu/registration ) 所做的結(jié)果， 從其對(duì)比實(shí)驗(yàn)來看，所提出的方法達(dá)到了理想效果。表2的數(shù)據(jù)是圖4(a)的實(shí)驗(yàn)結(jié)果。它表明了所提出方法的優(yōu)點(diǎn)，根據(jù)特征點(diǎn)進(jìn)行的全局搜索得到匹配點(diǎn)可以進(jìn)一步通過局部搜索以提高匹配的精度。例如全局匹配結(jié)果為rotation angle=-19．726，(DX，DY)=(141．99，73．102)，scale=1．021 1；局部搜索得到的結(jié)果為rotation angle=-19．758，(DX，DY)=(142．79，75．507)，scale=1．001 5，匹配精度進(jìn)一步提高。圖6表示把圖4的特征點(diǎn)對(duì)互信息量按從小到大的順序排列。從該圖中可以看出，最大互信息量與其他互信息量有一個(gè)明顯的突變過程，這說明了匹配點(diǎn)的互信息量是很容易區(qū)分出來的，也說明了理論分析的合理性和正確性。另外，針對(duì)圖5的圖像配準(zhǔn)實(shí)驗(yàn)，在都沒有進(jìn)一步考慮優(yōu)化的情況下，表3是特征點(diǎn)對(duì)互信息量的計(jì)算量和按x、y、θ三個(gè)方向搜索方法所得到的計(jì)算量之間的對(duì)比。在按此三個(gè)方向的搜索方法中，其步長(zhǎng)分別是5、5、1。從平均時(shí)間之比來看至少可以提高8．309 8倍。

5結(jié)束語

本文針對(duì)圖像配準(zhǔn)中的互信息方法和特征方法的不足，提出了特征點(diǎn)對(duì)互信息的概念，并依據(jù)兩個(gè)合理的假設(shè)，建立了基于最大特征點(diǎn)互信息量的圖像配準(zhǔn)準(zhǔn)則。該準(zhǔn)則把基于x、y、θ等方向的搜索問題轉(zhuǎn)換成了基于特征點(diǎn)的搜索問題。從大量的對(duì)比實(shí)驗(yàn)可以看出，所提出的方法能有效地提高搜索效率。同時(shí)該準(zhǔn)則不依賴于特征點(diǎn)的準(zhǔn)確提取。因?yàn)楫?dāng)特征點(diǎn)得到之后，可以利用互信息的特性在該特征點(diǎn)的局部范圍內(nèi)搜索，從而使得所提出的方法可以進(jìn)一步提高匹配特征點(diǎn)對(duì)的定位精度，并優(yōu)于其他算法。本文還從兩個(gè)合理的假設(shè)出發(fā)，分析了特征點(diǎn)對(duì)互信息的一些簡(jiǎn)單性質(zhì)，證明了該方法的正確性。最后，通過實(shí)驗(yàn)和數(shù)據(jù)分析，驗(yàn)證了該方法的正確性和有效性。

參考文獻(xiàn)：

[1]PLUIM J P W， MAINTZ P J B， VIERGEVER M A. Mutual information based registration of medical images: a survey[J]. IEEE Trans on Medical Imaging，2003，22(8):9861004.

[2]MAES F， COLLIGNON A. Multimodality image registration by maximization of mutual information[J]. IEEE Trans on Medical Imaging， 1997，16(2):187198.

[3]HOLDEN M，DENTON D L G. Voxel similarity measures for 3D serial MR brain image registration[J]. IEEE Trans on Medical Imaging， 2000，19(2):94102.

[4]陳明，陳武凡.基于互信息量和模糊梯度相似性的醫(yī)學(xué)圖像配準(zhǔn)[J].電子學(xué)報(bào)， 2003，31（12）:18351838.

[5]張二虎，卞正中.基于最大熵和互信息最大化的特征點(diǎn)配準(zhǔn)算法[J].計(jì)算機(jī)研究與發(fā)展，2004，41(7):11941199.

[6]羅述謙，李響.基于最大互信息的多模醫(yī)學(xué)圖像配準(zhǔn)[J].中國圖象圖形學(xué)報(bào)， 2000，5（7）:551－558.

[7]HSIEH J W. Image registration using a new edgebased approach[J]. Computer Vision and Image Understanding， 1997，67(2):112130.

[8]YANG Dan， GEYongxin， ZHANG Xiaohong. A new method for image registration based on alignment metric of edge feature points[C]//Proc of the 6th International Progress on Wavelet Analysis and Active Media Technology. 2005:894－899.

[9]楊丹，張小洪. 基于小波多尺度積的邊緣檢測(cè)算法[J].計(jì)算機(jī)科學(xué)， 2004，31(1):133135.

[10]PLUIM J P W， MAINTZ J B A， VIERGEVER M A. Interpolation artifacts in mutual information based image registration[J]. Computer Vision and Image Understanding，2000，77(2):211－232.

“本文中所涉及到的圖表、注解、公式等內(nèi)容請(qǐng)以PDF格式閱讀原文”