基于變電站多模圖像的自動集成配準方法

夏英杰，李金屏，陳 瑞

(1.濟南大學信息科學與工程學院，濟南250022;2.濟南大學山東省網絡環境智能計算技術重點實驗室，濟南250022;3.中國兵器工業集團第53研究所仿真與信息中心，濟南250032)

當前國內外有很多對于多模態圖像配準技術的研究，在相關文獻中也提出了很多配準方法。Woods在配準MRI－PET圖像時提出了劃分強度一致性(PIU)測度［1］，但是PIU測度沒有考慮圖像間像素灰度值之間的相關性;文獻［2］對PIU測度進行了改進。Collignon等［3］和Viola等［4］分別獨立地將互信息引入圖像配準領域，該方法在醫學圖像處理方面引起了人們廣泛的研究興趣［5－6］，是目前使用最廣泛的多模態圖像配準方法之一。2003年，王東峰等［7］提出基于對齊度準則的配準方法，在多模態醫學圖像和遙感圖像的配準方面引起了人們的關注［8－9］。對齊度方法無需定義特征點，可以解決灰度非線性相關、灰度直方圖差異很大的兩幅圖像的配準。此外，還有其他的一些配準方法和測度，例如基于算術－幾何均值距離的配準測度［10］、基于Cauchy－Schwarz距離的配準測度［11］等。但這些方法和測度大都是針對某種特定的應用而獨立進行研究的，因此配準方法雖然較多，但卻不成體系，沒有絕對的評價標準，很難評價配準方法之間的優劣關系。文獻［12］提出了一種基于動態可信度的集成配準方法，但主要是針對尺寸相同或接近相同的紅外圖像和相應的可見光圖像。

本文在文獻［12］方法的基礎上，提出了一種新的多模態圖像的自動集成配準方法。實驗結果證明，該方法能實現不同尺寸的多模態圖像的自動配準，且速度較快，準確性高，魯棒性強。

1 算法思路

實驗圖像采用變電站巡檢機器人采集到的紅外圖像和相應的可見光圖像，但其分辨率不同，尺寸也不一致。紅外圖像中的全部場景信息僅是可見光圖像中的一部分，但圖像尺寸比可見光圖像大。為了提高配準速度，首先對采集到的每組圖像進行小波分解。以分解后得到的概貌圖像為待配準的圖像，以文獻［12］中的六種方法為適應度函數，分別利用遺傳算法進行搜索，尋找兩幅多模態圖像的最佳配準位置，最后利用動態可信度方法進行集成。

2 小波變換

為了提高配準速度，首先對采集到的圖像進行小波分解。小波分解后，保留了配準圖像的主要信息，而寬度和高度縮為原來的1/2，大大提高了配準速度。本文使用db1小波對紅外圖像和相應的可見光圖像進行db1小波分解，結果如圖1所示。

圖1(a)是可見光圖像的小波分解結果，圖1 (b)是紅外圖像的分解結果。

圖1 小波分解結果Fig.1 Result of wavelet decom position

3 配準方法

3.1 基于互信息的多模圖像配準

基于互信息的多模圖像配準方法需要首先計算兩幅對應圖像的熵和聯合熵。主要公式如下

兩幅圖像的互信息為

3.2 基于對齊度的多模圖像配準

假設給定兩幅進行配準的圖像I1(x，y)和I(x，y)，其中I1(x，y)為配準圖像，I(x，y)為待配準圖像。I1(x，y)經過尺寸調整后，其大小為M× N。在配準時，以I1(x，y)左下角頂點為基準，在I(x，y)中進行移動。設I1(x，y)在I(x，y)中移動時對應的圖像塊為I2(x，y)，計算I1(x，y)與相應圖像塊I2(x，y)的對齊度。算法主要公式如下

P2(n)，E21(n)(n)同理可得。式中: H1(n)和H2(n)是兩幅圖像的灰度級統計;P1(n)和P2(n)是灰度n在圖像中出現的比率;和是兩幅圖像的像素灰度方差;E12(n)(E21(n))和(n)((n))是兩幅圖像中一幅圖像相對于另一幅圖像灰度值為n的對應像素集合的灰度均值和方差是以比率P1(n)(P2(n))對方差(n)((n))進行加權平均得到的期望方差;CI是兩幅圖像的交互方差，對齊度AM是CI的倒數。

3.3 基于動態可信度的集成配準方法

實驗發現，采用單一的圖像配準方法配準準確率不高。而各種方法配準錯誤的圖像又不完全相同，因而具有一定的互補性。如果能將各種方法結合起來集成考慮，則可大大提高配準的準確率。本文以互信息與對齊度的方法為基礎，加入邊緣檢測和均衡化技術，得到了互信息直接配準、邊緣檢測后互信息配準、均衡化后互信息配準、對齊度直接配準、邊緣檢測后對齊度配準、均衡化后對齊度配準六種配準方法。為了衡量不同方法在集成時的重要性，本文使用了文獻［12］中提出的動態可信度的概念。

式中:Ci是第i種方法的可信度;pi是用該方法對多組多模圖像進行配準后所得到的配準錯誤率，i的取值為1至6。各種方法的可信度是隨著使用該方法進行圖像配準而動態變化的，即每組多模圖像配準后，就重新計算各種方法的可信度，使其更趨于一般性和穩定性。在實驗時將這六種方法的初始可信度都置為1/6，然后利用這六種方法分別對多組多模圖像進行配準，再計算各種方法的錯誤率，并不斷修正其可信度。

在使用集成配準方法時，首先利用以上六種方法對多模圖像進行配準。當六種配準方法的結果不完全一致時，使用少數服從多數的原則，將結果相同的方法的可信度累加，認為可信度之和大的配準結果為正確的配準結果。

4 遺傳算法

變電站巡檢機器人采集到的紅外圖像和相應的可見光圖像分辨率不同，尺寸不一致。紅外圖像包含場景信息少，但圖像尺寸比可見光圖像大。因此，假設兩幅圖像之間存在一個旋轉平移縮放變換T(Tx，Ty，Txs，Tys，Tθ)。由于實際拍攝的圖像基本沒有旋轉變換，或旋轉基本可忽略不計，又因為互信息和對齊度配準是一種按像素順序進行的窮舉式搜索，所以不必考慮平移變換，因此，變換T簡化為T(Txs，Tys)。在本方法中，以六種方法作為適應度函數，遺傳算法采用浮點數編碼，通過多次迭代得到最優解T，即最合適的參數Txs和Tys，使一幅圖像經過變換T(Txs，Tys)后得到的圖像與另一幅圖像的相似度最大。

在遺傳算法迭代中，設定種群規模為50，交叉率初始值為0.2，變異率初始值為0.002，迭代結束條件為連續幾代的最優解相同。選擇操作采用輪盤賭方式，交叉操作采用單點交叉，變異操作按下式進行:

5 實驗結果分析

本文對紅外圖像和相應的可見光圖像進行配準，其中可見光圖像為待配準圖像，紅外圖像為配準圖像，紅外圖像的尺寸均為128×100像素，可見光圖像的尺寸均為217×188像素。實驗用計算機的配置是Pentium(R)Core i5 CPU 3.2 GHz，內存4 GB。在基本沒有旋轉變換和較大形變的情況下，采用以上六種方法和集成配準方法，對隨機選擇的70組紅外圖像和可見光圖像進行了配準。各種方法配準結果的準確率如表1所示。

表1 各種方法配準結果準確率的比較Table 1 The com parison of the success ratio at the different registration methods

由表1可見，采用動態可信度的集成配準方法，比任意單一的配準方法準確率都高，并且隨著集成配準方法配準次數的增加，結果的準確率將趨于穩定。

圖2給出了一組紅外圖像和相應的可見光圖像的六種方法的配準結果。圖2(a)為直接互信息配準，圖2(b)為邊緣檢測后互信息配準，圖2(c)為均衡化后互信息配準，圖2(d)為直接對齊度配準，圖2(e)為邊緣檢測后對齊度配準，圖2(f)為均衡化后對齊度配準。出現的錯誤配準，主要是因為部分紅外圖像有些模糊，灰度層次上有比較接近的區域。

圖2 六種配準方法的結果Fig.2 Results of six registration methods

6 結束語

本文將采集到的紅外圖像和相應的可見光圖像進行小波分解的結果作為待配準圖像，使用六種配準方法，結合遺傳算法，分別對其進行配準，然后利用動態可信度將配準結果進行集成。實驗結果證明，該方法準確率高，魯棒性強，可信度可動態變化，適應性強。實驗中使用的圖像尺寸不大，但大尺寸圖像同樣可以使用該方法進行處理，只不過小波分解的次數增加，使用遺傳算法配準后需進一步計算精確的配準位置。當然，實驗方法也存在著不足之處，例如實驗圖像基本沒有旋轉和較大的形變，情況相對比較簡單。今后將對這些問題進行更深入的研究。

［1］Woods R P，Mazziotta JC，Cherry SR.MRI－PET registration with automated algorithm［J］.Journal of Computer Assisted Tomography，1993，17(4):536－546.

［2］時永剛，劉小軍，王東峰，等.多模態圖像配準的配準測度和性能分析［J］.電子與信息學報，2004，26 (11):1706－1713.

Shi Yong－gang，Liu Xiao－jun，Wang Dong－feng，et al. Performance analysis of registration measures formultimodal image registration［J］.Journal of Electronics and Information Technology，2004，26(11):1706－1713.

［3］Collignon A，Maes F，Delaere D，etal.Automated multimodality image registration based on information theory［C］//Proc.of the Information Processing in Medical Imaging Conference，1995:263－274.

［4］Viola P A，Wells W M III.Alignment by maximization ofmutual information［J］.International Journalof Computer Vision，1997，24(2):137－154.

［5］Pluim JPW，Maintz JB A，Viergever M A.Image registration by maximization of combined mutual information and gradient information［J］.IEEE Transactions on Medical Imaging，2000，19(8):809－814.

［6］張二虎，卞正中.基于最大熵和互信息最大化的特征點配準算法［J］.計算機研究與發展，2004，41(7): 1194－1199.

Zhang Er－hu，Bian Zheng－zhong.A new robust point registration algorithm by maximization of entropy and mutual information［J］.Journal of Computer Research and Development，2004，41(7):1194－1199.

［7］王東峰，鄒謀炎.基于最大化對齊度的多模態圖像自動配準［J］.電子與信息學報，2003，25(6):755－762.

Wang Dong－feng，Zou Mou－yan.Automatic registration ofmulti－modal images based on themaximization of the alignmentmetric［J］.Journal of Electronics and Information Technology，2003，25(6):755－762.

［8］葛永新，楊丹，張小洪.基于邊緣特征點對對齊度的圖像配準方法［J］.中國圖象圖形學報，2007，12 (7):1291－1295.

Ge Yong－xin，Yang Dan，Zhang Xiao－hong.A new method for image registration based on alignmentmetric of edge feature points［J］.Journal of Image and Graphics，2007，12(7):1291－1295.

［9］Xia Ying－jie，Yin Jian－qin，Chen Rui.An automatic registrationmethod formulti－modal images based on alignmentmetric［C］//The 3rd International Conference on Computer Design and Applications，2011:181－184.

［10］時永剛，鄒謀炎.基于算術－幾何均值距離的多模態圖像配準［J］.光學技術，2004，30(4):409－412，416.

Shi Yong－gang，Zou Mou－yan.Novel similaritymeasure based on arithmetic－geometric mean distance formultimodal image registration［J］.Optical Technique，2004，30(4):409－412，416.

［11］時永剛.新的Cauchy－Schwarz距離函數與多模態醫學圖像配準［J］.光學技術，2005，31(5):684－697，690.

Shi Yong－gang.Novel divergence measure based on Cauchy－Schwarz formultimodalmedical image registration［J］.Optical Technique，2005，31(5):684－697，690.

［12］Xia Ying－jie，Chang Xiao－li，Chen Rui，etal.A synthetic registrationmethod formulti－modal images based on dynamic credibility［C］//International Conference on Computer Application and System Modeling，2010:140－144.