采用GPU并行架構的基于互信息和粒子群算法的異源圖像配準

余春超，楊智雄，夏宗澤，袁小春，嚴 敏

?

采用GPU并行架構的基于互信息和粒子群算法的異源圖像配準

余春超1，楊智雄1，夏宗澤2，袁小春1，嚴 敏1

（1.昆明物理研究所，云南 昆明 650223；2.國網遼陽供電公司，遼寧 遼陽 111000）

對于異源可見光與紅外圖像配準，以互信息為相似性度量條件，以粒子群算法為搜索算法，在搜索空間中搜索極大值點，通過改變圖像分辨率，由粗到精，逐步實現可見光圖像與紅外圖像的配準，對粒子群算法、統計互信息和仿射變換3個部分的內在并行性，利用CUDA C語言實現GPU-CPU異構編程。實驗證明，在不降低精度的前提下提高了算法效率，得到了很好的加速比，算法正確匹配率高，魯棒性好，計算效率高。

異源圖像；互信息；粒子群；圖像配準；GPU

0 引言

異源圖像配準[1]主要指不同類傳感器圖像之間、或不同波段圖像之間的配準，如紅外與可見光圖像[2]、SAR圖像與光學圖像，以及醫學圖像中的CT與PET等。由于異源圖像成像機理不同，同一目標在相同的外在條件下也會產生不同的特征表現形式，如圖1所示。

圖1所示為同一場景可見光（左）與紅外（右）圖像對比圖，由于紅外線的穿透性，在有較多煙霧遮擋的情況下紅外圖像可以捕捉到煙霧后面的影像信息；對于沒有被煙霧遮擋的物體，如圖像右側的房屋和前景地面，在可見光圖像（左）中表現得更為清晰，即邊緣梯度較大，而在紅外圖像（右）中則顯得較為模糊；此外，一些輻射能量較高的物體在紅外圖像中可能更為明顯[3]。

由于成像機理不同，局部相同信息過少，不能采用基于局部特征的配準算法對異源圖像進行配準[4]。例如，基于特征點的算法，很難找到同名點，或即便找到，其特征支撐區域也很可能不同；對于基于邊緣的算法，不同源的圖像邊緣很可能在位置或長度上不一致，從而導致配準失敗；基于局部區域的算法同樣包含上述問題。

圖1 同一場景可見光（左）與紅外（右）圖像對比圖

1 基于灰度配準算法的基本框架及相關原理

針對異源圖像，本文采用基于全局灰度的配準算法，從整體上搜索兩幅異源圖像的相似特征，避免了基于局部特征算法的不足。這類算法的基本框架包含4個方面，分別為：特征空間、搜索空間、相似性度量以及搜索策略。

1.1 特征空間

本文選取全局灰度信息作為算法的特征空間，即考慮圖像中所有像素的灰度值，且無需對圖像進行預處理。由于考慮了所有灰度值，缺點是計算量較大，需要采用相關的優化技術進行優化，本文在算法上采用粒子群搜索算法加速搜素，在硬件上利用GPU[5]的并行處理[6]能力對算法進行并行設計。

1.2 搜索空間

針對本文算法，這里的搜索空間指配準圖像在一定范圍內進行平移、旋轉、縮放后形成的一組圖像。建立搜索空間的目的是在其中利用搜索算法找出與待配準圖像具有最大相似度的圖像，那么此圖像的變換參數即要求取的用于配準的參數，一般包括方向平移像素數、方向平移像素數、旋轉角度、縮放倍數。

1.3 相似性度量

互信息（Mutual Information）[7]是信息論里的一種度量，反映了被測事件集合之間的相關程度的大小[8]。互信息的值越高，表示事件之間的相關性也就越大。一般而言，信道中總是存在著噪聲干擾，信源發出的信號在信道中受到一定程度和形式的干擾，到達信宿后，由原來的變為。通過后驗概率(|)，可以推測出原始信號的概率，而發出的先驗概率為()。與的互信息可被定義為的后驗概率與先驗概率的比值取對數。在異源圖像配準中，配準圖像可以當作，待配準圖像可以當作，由于成像原理不同而造成的二者相同信息的缺失可以看作噪聲干擾。互信息一般用于描述兩個系統間，即和的統計相關性，用熵來描述為：

式中：()和()分別是系統和的熵；(,)是二者的聯合熵；(|)為已知系統時的條件熵；(|)為已知系統時的條件熵；P()和P()分別是系統和完全獨立時的概率分布；P(,)是系統和的聯合概率分布；P|B(|)是已知系統時的條件概率分布；P|A(|)是已知系統時的條件概率分布。

將式(2)、(3)和(4)代入式(1)中，可得兩幅圖像互信息的表達式：

即在搜索空間中進行搜索，當互信息達到最大時，此時對應的搜索空間的空間位置即為配準位置。

1.4 搜索策略

由于粒子群算法具有實現容易、精度高、收斂快等優點，且可以并行計算，適合在GPU上加速運算，因此本文搜索算法采用粒子群算法[9]。

粒子群優化算法可表述為：搜索空間即為由方向位移、方向位移、旋轉角度、縮放倍數形成的4維空間，這個空間中的每個點為一個潛在解，被稱為“粒子”。每個粒子有一個由目標函數確定的適應值，適應值的大小等于配準圖像經此粒子的變換參數變換后與待配準圖像的歸一化互信息的值。每個粒子的變化量稱為速度，一般由如下參數確定，即此粒子自身的歷史最優值、全局變量的歷史最優值、慣性權重、學習因子，以及若干隨機變量，如式(8)所示：

＝×＋1×rand×(best－pop)＋

2×rand (best－pop) (8)

式中：是粒子速度；是慣性權重；1和2為學習因子，一般取1＝2＝2；best為個體極值；best為群體極值；rand為0～1之間的一個隨機數，pop為某個粒子所在解空間的位置。慣性權重較小時，偏向于發揮粒子的局部搜索能力，反之則偏向于發揮粒子的全局搜索能力，慣性權重一般取0.8。通過多次迭代，粒子在解空間中逐漸收斂到最優解，這個解即為配準所需的變換參數。

2 算法的異構實現

配準過程的流程框圖如圖2所示。

圖2 基于互信息和粒子群算法的流程圖

在這一過程中，初始化階段包括原始圖像的讀取、灰度化、對輸入圖像進行兩次采樣，以及將Host端的圖像數據傳遞到Device端。其中，進行的兩次采樣分別生成原圖1/4和1/16的圖像，目的是為了減少運算量，即在搜索階段首先在1/16的圖像上進行第一階段搜索；然后以輸出參數作為下一階段搜索的初始狀態在1/4大小的圖像上進行第二階段搜索；最后以第二次搜索結果為初始狀態，在原圖上進行搜索。這一過程可概括為由粗到精的搜索配準。圖2所示的過程為順序執行，即邏輯上由Host端控制。

對于粒子群搜索算法，由于每個粒子在搜索空間中獨立計算，因此并行性主要體現在每一輪迭代時，可以對個粒子并行地計算粒子適應度、統計個體最優適應度、粒子速度更新和搜索空間中的位置更新，之后進行下一輪迭代。對于粒子適應度的計算，串行和并行結構的對比圖如圖3所示。

根據圖3所示，豎實線左側為串行粒子群算法，右側為相應的并行化改寫，對應部分由橫虛線分割。在并行算法中，每輪迭代個粒子同時進行運算，運算完成后，需要柵欄同步函數進行同步，之后才能進行下一步計算。在Device端的顯存中，粒子所對應的圖像數據組織成三維結構，即每個粒子對應的圖像保存為二維矩陣，個粒子對應的圖像數據按軸排列為三維數據。

對于每個粒子，在計算互信息時也可進行并行優化，整個求取互信息的過程都充分運用GPU的并行執行能力，對于每個粒子對應圖像進行的仿射變換，利用GPU進行并行化改進。即個粒子對應的圖像按照各自的變換參數并行變換，且二次插值時，每個像素點并行地進行插值運算。

3 算法仿真實驗

3.1 仿真實驗平臺

本實驗的硬件平臺為：

1）Host端CPU：Intel(R)Core(TM) i3-3220 CPU @3.30GHz；

2）Host端內存：4GB；

3）Device端設備：Nvidia GeForce GTX 650 GPU，時鐘頻率1072MHz，384個流處理器，1GB顯存。

軟件平臺為：

1）編程環境：VS2010；

2）并行計算開發工具：CUDA 5.5；

3）圖像處理相關函數庫：Opencv 2.4.8；

4）操作系統：Win7 64位系統。

3.2 算法驗證試驗及分析

對本文提出的算法進行了驗證。實驗圖像共3組，每組包含一幅可見光圖像（左）和一幅紅外圖像（右），各組圖像分別如圖4、圖5、圖6所示。

上述3組圖像，尺寸依次為400×400、512×512和639×480。對于每組圖像，分別將紅外圖像進行單獨水平位移10像素、單獨垂直位移10像素、單獨旋轉10°、單獨縮放0.8倍、單獨縮放1.2倍，以及綜合進行位移、旋轉和縮放（0.8倍和1.2倍），即每組圖像分別進行7組實驗，驗證算法的有效性。實驗結果如表1～表3所示。

通過實驗可知，基于互信息和粒子群的算法可以較為準確地搜索到可見光和紅外圖像的變換參數。如實驗數據可知，旋轉誤差在1°以內，縮放倍數誤差在0.05以下，在水平和垂直方向上，誤差為3個像素以內，配準效果較好。以上述試驗中的第6組實驗為例，配準效果如圖7、圖8和圖9所示。

圖3 粒子群串/并行算法對比圖

Fig. 3 Comparison of particle swarm/parallel algorithm

圖4 機場A場景可見光（左）與紅外（右）圖像對比圖

圖5 機場B場景可見光（左）與紅外（右）圖像對比圖

圖6 房屋場景可見光（左）與紅外（右）圖像對比圖

表1 機場A圖像變換參數搜索結果

表2 機場B圖像變換參數搜索結果

表3 房屋圖像變換參數搜索結果

如圖7、圖8和圖9所示，3組圖像從左向右依次為參考圖像、待配準圖像、待配準圖像變換后的圖像，和將二者進行加權融合的圖像。從最后一幅加權融合圖像的邊緣部分可以較為清楚地看到配準結果較為準確，結合表中所示的變換參數，驗證算法的正確性。

3.3 加速比驗證試驗及分析

本組實驗驗證了異構并行計算的加速比（加速比＝串行運算耗時/異構并行運算耗時）。對于本文算法，影響運算速度的因素包括圖像大小、粒子規模，和迭代次數，而與圖像內容無關。本實驗以機場A圖像為例，分別單獨改變其中的某一個因素，統計隨這一因素變化情況下加速比的變化情況：

1）圖像尺寸對加速比的影響根據算法原理，圖像尺寸的變化會直接影響仿射變換的執行速度，并會一定程度上影響互信息的統計速度。由于kernel函數首次調用時可能會有延時，為了結果更為準確，在實驗中對每幅圖像重復試驗1000次取加速比的平均值。粒子規模為20，每輪迭代50次，通過逐漸增大圖像尺寸觀察二者以及配準算法加速比的變化情況，如圖10、圖11，和圖12所示。

圖10、圖11，和圖12中，橫坐標表示圖像邊長，以像素數為單位，范圍從100×100～10000×10000；縱坐標表示加速比。如圖10和圖11所示，仿射變換的加速比可達10～11倍，互信息的加速比可達5倍。其原因在于隨著圖像像素數的增加，仿射變換過程中的插值次數也隨之增加，插值算法可采用并行運算，即每個像素的插值過程相互之間沒有影響。因此，加速比可以達到一個較高的倍數，之后由于硬件資源的限制，加速比趨于穩定；而互信息的統計大體分為兩步，第一步根據兩幅輸入圖像生成一個256×256的聯合灰度直方圖矩陣，第二步由此矩陣統計得到互信息。由此可知，圖像尺寸的增大主要影響互信息統計的第一步，對第二步的影響并不大。此外，第二步通過歸約求和的算法進行并行加速，加速比僅受聯合灰度直方圖矩陣尺寸的影響，而此矩陣的尺寸為定值。綜上所述，隨圖像尺寸的增大，仿射變換和統計互信息的加速比都會增大并趨于平穩，仿射變換可以達到更大的加速比。由于仿射變換和統計互信息過程中加速比的限制，配準的整體過程加速比最大可達8倍，如圖13所示。

2）粒子規模對加速比的影響

考慮到實驗平臺的內存限制，實驗選擇尺寸為400×400的圖像，每輪迭代50次，粒子規模從10逐漸增大，統計得到算法加速比如圖14所示。

圖13中，橫坐標表示粒子規模大小。縱坐標表示對應規模下配準算法的加速比。由圖可知，隨著粒子規模的增大，加速比隨之增大并趨于定值。此例中，加速比最大約為8.5。

3）迭代次數對加速比的影響

同樣考慮實驗效率，選擇實驗圖像大小為200×200，粒子規模為50，逐漸增大迭代次數，統計配準算法加速比同迭代次數的關系，如圖13所示。圖13中，橫坐標為迭代次數，縱坐標為相應迭代次數下配準算法的加速比。由圖可知，在圖像尺寸一定、粒子規模一定的條件下，配準算法的加速比隨迭代次數的增加而增大，最終趨于定值。此例中，加速比最大約為5.5。

圖7 機場A圖像配準

Fig.7 Image registration of Airport A

圖8 機場B圖像配準

圖9 房屋圖像配準

圖10 不同尺寸圖像仿射變換的加速比

圖11 不同尺寸統計兩幅圖像互信息的加速比

Fig.11 The speedup of two images different size statistics mutual information

圖12 不同尺寸配準算法加速比統計圖

Fig. 12 The speedup of different size registration algorithms

圖13 不同粒子規模配準算法加速比統計圖

圖14 不同迭代次數配準算法加速比統計圖

4 結論

本文利用粒子群搜索和互信息相結合的算法，由粗到精地對異源圖像進行了配準，并利用CUDA C語言對算法進行了異構實現，通過大量實驗驗證了算法的魯棒性。對于異源可見光與紅外圖像配準，以互信息為相似性度量條件，以粒子群算法為搜索算法，在搜索空間中搜索極大值點，通過改變圖像分辨率，由粗到精，逐步實現可見光圖像與紅外圖像的配準。實驗證明，在不降低精度的前提下提高了算法效率。針對粒子群算法、統計互信息和仿射變換3個部分的內在并行性，利用CUDA C語言實現GPU-CPU異構編程。實驗證明得到了很好的加速比。

[1] 倪國強, 劉瓊. 多源圖像配準技術分析與展望[J]. 光電工程, 2004, 31(9): 1-6.

NI Guoqiang, LIU Qiong. Analysis and prospect of multi-source image registration technology[J]., 2004, 31(9): 1-6.

[2] 趙德利, 朱尤攀, 吳誠, 等. 一種改進的聯合點特征與灰度特征的紅外圖像配準算法研究[J].紅外技術, 2014, 36(10): 820-826.

ZHAO Deli, ZHU Youpan, WU Chen, et al. An improved algorithm for infrared image registration based on the characteristics of combined points and gray level [J]., 2014, 36 (10): 820-826.

[3] 羅藝, 杜海文, 軒永波, 等. 基于極大似然法的異類傳感器配準方法研究[J]. 電光與控制, 2009, 16(5): 78-80.

LUO Yi, DU Haiwen, XUAN Yongbo, et al. Spatial regeistration of different sensors using maximum likelihood method[J]., 2009, 16 (5): 78-80.

[4] 鄒剛. 基于GPU的圖像配準及拼接技術研究[D]. 天津: 天津大學, 2012.

ZOU Gang. Research on image registration and mosaic technology based on GPU [D]. Tianjin: Tianjin University, 2012.

[5] Brown Gottesfeld L. A survey of image registration techniques[J]., 1992, 24(4): 325-376 .

[6] Alahi A, Ortiz R, Vandergheynst P. Freak: fast retina keypoint[C]//2012(CVPR), 2012: 510-517.

[7] 科克, 胡文美, 陳曙暉, 等. 大規模并行處理器編程實戰[M]. 北京: 清華大學出版社, 2010: 1-6.

Kirk, HU Wenmei, CHEN Shuhui, et al.[M]. Beijing: Tsinghua University press, 2010.

[8] Viola P, Wells W M. Alignment by maximization of mutual information[J]., 1997, 24(2): 137-154 .

[9] 陳顯毅. 圖像配準技術及其MATLAB編程實現[M]. 北京: 電子工業出版社, 2009.

CHEN Xianyi.[M]. Beijing: Publishing House of Electronics Industry, 2009.

Heterogeneous Images Registration Based on Mutual Information and ParticleSwarm Optimization Algorithm Using GPU Parallel Architecture

YU Chunchao1，YANG Zhixiong1，XIA Zongze2，YUAN Xiaochun1，YAN Min1

(1.Kunming Institute of Physics, Kunming 650223, China; 2.State Grid Liaoyang Electric Power Supply Company, Liaoyang 111000, China)

For visible and infrared images registration, in order to get results gradually by changing resolution from low to high, mutual information is used as similarity measure condition, and the particle swarm optimization algorithm is used to search for the maxima in searching space. Experiments show that the algorithm improves the computational efficiency without reducing the accuracy. For the parallelism in particle swarm optimization algorithm, mutual information algorithm, and affine transformation, a heterogeneous GPU-CPU programming is achieved with CUDA C. Experiments show that the algorithm improves the computational efficiency without reducing the accuracy and affects the extreme values of speedup ratio. It proves that the algorithm has a high correct matching rate, high robustness, and high computational efficiency.

Heterogeneous images，mutual information，particle swarm optimization，images registration，GPU

TP391.4

A

1001-8891(2016)06-0938-09

2016-06-21；

2016-08-29.

余春超（1977-），碩士，高級工程師，主要從事光譜技術及紅外圖像處理技術，E-mail：beyond_ycc@sina.com。