基于紅外面陣傳感器的圖像拼接算法*

鄒志遠，安博文，曹 芳

(上海海事大學 信息工程學院，上海201306)

0 引 言

由于制冷型的紅外面陣傳感器價格昂貴，難以普及，在科研、工業、軍事方面普遍采用非制冷型紅外傳感器。非制冷型傳感器在工作一段時間后由于器件內部的熱噪聲加大而使獲取的紅外圖像受到噪聲污染［1］，這些噪聲對于紅外圖像拼接產生了阻礙。

圖像拼接中Harris 配準是一種基于圖像局部自相關函數分析的方法，該方法對噪聲光強、差異噪聲等有極好的魯棒性［2］。本文提出一種新的基于Harris 角點的拼接方法，保留了Harris 的強抗噪性，并提高紅外圖像的拼接效率。

1 Harris 角點檢測

1.1 角點檢測區域

傳統Harris 角點算法搜索范圍為整個圖像，本文圖像獲取系統獲取的640×480 紅外序列圖像經過相位相關法［3］進行位移量計算，統計結果表明:當前獲取的圖像可視為前一張圖像在水平方向上的平移，且平移量Δx 在39 pixel波動，則相鄰圖像之間的重疊率為

相鄰圖像具有圖1 的關系。

對于序列圖像而言，相鄰圖像的相似性很大，實際中，一般選取序列圖像的子集進行拼接，本文選取序列圖像間隔為7，則選取后相鄰圖像的重疊率為64.41%。在拼接中，取參考圖像右側的64.41%，取輸入圖像左側的64.41%區域進行角點檢測。

1.2 自適應閾值選取

閾值T 在Harris 角點檢測中起到了重要作用，目前傳統算法中對閾值T的確定需要人為多次輸入參數，自適應性差。針對這個問題，提出了一種自適應閾值選取方法。

圖1 相鄰圖像幾何關系Fig 1 Geometric relationship of adjacent image

首先對圖像感興趣區域進行角點檢測［4］，檢測過程中高斯模板大小為9×9，方差為2，得到圖像像素的CRF 矩陣。CRF 的大小描述了像素點的特性，其中需要對參數k按經驗值進行選取，其推薦范圍為［0.04，0.06］，具有隨機性。根據數學原理差值法可改為比值法，將CRF 響應函數改進為

其中，Δ 取10－6，防止分母為0 的情況。

文獻［4］指出CRF 值在平坦區域是絕對值較小的正數，在邊緣區域是絕對值較大的負數，在角點處是一個絕對值較大的正數，如式(3)

式中 a 相對于b 來說很小，且有a，b 均大于0。δ1，δ2為波動值，不同圖像δ1，δ2不同。假設角點檢測區域大小為M×N，其對應的CRF 矩陣也為M×N，對CRF 矩陣的每行和每列值求平均值，會得到M 個行均值，N 個列均值，如圖2，其中圓點表示角點。

圖2 響應函數矩陣Fig 2 Matrix of response function

對x 列和y 行來說，其上的角點數目多，所求得的均值要比x0列、y0行均值大，假設x 列和y 行上的角點為檢測區域中具有最多角點的行列，則它們對應的均值大小要受角點處的CRF 值影響而偏向角點的CRF 值

假設x0列和y0行上的角點為檢測圖像上具有較少角點的行列，則其均值大小要近似于平坦區域的CRF 值

由式(4)，式(5)設計CRF 響應閾值T 的大小為

采用此T 作為閾值進行非極大值抑制。

2 改進的基于幾何約束的RANSAC 算法

首先對圖像f1，f2檢測出的角點進行雙向相似測度歸一化互相關(normalized cross correlation，NCC)算法［5］，得式(7)

式中 A 與A'，B 與B'，C 與C'，D 與D'等元素為互相匹配的角點。

H 矩陣求解是圖像拼接的核心環節，直接關系到拼接質量的好壞［6］。傳統隨機抽樣一致性(random sampling consensus，RANSAC)算法的迭代時間取決于原始數據量和線內點所占比例，當線內點比例低時，算法效率隨之變低［7］。針對這個問題，提出了一種幾何約束的RANSAC 算法。

假設任取4 對匹配點為A 與A'，B 與B'，C 與C'，D 與D'。如果它們均為正確的匹配點的話，則它們應滿足圖3中的關系。

圖3 正確配準的4 對匹配點Fig 3 Correctly matched four pairs of matching point

即A，B，C，D 四點在參考圖像中構成的四邊形的4 個角1，2，3，4 與A'，B'，C'，D'四點在輸入圖像中構成的四邊形4 個角1，2，3，4 應相等。如果有1 對或以上的匹配點對沒有正確匹配，則2 個四邊形的4 個角不全相等，根據這個特性對RANSAC 算法進行改進。

首先在集合{A，B，C，D}或{A'，B'，C'，D'}任取兩點，它們在當前圖像的坐標為(x1，y1)，(x2，y2)，計算兩點連線的斜率K，然后判斷匹配點在兩圖中構成的四邊形對應角度值是否一樣，角度值計算按式(8)

角度值計算不取絕對值，取兩條直線的方向角。實際應用中取一個閾值δ(本文為0.01，即0.573°)，如果4 對匹配點在兩圖像中構成的四邊形滿足

則計算相應的H 變換矩陣。其中，Ks，Kq表示當前θi對應邊的斜率，4 個角之積不為0 的條件用來排除共線的情況出現。

3 實驗結果與比較

成像分辨率為640×480，位深為14 位，噪聲等效溫差為50 mK。計算機內存為4 GB;CPU Intel(R)Core(TM)i5—2500;系統平臺為32 位WinXP 系統;軟件實施平臺為Lab－VIEW 2012。

3.1 角點檢測結果比較

對圖4 中的4 組圖像采用傳統Harris 檢測、本文算法檢測，并對二種方法進行比較。傳統Harris 檢測中的CRF響應閾值由多次手動測定，本文算法采用提出的自適應閾值T，兩種方法均對當前CRF 值的9×9 鄰域進行非極大值抑制、均用7×7，方差為2 的高斯模板。角點粗匹配采用NCC 方法;角點細匹配采用改進的RANSAC 算法隨機抽樣方法［8］，最大迭代次數設為30。

圖4 4 組紅外圖像Fig 4 Four groups of infrared images

針對以上4 組圖像比較二種算法可知，本文算法根據圖像空間特性減少搜索區域，比傳統算法快20～51 ms，效率提升20%以上，此外搜索區域的減少，誤匹配的角點對也減少，對于圖像內容分布均勻的圖像，誤匹配對可以降低50%左右。綜合表1～表4 可知，本文提出的自適應閾值T可以保留足夠多的角點數目并獲得準確的匹配點對。

表1 第1 組圖像角點檢測結果Tab 1 Corner point detection result of the 1st group image

表2 第2 組圖像角點檢測結果Tab 2 Corner piont detection result of the 2 nd group image

表3 第3 組圖像角點檢測結果Tab 3 Corner point detection result of the 3 rd group image

表4 第4 組圖像角點檢測結果Tab 4 Corner point detection result of the 4 th group image

3.2 RANSAC 比較

對本文算法檢測出的Harris 角點進行NCC 粗匹配后，分別采用改進的RANSAC 方法［8］和本文改進的RANSAC方法進行角點細匹配，設置RANSAC 方法最大迭代次數為30。三種方法分別運行10 次后取平均值，結果如表5。

表5 角點匹配結果比較Tab 5 Matching result comparison of corner points

表5 可知，經過4θ 約束的RANSAC 算法可以降低迭代次數，減少計算量，迅速達到理想的內點數，算法效率提高了50%以上。

3.3 試驗效果圖像

圖5 為實驗圖像配準步驟的效果圖，算法檢測出的誤匹配點用直線連接。

4 結 論

圖5 配準各步驟效果圖Fig 5 Effect diagram of each step of registration

本文對基于Harris 的拼接算法進行改進，使得算法不受非制冷大面陣紅外傳感器產生的噪聲影響。改進的算法縮小Harris角點檢測范圍，進而使角點檢測的計算量減少，提高檢測速度，同時降低誤匹配，使紅外圖像角點檢測效率提高了20%。根據圖像中像素的Harris 角點響應函數值的特性改進的自適應篩選閾值，保存了合理的角點數目，并使角點檢測具有自動性。改進的4θ 約束的RANSAC 算法保證算法精度的前提下，算法效率提高了50%。但是改進的自適應閾值還不能很好地避免角點聚簇現象，這需要在減少角點聚簇方面做進一步改進。

［1］ 李云紅.基于紅外熱像儀的溫度測量技術及其應用研究［D］.哈爾濱:哈爾濱工業大學，2010.

［2］ 樊志華，王春鴻，饒長輝，等.基于Harris 角點量與相位相關的亞像素級圖像配準方法［J］.計算機應用研究，2011，28(2):788－790.

［3］ 趙 征，徐 濤，席鵬程.一種抵抗幾何變換攻擊的數字圖像水印方法［J］.南京航天航空大學學報，2005，37(1):70－74.

［4］ 馮宇平.圖像快速配準與自動拼接技術研究［D］.長春:中國科學院研究生院長春精密機械與物理研究所，2010.

［5］ 龔 平，劉相濱，周 鵬.一種改進的Harris 角點檢測算法［J］.計算機工程與應用，2010，46(11):173－175.

［6］ 李會平.圖像拼接技術研究與應用［D］.西安:西安科技大學，2010.

［7］ 張曉茹，肖 珂.基于角點匹配圖像拼接方法的改進［J］.河北農業大學報，2008，31(4):155－158.

［8］ 王家寶，張亞非，陸建江，等.基于特征的航空視頻序列拼接方法［J］.解放軍理工大學學報，2012，12(2):160－164.