基于魯棒特征匹配的熱成像全景圖生成方法

劉 歡，谷小婧，顧幸生

?

基于魯棒特征匹配的熱成像全景圖生成方法

劉 歡，谷小婧，顧幸生

（華東理工大學化工過程先進控制與優化技術教育部重點實驗室，上海 200237）

熱成像技術能夠探測不可見的長波紅外輻射并以圖像的形式顯示，在科學研究、安防刑偵及國防軍事中有著舉足輕重的地位。如果可以用全景圖的方式顯示所觀測場景的大視場熱成像則能夠極大地擴大觀測者的視野、提升場景感知能力。然而，由于熱輻射成像模糊、信噪比低，圖像特征提取往往存在著較大誤差，進而導致特征點匹配不穩定，圖像拼接失敗。針對這一問題，改進了匹配過程，提出了一種基于魯棒特征匹配的熱成像全景圖像生成算法。在增加特征匹配魯棒性方面的改進主要包括2方面：第一，利用PCA（主成分分析）對SIFT算子進行降維以降低算子相關性，提高特征向量的鑒別能力；第二，利用快速搜索密度峰聚類算法預先篩選匹配點集以剔除錯誤匹配點，提高特征點的匹配準確度。實驗結果表明，本文提出的算法可有效且穩定地生成熱成像全景圖，具有實用價值。

熱成像；圖像拼接；SIFT算法；PCA降維；快速搜索密度峰聚類

0 引言

隨著智能制造與國防工業的發展，紅外熱成像技術越來越受到人們的重視。熱成像的成像機制是通過探測并顯示目標與背景的輻射等級差異來成像，它可以在完全無光線的條件下成像。由于熱成像所用波段屬于紅外長波，因此具有很強的穿透性，它能夠在雨、雪、霧霾等極端天氣下成像，并且不受偽裝的影響。熱成像在科學研究，安防刑偵，國防軍事、尤其是在夜間作戰中有著舉足輕重的地位。熱成像技術能夠在完全無光以及天氣情況惡劣的情況下為使用者提供目標及周圍環境的可視信息，并且設備便攜性高。更重要的是熱成像設備屬于被動式紅外成像，具有極強地隱蔽性、不增加使用者的暴露風險，這使得其在軍事應用中具有重要的意義。

然而，與可見光圖像相比，紅外熱成像的分辨率非常低。這一方面是由于熱成像是長波成像，采集的信息缺少細節；另一方面是由于熱輻射探測元件的靈敏度較低所致。因此，在同樣尺寸的顯示中，熱成像所呈現的信息容量大大少于可見光成像，不利于觀測者對場景進行感知及判斷。這一問題可以通過擴大成像視角的方法得到緩解。擴大成像視角可以讓單幅圖像包含更廣闊的視野，令觀測者在同一時刻中獲得更多的場景信息，降低熱成像缺少細節的劣勢。在硬件設計上通常有兩種擴大成像視角的訪法：一種是增加熱輻射探測元件的面積，但這會極大地增加設備成本；另一種是為設備添加廣角鏡頭、掃描鏡頭等特殊鏡頭，但在鏡頭變換時，會引起分辨率和焦距的變化，引起圖像畸形失真。

本文研究通過軟件算法，借助全景技術來擴大單幅熱成像的視野。全景技術能夠將兩幅或多幅圖像通過數字處理的方式拼接在一起，在不改變硬件的前提下為觀察者提供更廣的觀察視角，使觀察者可以通過拼接之后的全景圖像獲取更多的信息。全景技術，這個命題的最早提出是在1965年IFIP國際會議上，當時由計算機圖像視覺的創始人Ivan Sutherland提出了名為“The Ulimate Display”的研究性課題，一經提出，引起了各國科研工作者的廣泛關注。1975年，MILGRAM[1]發表了將衛星拍攝的圖像進行拼接的文章并進行了實驗。同年，Kuglin和Hline[2]提出利用傅立葉變換的方法，實現頻域變換，計算相位移動，實現拼接。Harris在1988年提出Harris興趣點檢測器，使算法在對空間變換具有魯棒性的同時對噪聲以及光照影響具有更強的適應性；1996年，Richard和Szeliski[3]提出利用迭代算法估計參數模型，通過幾何變換完成拼接，也被稱為基于運動的拼接算法。2000年，Peleg、Shmuel對Richard的算法進行了改進，使其可以自適應的選擇模型[4]。2004年British Columbia大學的Lowe教授，在前人的工作之上總結現有的基于不變量的特征提取辦法，提出了SIFT（Scale-invariant feature transform，尺度不變特征變換）算子[5]。此算子具有對縮放旋轉仿射不變的特性。使用SIFT算子的全景拼接技術是目前使用最為廣泛的標準技術[6]，在航天，軍事，醫學以及地質勘測等領域以發揮重要作用。很多學者都基于文獻[6]提出了改進算法。改進思路主要分為兩類：一是提高特征提取算法的性能，二是在特征提取算法不變的前提下提高特征點的匹配精度。針對第一種思路：胡海清，譚建龍提出使用二值化圖像代替原SIFT算法中使用的灰度圖像作為輸入，以增加提取的特征點數目[7]；Tang C M提出通過統計以極值點為中心的不同像素半同心圓的梯度大小和方向降低描述子的維數，提高匹配精度[8]。針對第二種思路：劉煥敏，王華提出的利用雙向匹配的方法，將待匹配圖像特征點集相雙向匹配，取交集，提高匹配精度[9]；劉貴喜，劉冬梅提出利用相似測度歸一化互相關，通過計算最大相關系數確定匹配關系[10]。

然而，適用于可見光圖像的拼接技術并不能很好地應用于紅外熱像。首先，由于相對可見光的成像設備，熱成像設備的分辨率和對比度等都相對較低，使得生成的紅外圖像模糊、缺少細節，輪廓、紋理等都不明顯。其次，熱成像都是單色的，缺少色彩信息。另外，紅外熱像還有一個特點就是噪聲大，性噪比低。這些噪聲可能來源于成像環境，也有可能來源于熱成像系統本身內部的噪聲源。以上這些特點就導致紅外熱像的特征提取結果無法避免地存在較大誤差，這使得后續的特征點匹配過程很不穩定，難以正確生成全景圖。

針對熱成像拼接的難點，本文提出了一種基于魯棒特征匹配的熱成像全景圖像生成算法，該方法在特征提取存在較大的誤差的情況下，仍能保持特征點匹配的準確性。首先，利用PCA（主成分分析）對SIFT算子進行降維，提取有效信息，特別是降低從模糊圖像中提取的特征描述子相關性；然后，再使用特征匹配算法之前使用快速搜索密度峰聚類算法篩選待匹配點集，通過聚類的方法預先去除可能的誤匹配點，提高正確匹配點在待匹配點集中的概率。實驗結果表明，改進后的算法可有效地提高紅外熱像特征點匹配的準確性，提升熱成像全景圖的拼接質量。

1 基于特征點匹配的圖像拼接技術

本節以2006年Richard Szeliski在文獻[6]中提出的經典匹配算法為基礎，介紹圖像拼接算法的步驟。

1.1 SIFT特征提取

首先利用高斯核函數(,,)與圖像(,)進行卷積運算，形成圖像尺度空間(,,)。接下來是圖像金字塔的建立：采用降采樣處理，構建一幅圖像的不同尺度來形成高斯金字塔。為了使檢測到的特征點具有穩健性，使用DOG（高斯差分算子）金字塔，它是由高斯金字塔每層圖像之間相減得到。

為了尋找DOG函數的極值點，在形成差分金字塔的基礎上檢測局部極值點。為確保關鍵點為極點的穩健性，被檢測的點要與其相鄰的上下兩層以其為中心的3×3的正方體面上的27個點作比較。

每個特征點的描述子由4個種子點描述子組成，每個種子點統計了2×2×8維的向量表征，也就是2×2范圍里點的方向的統計，以45°為間隔分8個方向，然后用直方圖進行統計，統計完的結果作為一個種子點的描述子，最后由4個種子點描述子組成特征點描述子。

1.2 特征點匹配

當利用SIFT算法提取了特征點并形成描述子之后，建立關鍵點描述子集合。Lowe在他的算法中計算第一個描述子集中的點在第二個描述子集中的最近點的歐式距離和次最近點距離的比值，如果距離比值小于給定的閾值，算作匹配成功。

1.3 RANSAC精匹配

在完成利用聚類算法去除誤匹配點之后，再將剩余的匹配點作為樣本利用RANSAC進行精匹配，具體步驟如下：

1）從原始匹配點中選出4對，作為局內點，并估計出圖像變換矩陣；

2）將原始數據中除1）中所選之外的點帶入模型中進行檢測，如果符合模型，就把這些點也歸入局內點；

3）設定閾值，當符合模型的局內點數量大于閾值，則認為此模型合理；

4）以上個步驟合理模型的局內點作為新的原始數據，再從中重新選取局內點進行模型估計；

5）最后通過局內點和模型之間的正確率對模型進行評價，如此往復，舊的模型不斷被更合理的模型取代，迭代次數認為設置，最后得到的模型就是本次RANSAC算法找到的最優模型。

1.4 圖像融合

完成上步之后，圖像的拼接已經完成，但由于拼接原圖的分辨率和亮度存在差異，導致拼接后接縫處存在明顯的接縫，需要通過圖像融合，消除接縫。常用的是加權平均法。算法將兩幅拼接圖像的像素乘以加權系數并相加得到的像素值作為拼接后圖像的像素值。記加權系數為，則融合后的圖像為：

(,)＝1(,)＋(1－)2(,) (1)

式中：加權系數滿足0≤≤l。若＝0.5，則融合圖像的像素為兩幅圖像像素平均值；若為定值，當從，圖像從1到0變化，實現了圖像1(,)到2(,)的平滑過渡，消除了拼接留下的接縫。

2 基于魯棒特征匹配的圖像拼接方法

魯棒特征匹配的圖像拼接方法的基本流程為：計算出SIFT算子；利用PCA（主成分分析）算法對算子進行降維處理；先對降維后的算子使用快速搜索密度峰聚類算法進行誤匹配篩選，再利用RANSAC算法進行精匹配；最后完成圖像拼接。下面對本文改進的兩點進行詳細論述。

2.1 PCA特征降維

由于紅外熱像的噪聲大，雖然SIFT算法在提取特征時已經進行了抑制，但當圖像分辨率低、特征不明顯、描述子相關性高時，在特征點匹配時還是會造成較大誤差。本文利用PCA將SITF算法的128維描述子進行降維，使降維之后的描述子更為精確，增強算法魯棒性，步驟如下：

1）將兩幅圖像提取好的個128維SIFT描述子作為輸入，樣本矩為[1,2, …,x]。

2）計算樣本矩陣的協方差矩陣，得到的矩陣大小為×。

3）得到協方差矩陣后計算其特征值，按大小排列，取最大的前個特征值（按照經驗預先給定），并計算與其對應的特征向量，組成大小為128×的投影矩陣。

4）在得到投影矩陣和描述子矩陣之后，將兩個矩陣相乘，結果為×大小的矩陣，與初始的×128維矩陣相比，完成了降維的目的。經實驗驗證，對于紅外熱像，取36可獲得較好的實驗結果。經過此法降維之后，可有效減少描述子中的無用信息降低噪聲干擾，提高配準的準確性。

2.2 基于快速搜索密度峰聚類改進特征點匹配算法

Lowe的算法在利用KD-tree搜索算法進行匹配之后利用了RANSAC算法去除誤匹配點，提高算法魯棒性。RANSAC算法通過從一組包含“局外點”的樣本數據集中，選取一些點作為假設局內點，以這些點估計模型，通過不斷迭代，最后選取最優模型。

但RANSAC算法也存在局限性，算法中的迭代次數取決于局內點在初始樣本中[11]所占比例，記為。用表示從樣本中所選的點為局內點的概率。假設估計出模型每次需要選出點的個數為，則w表示隨機選擇的個點全部是局內點的概率，而1－w則表示這個點中至少不全是局內點的概率。這種情況代表估計出的模型不是最優模型。而(1－w)表示RANSAC無法找到最優模型的概率，它和1－相同。因此：

1－＝(1－w)(2)

對公式(1)的兩邊取對數，得到：

即為理論推算出使得算法能估計出正確模型的最小迭代次數，當觀測數據中的外點較多時，的值會變小，值會增大，當認為設定的閾值小于，則算法將很難找出正確的模型[12]。所以當樣本數據中局內點的比例不高時，將導致算法計算出正確模型所需要的迭代次數很多，使得算法效率低下[13]。本文利用快速搜索密度峰聚類算法，在RANSAC算法之前對現有的匹配點對進行聚類篩選，去除可能的誤匹配對，提高局內點在樣本中的比率，使算法在迭代次數相對少的情況下，能更準確的估計出正確模型，提高算法魯棒性。

配準圖像時，由于2幅圖像的空間變換矩陣是唯一的，因此兩幅圖像匹配點之間必然存在幾何關系。文獻[14]提出以匹配點連線的斜率作為幾何約束產生聚類。但是這種方法存在局限性，匹配的圖像視角變化較大時斜率變化很大，聚類閾值難以確定。本文考慮到在紅外熱像匹配時，目標特征區域的分布相對集中，進而粗匹配點連線線段中點集中。因此，本文利用粗匹配點之間連線的中點作為聚類樣本。

聚類方法用的是快速搜索密度峰聚類算法[15]。該方法與一般的基于距離的聚類算法相比，加入了密度指標，避免了單一距離指標引起的分類不準確。

快速搜索密度峰聚類算法[7]不需事先給出聚類中心，此算法是基于其提出的距離指標和密度指標的算法。記任意數據點，根據其與其他數據點之間的距離d，計算出算法需要的核心指標：密度指標及距離指標。密度指標定義為：

距離指標定義為：

即數據點的距離指標定義為：所有密度指標比其大的點中與其距離最近的元素。若點的密度指標的值恰為鄰域點中的最大值，則以點與其他點距離的最大值作為其距離指標，即：

當所有距離指標和密度指標都計算完成，根據它們作出聚類中心抉擇圖，即可找出聚類中心，示例如圖1所示。

圖1 快速搜索密度峰算法聚類示例

圖1(a)表示兩幅待拼接的紅外熱像及其上的粗匹配點對，聚類中心抉擇圖1(c)反應圖1(b)中所有點的密度指標和距離指標，橫軸表示密度、縱軸表示距離。聚類中心體現為：周圍的數據點密度指標較大，而距離指標值較小。而對于異常點，一般其密度指標很小而距離指標較大。綜上所述，根據聚類中心抉擇圖，可以找出這組數據的聚類中心為圖1(d)中的淺色和深色點。通過此聚類算法，可以有效地去除異常點，針對圖像處理即能去除誤匹配的點，為下一步利用RANSAC算法精匹配提供良好的數據樣本。

然而通過決策圖選出聚類中心需要人工干預，無法實現紅外全景圖的自動拼接。文獻[15]中還給出了一個可以自動化選擇聚類中心方法：將每個數據點的與指標相乘，記為gamma，顯然，數據點的和越大，其乘積越大，反映到聚類中心決策圖上，即為越可能成為聚類中心。因此可以將gamma按照降序排列，選取前幾個具有最大gamma值的數據點作為聚類中心。在本文的試驗中，聚類中心的個數取為2：第一大聚類將被保留為正確的粗匹配點，第二大聚類將被作為錯誤匹配點而被剔除。圖2所示為對3對不同的紅外熱像對的粗匹配點集進行聚類的結果。圈外的數據點為將被保留為正確的粗匹配點，圈內的數據點為將被作為錯誤匹配點而被剔除的粗匹配點。由聚類結果圖可見，不同圖像對上的粗匹配點集都得到了正確的分類。

另外，為了驗證快速搜索密度峰聚類算法對c具有魯棒性，我們還測試了c分別取2%和20%處的值作為截斷距離的聚類情況，如圖3所示。

從實驗結果圖3(a)和圖3(b)可以看到，當分別取排序后前2%和20%處的值作為截斷距離時，聚類結果相同，證明其取值具有魯棒性。

圖2 聚類中心取2時的聚類示例（由此圖往下，所有綠圈內的點為需要剔除的錯誤匹配點）

圖3 dc分別取距離2%和20%處的值作為截斷距離時的聚類情況

3 實驗仿真及數據分析

本節將首先通過對比試驗分別給出使用PCA降維及使用快速搜索密度峰聚類剔除錯誤的粗匹配點這兩個關鍵技術對于提升全景熱像拼接的改進效果，并且將把本文算法的總體效果與Autopano和Autostitch這兩款市面上非常流行的專業全景圖像制作軟件進行比較，最后通過由若干組使用本實驗室的熱成像儀采集的真實場景生成的全景熱像來說明本文算法的有效性及實用性。

表1 使用PCA降維的效果

3.1 PCA降維改進效果

圖4為未使用PCA對SIFT描述子的特征向量進行降維與使用PCA對SIFT描述子的特征向量進行降維的粗匹配點集的匹配情況比較。表1統計了使用PCA降維前后粗匹配點數目及匹配正確率的變化。由此可見，使用PCA降維后，總的匹配數目減少，但是誤匹配率降低。

3.2 快速搜索密度峰聚類聚類改進效果

接下來以上一步的粗匹配的點作為聚類樣本，利用快速搜索密度峰聚類算法初步去除樣本中誤匹配的點。

圖5(a)為使用PCA降維之后的粗匹配點連線中點的空間分布圖。利用快速搜索密度峰聚類可以找出錯誤的粗匹配點，即如圖5(b)所示，聚類結果中的第二大類、圈中所示的點。

由圖6可見，使用聚類去除異常點之后，基本不存在交叉，誤匹配基本被祛除，為接下來的拼接提供良好的基礎。表2統計了使用快速搜索密度峰聚類去除錯誤點前后粗匹配點數目及匹配正確率的變化，反映出使用快速搜索密度峰聚類去除錯誤點后圖像中的匹配組數減少，匹配準確率提高。說明聚類算法對減少誤匹配點有效，能夠進一步去除誤匹配點，為接下來的RANSAC算法提供良好的數據集。

圖4 使用PCA降維前后的匹配結果對比

圖5 利用快速搜索密度峰聚類對粗匹配點連線中點進行聚類并剔除錯誤的匹配點

圖6 使用聚類算法前后的匹配結果對比

在文獻[16]中K-means聚類算法被用來去除誤匹配點。K-means算法的相似性評價指標是對象之間的距離，距離越近，相似度越大。算法聚類形成的蔟就是由距離足夠近的對象組成，簇之間相互獨立。

算法流程如下：

1）從樣本中隨進抽取個對象作為質心；

2）計算剩余的對象與上一步所選質心的距離，根據距離將對象分到與其最近質心的類；

3）將上一步分好的類重新計算質心；

重復以上步驟，知道上一代的質心與下一代質心重合或距離小于閾值。

表2 使用快速搜索密度峰聚類效果

K-means聚類算法的基本特點如下：各類簇自身盡可能緊湊，而類簇與類簇之間盡可能分開，K-means聚類算法是一種常見的，基于距離約束的單相似性評價指標的聚類算法。

圖7對使用K-means聚類與使用本文的快速搜索密度峰聚類的錯誤點剔除效果進行了比較。當樣本同樣為圖7所示的數據時，利用K-means聚類的決策圖及結果為圖7(a)所示，利用快速搜索密度峰聚類的決策圖及結果圖7(b)所示。如圖7(a)所示，k-means聚類形成的兩個類簇各自包含點的個數相差不大，難以判斷哪一類是誤匹配點?？梢娨詥我痪嚯x作為相似性評價指標的聚類算法在進行分類時存在很大局限性。而快速搜索密度峰聚類算法除了距離判斷，更加入了密度條件，提高聚類的準確性和魯棒性。

3.3與其他拼接算法的效果比較

為了測試算法實用性，本文將拼接結果與世面常用的全景拼接軟件的結果作對比，實驗涉及的軟件有Autopano及Autostitch，這是市面上兩款比較權威的制作全景圖像的軟件，比較的結果具有較高的權威性和可信性。

圖8為對于相同的待拼接圖像對兩款軟件與本文算法的全景圖生成結果。第一列為Autostitch的全景圖生成結果，第二列為Autopano的全景圖生成結果，第三列為本文的全景圖生成結果。從實驗結果可以看出，本文算法對于紅外熱像的拼接效果要優于Autopano，Autostitch兩款軟件，比如第一行中Autostitch的拼接結果出現了嚴重的畸變；第二行中Autopano的拼接結果也出現較為嚴重的形變；第三行中這兩張云彩的熱像兩款軟件都無法給出拼接結果，只有本文算法拼接成功。實驗結果顯示，本文算法具有較高的實用價值。

圖7 兩種聚類算法聚類結果比較

Fig.7 Comparison of two clustering algorithms

3.4 全景圖拼接效果

最后通過由若干組根據真實場景而生成的全景熱像來說明本文算法的有效性。試驗中所用到的所有熱像都由本實驗室的FLIR T420型號的手持熱成像相機采集。FLIR T420熱像儀的分辨率為320×240，熱靈敏度＜0.045℃，溫度精度為±2℃或讀數±2%, 能夠測量高達＋1200℃的溫度。試驗圖像采集地點為華東理工大學徐匯校區。利用本文算法生成的熱像全景圖結果如圖9～圖12所示。

圖8 采用相同的待拼接圖像對時兩款軟件與本文算法的全景圖生成結果

Fig.9 Thermal imaging panorama scene 1

圖10 熱成像全景圖場景2

通過實驗結果可以看出，本文算法能夠將兩幅或多幅紅外圖像通過數字處理的方式拼接在一起，拼接完成的全景圖像景物清晰，不失真，不形變。能夠在不改變硬件的前提下為觀察者提供更廣的觀察視角，使觀察者可以通過拼接之后的全景圖像獲取更多的信息，算法具有使用價值。

3.5 算法實時性分析

最后對本文算法的實時性進行分析，表3和表4分別反映反應相同圖像大小不同拼接數量和相同拼接圖像數量不同圖像大小的情況下算法生成全景圖像的耗時。

通過實驗結果可以看出，本文算法基本能滿足紅外圖像全景拼接實時處理的要求。

圖11 熱成像全景圖場景3

Fig.11 Thermal imaging panorama scene 3

圖12 熱成像全景圖場景4

Fig.12 Thermal imaging panorama scene 4

表3 不同拼接數量情況下耗時

表4 不同拼接數量情況下耗時

4 總結

由于紅外熱像對比度低、成像模糊、缺少細節，現有的面向可見光成像的全景圖拼接方法無法有效處理熱像全景圖的生成。本文針對這一問題，提出了一種適用于熱成像的基于魯棒特征匹配的全景圖生成方法。首先，利用PCA對SIFT算子進行降維以降低算子相關性，提高了圖像特征向量的鑒別能力。然后，利用快速搜索密度峰聚類算法篩選匹配點集以剔除錯誤匹配點，在篩選后的點集上再使用精匹配算法，從而提高紅外熱成像特征點的匹配準確度。實驗結果表明，本文提出的算法可有效且穩定地生成熱成像全景圖，具有實用價值。

[1] MILGRAM, D. L. Computer methods for creating photomosaics[J]., 1975, 24(11): 1113-1119.

[2] Kuglin CD., Hines DC.. The phase correlation image alignment method[J]., 1975(9): 163-165.

[3] Szeliski Richard, Coughlan James. Hierarchical spline-based image registration[C]//, 1994: 194-201.

[4] Peleg Shmuel, Herman Joshua. Panoramicmosaics by manifold projection [C]//, 1997: 338-343.

[5] Lowe D G. Distinctive image features from scale invariant key point[J]., 2004, 62(2): 91-110.

[6] R. Szeliski. Image alignment and stitching: A tutorial[J]., 2006, 2(1): 1-104.

[7] 胡海青, 譚建龍, 朱亞濤, 等. 改進SIFT算法在文字圖像匹配中的應用[J]. 計算機工程, 2013, 39(1): 239-243.

HU Hai-qing, TAN Jian-long, ZHU Ya-tao. Application of improved SIFT algorithm in text image matching[J].2013, 39(1): 239-243.

[8] TANG CM, DONG Y, SU X H. Automatic registration based on improved SIFT for medical microscopic sequence images[J]., 2008, 1(1): 580-583.

[9] 劉煥敏, 王華, 段慧芬. 一種改進的SIFT雙向匹配算法[J]. 兵工自動化, 2009, 28(6): 89-91.

LIU Huan-min, WANG Hua, DUAN Hui-fen. A bidirectional matching SIFT algorithm[J]., 2009, 28(6): 89-91.

[10] 劉貴喜, 劉冬梅, 劉鳳鵬. 一種穩健的特征點配準算法[J]. 光學學報, 2008, 28(3): 454-461.

LIU Guixi, LIU Dongmei, LIU Fengpeng. A robust image registration algorithm based on feature points matching[J]., 2008, 28(3): 454-461.

[11] 周劍軍, 歐陽寧, 張彤. 基于RANSAC 的圖像拼接方法[J]. 計算機工程與設計, 2009, 30(24):5692-5694.

ZHOU Jian-jun, OUYANG Ning, ZHANG Tong. Image mosaic method based on RANSAC[J].2009, 30(24): 5692-5694.

[12] 張曉茹, 肖珂. 基于角點匹配圖像拼接方法的改進[J]. 河北農業大學學報, 2008, 31(4): 119-122.

ZHANG Xiao-ru, XIAO Ke. The improvement of a feature-based image mosaics algorithm[J]., 2008, 31(4): 119-122.

[13] 張世良. 基于改進RANSAC算法圖像自動拼接技術[J]. 三明學院學報, 2012, 29(2): 46-50.

ZHANG Shi-liang. The improvement of a RANSAC-based image mosaics algorithm[J]., 2012, 29(2): 46-50.

[14] 穆柯楠, 惠飛, 曹健明, 等. 一種基于幾何約束的RANSAC改進算法[J]. 計算機工程與應用, 2015, 51(4): 205-208.

MU Kenan, HUI Fei, CAO Jianming. Improved RANSAC algorithm based on geometric constraints[J]., 2015, 51(4): 205-208.

[15] Rodriguez A., Laio A.. Clustering by fast search and find of density peaks[J]., 2014, 344(6191):1492-1496.

[16] 李衛平. K-means聚類算法研究[J]. 中國西部科技, 2008, 7(8): 52-53.

LI Wei-ping. Research on K-means clustering algorithm[J]., 2008, 7(8): 52-53.

Thermal Image Stitching Based on Robust Feature Matching

LIU Huan，GU Xiaojing，GU Xingsheng

(,,200237,)

Thermal imaging equipment can detect invisible long-wave infrared radiation and provide visible display. It has a pivotal position in the areas of scientific research, security and criminal investigation and national defense. Instead of observing single image, it is highly possible to improve the perception of observers via observing a thermal panorama obtained by image stitching technique. However, there are usually large errors in thermal image feature extraction due to the blur details and low signal-noise ratio of thermal imaging. Therefore, the feature points matching process is not stable enough for the image stitching. Aiming at this problem, our paper improves the matching process and provides a robust feature matching based stitching method for thermal panorama. The improvements comprise two aspects: first, using PCA to reduce the dimensions of SIFT features in order to reduce correlations between features, improving the discriminative ability of feature vectors; second, using density peak clustering algorithm to eliminate the unstable matching points in order to improve the matching accuracy. Experimental results show that the proposed algorithm can efficiently and stably generate thermal panoramas with high practical values.

thermal imagery，image stitching，SIFT，PCA dimension reduction，density peak clustering

TP391.4

A

1001-8891(2016)01-0010-11

2015-10-15；

2015-12-25.

劉歡（1989-），男，江蘇人，碩士研究生，研究方向為紅外圖像處理及分析。

谷小婧，E-mail: xjing.gu@ecust.edu.cn。

國家自然科學基金項目（61205017，61502293，61573144）；中央高?；究蒲袠I務費專項資金項目。