基于MSER和NSST算法的大視場圖像拼接技術

龐麗東 潘維東 林博文

（1.井岡山大學 建筑工程學院，吉安 343009；2.井岡山大學 機電工程學院，吉安 343009）

大視場圖像拼接是指通過給定某個場景的一組有重疊區域的局部圖像，生成一幅完整、高分辨率、大視場全景圖像的過程[1]。大視場圖像拼接可以應用在遙感圖像處理、衛星圖像合成、醫學圖像分析以及大幅面文物數字化保存等領域。

常用的特征描述子如SIFT、SURF等，通常會得到較多的特征向量。雖然特征向量越多，對圖像的描述越準確，圖像處理的結果越好，但是過多的特征向量會浪費大量的運算時間，不適用于某些要求較高的場合[2]。針對上述情況，本文考慮利用MSER算法代替SIFT和SURF算法進行圖像特征點的檢測，在減少特征點數量的同時，還能夠滿足仿射不變性，提高后續的圖像配準、圖像拼接等效率。整個流程如圖1所示。

圖1 大視場圖像拼接基本流程

1 MSER算法

MSER（Maximally Stable Extrernal Regions）算法是利用分水嶺的概念來求解圖像的局部穩定區域[3]。

分水嶺算法是把像素的值想象成地勢，高灰度值對應峰頂，低灰度值對應盆地。在盆地的極小值處打一個洞，然后往盆地里注水，當相鄰兩個盆地的水匯集的時刻，在相交的邊緣線上構筑大壩，即形成分水嶺。

MSER算法的基本過程是使用一系列閾值參數Δ∈[0 255]對圖像進行二值化處理。隨著閾值從0依次遞增到255，圖像從白色變為黑色的二值圖像。在這個過程中，有些區域灰度值變化很小甚至不變化，那么這些區域就認為是最大穩定極值區域。

由于MSER算法只能夠檢測最大穩定極值區域，因此需要對圖像的灰度值取反，再依次進行二值化閾值處理來求取最小極值穩定區域，分別稱作正向和反向提取過程，記為MSER+和MSER-。

經過MSER算法檢測到的極值區域，需要進一步進行描述和處理，以計算整個極值區域的每個點的幾何零階矩和幾何一階矩得到整個區域的重心位置，即橢圓的重心。計算二階矩的兩個特征值，可以分別得到橢圓的長半軸、短半軸和角度。根據這些參數，最終擬合成為一個橢圓。此外，可以根據兩幅圖像的相對位置關系，規定只在兩幅圖像的重疊范圍進行檢測，以減少無效特征點的提取。檢測出特征點后，利用SURF算法快速對特征點附近的局部圖像特征進行描述。

2 圖像配準

圖像配準是在圖像中提取到特征點并對其描述后，在兩幅圖像中找到對應的匹配點對的過程。圖像粗配準利用歐式距離作為判斷依據。

兩特征點之間的歐式距離di可以表示為：

式中，Pij和Qij分別表示圖1的特征點Pi和圖2的特征點Qi的特征矢量的第j維值。其中，歐式距離最小的為匹配點對[4]。

粗配準后還需要對匹配點對進行提純，剔除誤匹配點對，得到更精確的匹配關系，多利用常用的RANSAC算法來實現。利用提純后的匹配向量計算兩圖像之間的單應性矩陣，優化后可得到空間變換矩陣。

3 基于NSST變換進行圖像融合

通過非下采樣剪切波變換（Non-Subsampled Shearlet Transform，NSST）將圖像分解成各個頻段的子圖像。對待融合兩幅圖像的高、低頻子帶系數進行比較，保留絕對值較大的高頻系數；對于低頻系數采用加權平均的方法，得到融合高、低頻系數，再進行NSST逆變換，重構圖像，完成圖像融合。算法步驟如圖2所示。

圖2 基于NSST變換的圖像融合

4 實驗結果

采用Matlab 2019作為編譯環境，將前述方法運行于Windows 10 64位系統、英特爾酷睿i5-7200U CPU@2.50 GHz處理器、8 GB內存的筆記本電腦上。選取連續的6幅由手機拍攝的建筑物圖像，如圖3所示。拼接后的完整圖像，如圖4所示。可以看出，圖像拼接后清晰完整，亮度無明顯差異，圖像平滑，沒有明顯的拼接縫，保留了圖像細節信息，具有較好的拼接效果。

圖3 多幅連續待拼接圖像

圖4 圖像拼接結果

5 結語

本文提出用MSER算法檢測特征點利用NSST變換進行圖像融合。實驗證明，算法具有有效性，計算效率和魯棒性均較好，拼接精度較高，圖像具有平滑、清晰、完整等優點，可以滿足實際大視場圖像拼接應用的需要。