圖像配準關鍵技術綜述

楊家俊， 丁祝順， 陳 昕

（1.超精密航天控制儀器技術實驗室，北京100039；2.北京航天控制儀器研究所，北京100039）

0 引言

圖像配準技術作為多種圖像處理與分析系統非常重要的基礎模塊，一直以來都是圖像處理與機器視覺領域極為重要的研究方向。圖像配準技術被廣泛接受的定義如下：圖像配準技術指將由不同視角、不同時間或不同傳感器捕獲的同一場景包含重疊區域的圖像進行幾何對齊［1］。

圖像拼接及圖像融合是圖像配準技術的兩大重要應用領域，是相關功能系統不可或缺并直接影響系統性能的核心模塊，具備非常重要的技術價值。以圖像配準算法為基礎的圖像融合技術已經被廣泛應用于機器視覺、安防監控、醫學圖像分析、遙感圖像解譯、軍事目標識別與跟蹤等多種實際場景，通過輸出全面綜合了各個輸入圖像信息的高質量單一圖像，以便于人的感知或機器分析、理解以及決策。圖像配準算法的另一大應用領域是圖像拼接技術，通過將具有重疊區域的輸入圖像進行準確拼接，可以合成具有大視角、超高分辨率的高質量圖像。近年來，增強現實（Augmented Reality， AR ）、 混 合 現 實 （Mixed Reality，MR）等技術的快速發展及廣泛應用促進了對大視角、高分辨率全景圖像的迫切需求［2］。圖像配準技術亦廣泛應用于圖像降噪、視場擴展、運動物體去除、模糊消除、空間解析度提高、動態范圍增強、計算機特效、遙感及醫學成像等技術領域。

廣闊的應用場景對圖像配準算法提出了更高的性能指標及技術要求，也促進了圖像配準技術的快速發展和廣泛應用。目前，被廣泛研究以及應用的圖像配準算法通常分為基于區域的圖像配準算法以及基于特征的圖像配準算法兩大類［1］。傳統的圖像配準算法［3］通常估計一個全局的單應性變換進行圖像對齊，并配合光束法平差尋找最優解。2011年，Gao等［4］提出的算法將場景劃分到背景和前景兩個平面，分別使用單應性矩陣進行對齊，有效提升了融合圖像質量。Lin等［5］使用多個仿射變換對齊圖像，能更好地處理圖像局部形變。2013年，Zaragoza等［6］將圖像劃分為密集的網格，然后在每個網格中高效地估計局部單應性矩陣。2014年，Zhang等［7］提出的算法通過網格優化實現了高質量的大視差場景圖像拼接。2015年，Lin等［8］提出的算法通過自適應計算確定全局相似變換進行形狀矯正。2016年，Chen等［9］提出的算法同時使用局部和全局相似性約束確定相似矩陣，提升了圖像配準質量。2017年，Nie等［10］提出的算法同時計算拼接和穩定的優化，實現了對視頻圖像的高質量配準。

本文首先介紹了圖像配準技術的基本流程，并討論了圖像配準算法面臨的技術難點。然后，對基于區域和基于特征的圖像配準算法分別進行了詳細論述。最后，對全文進行了總結并展望了圖像配準技術的發展方向。

1 圖像配準基本流程及技術難點

1.1 圖像配準基本流程

首先，圖像配準算法需要選擇合適的變換模型及圖像特征。然后，針對圖像特征制定優化準則，并依據優化準則在變換模型的參數空間中進行最優搜索。最后，將搜索到的變換模型應用至輸入圖像，完成圖像的配準。圖像特征包括灰度特征以及各種人工設計的特征，人工特征相比灰度特征更穩定、魯棒性更強，因此獲得了更廣泛的應用。以下為基于特征的圖像配準技術標準流程，如圖1所示。

圖1 基于特征的圖像配準流程圖Fig.1 Flowchart of feature-based image registration

（1）圖像預處理

圖像預處理屬于數據準備階段，主要用于抑制噪聲、增強圖像配準所需要的特征信息、提高輸入圖像的質量。

（2）特征提取

特征提取是圖像配準的關鍵步驟，包括手動提取和自動提取兩種，通常使用自動提取的特征。人工設計的特征通常以像素亮度變化劇烈的邊緣、封閉輪廓、角點、線交點及端點等作為興趣點。圖像配準通常提取角點特征，因為其具備良好的可定位及可識別性。最經典的特征描述符包括SIFT及其變體HOG，其具備平移、旋轉、縮放的幾何不變性及光照不變性。此外，被廣泛使用的人工特征還包括SURF、FAST、ORB等。

（3）特征匹配

特征匹配為待配準圖像和參考圖像中提取的特征集合建立匹配關系，需要兩幅圖像之間具有足夠面積的重疊區域，通常利用特征描述符配合相應的相似性度量實現特征的最近鄰匹配。同時，采用隨機采樣一致性（Random Sample Concensus，RANSAC）算法利用特征的空間位置關系剔除誤匹配，建立全局一致的特征匹配關系。

（4）變換模型估計

圖像的變換模型包括剛體變換和非剛體變換：剛體變換對圖像建立全局的變換模型，無法建模圖像間的局部差異；非剛體變換允許通過局部的圖像扭曲配準參考圖像與待配準圖像。利用選定的變換模型對特征集進行變換，并選擇合適的優化搜索算法最小化匹配誤差，獲取變換模型參數的最優估計。

（5）圖像重采樣

對待配準圖像使用已估計參數的變換模型進行重采樣，并對部分像素位置進行插值，將待配準圖像對齊至參考圖像，完成圖像配準過程。最常用的插值方法包括最近鄰函數、雙線性和雙三次函數、二次樣條函數、三次B樣條函數、高階B樣條函數、Gauss函數和截斷的Sinc函數等。

1.2 圖像配準技術難點

圖像配準是圖像處理與分析領域的關鍵技術，當前面臨的技術難點及挑戰主要包括：

1）典型的大視角鏡頭采集的圖像常常帶有不同程度的畸變失真，而廣角鏡頭、魚眼鏡頭的畸變則更為嚴重。這會嚴重影響使用針孔攝像機模型的圖像配準系統，需要事先對圖像采集設備進行精確標定［11］。

2）常用的異源圖像融合系統如可見光-紅外圖像、多模醫學圖像融合，其待配準圖像來自不同類型的傳感器，由于其成像原理、所捕獲的目標信息存在差異，給圖像配準系統帶來了挑戰。

3）當待拼接圖像較多或者輸入視頻流的時候，可能需要降低圖像配準算法的復雜度，或者引入圖像選擇機制，從而在有限的計算資源下獲得滿足需求的處理速度。

4）實際圖像配準系統的輸入圖像可能來自非受限的自然環境，運動物體干擾、光照等環境條件的變化難以避免，需要設計魯棒性更強的圖像配準系統。

2 基于特征的圖像配準算法

基于特征的圖像配準算法由源圖像中提取更高層次的特征信息用于圖像配準，提高了算法對亮度變化和噪聲的魯棒性。并且相比基于區域的圖像配準算法，基于特征的圖像配準算法可以處理圖像差異較大的情況，是當前被普遍采用的圖像配準算法。

2.1 特征提取

圖像特征包括區域特征、線特征和點特征。區域特征通常選擇高對比度的封閉區域，通過圖像分割方法檢測區域特征［12］。區域通常以重心來表達，具備旋轉、尺度不變性，且對隨機噪聲和光照變化不敏感。線特征通常選擇線段或特定的物體輪廓［13］，使用標準的邊緣檢測方法如Canny檢測器［14］檢測線特征，線特征通常以線的端點或中點表達。點特征在場景適應性、檢測難度、匹配精度等方面優于區域特征和線特征，在圖像配準算法中得到了更廣泛的應用。圖像特征的提取示意圖如圖 2 所示［15-16］。

圖2 圖像特征提取示意圖Fig.2 Schematic diagram of image feature extraction

常規的點特征定義包括線交叉點、局部曲率不連續點、曲線拐點、角點等，大量的研究文獻專注于點特征的精確、魯棒及快速檢測。最早的角點檢測器由 Moravec［17］在 1980年提出， Moravec檢測器將自相似度較低的點定義為角點。Kitchen等［18］使用了圖像的二階偏導數，選擇曲率和梯度均較高的點。為了解決圖像二階導數對噪聲敏感的問題， F?rstner等［19］提出了只使用圖像一階導數、魯棒性更強的檢測器。Harris檢測器［20］由Harris和Stephens提出，它對旋轉和平移、少量光照及視角變化不敏感，計算量很小，應用非常廣泛。1994年提出的Shi-Tomasi角點［21］改進了Harris檢測器，通?？梢垣@得更好的結果。Smith等［22］提出的SUSAN檢測器在適當的圓形掩模內檢測角點，具備優異的檢測速度、準確性和抗噪性。Lowe［23］于2004年提出了尺度不變特征變換（Scale Invariant Feature Transform，SIFT）特征點，SIFT特征具備優異的魯棒性，獲得了非常廣泛的應用。Bay等［24］提出的SURF特征是SIFT的改進版本，引入了積分圖像，性能更強。2006年，由Rosten等［25］提出的FAST角點檢測器改進了SUSAN特征，通過灰度值比較將圖像局部像素變化明顯的位置作為特征，其優勢是速度極快。2011年，由Rublee等［26］提出的ORB特征為FAST特征引入了旋轉及尺度不變性，并使用速度極快的二進制BRIEF描述子，實現了檢測質量和性能的良好平衡，獲得了廣泛的應用。

2.2 特征匹配

當圖像缺少局部紋理、形狀和結構等顯著的細節信息時，通常使用基于特征之間空間分布關系的方法進行匹配。Goshtasby等［27］提出的配準算法基于圖匹配算法，統計待配準圖像特征經特定轉換后落在參考圖像特征給定范圍內的數量，以得分最高的轉換參數作為估計結果。Stockman等［28］提出的算法假設變換模型為相似變換，首先使用所有點對計算參數空間點，然后定位參數空間中的聚類簇，并取其質心作為變換參數。

使用更為廣泛的方法基于特征的不變描述子，將待配準圖像間描述子最相似的特征進行配對。暴力匹配計算每一個待匹配特征與參考特征集的相似度，并返回相似度最高的項。暴力匹配可以獲得最優匹配結果，但是效率太低，通常使用近似最近鄰快速 搜 索［29］（Fast Library for Approximate Nearest Neighbors，FLANN）進行快速匹配。特征的相似度度量通常使用特征向量間的Euclidean距離或余弦相似度，二進制特征通常使用Hamming距離。文獻［30］使用相關系數作為相似性度量，文獻［31］利用互信息提升特征匹配的準確度。此外，文獻［32］中提出的迭代最近點（ICP）算法在三維匹配中應用非常廣泛。

為了剔除誤匹配點對，通常使用由Fischler等［33］提出的隨機采樣一致（RANSAC）隨機優化算法。RANSAC算法隨機選擇樣本點計算變換矩陣，通過不斷迭代執行并保留內點數量最多的變換矩陣作為輸出，其容錯能力很強，缺點是結果具有隨機性，且受迭代次數影響。此外，文獻［34］根據特征匹配的可靠性選擇特征，文獻［35］引入匹配似然系數用于匹配可靠性的度量。部分特征匹配方法不進行區域相關或者特征匹配，如文獻［36］基于特征一致機制分階段進行參數投票，逐個估計變換模型參數。點特征的匹配及誤匹配剔除示意圖如圖 3 所示［15］。

2.3 變換模型估計

圖像配準算法普遍使用透視變換模型和鏡頭畸變模型作為成像模型，配準變換模型主要包括全局模型和局部模型。全局變換模型使用所有匹配點對估計待配準圖像的映射函數，通常使用線性的仿射變換模型

圖3 特征匹配及誤匹配剔除示意圖Fig.3 Schematic diagram of feature matching and mismatch eliminatio

若相機和成像場景距離較近，通常使用以下透視變換模型

由于匹配點數量遠多于變換模型的自由度，通常對匹配點對的均方差損失函數使用最小二乘法求解模型的最優參數。

全局變換模型平等地對待整幅圖像的變形，無法建模圖像的局部形變差異。因此，局部敏感的配準模型在處理存在局部變形的圖像配準時通常優于全局方法。文獻［37］使用加權最小二乘法和加權平均法處理圖像的局部變形。文獻［38］利用匹配點對進行三角化，并在三角內部使用局部映射函數。其他應對圖像局部變形的方法還包括使用徑向基函數以及彈性配準方法。

使用暴力搜索求解模型參數的計算復雜度太高，通常使用數值優化算法優化由特定相似度度量構造的配準模型損失函數，以獲得模型的自由參數。如文獻［39］使用了Gauss-Newton數值優化算法，文獻［40］使用了梯度下降優化算法，文獻［41］使用了Levenberg-Marquardt優化算法，文獻［42］使用了模擬退火隨機優化算法。此外，為了提高搜索速度，通常利用圖像金字塔分解或者小波分解進行逐層細化搜索。

3 基于區域的圖像配準算法

基于區域的圖像配準算法定義了不同的區域相關性指標。通常以參考圖像為基準，通過極大化相關性指標搜索待配準圖像的最佳位置，以實現圖像對齊，其示意圖如圖4所示［15］?；趨^域的圖像配準算法通常不需要復雜的圖像預處理，算法實現簡單，缺點是一般只適用于平移、旋轉較小且待配準圖像之間亮度統計相關的情況，應用范圍較小，魯棒性較低，運算量較大。

圖4 基于區域的圖像配準示意圖Fig.4 Schematic diagram of area-based image registration

最經典的區域配準準算是歸一化互相關法［43］，其對參考圖像和待配準圖像的滑動計算相似度，搜索最大值位置作為配準結果。如圖4（c）所示，圖中顯著的響應尖峰即最優的匹配位置。相關法易于硬件實現，但缺點是計算量較大、相似度極大值的顯著性較低。相位相關法由Kuglin［44］提出，該算法通過Fourier變換將圖像轉換到頻域，使用互功率譜中的相位信息進行配準。該算法具備光照魯棒性，并且適用于異源圖像，缺點是對噪聲比較敏感。擴展相位相關法由De Castro等［45］提出，該算法依次對待配準圖像的旋轉和平移量進行估計，可以在同時包含旋轉和平移的圖像上獲得良好的配準效果。來自信息論的互信息（Mutual Information，MI）度量兩組數據間的統計相關性，被廣泛用于異源圖像的配準，典型如醫學圖像和多光譜圖像。互信息最初由Viola等［40］引入到圖像配準領域，他們通過梯度下降法最大化互信息進行圖像配準。Zhu［46］將交叉熵引入了圖像配準領域，使用交叉熵度量圖像相似性。

4 結論與展望

本文介紹了圖像配準技術的基本流程及技術難點，分階段總結了圖像配準算法的關鍵技術及研究進展，同時分析了不同算法的適用性?；趨^域的圖像配準算法實現簡單，但計算復雜度較高，適用范圍較小?；谔卣鞯膱D像配準算法在特征匹配之前引入了更高層特征的提取過程，有效提升了算法的環境適應性及配準質量，應用非常廣泛，具有非常大的發展潛力。

傳統的圖像配準算法主要使用點特征，對特征點的數量、質量及分布情況要求較高。近年來，部分研究嘗試使用線特征輔助點特征以提高圖像配準質量，這有待進一步的發展研究。隨著深度學習技術特別是卷積神經網絡的快速發展及其在計算機視覺領域展現出的優異的實用性能，神經網絡技術已經開始被引入到圖像配準領域。利用深度神經網絡輔助提升基于多視幾何學傳統算法的圖像配準質量，甚至是訓練端到端的圖像配準網絡有著巨大的發展前景。

作為眾多計算機視覺系統的基礎模塊，圖像配準技術得到了廣泛的研究及發展。隨著計算硬件性能的不斷提升，高計算復雜度的算法可以實時運行，圖像配準技術的精度及效率不斷提升。同時，存在嚴重局部或非線性形變的圖像以及多模態圖像等圖像配準任務仍然具有挑戰性，并且需要在提升算法魯棒性及場景自適應性等方面繼續開展深入研究。