基于相關系數(shù)法的彩色圖像立體匹配方法

孔維哲

（1.長江重慶航道局，重慶 401147）

圖像匹配是圖像信息處理領域中一項極為基本和重要的技術，其應用領域已逐步從原來單純的軍事應用擴展到其他領域，尤其在數(shù)字攝影測量、計算機視覺、模式識別中應用更為廣泛[1]。數(shù)字攝影測量與傳統(tǒng)的模擬攝影測量以及解析攝影測量有著明顯的不同，主要體現(xiàn)在數(shù)字攝影測量不是影像存儲設備，而是自動化處理流程，影像匹配是不可忽視的核心技術。實際生活中的圖像非常復雜，而且紋理特性十分明顯，匹配錯誤的現(xiàn)象時有發(fā)生。精準快速地發(fā)現(xiàn)不正確的匹配點、提高匹配結果的精準度是一項重要的工作。當匹配模式不同時，其優(yōu)勢和缺陷也存在很大的區(qū)別，當前匹配方法有地形連續(xù)控制策略[2]、最小二乘匹配方法、整體松弛匹配方法[3]等多種類型。

本文在研究過程中將相關系數(shù)當成匹配測度，對同一個影像的不同波段實施粗匹配，并對相關結果實施對比分析，刪除錯誤的匹配點，在這個初值的基礎上，使用最小二乘匹配實施亞像素匹配，從而獲取一個精度較高的匹配結果。

1 基本原理

1.1 特征點提取

應用頻率較高的點特征提取算子包括Moravec 算子、Harris 算子、Susan 算子等多種類型，Harris 算子的計算流程比較簡單、計算內(nèi)容比較少、計算效率比較高，應用最為廣泛，在紋理復雜程度較低的區(qū)域中只能提取很少的特征點；穩(wěn)定性高，就算目標圖像出現(xiàn)一些旋轉、噪聲或者灰度變化，也可以充分有效的提取特征點[4]。本文主要使用Harris 算子，其原理是:首先對影像進行一階差分進而核算出每個像素的平均平方梯度矩陣M，而梯度矩陣M的特征值就可被認定為自相關函數(shù)的曲率。該算子通過對特征值的比較可以做如下分析:①假設2 個特征值的大小存在很大的差距，可以將這些點當成影像中的邊界值；②假設2 個特征值的差距不大而且2 個數(shù)值都比較小，可以將這個點當成非角點；③假設2 個特征值的差距很大且2 個數(shù)值都比較大，意味著影像點在任意方向上的灰度曲率都非常大，可以將這些點當成角點或特征點。

Harris 算子的一般處理過程如下:

式中，gx指代的是原始影像點沿x方向得出的梯度圖；gy指代的是原始影像點沿y方向的計算出的梯度圖；G(s)指代的是高斯卷積濾波；Det(M)指代的是矩陣M的行列式，tr(M)指代的是矩陣M的直跡。k指代的是0.1 以下的小值常數(shù)。I中的所有元素值對應的原影像的興趣值，假如該值超出了區(qū)間范圍，可以將這個影像點看成所求角點。

Harris 算子的步驟:

1）核算影像上的所有像素點在水平以及豎直方向上的一階導數(shù)，并計算出相應的乘積，并以此為基礎繪制出圖像gx，gy和gxy。

2）借助高斯濾波對步驟1 中的3 個圖像實施卷積處理，進而得到原圖像所有像素點的興趣值。

3）選擇局部極值點。Harris 表示:特征點是特定區(qū)間內(nèi)的興趣值極大位置的相應像素點，當獲取每個像素點的興趣值以后，應該將各個局部興趣值最大的像素點統(tǒng)計下來。在核算過程中，逐個計算出以各個像素為核心的窗口中心點像素的最大值，那么這個點就是特征點。

4）參考實際需求選擇特定數(shù)量的特征點。局部極值興趣值的像素點數(shù)量非常多，會大大降低核算效率，利用排序方法確定一個區(qū)間（通常選取全局最大極值的1/1 000-1/10 000）對所有極值點實施篩選處理，最終得到一些特征點。

1.2 匹配測度

現(xiàn)狀的影響匹配測度通常使用以灰度信息為基礎的匹配準則。應用頻率較高的測度方法有差絕對值和、協(xié)方差函數(shù)、差平方和等[5]。此外相關系數(shù)與相關系數(shù)測度存在較強的一致性，實時處理能力十分突出，所以這種測度方法的應用頻率非常高[6]。本文在研究過程中將使用相關系數(shù)，相關原理如下所示:

相關系數(shù)應用過程中，第一步要核算出2 個圖像信號的協(xié)方差函數(shù)；第二步除以2 個圖像的方差獲取標準協(xié)方差函數(shù)；影像g（x,y）、g′（x′,y′）的相關系數(shù)如下所示:

1.3 單點最小二乘匹配

要想進一步提高亞像素級的匹配精度，需要將粗匹配結果當成初始值并實施最小二乘匹配。這種方法能夠綜合分析2 個影像之間的幾何變形、灰度變形等。在線性化處理之后，獲取最小二乘匹配的誤差函數(shù)。法化后整體平差獲取準確的較高的同名點[7]。

正常情況下，影像匹配目標窗口的尺寸非常小，因此在單點最小二乘匹配過程中僅僅考慮一次幾何形變就可以了。

式中，未知數(shù)dh0,dh1,da0,da1,da2,db0,db1,db2為待定參數(shù)的改正值，它們的初值有粗匹配給定。觀測值Δg是左右影像相應像素的灰度差。

2 彩色圖像的分波段匹配

正常情況下影像匹配處理的都是灰度圖像，如果要對彩色圖像實施匹配處理，要先進行灰度化處理，應用頻率較高的彩色影像灰度化方法有2 種:

1）均值法:將彩色圖像中的RGB 3 個分量圖像的亮度值進行平均。

2）加權平均法:參考影像的重要等級以及特殊需求，對RGB 3 個分量圖像以不一樣的權值實施加權平均處理。

在對灰度化圖像進行粗匹配后，需要先進行剔除誤匹配，傳統(tǒng)的剔除誤匹配點的方法是采用RANSAC算法[9]，利用改進的RANSAC 算法不僅在效率上有所提高，而且能夠剔除更多的誤匹配對[10]。但是RANSAC 算法較為復雜，本文利用彩色圖像的性質(zhì)提出了一種新的剔除誤匹配的方法:彩色圖像的3 個波段分量可以看作3 幅不同的圖像，它們各自的灰度信息有差別，空間信息卻是完全相同的，同一個特征點在3 個波段影像上的位置應該是完全相同。依次對3 個波段影響實施匹配核算，不同波段的左右影像中的同名點位置也應該是一模一樣的。如果某一波段影像出現(xiàn)了誤匹配，那么同一點在3 幅影像上的匹配結果會有較大的差異。3 個波段影像在同一點出現(xiàn)誤匹配且結果相近的概率非常小，它們的匹配結果仍然會有較大的差異。因此通過對3 個波段分別進行匹配的方法，能夠剔除絕大部分的誤匹配點。

3 實驗結果與分析

本次實驗選取的是2 幅800×800 的彩色影像，原始數(shù)據(jù)如圖1。本文實驗有如下過程:

圖1 原始圖像

1）借助Harris 算子獲取影像中3 個波段的特征點，興趣值窗口大小為5×5，特征點計算窗口大小是7×7。

2）用相關系數(shù)法對3 個波段影像選取11×11 的目標窗口大小，相關系數(shù)閾值取0.95 進行匹配。

3）將3 個波段的匹配結果進行比較，剔除誤匹配點。

4）將原始圖像灰度化，將約束后的粗匹配結果作為初值用最小二乘法進行精匹配。

實驗結果如下:

紅光波段粗匹配工作結束之后，得到1 620 對匹配點，具體內(nèi)容如圖2；綠光波段粗匹配工作結束之后，得到1 704 對匹配點，具體內(nèi)容如圖3；藍光波段粗匹配工作結束之后，得到1 724 對匹配點，具體內(nèi)容如圖4。

圖2 紅光波段匹配結果

圖3 綠光波段匹配結果

圖4 藍光波段匹配結果

3 個波段的粗匹配完成后，需要對匹配結果進行約束。理論上，匹配正確的點位置應該是完全相同的，但是由于圖像的復雜性，不可避免會出現(xiàn)一定的偏差，本次實驗將3 個波段匹配結果相差在2 個像素內(nèi)的點都予保留，相差在3 個或者以上的，認為是誤匹配點，將其剔除，這樣就剩余655 對匹配點，表1 列舉了10 對被剔除的點。

表1 剔除的點信息

以余下的655 對匹配點作為初值，對原始彩色圖像加權灰度化，進行最小二乘精匹配，余下59 對同名點，匹配結果如圖5 所示。

圖5 最小二乘匹配結果

4 結 語

影像匹配是數(shù)字攝影測量和計算機視覺中不可或缺的核心技術，對兩者的自動化水平有著決定性的影響。本文對彩色圖像3 個波段分別進行匹配，然后比較它們之間的差值，以此為約束條件，對粗匹配結果進行約束，有效地剔除了誤匹配點，為最小二乘精匹配提供了精確的初值，提高了匹配的精度，是一種比較有效的匹配方法。