多維度視覺傳達下投影變換圖像配準仿真

鞠東庭，楊東林

(長春理工大學光電信息學院，吉林 長春 130114)

1 引言

圖像配準為計算機視覺相關技術中的一個較為基本的問題，在目標分類、相機自校正、目標識別、三維圖像重構等方面均有廣泛應用。一般情況下，圖像配準使用在圖像的預處理階段，可以對在同一場景內的不同成像條件下所得到的圖像進行疊加匹配，形成一個關于此場景的新的解釋。

近幾年，對圖像配準的研究逐漸增多，樊彥國等人[1]提出了一種基于ORB(Oriented FAST and Rotated BRIEF)與RANSAC(Random Sample Consensus)融合改進的圖像配準。該方法首先對傳統的特征提取方法進行優化，隨后構建出金字塔式的尺度空間模型，以改進尺度空間結構，減少圖像層數的生成。通過實驗證明，該方法具有一定的有效性，能夠基本滿足圖像匹配的精度要求，但是算法的運算效率較低，不能實現同步性。趙杰等人[2]提出了一種變參數active demons算法下的多通道彌散張量圖像配準。該方法將active demons算法中的平衡系數可以使收斂速度增加。在配準的初始階段，采用數值較小的平衡系數能夠使收斂速度升高，且隨著首先的逐漸加深增大平衡系數來提高配準精度。通過實驗證明，該方法的配準精度較高，且具有一定的實時性，但是不能較為完整地保留圖像邊緣信息，使配準性能降低。

為實現多維度多角度的圖像配準，本文提出了一種多維度視覺傳達下投影變換圖像配準仿真。采用LOG算子對圖像輪廓進行提取，LOG算子為一種使用高斯濾波器平滑處理圖像后的圖像邊緣檢測算子，能夠更完整地保留圖像的邊緣特征。采用傅里葉特征匹配方法獲得不同圖像的輪廓匹配點對，將該點對作為映射點，通過投影變換方法完成圖像配準的全過程。仿真表明本文方法的匹配準確率較高，均方根誤差較低，魯棒性較好。

2 基于多維度視覺傳達的投影變換圖像配準

通過LOG算子提取出圖像輪廓，使得配準后的圖像能夠保留下不同分辨率特征下所表現出的不同特征。利用傅里葉特征匹配算法對不同圖像中互相對應輪廓進行匹配，獲得匹配點對，并將其作為下一步的圖像配準的映射點，最后通過投影變換完成輪廓點的一一映射，得到配準后圖像。

2.1 圖像輪廓提取

LOG算子為一種使用高斯濾波器平滑處理圖像后的圖像邊緣檢測算子。高斯濾波器的對應函數可以表示為

(1)

式(1)中，e表示圖像重合率，σ表示空間尺度。根據線性系統中微分和卷積具有交換性[3]，將拉普拉斯算子和高斯平滑濾波相融合，形成一個LOG算子如下

(2)

通過對符號變化的判斷即可確定零點位置。在實際操作的過程中可以將LOG算子視為沿著x、y兩個方向的卷積，實現快速計算。

(3)

式(3)中，I(x，y)表示卷積圖像，K1、K2表示LOG算子x、y兩個方向上的簡化系數，兩個方向的卷積如下

(4)

(5)

隨后進行輪廓線提取，傳統的雙閾值法搜索連續輪廓線，首先假設兩個方向的閾值分別為T1、T2，將卷積值小于T2且大于T1的像素點作為候選輪廓點。但是雙閾值方法不能完整地保存強度圖的總體分布形狀[4]。為解決該問題，本文對其進行改進，采用一種居于單閾值的輪廓搜索方法。

由于通過LOG算子處理后的圖像在過零點處存在單一寬度性質，而多維度視覺傳達主要關注的是圖像多角度的視覺特征，因此以統計意義上占大多數的過零點為主要提取的輪廓。將圖像的直方圖函數[5]H(i)的第一個極小值為閾值，如下

(6)

式(6)中，H表示直方圖函數，i表示圖像函數，0

擴展后的輪廓搜索方向確定準則為：

1)3×3領域的搜索方向為

d1=(d1+i)mod8

(7)

2)4×4領域搜索方向：

d2=(d2+i)mod16

(8)

3)d1到d2的方向可以表示為：(d2-d1)mod8。

2.2 多維度圖像特征匹配

設C表示輪廓的閉合邊界，根據其周期性和封閉性特征，將邊界上的一固定點b作為起點沿曲線以逆時針方向勻速運動，獲得函數z(t)，其中t表示時間變量。若周期為2π，則z(t)用傅里葉系數可以表示為

(9)

式(9)中，Cn表示C的傅里葉描述因子[7]。假設L表示曲線長度，l表示沿曲線弧長，令

(10)

則通過傅里葉系數可得

(11)

這里，z(t)為曲率函數。假設輪廓C是由N個輪廓點組合而成，其序列是(xl，yl)，0≤l≤N-1。則輪廓中的某點曲率可以通過該點的切線變化對弧長的微分[8]來表示，即

(12)

式(12)中，θ表示邊緣切向的角度函數[9]。

曲率函數由于其自身特征能夠使像圖像的形狀特征在平移的情況下也保持不變，僅使用傅里葉系數的模，省略其余相位信息能夠保證圖像即使發生旋轉也不會產生變化，同時為了能夠使形狀特征不受縮放的影響，使每個傅里葉模的值均除以直流分量。這樣就可以在僅有少數低階系數的情況下，獲得高質量的輪廓形狀表示。各輪廓的描述子可以表示為

fk={|F1|，|F2|，|F3|，|F4|，|F5|}

(13)

將每個輪廓形狀的描述子視為該形狀的特征向量，那么圖像輪廓間的相似問題就可轉化成多維特征向量問題。設在參照圖像中提取了m個能夠閉合的輪廓，在帶配準圖像中提取了n個能夠閉合的輪廓，則隨機選擇兩個形狀特征向量，二者間的相關距離可以定義為

(14)

計算出形狀特征相關距離后，即可獲得不同輪廓間的特征距離矩陣|dij|。以最小距離分類原則為依據得出滿足式(15)、式(16)條件的不同輪廓即可被認為具有相似性。

(15)

(16)

式(16)中，T表示閾值。根據以上算法即可獲得輪廓對，計算出其重心后作為下文投影變換圖像配準的映射點。

2.3 基于投影變換的多視角圖像配準

為實現多視角的圖像配準，必須尋找到不同圖像之間的變換關系，因此本文采用改進后的投影變換完成各圖像的映射。投影變換主要是將平面上一定投影至另外一個平面上，由于多維度圖像配準針對三維圖像，因此此處主要將2D投影變換轉換為3D坐標變換中的一個子集。考慮將3D空間中的點投影至視點不同的不同平面圖像上，其關系如圖1所示。

圖1 投影變換示意圖

對于一個中心定位在原點的相機，3D空間中的點(X，Y，Z)，其像素坐標點u(x，y，l)可以表示為

u=V·U

(17)

式(17)中，V為相機參數。因此，若U表示對應像素u的3D坐標點，則U點坐標可以表示為U=V-1u。兩個不同圖像像素u和u′間的透視投影關系可以表示為

u′=V·R·U=V·R·V-1·u=M·u

(18)

式(18)中，R為3D旋轉矩陣。

二維投影變換是主要與齊次三維矢量線性變換相關[10]，在齊次坐標系條件下，二維投影變換可用式(19)的非奇異矩陣描述

(19)

剛體變換由旋轉變換、平移變換和縮放變換組合，仿射變換為剛體變換中的一般變換，在齊次坐標條件下，2D空間中兩種變換所對應的矩陣可以表示為

(20)

式(20)中，θ表示旋轉變換過程中的旋轉角，tx表示平移變換的水平方向平移分量，ty表示垂直方向平移分量。

一般情況下，笛卡爾坐標系中的仿射變換可以通將像素坐標(x，y)映射為像素坐標(x′，y′)如下

(21)

投影變換則可以通過式(21)將(x，y)映射成(x′，y′)如下

(22)

映射完成后即可得到配準后圖像。

3 仿真研究

3.1 仿真環境

仿真硬件環境為：Intel Core 2 Quad Q8200，2.33 GHz，8 G內存的PC；軟件開發環境為：Window 10 64位操作系統，Visual Studio 2019編程環境。選取H2OPM Image Registration Dataset數據集中，兩組720×1024像素大小的圖像作為實驗樣本，如圖2所示。

圖2 測試圖像

3.2 實驗指標

為證明配準方法的有效性，采用以下指標進行綜合評價：

1)以匹配正確率為評判指標對匹配的精度進行評價，正確率值越大則精度越高，正確率的計算公式如下

CMR=Nc/N′

(23)

式(23)中，N′表示全部匹配點對數量，Nc表示正確的匹配點數。

2)以均方根誤差為指標對匹配精度進行匹配。均方根越大則說明參考圖像和配準所得圖像的距離越大，也就是說該值越大則配準精度越低。均方根誤差的數學表達式如下

(24)

3.3 配準效果

為驗證所提算法的配準效果，基于上述實驗環境，對比所提算法、文獻[1]及文獻[2]算法的圖像配準效果。紅框區域為配準有誤之處，結果如圖3所示。

圖3 不同算法配準效果

從圖3中可以看出，文獻[1]、文獻[2]方法的兩組圖像配準后圖像邊緣位置有明顯錯位，而本文方法僅在圖組1中的配準中出現了兩處微小錯誤，且圖像較為清晰，邊緣特征保存較為完好，證明所提算法具有一定的實際應用價值。

3.4 配準運算時間與準確度

對比分析所提方法的配準結果和文獻[1]、文獻[2]方法的運算時間與測試結果如表1所示。

表1 不同算法的運算時間和精配準對數

從表1中可以看出，相比于文獻[1]、文獻[2]算法，所提算法保留了更多的精匹配點對，且運行速度較快，這是由于本文采用了更適用于多維度多視角的LOG算子進行圖像輪廓的提取，使得提取得到的匹配點對更多，提高匹配的準確率。不同算法的匹配正確率和均方根誤差分別如表2、表3所示。

表2 不同方法配準正確率對比

表3 不同算法均方根誤差

從表2、表3中可以看出，本文方法在兩組圖中的匹配準確度均高于其它兩種方法，且均方根誤差最低，這是由于本文方法在進行輪廓提取時，擴大了搜索領域，提高了輪廓點對的匹配率，同時在使用投影變換的過程中實現了二維到三維的轉換，能夠在圖像的不同維度間進行點的映射。

4 結束語

本文結合投影變換，給出了一種基于多維度視覺傳達下投影變換圖像配準仿真。實驗結果表明使用投影變換模后的匹配精度較傳統方法有所提高，采用本文方法進行圖像拼接后，無明顯的模糊現象和幾何變形，邊緣部分過度良好，且運算速度要優于傳統方法。