一種基于POS 的改進Har r i s-Af f i ne 傾斜影像匹配方法

王慧芳，王錚堯

（中煤航測遙感集團有限公司技術發展研究院，西安710199）

1 引言

目前，在數字城市的建立過程中，傾斜攝影測量被廣泛地采用。與傳統的垂直航空攝影相比，傾斜影像存在幾何變形大、地物分辨率變化大、存在色差、地物遮擋、光照等問題【1】，這給較為快速地完成影像匹配工作帶來了很大困難。對于大傾斜影像的匹配而言，近年來計算機視覺領域出現的仿射不變特征及其描述符為解決傾斜影像匹配難題提供了思路。

目前，國內外比較常用的特征檢測方法有：角點檢測、圓點檢測、區域檢測【2】。在特征點檢測算子中，經典角點檢測算子有Moravec、Forstner、Harris【3】，其中Harris 角點具有平移不變性、旋轉不變性、部分輻射不變性、特征穩定性和均勻性較好等優點，缺少尺度不變性和仿射不變性；2004年，加拿大學者Lowe 提出了具有里程碑式的尺度不變性特征算法——sift特征點檢測算法，該算法具有尺度不變性、仿射不變性、對光照變換不敏感，并且具有一定的抗噪性等優點，但對仿射變形較大的影像適應性較差，且該算法耗時較長【4】；常用的特征區域檢測算子有Harris-Affine、Hession-Affine 等算法，提取的特征點具有仿射不變性。為了對特征點進行獨特和唯一的描述，在過去幾十年中發展起來最穩健的描述子之一是sift 描述子：sift 描述子對特征點周圍鄰域內像素梯度信息（包括梯度模值和方向）采用三維直方圖進行統計，具有較強的抗噪聲和抗光照變化能力，并且對于含有定位誤差的特征匹配具有較好的容錯性。

針對傾斜影像的成像特點，優秀的傾斜影像匹配算法不僅要具有尺度不變性、旋轉不變性、平移不變性、對光照變換不敏感等優點，還必須對傾斜影像間的仿射變換具有良好的魯棒性。因此，結合以上算法的優勢，采用Harris-Affine【5】特征算法在多尺度空間提取具有仿射不變和尺度不變的點特征，且對產生的特征點在尺度空間上生成sift 描述子，并進行特征匹配的思路被用于目前傾斜影像的匹配中。

在初始POS 約束下，改進了Harris-Affine 特征提取算法，得到的傾斜影像匹配結果被應用到傾斜影像與點云的配準中，匹配結果滿足配準精度要求。

2 算法步驟和關鍵技術

本文中傾斜影響匹配方法的具體步驟如下。

1）數據準備：傾斜攝影影像和初始POS。

2）得到旋轉影像：任意2 張傾斜影像匹配時，以其中1 張像片為參考片，根據2 張傾斜像片提供的初始POS 中Kappa角的差值，獲得另1 張像片相對參考片的旋轉角度，進而得到2 張原始像片的旋轉后的像片。

3）旋轉影像上提取Harris-Affine 仿射不變特征點。

在Harris-Affine 特征提取算法中，仿射變換閾值參數的大小直接影響算法提取的特征點數的多少。由于不同傾斜影像地形地貌不同，對于每張傾斜影像設置同樣的仿射變換閾值參數，每張傾斜影像得到的特征點數差別很大，有的甚至不在一個量級，這對匹配的結果和效率都有很大影響。為了保證每張輸入的傾斜影像都能獲得數量大致相同的特征點數，本文改進Harris-Affine 算法，設置初始仿射變換閾值參數T0，以及每張像片提取特征點數閾值NC，根據當前仿射變換閾值參數T，檢測像片提取特征點數N 判斷，當N＜NC，則在循環迭代過程中減小T，當N＞1.5NC，則在循環迭代過程中增加T，本文中仿射變換閾值改變的步長ΔT=0.5，直到每張像片的特征點數都滿足閾值設置要求。

4）旋轉影像上為每個仿射不變特征點生成sift 描述子。在每個特征點周圍的鄰域內，在選定的尺度上測量圖像局部的梯度，提取每個特征點的128 維特征向量。

5）將旋轉影像上的特征點坐標根據步驟2）中的旋轉關系轉換為對應的原始影像上的特征點坐標，此時每個原始影像上的特征點對應的sift 描述子為步驟4）中的特征向量。

6）特征匹配：為了提高匹配的效率以及減少錯誤匹配，根據2 張傾斜像片的初始POS，計算2 張傾斜像片的大致重疊范圍，針對2 張像片中重疊范圍內的匹配點，采用比值提純法和互相關約束得到初始匹配點對。

7）采用基于基礎矩陣F 的Ransac 約束和基于單應矩陣H 的LM 約束進行初始匹配點的粗差剔除。首先，通過對初始匹配點的重復抽樣不斷估計基礎矩陣，選取最大的一致集，如果最大一致集大于閾值，則保留，并且將所有的外點剔除；然后對剩下的匹配點對采用LM 算法估計最優的單應矩陣，將不滿足單應約束的外點剔除，剩下的匹配點對即為剔除粗差后的高精度的匹配點對。

3 實驗結果

2017年，利用本文中的傾斜像片的匹配算法，已經完成多個測區的傾斜影像的匹配測試。以星閃測區為例，共5個鏡頭，下視鏡頭442 張像片，4個測試鏡頭共1768 張像片，該測區中5個相機焦距相同。

3.1 像片特征點提取情況

星閃測區像片大小為3648×5472。特征提取過程中仿射變換閾值T0=16.0，星閃測區中的特征點數閾值NC=13000。

表1 表示隨機選取的星閃測區5個鏡頭5 張像片，在固定仿射變換閾值和迭代更改仿射變換閾值2 種情況下的特征點數分布。由表1 可以看出，改進的Harris-Affine 算法通過迭代更新仿射變換閾值，保證測區每張像片提取的特征點總數在規定設置的有效范圍內，保證后續匹配結果的可靠性。

表1 星閃測區5 張影像特征點提取情況

3.2 影像匹配情況

在傾斜攝影中，左右視像片與下視像片的重疊關系要明顯，匹配相對容易些，左右視像片相同位置的像素尺度不一致，增加了匹配難度。圖1 表示下視像片A188.JPG 與前視像片B171.JPG 的匹配結果，由圖可見，本文中的算法在下視像片與傾斜像片的匹配都可以得到高精度的均勻分布的匹配點。

圖1 A188.JPG與B171.JPG的匹配情況

4 結語

實驗結果表明，對于大傾角的傾斜影像，本文中提出的傾斜影像匹配方法得到的同名點分布較好，正確率高。目前，本文中的匹配方法已經用到了煤航自主開發的基于點云和傾斜影像的配準模塊中，經星閃測區1768 張像片測試，匹配結果平差后，能夠滿足點云與傾斜影像的配準精度要求。