基于特征對應與分割的圖像拼接技術研究

張舒　徐慶

摘? ?要：圖像拼接計算幾何變換以基于重疊圖像之間的特征對應的最佳擬合來對齊圖像。之后使用接縫切割來隱藏未對齊的偽影。有趣的是，要獲得直觀的無縫效果，通常是接縫步驟是最關鍵的。這促使我們提出了一種接縫驅動的圖像拼接策略，其中不是基于特征對應的最佳擬合來估計幾何變換，而是基于所得到的接縫切割的視覺質量來評估變換的好壞。結果表明，這種新的圖像拼接策略往往比現有的方法能產生更好的視覺效果，特別是對于具有挑戰性的場景。

關鍵詞：圖像拼接? 特征對應? 接縫切割

中圖分類號：TP39? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2020）06（b）-0131-02

傳統圖像拼接流水線（上圖）和改進的接縫驅動圖像拼接流水線（下圖）的示例，如圖1所示。在傳統方法中，諸如SIFT之類的特征點被計算并在圖像對之間進行匹配，從而產生一組特征對應。針對非平面場景幾何特征和錯誤匹配的特點，采用隨機樣本一致性（RANSAC）穩健估計具有最佳幾何擬合的單應性。具體地說，一組單應詞H1，H2…是隨機假設的，并根據他們的共識大小衡量進行排名。使用最好的單應函數來扭曲和對齊圖像。然后進行接縫切割以產生最終結果。

1? 圖像拼接技術

本文的接縫驅動方法以類似的方式運行，但評估和選擇單應不同。這是通過修改RANSAC中的假設和測試循環來實現的，在該循環中，我們生成鼓勵多樣性的候選單應性，并使用所有候選來將接縫切割應用于對齊的尺寸，接下來，我們基于我們的新的排名度量來評估不同的接縫切割，該排名度量有利于獲得具有良好感知質量的結果。

RANSAC通過在隨機采樣的數據最小子集上擬合單應性來生成模型假設，其中每個子集包含四個對應。對于每個假設，記錄與其一致的對應關系（即，假設的內部人員）。此隨機抽樣過程重復多次，并選擇具有最高共識大小的假設。

2? 評估切割

雖然接縫能量最小化了I1和I2之間的圖像梯度，但用于對不同接縫的感知質量進行排序時效果不佳。我們引入了一種更具區分性的誤差度量。對于沿著接縫的每個像素p，我們通過提取以p為中心的17×17面片P并在I1或I2中搜索其最相似的面片來估計誤差值E（p）。這可以表示為

其中Si表示I1和I2的重疊區域中的所有圖像塊。這個想法是，如果沿著接縫的補丁與I1或I2中的補丁相似，那么沿著接縫的補丁在感覺上是可信的。如果沿著接縫的面片在兩個源圖像中都找不到，那么它很可能是一個偽像，因此指定了更大的錯誤。沿尺寸為斜體的接縫的總誤差計算為。

圖2顯示了該過程的示意圖以及具有對應的每像素誤差E（p）的三個不同切割的示例，E（p）顯示為熱圖，總誤差? ? 。最小誤差表示我們的感知排序。（A）說明了如何評估接縫。對于沿著接縫的每個像素，在任一重疊圖像中找到的關于該像素的最相似面片的平方差被用作失配誤差。（B）使用我們的誤差度量顯示來自不同切割的能量熱圖。累計接縫誤差用于對切割進行分級。

3? 結語

本文提出了一種接縫驅動的圖像拼接策略，圖像拼接計算幾何變換以基于重疊圖像之間的特征對應的最佳擬合來對齊圖像，之后使用接縫切割來隱藏未對齊的偽影。結果表明，這種新的圖像拼接策略往往比現有的方法能產生更好的視覺效果，特別是對于具有挑戰性的場景。我們的接縫驅動圖像拼接的想法是一項正在進行中的工作。

參考文獻

[1] Benjamin E J， Blaha M J， Chiuve S E， et al. Heart disease and stroke statistics-2017 update： are port from the American Heart Association[J].Circulation， 2017， 135（10）： 146-603.

[2] Xue W， Islam A， Bhaduri M， et al. Direct multitype cardiac indices estimation via joint representation and regression learning[J]. IEEE Transactions on Medical Imaging， 2017，36（10）： 2057-2067.

[3] Xue W， Lum A， Mercado A， et al. Full quantification of left ventricle via deep multitask learning network respecting intra-and inter-task relatedness[C].International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer， Cham， 2017：276-284.