非線性約束下的準單應變換圖像拼接算法

王 懷，王展青

（武漢理工大學理學院，武漢 430070）

0 引言

隨著現代生活的智能化，人們能夠隨時隨地使用智能手機等手持式圖像采集設備來獲取高質量圖像［1］。由于拍攝視野的限制，人們不得不通過旋轉設備來記錄更多的圖像內容，并直接拼接得到一幅寬視角圖像。而在實際操作過程中，難以保證相機光心的固定，導致圖像之間存在視差，最終得不到滿足實際需求的拼接圖像。

傳統的圖像拼接算法采用全局特征建立變換模型。其中，具有直線結構不變性的單應變換［2-3］最為常用，它能兼顧圖像全局特性，但存在重疊區域無法完全對齊以及拼接圖像失真較嚴重的問題。

為了提高配準精度，相關算法開始采用局部配準的方法來分別對齊各個區域。其中，Gao等［4］利用兩個單應矩陣建立投影變換模型分別對齊圖像下部的前景與上部的背景。Lin等［5］利用平滑變化的仿射變換解決視差和景深不同導致的圖像配準不精確的問題。Zaragoza等［6］采取局部投影變換與移動直接線性變換相結合的方法實現拼接，開啟了網格優化模型的先例。此外，通過結合最佳縫合線算法來提高圖像配準精度的算法［7-9］也取得了較好的拼接效果。

為了減少圖像投影失真，越來越多的算法開始注重于保護待拼接圖像的拍攝視角，從而得到視覺效果更加良好的拼接圖像。基于網格變形的拼接算法不斷被提出，Chang等［10］利用直紋面方程，使經過相似變換的非重疊區域平滑地過渡到重疊區域，解決了非重疊區域的投影失真問題。Lin等［11］采用插值法和自適應確定旋轉角度的方法，同樣結合相似變換減少非重疊區域的投影失真，獲得觀感更加自然的拼接圖像。

但過度地注重于保護原始拍攝視角會破壞圖像過渡區域的幾何結構，尤其是直線結構。因此，Li等［12］提出QH（Quasi-Homography warp）圖像拼接算法，沿著不變水平線對經過透視變換后的待拼接圖像進行合理的橫向尺寸壓縮，既減少了非重疊區域的投影失真，也避免了過渡區域的幾何結構遭到破壞。值得注意的是，QH算法僅減少了主要的橫向投影失真，而忽略了次要的縱向投影失真。對于圖1（c）所示圖像，該算法會造成非重疊區域存在斜線的彎曲化問題。

圖1 QH算法拼接結果與原圖對比Fig.1 Comparison between the stitching result of QH algorithm and the original image

因此，本文提出一種基于非線性約束的圖像拼接算法，該約束條件能抑制圖像經透視變換后的縱向拉伸畸變。NLQH（NonLinear constraint based QH）圖像拼接算法主要是結合待拼接圖像重疊區域與非重疊區域的分界線信息和不變水平線信息建立非線性約束方程，實現對待拼接圖像的縱向尺寸壓縮，使拼接圖像具有更加良好的視覺效果。

1 QH算法

QH算法分析單應矩陣投影變換的優缺點，將不變水平線上非線性遞增的拉伸度限定為定值，抑制了非重疊區域圖像內容的形狀失真，同時避免了過渡區域直線結構的彎曲化。QH算法主要分為如下步驟。

1.1 定位不變水平線

設一條經過像素點(x，y)的直線斜率為k，則經過單應變換后該直線斜率S(x，y，k)可表示為：

其中：ux、uy、vx、vy表示函數u與函數v的偏導數。S(x，y，0)與S(x，y，∞)分別表示經過像素點(x，y)的水平線與垂直線通過單應變換后所得直線的斜率；LF(y，H)是關于y的分式線性函數，而LF(x，H)是關于x的分式線性函數。

1.2 建立線性約束條件

首先在基準圖像與待拼接圖像的重疊區域上找到最佳縫合線［7］；再貼近縫合線找到重疊區與非重疊區的垂直分界線l′2：u(xp，y)=p（如圖2（b）中縱向標記線所示），并結合式（1）可得變換前的分界線（如圖2（a）中斜線所示）為l2：x=xp；然后求得直線l2與l1的交點坐標為(xh，yh)；為了抑制圖像中物體形狀的橫向畸變，最后利用u(x，yh)在x=xh處的一次泰勒展開式近似表示不變水平線上非重疊區的橫坐標uqh(x，yh)與x之間的變換關系：

其中，u′(xh，yh)表示函數u(x，yh)在x=xh處的一階導數。該變換關系抑制了圖像非重疊區的橫向拉伸畸變（如圖2（c）所示）。

圖2 單應變換與QH算法的圖像變形對比Fig.2 Image deformation comparison between homography warp and QH algorithm

1.3 計算新坐標

在(x，y)已知的情況下，圖像非重疊區經QH算法變換后的像素點坐標Mqh(uqh(x，y)，vqh(x，y))可通過式（6）以直線相交的方式求解：

2 NLQH算法

單應變換應用于圖像拼接存在兩個假設［13］：一是圖像由攝像機通過純旋轉運動拍攝獲得；二是場景幾何結構幾乎處于同一個平面。實際應用中，兩個條件難以滿足，則采用單應變換拼接圖像會不可避免地造成非重疊區域存在投影失真，即橫向和縱向拉伸畸變。

而QH算法存在如下問題：僅僅對圖像非重疊區域進行整體上的橫向壓縮變換是不合理的，圖像垂直方向的非線性拉伸也會導致圖像部分內容形狀發生畸變。尤其是圖像中的斜線結構向偏離不變水平線的方向彎曲。

2.1 斜線彎折問題分析

為了分析QH算法導致斜線彎折化的問題，本文通過簡單的斜線二段化變形的方式說明前后兩段斜線斜率不一致的根本原因。

原圖中共線的點經過單應變換后仍然是共線的，但原圖中等距分布的點經過單應變換后存在拉伸分布的現象（如圖3（a）所示）。因此dx1

圖3 斜線二段化變形示意圖Fig.3 Schematic diagram of two-stage deformation of oblique line

QH算法僅對圖像進行橫向壓縮，依據其線性約束條件式（5），可知dx′1=dx′2，但仍有dy1

顯示在圖像中的斜線結構經過QH算法變換后會向偏離不變水平線的方向彎曲（如圖1（a）所示）；同時也會導致非重疊區域的幾何結構存在縱向投影失真。

2.2 非線性約束的建立與參數求解

針對縱向投影失真的問題，本文建立約束條件來實現圖像非重疊區域的縱向壓縮變換。一次線性約束對圖像進行縱向壓縮會導致分界線兩側斜率不一致（如圖4所示），不滿足平滑過渡的條件，會使圖像變形后出現明顯的折疊線；QH算法采用像素級的坐標計算方式，計算復雜度較高，本文不宜選取復雜的非線性模型。

因此，本文提出只需求解三個參數的二次拋物約束來平滑地過渡分界線兩側區域，同時也能對圖像縱向尺寸進行非線性壓縮。

求解拋物線參數m1、m2和m3需要三個條件，結合平滑過渡的特性，總結如下三點：

1）令 拋 物 線 經 過 分 界 線l′2：u(xp，y)=p上 的 點Mp(u(xp，y)，v(xp，y))，該點的坐標滿足方程：

2）同時，拋物線與QH變換中的橫向分布線相切于點Mp（如圖4所示），該點的坐標也滿足方程：

圖4 線性約束與拋物約束的對比Fig.4 Comparison betweenlinear constraint and parabolic constraint

3）為了控制圖像縱向壓縮程度，令：

考慮到經過透視變換后，圖像中距離不變水平線越遠的目標具有更嚴重的投影失真問題。因此本文中確定參數m1的方式，對于同一幅待拼接圖像，dw是不變的；在計算新坐標時，使距離不變水平線越遠的區域具有更大的m1，從而拋物線開口更小，對圖像縱向壓縮程度更大。

聯立式（8）、（9）、（10）求解，可得參數m1、m2和m3由y、λ、p與H的元素所表示。

2.3 像素坐標映射

結合QH算法對圖像的橫向變換特性，本文僅需將式（6）進行改進，將橫向的直線約束方程替換成拋物線方程。因此，對于待拼接圖像的非重疊區域，原圖像素點(x，y)與變換后的點Mnl(unl(x，y)，vnl(x，y))之間的關系可表示為：

由式（11）可知點Mnl為橫向分布的拋物線與縱向分布線的交點。對于待拼接圖像的重疊區域，點與點的坐標變換仍如式（1）所示。因此，本文利用分段變換來對整個待拼接圖像進行紋理映射。

從圖4可以看出，本文方法既能平滑過渡分界線兩側區域，也能自適應地抑制圖像非重疊區域的縱向拉伸畸變。

2.4 算法優化與算法流程

QH算法采用像素級的坐標計算方式，相較于式（1）的映射方式，式（6）的計算復雜度較高。因此，本文將待拼接原圖網格化，利用式（11）計算非重疊區域的網格點新坐標，并結合APAP（As-Projective-As-Possible image stitching with moving DLT）算法［6］為每個網格區域計算特定的單應變換矩陣。該方法既能降低計算復雜度，也能提高重疊區域的配準精度。

若將原圖劃分為m×n的網格，則圖像的網格頂點表示為vi，j，其中i∈{1，2，…，m}，j∈{1，2，…，n}。在文獻［6］中，所有網格點都具有不同的單應變換矩陣，這些變換矩陣組成Hap。對于圖像重疊區域的網格點，依據Hap進行坐標變換；對于圖像非重疊區域的網格點，本文將式（8）～（11）中全局單應矩陣H的元素替換成Hap的元素，利用所得變換關系計算網格點的新坐標。

從而，以vi，j為左上頂點的四邊形網格的其他三個頂點vi+1，j、vi，j+1和vi+1，j+1分別與v′i+1，j、v′i，j+1和v′i+1，j+1相對應（如圖5所示）。

圖5 格點映射示意圖Fig.5 Schematic diagram of lattice points mapping

接下來，利用八點算法［15］計算出四邊形網格的單應變換矩陣Hi，j。每個網格對應不同的變換矩陣，所有變換矩陣組成本文最終的變換Hapnl，用于對整幅圖像進行紋理映射。

綜上所述，NLQH算法的步驟如下：

步驟1 輸入參考圖與待拼接原圖；

步驟2 檢測SIFT特征［16］并利用RANSAC篩選匹配特征點對；

步驟3 計算Hap，獲取重疊區域并遍歷重疊區域得到最佳縫合線；

步驟4 確定分界線并計算待拼接原圖網格點的新坐標；

步驟5 計算Hapnl并對待拼接原圖進行紋理映射；

步驟6 基于最佳縫合線進行圖像融合。

此外，圖6利用兩幅圖像展示了橫向拼接的具體流程。

圖6 NLQH算法流程Fig.6 Flow of NLQH algorithm

3 實驗與結果分析

本文實驗階段使用的硬件設備為神舟筆記本電腦，CPU為Intel Core i72.6 GHz并配備有8 GB運行內存。此外，所使用的軟件為Matlab 2014版本，而SIFT特征的檢測利用了VLFeat工具箱。實驗結果顯示的原始圖像是筆者手持智能手機在校園各處通過不同視角拍攝所得。實驗過程中，圖像尺寸均為1 200像素×1 600像素，尺寸為文獻［12］中實驗圖像的2倍。此外，以像素為單位，設定網格大小為60×60。

3.1 參數選定

在參數給定的情況下，采用雙線性插值的方法計算經Hapnl變換后的圖像像素值。對于重疊區域，本文利用最佳縫合線融合兩幅圖像，并在擴展的范圍內顯示拼接后的圖像。最后，圖1（b）、（c）通過本文算法的拼接結果如圖7（c）所示。

圖7 不同λ取值下的拼接結果Fig.7 Stitching results with differentλvalues

3.2 算法效果對比

3.2.1 運算效率對比

本文算法中獲取匹配點對以及圖像融合的方法與QH算法一致，主要耗時差異在坐標變換的步驟上。在現有硬件設備和軟件配置基礎下，本文選取4組圖像（每組兩幅圖像，分別為參考圖與待拼接圖），在不同尺寸條件下，統計了QH算法、NLQH算法以及單應變換對待拼接原圖進行紋理映射的耗時（如表1所示）。

表1 不同算法的變換耗時對比Tab.1 Comparison of transformation timeof different algorithms

對比表1中數據，可以看出，對于同一幅圖像，單應變換在計算上有明顯的速度優勢。而QH算法雖然在圖像尺寸為600像素×800像素時計算效率要高于NLQH算法，但是當圖像尺寸擴大3倍或8倍時，計算耗時呈線性增長趨勢。除網格點外，NLQH算法的像素坐標映射方式與單應變換一致。因此，當圖像尺寸呈倍數增長時，本文算法計算耗時的變化趨于穩定，波動范圍在4～7 s，非重疊區域大小為主要影響因素。此外，當圖像尺寸為1 200像素×1 600像素時，本文算法拼接效率相較于QH算法會有顯著的提升。

3.2.2 拼接結果對比

筆者收集車行道圖像進行拼接實驗，并將本文算法與QH算 法 以 及SPHP（Shape-Preserving Half-Projective warps）［10］算法進行了實驗結果對比。

對于重疊區域（如圖8中標號1所在處），SPHP算法導致直線結構彎曲，本文算法與QH算法則保護了直接結構未被破壞。

對于待拼接圖的非重疊區域（如圖8中標號2和3所在處）：QH算法既使得斜線彎曲，還使得圖像中部分建筑存在縱向拉伸畸變的問題；SPHP算法則完整地保護了非重疊區域的拍攝視角，使該區域不存在任何畸變問題；本文算法在非重疊區域上的拼接效果更接近于SPHP算法，既保護了斜線結構，在一定程度上還矯正了部分建筑的縱向拉伸畸變。

圖8 車行道圖像拼接結果對比Fig.8 Comparison of stitching resultsof roadway images

綜上所述，QH算法雖然抑制了非重疊區域的橫向拉伸畸變，但本文所提出的NLQH算法在此基礎之上進一步減少了圖像中的縱向投影失真，使最終的拼接圖像具有更好的視覺效果。

圖9選取了校園內其他場景進行圖像拼接實驗，通過拼接結果對比，足以表明NLQH算法能更好地改善圖像拼接的視覺效果。

圖9 其他拼接結果對比Fig.9 Comparison of other imagesstitching results

3.2.3 偏離程度的度量與對比

圖10 采樣點示意圖Fig.10 Schematic diagram of sampling points

圖11 平均偏離程度條形統計圖Fig.11 Bar statistical chart of average deviation degree

4 結語

本文提出了基于非線性約束的方法對圖像非重疊區域進行縱向壓縮。相較于QH算法，本文所提出的算法使拼接圖像減少了投影失真，獲得了更加良好的視覺效果。同時，考慮到QH算法在拼接尺寸較大的圖像時存在耗時較多的問題，本文利用網格優化的方法提高了拼接效率。然而，在不依賴直線檢測算法的前提下，QH算法和NLQH算法的拼接結果均存在全局直線結構（橫跨參考圖與待拼接圖的直線結構）彎曲化的問題。因此，在未來的研究中，筆者將更著重于結合圖像內容的深度信息去進行拼接算法的改進。