基于色彩校正和融合的圖像拼接算法

黃敏青

（四川大學計算機學院，成都610065）

0 引言

隨著社會的發展和科學的進步，人們不再滿足于視角有限的單幅圖像所帶來的信息，而是利用圖像拼接技術將多幅圖像拼接在一起從而獲得擁有廣視角、更多信息的圖像。圖像拼接技術是視頻拼接的基礎，廣泛應用于視頻監控、虛擬現實、航空航天等領域[1]。整個拼接流程通常為：通過相鄰圖像的重疊區域，進行特征提取得到特征點，再通過相似性度量找到匹配的特征點對，然后通過匹配的特征點對得到圖像空間坐標變換參數，由坐標變換參數進行圖像配準，最后將配準后的圖像的重合區域按照一定的融合規則進行融合，得到拼接重構的平滑無縫圖像。圖像融合是圖像拼接的關鍵技術之一，常見圖像融合方法有直接平均融合法、加權平均融合法、多分辨率融合法、小波變換融合方法[2]等。某些情況下，因為攝像機自身的性能和工藝差異，以及自然環境的差異會導致在同一時刻獲取到的圖像存在一定的色彩差異，對融合效果有很大的影響[3]。為使拼接后的圖像色彩統一，因此對圖像進行色彩校正是非常有必要的。

1 理論背景

1.1 色彩空間

色彩空間指的是由三個獨立的屬性或變量組成的空間坐標，是進行色彩信息研究的理論基礎。在我們的日常生活中，談論色彩的時候一般指的是由紅（Red）、綠（Green）、藍（Blue）組成的RGB 色彩空間，RGB 色彩空間屬于基色色彩空間，三分量R、G、B 之間的關聯性很強，亮度信息在三個分量都有體現，由此衍生出了由色、亮組成的色彩空間：如YCrCb 色彩空間、HSL 色彩空間、YUV 色彩空間等。其中YCrCb 色彩空間來自于YUV 色彩空間[4]，Y 代表明亮度，Cb 和Cr 代表色度，Cb 具體為藍色分量與明亮度之差，Cr 具體為紅色分量與明亮度之差，二者相對沒有聯系，這樣的特性賦予了YCrCb 色彩空間在圖像亮度調節的優勢。雖然不同的色彩空間的空間分量不一樣，具有的特性也不一樣，適用的領域也不一樣，但是不同的色彩空間是同構的，它們之間可以通過數學公式互相進行轉換。

RGB 與YCrCb 之間互相轉換的公式如下：公式（1）是由RGB 空間轉到YCrCb 空間，公式（2）是由YCrCb 空間轉到RGB 空間。

1.2 圖像融合

圖像融合是整合配準后的圖像信息，以達到圖像過渡自然的目的，提高圖像的質量[5]。主要有直接平均法、加權平均法、多分辨率融合法。

直接平均融合法方法平均了兩幅圖像重疊區域相對應的像素點對的像素值，將平均后的像素值作為融合后的像素值，計算方法如下所示：

其中，IL( i,j )和IR( i,j )分別為兩幅待融合圖像在重疊區域相對應的的某一點像素值，I( i,j )為融合后該點的像素值。該方法優點是簡單，缺點是融合后的效果不好，最終的融合圖像中會有明顯的融合痕跡。加權平均融合法在實際運用中更為常見，將兩幅圖像重疊區域對應的像素值分別乘一定的加權值后，將加權后的像素值進行疊加得到的像素值作為融合后的像素值。計算方法如下所示：

其中IL( i,j )和IR( i,j )分別為兩幅待融合圖像在重疊區域相對應的的某一點像素值，I( i,j )為融合后該點的像素值，w1，w2為權值，滿足條件w1+w2=1，w1由1漸變到0，w2由0 漸變到1，由此實現重疊區域的平滑過渡。

多分辨率融合法[6]是由Peter J. Burt 在1983 年提出的，基于拉普拉斯金字塔（Laplacian Pyramid）變換的圖像融合方法，后經研究者們不斷創新，衍生出了多種多分辨率結構：高斯金字塔（Gaussian Pyramid）、拉普拉斯金字塔（Laplacian Pyramid）、小波金字塔（Wavelet Pyramid）、對比度金字塔（Contrast Pyramid）和梯度金字塔（Gradient Pyramid）等[7]。多分辨率融合方法的原理為：將圖像分解為分辨率不同的子圖像，再將子圖像采用一定的融合規則分別進行融合，最后將融合后的子圖像進行金字塔重構得到最終融合圖像。該方法的融合效果好，但計算量大，耗時長，實時性差。

2 本文算法

2.1 色彩校正算法

為達到良好的校正效果，本文提出了YCrCb 空間下的色彩校正算法。算法的基本原理就是根據目標圖像與參考圖像各通道的平均值差異去調整目標圖像各通道值。以下算法闡述以Y 通道為例，Cr，Cb 通道與此相同。假設目標圖像（待校準圖像）為ID，參考圖像為IR。首先分別計算兩圖像重疊區域的Y 通道平均值，yR，yD。兩者之間的差值ydif如下公式：

ydif=yR-yD（5）

如果直接簡單地將ydif加到目標圖像yD上，會因為兩幅圖重疊區域的亮度分布差異影響而達不到理想的校正效果。因此還需要根據兩幅圖亮度值較大的像素點所占的比例來調節ydif值。假設統計出兩幅圖重疊區域中高于各自平均值的像素點個數分別為CountD，CountR。由于兩者重疊區域的總像素點個數是相同的，因此CountD，CountR就可以代表在兩幅圖中亮度值較大的像素點各自所占的比例。利用CountD，CountR得到更新后的ydif公式如下：

用CountD，CountR兩者之間的比例來更新ydif的好處是可以使通道值的調節不受亮度分布差異的影響。以ydif大于0，即要提高目標圖像y 通道值為例分析。當參考圖像中高于平均值的像素點個數CountR大于目標圖像中高于平均值的像素點個數CountD時，表明在參考圖像中像素較暗的像素點受到較亮像素點的影響，相對于目標圖像來說被提高了更多，實際上它并沒有那么亮。因此在提高目標圖像較暗像素點時應該減小ydif，即公式（6）表達的那樣，這樣才使得校正結果更接近參考圖像。其他情況的分析類似。

當ydif大于0 時目標圖像y 通道最終的校正公式如下：

當ydif小于0 時目標圖像y 通道最終的校正公式如下：

為應對通道值調整過飽和而失真嚴重的問題，公式中加入了相應的抑制處理：當ydif＞0 時：目標圖像中較亮的像素點如果不加處理的直接加上ydif，此時可能會出現該像素點過亮而失真的情況。因此加入上述抑制手段后，當較亮像素點值越接近255，此時給它增加的值就越小。實驗表明上述抑制過飽和的方法有效。

2.2 非線性融合算法

圖像拼接中常用的融合方法有拼接縫融合，多分辨率融合，平均融合和線性融合。前兩種方法功能強大，適用于復雜情況，但在實時性要求高的場景下就不太好用。后兩種方法形式簡單，適合一些相對理想場景的使用，實時性較強，但如果遇到較復雜場景時，難免會出現融合后的重合邊界與重合區域過度不自然。由于線性融合時重合區域的邊界一階導數相對較大，因此使得邊界處附近可能會出現不自然的過度。為應對上述情況，本文提出了一個新的非線性融合公式。假設wD，wR分別是左右兩圖重疊區域的融合權重。其中wD+wR始終等于1。融合后的像素點距重合區域左邊界的距離占重合區域總寬度的比例為x ，x?[0 ,1] ，右圖權重wR的計算公式如下：

假設待拼接的圖像左右分別為IL，IR，融合后的重合區域像素點為I 。按照公式（9）的權重分配，I 的計算公式為：

線性融合與非線性融合在待拼接圖像重合區域的融合權重對比如圖1。從圖1 可以看出在重合區域的左右邊界處，非線性融合權重的導數要小于線性融合，說明在邊界處非線性融合具有更自然的過渡。在重合區域內，非線性融合相對線性融合也更具有靈活性。

圖1 重合區域融合權重曲線對比圖

2.3 拼接過程

本文的拼接算法具體流程圖如圖2 所示。

圖2 拼接流程圖

步驟1：輸入圖像A，圖像B，進行色彩校正：將兩幅圖像轉換至YCrCb 顏色空間，以圖像A 為源圖像，圖像B 為目標圖像，在該空間對圖像B 的Y、Cr、Cb 通道分別進行調整，然后再將圖像B 由YCrCb 顏色空間轉換為RGB 空間；

步驟2：采用OpenCV 中的SIFT[8]算法查找圖像A、B 的特征點并匹配，根據特征點得到變換矩陣H 后，可將圖像B 乘以H 矩陣得到變換后的圖B＇，由此得到重疊區域；

步驟3：對圖A、圖B＇按照上述非線性融合方法進行融合得到拼接圖像C。

3 實驗結果

本文分別從融合效果和色彩統一上進行了仿真實驗，證明了本文算法的有效性。實驗平臺為Windows 10+VS 2019+MATLAB 2018b，計算機配置為Intel Core i5 3.2GHz 和 8GB RAM，使 用 的 開 源 庫 為OpenCV4.1.0。圖3 是分辨率均為480×640 的待拼接圖像Image1 和Image2。

圖3 待拼接圖像

為了證明本文融合算法的有效性，仿真實驗對上述待拼接圖像采用直接平均融合法、線性加權融合法、本文非線性融合法得到的拼接結果如圖4。

圖4 融合實驗結果

從圖中可以觀察到采用直接平均融合法得到的拼接圖4（a）有明顯的拼接痕跡，過渡極不自然；采用線性加權融合法得到的拼接圖像圖4（b）雖然沒有明顯的拼接痕跡，但是草地部分過渡偏生硬；而本文非線性加權融合法得到的拼接圖4（c）沒有痕跡且過渡較自然，效果較為理想。

以下實驗是針對色彩差異的校正比較，在圖3 中可以明顯地看出兩幅待拼接圖像有色彩差異，在圖4中的拼接結果均存在色彩不一致的問題，因此需要進行色彩校正。圖5 是對Image1 進行校正后的拼接結果對比圖，均采用的是非線性加權融合法，其中圖5（a）是未進行色彩校正的拼接結果圖，圖5（b）是色彩校正后的拼接結果圖。

圖5 色彩校正實驗結果對比圖

從上述對比圖5 可判斷經過色彩校正且采用非線性融合法可以將色彩有差異的圖像拼接地過渡自然，色彩統一，視覺效果良好。

4 結語

針對圖像拼接中色彩不一致且過渡不自然的問題，本文提出了色彩校正和非線性加權融合法，經過實驗證明，該方法能使有色彩差異的兩幅圖像拼接在一起，過渡自然，提高了拼接圖像的整體視覺效果。