多相機圖像拼接勻色算法

呂　楠，茍永剛，龍　川，張　婕

（1.重慶市地理信息云服務企業工程技術研究中心，重慶400020；2.重慶數字城市科技有限公司，重慶400020；3.重慶市勘測院，重慶400020）

多相機圖像拼接勻色算法

呂楠1，茍永剛2，龍川2，張婕3

（1.重慶市地理信息云服務企業工程技術研究中心，重慶400020；2.重慶數字城市科技有限公司，重慶400020；3.重慶市勘測院，重慶400020）

多相機圖像拼接中存在的亮度和色彩不均勻的現象嚴重影響著拼接圖像的視覺效果。本文針對全景圖像拼接過程中多幅圖像之間的亮度和色彩差異問題，提出了一種多相機圖像拼接勻色算法，該算法先從局部出發對單幅圖像進行亮度調整，再從全局角度對待拼接圖像進行顏色校正，最終獲得亮度和色彩一致的全景圖像。試驗結果表明，該方法能較好地減少甚至消除拼接圖像間的亮度和色彩差異，較好地改善全景圖像的視覺效果。

勻色算法；全景圖像；顏色空間

隨著計算機技術和圖像處理技術的不斷發展，多相機圖像拼接技術得到了越來越廣泛的應用，如測繪遙感、軍事安防、虛擬現實、全景地圖等［1-3］。多相機圖像拼接一般需要多部攝像機同步獲取圖像，尤其在獲取全景圖像時，需要多部相機在同一時刻從不同角度進行拍攝，而且相鄰圖像之間要有重疊區域，通過重疊區域同名控制點點對，利用圖像匹配方法計算圖像變換矩陣，從而拼接成一幅全景圖像。然而，由于相機自身硬件（如相機型號、成像性能、感光元件尺寸等）及拍攝環境（如光照、大氣條件、太陽高度等）等因素的影響，同一區域內來自不同相機的圖像在亮度、色彩等方面會存在差異，如果對這些圖像直接進行拼接，拼接的全景圖像在圖像重疊區域會存在明顯的接縫線，從而影響全景圖像的視覺和美觀效果。因此，非常有必要進行多相機圖像拼接亮度和色彩分布不均問題的處理方法（即勻色方法）的研究。

目前國內外對圖像勻色算法的研究較多，主要集中在兩個方面:一是從硬件角度的圖像校正［4］，二是從軟件角度的圖像校正［5-8］。從軟件角度的圖像校正算法主要有直方圖匹配［9］、直方圖規定化［10］、Wallis勻色算法［6］、Mask色光算法［8］及基于均值和標準差統計的方法等。如張靜等基于直方圖匹配理論，在目標圖像和源圖像的直方圖之間建立映射關系，使目標圖像的直方圖與源圖像相同或相似，從而使兩幅圖像具有相同的亮度和色彩，最終實現對圖像顏色的校正，該方法在圖像直方圖差異較大時，直方圖匹配會改變原有灰度級之間的相對距離［11］。曹彬才等將用于保持兩幅或多幅圖像間的亮度和色彩一致性的Wallis濾波器用于單幅圖像，并且取得了較好的勻色效果，但是此方法在處理顏色變化較大的圖像時，會出現顏色突變的現象［12］。李德仁等提出的基于Mask原理的勻色方法采用高斯濾波器模擬圖像的亮度分布作為背景圖像，通過從原始圖像中減去不均勻背景圖像，達到圖像勻色的目的［13］。張振等指出現有Mask勻色方法能夠在一定程度上解決不均勻光照的現象，但是經過Mask勻色處理后的圖像存在反差不均勻的現象，即原始的圖像中較暗的區域經過勻色后明顯地表現出反差較低，而亮的區域則反差較大，針對這一問題，對Mask勻色算法進行了改進，得到了反差一致的圖像［14］。然而，這些方法大部分是針對灰度圖像的勻色處理，對彩色圖像的勻色效果并不理想。

本文針對目前多相機圖像拼接勻色算法存在的問題，提出了基于顏色空間變換理論的多相機拼接勻色算法。試驗證明，本算法可以很好地對多相機圖像拼接亮度和色彩不均勻問題進行處理，使最終全景圖像色彩和亮度具有一致性，勻色效果較好。

一、算法理論基礎

1.Gamma校正

多相機獲取的圖像由于成像角度和成像環境等條件的影響，圖像存在照度不均勻的現象，導致圖像不同區域存在不同的光照效果，對圖像進行Gamma校正，能夠使圖像光照分布均勻。本文使用的Gamma校正公式為式中，Iin表示輸入圖像的原始灰度值；Iout表示校正后的圖像灰度值；graymax表示輸入最大灰度值；γ即Gamma值，為一個經驗值。

2.信息熵

信息熵表示圖像包含信息量的多少。對于單幅圖像，可以認為圖像各個灰度值是相互獨立的樣本，則認為這幅圖像的灰度分布為p=｛p0，p1，…，pi，…，pn-1｝，i表示灰度級；pi表示第i灰度級出現的概率；n表示灰度級個數。信息熵定義為式中，H表示圖像信息熵。圖像的信息熵值越大，說明圖像信息量越大。

3.RGB顏色空間與YCbCr顏色空間變換

顏色空間是按照某種定義或規則描述顏色的模型。常見的顏色空間有:RGB顏色空間、HSV顏色空間、CMY顏色空間、CMYK顏色空間、YCbCr顏色空間等。根據應用場合的不同，選擇的顏色空間也不同，如RGB顏色空間用于計算機的顯示，HSV顏色空間用于視覺系統的處理，CMY顏色空間用于印刷行業，YCbCr顏色空間用于表示彩色電視數字信號等。不同顏色空間對顏色特征的表現不同，經過試驗發現，在YCbCr顏色空間對圖像進行勻色處理，試驗效果最佳。多相機獲取的圖像屬于RGB顏色空間，RGB顏色空間轉化到YCbCr顏色空間的計算公式為［15］

YCbCr顏色空間轉換到RGB顏色空間的轉換公式為［15］

4.對比度增強

多相機圖像拼接成全景圖之后，為了更好地改善全景圖像效果，對全景圖進行了對比度增強。本文采用直方圖增強法［16］，首先計算全景圖像直方圖，然后分別從最大灰度值255和最小灰度值0開始，計算累積直方圖，確定目標灰度級數，如目標最大灰度級數為Newmax，最小灰度級數為Newmin，修正歸一化灰度值為實際灰度，建立灰度映射表，生成目標全景圖像。原始全景圖像灰度值Iold和目標全景圖像灰度值Inew之間的映射關系為

二、多相機拼接勻色算法

本文針對多相機圖像拼接過程中存在的亮度和色彩不一致的現象，提出了一種多相機拼接勻色算法，通過該方法能夠有效處理全景圖像拼接中存在的亮度和顏色差異，該算法的處理流程如圖1所示。

圖1　多相機圖像拼接勻色算法流程

如圖1所示，由于拍攝環境等因素的影響，圖像存在光照不均勻的現象，首先需要對多幅圖像進行Gamma校正，使各幅圖像光照分布均勻；其次計算各幅圖像信息熵，根據圖像信息熵，選擇參考圖像；然后將所有圖像進行顏色空間轉換，以參考圖像為基礎，對圖像進行亮度和色彩校正；最后拼接多幅圖像并進行對比度增強，得到最終全景圖。

1.Gamma校正

對多相機圖像進行Gamma校正，使單幅圖像光照分布均勻，消除單幅圖像內部光照不均現象，Gamma校正公式如式（1）所示。

2.選取參考圖像

計算各幅圖像信息熵，選取信息熵最大的圖像作為參考圖像，信息熵計算方法如式（2）所示。

3.圖像亮度與色彩校正

圖像亮度和色彩的校正包括顏色空間的轉換、圖像區域劃分及圖像顏色校正。首先需要將參考圖像和目標圖像從RGB顏色空間轉換到YCbCr顏色空間；然后將每幅圖像按照重疊區域和非重疊區域進行劃分，按照不同的權值計算Y、Cb、Cr的平均值；最后計算各個分量的自動調節因子，根據自動調節因子，重新計算Y、Cb、Cr各分量，對目標圖像顏色進行校正。如圖2所示。

圖2　圖像亮度、色彩校正流程

（1）顏色空間轉換

將參考圖像和目標圖像進行顏色空間轉換，即將圖像從RGB顏色空間轉換到YCbCr顏色空間，轉換公式如式（3）所示。

（2）重疊區與非重疊區劃分

多相機圖像拼接中，圖像重疊區域是最有參考價值的一部分。本文根據全景圖像的特點，將每幅圖像劃分為重疊區域與非重疊區域，賦予重疊區域較大的權值。假設將圖像劃分后，重疊區域記為I0，非重疊區域記為I1，重疊區域權值用λ（本文取值0.7～0.9）表示，則非重疊區域權值用1-λ表示，Y、Cb、Cr各分量的均值可以按照下式計算

（3）顏色校正

顏色校正的關鍵是計算目標圖像和參考圖像之間的顏色調節因子，本文顏色調節因子的計算方法為

式中，IS_Avg表示參考圖像的平均亮度值；ID_Avg表示目標圖像的平均亮度值；IDiff表示目標圖像與參考圖像平均亮度差值；Icurr表示目標圖像中某一像素點的當前亮度值；Ifactor表示目標圖像的亮度調節因子；Inew表示目標圖像中某一像素點校正后的亮度值。式中的I表示Y、Cb或Cr分量。

顏色校正完成后，將圖像從YCbCr顏色空間轉換到RGB顏色空間，轉換公式如式（4）所示。

4.圖像拼接

單幅圖像勻色處理結束后，拼接所有圖像即可獲得亮度、顏色分布均勻的全景圖像。本文采用基于特征的匹配算法實現同名點提取與匹配，該方法對同名點的識別效率較高［17-18］。

5.對比度增強

為了更好地改善全景圖像效果，本文根據對比度增強理論對全景圖像進行對比度增強。

三、試驗結果與分析

本文對多相機圖像拼接勻色算法進行了驗證。用于試驗的計算機硬件為Inter（R）Core（TM）i5-4590 CPU@3.30 GHz，內存為8 GB，操作系統為Window7，開發環境為Visual Studio 2010，使用開源庫OpenCV2.0。圖3為多相機在同一時刻拍攝的待拼接圖像，圖像分辨率均為4000×3000像素，從圖中可以看出，部分圖像亮度較亮，而部分圖像較暗，且存在較大的顏色差異，如果不對圖像進行顏色校正直接拼接為全景圖，那么拼接圖會存在明顯的亮度和色彩差異。

圖3　多相機待拼接圖像

圖4為未經本文算法處理直接對全景圖像拼接所得的結果，從圖中可以看出，全景圖像存在亮度和色彩不均一的現象。圖5為經過本文算法處理后得到的全景圖像，經過本文算法處理后，圖像中亮度和色彩不均一現象基本消除，全景圖的效果較好。

圖4　未經本文算法處理的全景圖像

圖5　本文算法處理后的全景圖像

四、結束語

本文針對多相機圖像拼接中存在的亮度和色彩差異現象，提出了一種多相機圖像拼接勻色算法，詳細論述了該算法的理論基礎與處理流程，并且通過試驗驗證了本文算法的有效性。本文算法能夠消除圖像之間的亮度和色彩差異，非常有效地改善了圖像的整體視覺效果，為圖像拼接中存在的顏色不一致問題提供了新的解決思路和方法。

［1］ CHEN S E.QuickTime VR-An Image-based Approach to Virtual Environment Navigation［C］∥Proceedings Siggraph’95.Los Angeles:［s.n.］，1995.

［2］ 王曉麗，戴華陽，余濤，等.基于多分辨率融合的無人機圖像拼接勻色研究［J］.測繪通報，2013（6）:27-30. ［3］ 李海亭，彭清山，王閃，等.數字城市中的全景地圖系統建設方法研究［J］.測繪通報，2011（4）:71-73.

［4］ SASAKI M，MASE M，KAWAHITO S，et al.A Wide Dynamic Range CMOS Image Sensor with Multiple Shoretime Exposures［C］∥Proceedings of IEEE Sensors. ［S.l.］:IEEE，2004.

［5］ 張力，張祖勛，張劍清.Waills濾波在影像匹配中的應用［J］.武漢測繪科技大學學報，1999，24（1）:24-35.

［6］ 林景亮，陳岳林.多攝像機圖像拼接自動色彩均衡算法［J］.計算機應用，2010（12）:3236-3237.

［7］ 周麗雅，秦志遠，尚煒，等.反差一致性保持的影像勻光算法［J］.測繪科學技術學報，2011（1）:46-49.

［8］ 姚芳，萬幼川，胡晗.基于Mask原理的改進勻光算法研究［J］.遙感信息，2013（3）:8-13.

［9］ 李勇.圖像無縫拼接及勻色技術的研究［D］.西安:西安電子科技大學，2013.

［10］ 趙通，王國胤，肖斌.基于多峰高斯函數的直方圖規定化算法［J］.計算機科學，2014（12）:245-250.

［11］ 張靜，陳廣學.基于直方圖匹配的圖像顏色校正算法研究［C］∥2013中國食品包裝學術會議論文摘要集.北京:［s.n.］，2013.

［12］ 曹彬才，朱寶山，李潤生，等.用于單幅影像勻光的Wallis算法［J］.測繪科學技術學報，2012（5）:373-377.

［13］ 李德仁，王密，潘俊.光學遙感影像的自動勻光處理及應用［J］.武漢大學學報（信息科學版），2006，31（9）: 753-756.

［14］ 張振，朱寶山，朱述龍.反差一致性改進的MASK勻光算法［J］.測繪科學技術學報，2010（1）:54-56.

［15］ 張懿，劉旭，李海峰.數字RGB與YCbCr顏色空間轉換的精度［J］.江南大學學報（自然科學版），2007 （2）:200-202.

［16］ 李開端，李樹軍.基于直方圖統計學的圖像增強算法研究［J］.科學技術與工程，2011，11（23）:5572-5575.

［17］ 羅如為，陳孝威.360°圖像序列的柱面全景拼接算法［C］∥第二屆和諧人機環境聯合學術會議（HHME2006）——第 15屆中國多媒體學術會議（NCMT'06）論文集.杭州:［s.n.］，2006.

［18］ 楊一曼，牟伶俐，劉建軍，等.基于嫦娥二號數據的高分辨率影像拼接方法研究［J］.測繪通報，2015（1）: 115-120.

An Image Dodging Algorithm Based on Multiple Cameras

LV Nan，GOU Yonggang，LONG Chuan，ZHANG Jie

10.13474/j.cnki.11-2246.2016.0221.

P237

B

0494-0911（2016）07-0044-04

2015-08-10

重慶市科技人才培養計劃（cstc2013kjrc-tdsj40001）；智慧重慶空間信息服務云計算平臺開發（cstc2014yykfB40004）

呂 楠（1979—），男，高級工程師，主要研究地理信息系統與地面移動測量系統。E-mail:lvn@dcqtech.com

引文格式：呂楠，茍永剛，龍川，等.多相機圖像拼接勻色算法［J］.測繪通報，2016（7）:44-47.