基于圖像融合的全景泊車輔助系統研究

張平改,魏利勝,周圣文(安徽工程大學電氣工程學院,安徽蕪湖 241000)

基于圖像融合的全景泊車輔助系統研究

張平改,魏利勝?,周圣文
(安徽工程大學電氣工程學院,安徽蕪湖 241000)

針對全景泊車輔助系統中圖像融合效果較差的問題,提出一種漸入漸出的圖像融合算法.首先,根據配準完成的全景圖像選取出重合區域,并確定其邊界的坐標參數值;在此基礎上,計算該區域中像素點坐標到其邊界的最短距離以得出融合算法的權值,并采用上述權值進行圖像融合,從而得出汽車四周的全景圖像;最后,利用實例驗證了該方法的有效性與可行性.

圖像融合;漸入漸出;重合區域;泊車輔助

隨著科學技術的發展與生活水平的提高,汽車已經走進了人們的生活.與此同時,伴隨著汽車數量的逐年增加,導致交通事故頻發,給事故受害者及其家屬帶來了極大的傷害.為了一定程度上避免交通事故、提高駕駛行車的安全性,泊車輔助系統逐漸被安裝到汽車上.然而,由于配準后圖像融合效果較差,導致汽車四周全景圖像的視覺效果不佳,使駕駛人員不能較好地把握車身四周情況[1-2].因此,如何將配準后圖像進行有效地融合具有重要的研究意義.

自全景可視化問世以來,泊車輔助系統已成為圖像處理領域研究的熱點問題,國內外學者對其進行了大量的探索,并取得了豐碩的研究成果.劉春暉[3]等介紹了2011款新途銳的行車輔助系統,通過配置多功能攝像頭系統來采集圖像,并進行圖像合成以提供給行車駕駛人員;周猛[4]等采用TMS320DM6437處理器與TVP5158視頻解碼器為硬件系統,并以圖像矯正、俯視變換與全景拼接算法為軟件核心,實現汽車四周的全景成像;王旭東[5]等利用采集的圖像進行車身景象重構,并利用雙圓弧路徑規劃算法與改進PID路徑跟蹤算法,以實現自動泊車;程志剛[6]等設計一種輔助泊車系統的模糊控制器,并采用遺傳算法對其參數進行尋優,從而達到自動泊車目的;張寶龍[7]等利用COMS圖像傳感器獲取圖像信息,并通過雙向FPD-Link串行/解串器進行信號傳輸,以實現車身四周圖像的全景顯示;程劉勝[8]等設計一款礦用無軌膠輪泊車輔助系統,并詳細介紹其工作原理,以提高采礦作業的安全性;常嘉義[9]等利用運動的方法檢測出高于地面的物體,并建立圖像信息的三維模型,以實現障礙物的檢測;馬世典[10]等在Bootstrap理論的基礎上,構建出小樣本的泊車系統精度評價函數,以輔助駕駛人員進行精確泊車;陳爍華[11]等利用Sobel算法以突出物體的邊緣,并采用Hough算法檢測出其邊緣區域,使駕駛人員更加直觀地把握車身四周情況.

綜上所述,研究人員對泊車輔助系統進行了大量研究,并取得了一定的研究成果,但經配準后圖像融合的效果較差,不能較好滿足視覺的要求.為了解決上述問題,在現有研究的基礎上,提出了一種漸入漸出的圖像融合算法,對重合區域的圖像信息進行融合,以解決全景圖像視覺效果較差的問題.

1 圖像融合原理

圖像融合是圖像處理領域的一個重要研究分支,通過將多幅圖像信息按一定規則進行融合,以得到一幅清晰完整的圖像信息,從而有效地改善融合后的圖像視覺效果.傳統的圖像融合是將待融合圖像信息進行疊加,并除以其圖像的總數,從而得出重合區域圖像灰度平均值.該方法權值大小相對固定、計算量相對較小,然而其融合效果不佳,不同圖像之間的連續性較差,不利于視覺的觀看效果.

為了克服融合后圖像的不連續性,現采用一種漸入漸出的圖像融合算法對配準后圖像進行融合,以改善圖像的視覺效果.漸入漸出圖像融合算法的權值大小隨著融合像素位置的改變而變化,當待融合像素位置在重合區域邊界上時,與其接近的源圖像權值大小為1,另外一幅源圖像權值大小為0;當待融合像素位置遠離該邊界而向另一個邊界靠近時,上述權值大小1會逐漸減小,而權值大小0會逐漸增大;當待融合像素位于重合區域的相對應邊界上時,上述權值大小1會減小為0,而權值大小會增大到1.其融合算法模型原理圖如圖1所示.由圖1可知,四邊形abcd表示待融合圖像1、2的重合區域,m表示重合區域上某一像素點,l1、l2、l3、l4分別表示點m到重合區域邊界的垂直距離.如果l1＜l2、l3＜l4,則像素點m到重合區域的邊界最短距離分別為l1、l3,故可計算l1、l3分別占其之和的比例以確定其權值大小.通過上述的圖像漸入漸出融合,像素信息由一幅圖像向另一幅圖像實現了逐步過渡,從而盡可能地保持融合后圖像的連續性,以滿足人們的視覺效果.

2 基于漸入漸出的圖像融合算法

漸入漸出圖像融合算法可分為兩大步驟:第一步,待融合圖像重合區域邊界的確定,為后期的圖像融合作準備;第二步,對確定出的重合區域進行圖像信息融合處理,從而得出汽車四周的全景圖像.以汽車前方、左側圖像進行融合算法的推導與計算,其漸入漸出圖像融合算法示意圖如圖2所示.

2.1 重合區域的確定

假設待融合圖像1、圖像2已完全配準,并分別對其第一行與第一列進行掃描以確定第一次出現像素信息點的坐標,從而得出點a的坐標值,即(x1,y1).設待融合圖像1、圖像2的大小分別為m1×n1、m2× n2,可得關系式如式(1)、式(2)所示:

從而得出點b、c、d的坐標值分別為b(x1,y2)、c(x2,y1)、d(x2,y2),并通過上述的坐標值可確定重合區域的位置.

2.2 漸入漸出融合算法

待融合圖像1、2的重合區域位置確定后,利用漸入漸出算法對該區域像素信息進行有效地融合處理.為了方便算法的演示以簡化計算量,現以點m(x,y)進行計算公式的推導,設點m(x,y)距離線段ab、bc、da、cd的長度分別為l1、l2、l3、l4,則其表達式分別如式(3)～式(6)所示:

然后,分別將l1與l2、l3與l4進行比較以得出點m(x,y)到源圖像1、圖像2的最短距離l5、l6,其表達式分別如式(7)、式(8)所示:

由點m(x,y)到源圖像1、圖像2的最短距離計算出圖像融合的權值大小p、q,其表達式分別式(9)、式(10)所示:

而待融合圖像1、圖像2分別表示為f1(x,y)、f2(x,y),則融合后圖像為f(x,y),其關系表達式如式(11)所示:

從而最終完成重合區域圖像的清晰融合,以改善圖像的視覺效果.

2.3 圖像融合的評價指標

通過上述的漸入漸出算法融合后,得到一幅汽車四周的全景圖像,而全景圖像的融合好壞可以直接用肉眼進行評價,以自己的主觀感覺對融合后圖像質量的優劣做出評價.然而這種方法過于簡單,受人們的主觀因素影響較大.為更加客觀評價融合后圖像的效果,且全景圖像融合后視覺效果越清晰越好,故選取文獻[12]所列出的融合評價指標(平均梯度與空間頻率)對其進行評估,以說明所提出方法的優越性.其中,平均梯度反映融合后圖像中微小細節的反差能力,當平均梯度越大時,圖像的層次感越好,圖像也就越清晰;而空間頻率反映一幅圖像空間域的總體活躍度,它包括空間的行頻率與空間的列頻率,當空間頻率越大時,圖像融合質量越好,融合評價指標的關系表達式如式(12)～式(15)所示.

平均梯度:

空間行頻率:

空間列頻率:

空間的頻率:

3 實例驗證

為了驗證算法的可行性,現通過魚眼鏡頭來采集圖像進行融合實驗,以仿真出汽車四周圖像的采集效果,其中實驗平臺為window 7操作系統,CPU為3.3 GHZ,內存2 G,編程環境Matlab 7.1,魚眼鏡頭采集圖像如圖3所示.圖3由汽車前后、左右的4個魚眼鏡頭采集,通過魚眼圖像畸變矯正算法校正與透視變換處理,并對其邊緣進行裁剪以利于后期的全景圖像融合實驗,其待融合全景圖像如圖4所示.

由于上述融合算法是在圖像配準完成的基礎上進行的,故利用拼接軟件進行位置的移動,其拼接后待融合圖像如圖5a所示.為了說明所提出方法的優越性,現以所提出方法進行全景圖像融合實驗,并將其與加權平均法融合后圖像進行對比實驗,其全景圖像融合效果對比圖如圖5b、圖5c所示.從圖5b中可以看出,加權平均法融合后圖像上存在明顯的融合縫隙,且圖像的重合區域依稀可見,相鄰圖像之間的連續性較差,不利于視覺的觀看效果.從圖5c可以看出,融合后圖像的整體連續性較好,實現了從一張圖像到另一張圖像的漸變過渡,并有效地避免了融合后圖像的視覺效果不佳的問題,提高了圖像的整體連續性,改善了全景圖像的視覺效果.

為了進一步說明所提出方法的優越性,現以上述所列出的融合評價指標對全景圖像重合區域融合效果進行評估,其評價指標對比表如表1所示.從表1中可以看出,在4個全景圖像融合區域上,所提出方法計算出的平均梯度與空間頻率都要比加權平均法計算出數值更大,從而有效地說明所提出方法融合后圖像的層次感更強、質量更好、清晰度更高.因此,漸入漸出圖像融合算法有利于全景圖像的融合,改善了圖像的視覺效果.

表1 融合算法評價指標對比表

4 結論

由于汽車全景顯示中相鄰圖像融合效果較差,從而在一定程度上影響了人們視覺效果.為了改善圖像的融合效果,提高圖像的清晰程度,本文提出了一種漸入漸出的圖像融合算法,先由配準完成的全景圖像確定出重合區域,然后計算出重合區域像素信息到源圖像1、2的最短距離,并根據其之間的關系得出待融合圖像的權值大小,從而最終完成汽車四周全景圖像的融合.

[1] E N Malamas,E G M Petrakis,M Zervakis,et al.A survey on industrial vision systems,applications and tools[J].Image and Vision Computing,2003,21(2):171-188.

[2] A Lucchi,K Smith,R Achanta,et al.Supervoxel-based segmentation of mitochondria in EM image stacks with learned shape features[J].IEEE Transactions on Medical Imaging,2012,31(2):474-486.

[3] 劉春暉,張文.2011款途銳駕駛輔助系統解析[J].新車新技術,2013,1(3):24-26.

[4] 周猛,喬瑞萍,王效鵬,等.基于Da Vinci的360度全景泊車影像系統的設計與實現[J].電子技術應用,2014,40(10): 20-26.

[5] 王旭東,王春香,楊明,等.一種基于環視相機的自動泊車方法[J].上海交通大學學報,2013,47(7):1 077-1 086.

[6] 程志江.遺傳算法在自動泊車輔助系統模糊控制中的應用[J].模糊系統與數學,2010,24(3):160-167.

[7] 張寶龍,楊繼超,李丹.基于CMOS圖像傳感器的車載高清全景成像系統設計[J].光學技術,2015,41(3):247-251.

[8] 程劉勝,呂小強,陳亞,等.礦用無軌膠輪車泊車輔助裝置設計[J].工礦自動化,2014,40(7):19-21.

[9] 常嘉義,秦瑞,李慶,等.基于全景鳥瞰視圖的障礙物檢測方法研究[J].計算機科學,2014,41(11):78-82.

[10]馬世典,江浩斌,吳狄,等.基于Bootstrap方法的自動泊車系統精度評價研究[J].機械設計,2014,31(12):71-74.

[11]陳爍華,馮桑,余剛,等.Sobel-Hough檢測方法在機器視覺倒車輔助系統的應用研究[J].機械設計與制造,2011,2: 149-151.

[12]高超.圖像融合評價方法的研究[J].電子測量,2011,7:30-33.

Panorama parking assist system based on image fusion

ZHANG Ping-gai,WEI Li-sheng?,ZHOU Sheng-wen
(College of Electrical Engineering,Anhui Polytechnic University,Wuhu 241000,China)

The issue of fade-in-fade-out algorithm for panoramic image fusion of parking assist system was proposed to improve the visual effect of image fusion.The overlap region was determined by according to panoramic image of registration.And the coordinates of the boundary parameter were determine.Based on this,the shortest distance of the pixel coordinates to its borders was derived to determine the weighting of fusion algorithm.And these weights of image fusion were used.Then the panoramic image around the car was given.Finally,the examples were presented to verify the feasibility and effectiveness of the proposed results.

image fusion;fade-in-fade-out;overlap region;parking auxiliary

TH85＋5

A

1672-2477(2015)05-0058-05

2015-08-05

國家自然科學基金項目資助(61203033、61172131、61271377)

張平改(1990-),男,安徽馬鞍山人,碩士研究生.

魏利勝(1978-),男,安徽巢湖人,副教授,博士.