改進(jìn)最佳縫合線的紅外圖像拼接方法

盧 泉，楊振華，黃粒峰

（廣西大學(xué) 電氣工程學(xué)院，廣西 南寧 530004）

0 引言

紅外熱像儀在變電設(shè)備的熱故障監(jiān)測(cè)具有廣泛的應(yīng)用，但單幀紅外圖像普遍存在視場(chǎng)窄、分辨率低等缺點(diǎn)，難以準(zhǔn)確、及時(shí)地獲取變電設(shè)備的整體狀態(tài)[1]。通過圖像拼接可將若干存在重疊區(qū)域的圖像拼接成一幅無縫、無重影的寬視場(chǎng)圖像，有助于監(jiān)測(cè)變電設(shè)備整體的狀態(tài)，提高巡檢效率。但傳統(tǒng)最佳縫合線或漸入漸出融合法進(jìn)行融合時(shí)，往往會(huì)導(dǎo)致重疊區(qū)域存在明顯的拼接痕跡或重影現(xiàn)象。因此研究一種適用于變電設(shè)備的紅外圖像拼接方法具有十分重要的意義。

針對(duì)成像場(chǎng)景不同而導(dǎo)致紅外圖像間存在亮度差異問題，文獻(xiàn)[2]等提出了一種改進(jìn)的紅外圖像拼接算法，該算法采用平臺(tái)直方圖均衡化提高紅外圖像對(duì)比度，解決了因圖像亮度差異而導(dǎo)致的拼接痕跡，但該算法對(duì)變電站復(fù)雜場(chǎng)景的適應(yīng)性并不強(qiáng)。而文獻(xiàn)[3]通過在感興趣區(qū)域中提取SIFT 特征點(diǎn)并結(jié)合KLT（Kanade-Lucas-Tomasi）跟蹤算法確定特征點(diǎn)的位置信息并進(jìn)行匹配，采用漸入漸出融合算法消除拼接痕跡，使得配準(zhǔn)率提高了3.491%。文獻(xiàn)[4]引入圖像梯度信息，利用像素亮度差計(jì)算重疊區(qū)域的邊權(quán)值，并采用圖切割法尋求最佳縫合線，最后利用漸入漸出方法融合過渡，對(duì)于序列遙感圖像的拼接取得了較好效果，但對(duì)于變電站紅外圖像拼接存在鬼影現(xiàn)象。文獻(xiàn)[5]為解決圖像融合中運(yùn)動(dòng)物體與縫合線過于靠近而造成鬼影的問題，引入顏色飽和度S改進(jìn)能量函數(shù)，并在最佳縫合線搜索準(zhǔn)則中加入局部信息權(quán)重來提高搜索靈活度，一定程度上消除了因運(yùn)動(dòng)物體靠近縫合線而產(chǎn)生的鬼影，但對(duì)于噪聲嚴(yán)重的變電站紅外圖像拼接存在一定的局限性。

上述研究成果為變電站紅外圖像拼接提供較好的參考思路，但由于成像環(huán)境復(fù)雜、紅外圖像噪聲干擾大，導(dǎo)致部分圖像拼接出現(xiàn)明顯的拼接痕跡或重影現(xiàn)象。因此，本文提出一種改進(jìn)最佳縫合線的紅外圖像拼接方法，該方法在拼接區(qū)域上引入局部權(quán)重系數(shù)，并對(duì)圖像顏色差異強(qiáng)度進(jìn)行形態(tài)學(xué)操作抑制噪聲干擾，并通過動(dòng)態(tài)規(guī)劃改進(jìn)縫合線搜索準(zhǔn)則，搜索出最佳縫合線。

1 改進(jìn)的最佳縫合線算法

為改善因成像環(huán)境復(fù)雜而造成配準(zhǔn)效果不佳的問題，本文首先使用SIFT 算法對(duì)圖像進(jìn)行配準(zhǔn)，從而實(shí)現(xiàn)圖像的一次拼接[6]，然后再采用最佳縫合線算法進(jìn)行圖像融合[7]。

1.1 最佳縫合線獲取

最佳縫合線的目的是使得拼接線從兩幅圖像重疊區(qū)域中差異最小的位置穿過，以盡可能地減少圖像的偏差而帶來拼接痕跡。其求解準(zhǔn)則E(x,y)為：

式中：Ec(x,y)為圖像顏色差異強(qiáng)度值；Egeometry(x,y)為圖像結(jié)構(gòu)差異強(qiáng)度值。Ec(x,y)表達(dá)式為：

式中：Igray1(x,y)和Igray2(x,y)分別表示兩幅待拼接圖像I1和I2對(duì)應(yīng)的灰度圖。

而Egeometry(x,y)表達(dá)式為：

式中：Diff 為計(jì)算I1和I2兩幅圖像在x和y方向梯度差的乘積因子。

1.2 能量函數(shù)的改進(jìn)

紅外圖像相較于可見光圖像而言，其邊界模糊，信噪比低，采用式(1)求解準(zhǔn)則所得到的能量函數(shù)圖存在較多噪聲，圖像的邊緣信息模糊，如圖1(a)所示，搜索到的最佳縫合線往往不是從能量差異值最小的位置穿過，容易導(dǎo)致拼接重疊區(qū)域存在明顯拼縫或重影。

因此，對(duì)能量函數(shù)改進(jìn)，在式(1)中引入權(quán)重系數(shù)ωxy，并對(duì)圖像顏色差異強(qiáng)度值Ecolor(x,y)的求解進(jìn)行改進(jìn)，求解準(zhǔn)則Ea(x,y)定義為：

式中：Ecolor(x,y)為改進(jìn)后的圖像顏色差異強(qiáng)度值；而Egeometry(x,y)通過式(3)求解；ωxy為I1和I2重疊區(qū)域上點(diǎn)(x,y)處加權(quán)值。

式中：k為差異圖像加權(quán)系數(shù)；δxy為I1和I2重疊區(qū)域上點(diǎn)(x,y)處的差異值，δM＝max(δxy)。δxy定義為：

引入形態(tài)學(xué)操作對(duì)Ecolor(x,y)的求解進(jìn)行改進(jìn)，采用灰度差圖像的絕對(duì)值來近似計(jì)算，則：

式中：I12為灰度差圖像；Ibin為二值圖像；Wcolor為權(quán)重系數(shù)。

灰度差圖像I12通過式(8)求解：

二值圖像Ibin根據(jù)式(9)求解：

式中：Imageavg為灰度差圖像I12重疊區(qū)域內(nèi)(x,y)像素的平均值。

圖1(a)和圖1(b)分別為改進(jìn)前與本文改進(jìn)后的能量函數(shù)圖。通過對(duì)比可以發(fā)現(xiàn)，圖1(a)噪聲較多，紋理不清晰；圖1(b)圖像中大量噪聲已經(jīng)被濾除，同時(shí)也保留了圖像重要的紋理信息，圖像目標(biāo)邊緣和結(jié)構(gòu)信息更清晰，更能突顯紅外圖像的顏色差異與結(jié)構(gòu)差異。

圖1 能量函數(shù)圖Fig.1 Energy function diagram

1.3 動(dòng)態(tài)規(guī)劃搜索

傳統(tǒng)的最佳縫合線搜索路徑時(shí)，僅搜索所在位置下一行中的3 個(gè)緊鄰點(diǎn)，最大僅能向下方45°方向擴(kuò)展，搜索路徑上存在一定限制。因此，本文對(duì)搜索方法進(jìn)行改進(jìn)，由原來只搜索3 個(gè)緊鄰點(diǎn)擴(kuò)展至搜索下一行中9 個(gè)緊鄰點(diǎn)，改進(jìn)的搜索流程圖，如圖2所示。

圖2 基于動(dòng)態(tài)規(guī)劃搜索準(zhǔn)則的改進(jìn)搜索流程圖Fig.2 Improved search flow chart is based on dynamic programming search criteria

①設(shè)兩幅待拼接圖像I1和I2的重疊區(qū)域列數(shù)為m，把圖像重疊區(qū)域中第一行的每個(gè)像素點(diǎn)作為縫合線的初始點(diǎn)，即m列對(duì)應(yīng)m條縫合線；

②搜索縫合線的擴(kuò)展點(diǎn)。選擇每條縫合線當(dāng)前點(diǎn)(x,k)下一行的9 個(gè)緊鄰點(diǎn)作為備選擴(kuò)展點(diǎn)，當(dāng)前點(diǎn)與備選擴(kuò)展點(diǎn)之間路徑的能量值計(jì)算公式為：

式中：Esum(x,y)表示第x行中的第y列到第k列之間所有點(diǎn)的能量值之和。EN(x,i)為點(diǎn)(x,i)的能量值。

將每個(gè)備選擴(kuò)展點(diǎn)的能量值與式(10)計(jì)算路徑的能量值Esum(x,y)相加，得到備選擴(kuò)展點(diǎn)總的能量值。進(jìn)而一一比較每個(gè)備選擴(kuò)展點(diǎn)總的能量值，選擇最小值Es(x＋1,y)的備選擴(kuò)展點(diǎn)作為縫合線的擴(kuò)展點(diǎn)。Es(x＋1,y)的計(jì)算式為：

式中：k為縫合線擴(kuò)展當(dāng)前點(diǎn)(x,k)前所在的列，x＋1、y為當(dāng)前點(diǎn)在下一行備選擴(kuò)展點(diǎn)的行、列。確定新擴(kuò)展點(diǎn)后，更新得到縫合線擴(kuò)展后的能量值S(x＋1,y)，即：

式中：S(x,k)表示縫合線擴(kuò)展前的能量值。

③完成當(dāng)前行后繼續(xù)返回步驟②擴(kuò)展下一行的點(diǎn)，直至擴(kuò)展至圖像最后一行，跳轉(zhuǎn)到步驟④；

④經(jīng)過前面3 個(gè)步驟，得到m條縫合線。從m條縫合線中，將能量值最小的縫合線選定為最佳縫合線。

1.4 算法實(shí)現(xiàn)流程

改進(jìn)最佳縫合線的紅外圖像拼接算法流程圖，如圖3所示。

圖3 改進(jìn)最佳縫合線的紅外圖像拼接方法流程Fig.3 Improved infrared image Mosaic algorithm flow of the best seam-line

先采用SIFT 算法提取圖像區(qū)域特征，實(shí)現(xiàn)圖像配準(zhǔn)；然后在重合區(qū)域上引入局部權(quán)重系數(shù)對(duì)圖像顏色差異強(qiáng)度進(jìn)行形態(tài)學(xué)操作，抑制噪聲干擾進(jìn)而改善能量函數(shù)圖的紋理信息；最后通過動(dòng)態(tài)規(guī)劃改進(jìn)縫合線搜索準(zhǔn)則，搜索出最佳縫合線，進(jìn)而完成圖像拼接。

2 紅外圖像拼接實(shí)驗(yàn)驗(yàn)證與分析

為了驗(yàn)證算法的有效性，將本文方法與漸入漸出法、ORB 算法、基于顏色校正的全景圖像拼接方法[8]、傳統(tǒng)最佳縫合線法進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)平臺(tái)為PyCharm2019＋Python3.6。

2.1 紅外圖像拼接效果分析

2.1.1 絕緣子紅外圖像拼接

使用紅外熱像儀采集絕緣子圖像，分辨率為384×288。絕緣子圖像如圖4所示。

圖4 絕緣子圖像Fig.4 Two insulator images

對(duì)圖4 的紅外圖像進(jìn)行初步拼接，然后由最佳縫合線求解準(zhǔn)則得到能量函數(shù)圖，再通過動(dòng)態(tài)規(guī)劃方法搜索到縫合線，如圖5所示。

由圖5(a)和圖5(b)可知，改進(jìn)前能量函數(shù)圖的噪聲嚴(yán)重，縫合線受噪聲干擾較大，改進(jìn)后能量函數(shù)圖的噪聲得到了明顯抑制，使得圖像重疊區(qū)域的結(jié)構(gòu)和邊緣更清晰，縫合線很好地沿著能量最低的區(qū)域經(jīng)過，避免拼接圖像出現(xiàn)局部錯(cuò)位。

圖5 絕緣子圖像的能量函數(shù)圖Fig.5 Energy function diagram of insulator image

不同算法的拼接效果如圖6所示。由圖得知，通過漸入漸出法拼接后的圖像，在電纜處出現(xiàn)明顯重影。采用ORB 算法拼接的圖像，在絕緣子頂部的電纜接頭處存在噪聲斑點(diǎn)?；陬伾Ｕ娜皥D像拼接方法得到的圖像，雖然噪聲斑點(diǎn)較少，但是在電纜處存在明顯的重疊和錯(cuò)位現(xiàn)象。采用傳統(tǒng)最佳縫合線法拼接的圖像同樣存在錯(cuò)位現(xiàn)象。

圖6 絕緣子圖像拼接效果Fig.6 Insulator image stitching effect

相對(duì)于以上算法的拼接結(jié)果，采用本文改進(jìn)最佳縫合線法拼接的圖像，圖像中局部放大區(qū)域未出現(xiàn)重影，融合的過渡區(qū)域無錯(cuò)位現(xiàn)象，細(xì)節(jié)更加清晰。這有助于后續(xù)獲取變電設(shè)備的細(xì)節(jié)信息，從而更加高效地監(jiān)測(cè)電氣設(shè)備的整體狀態(tài)。

2.1.2 變壓器紅外圖像拼接

使用紅外熱像儀采集的變壓器圖像如圖7所示。

圖7 變壓器圖像Fig.7 Transformer image

對(duì)圖7 的紅外圖像進(jìn)行初步拼接，然后由最佳縫合線求解準(zhǔn)則得到能量函數(shù)圖，再通過動(dòng)態(tài)規(guī)劃方法搜索找到縫合線，如圖8所示。

圖8 變壓器圖像的能量函數(shù)圖Fig.8 Energy function diagrams of the transformer images

通過圖8(a)和圖8(b)對(duì)比可知，改進(jìn)前能量函數(shù)圖的噪聲嚴(yán)重，縫合線受噪聲干擾較大；改進(jìn)后能量函數(shù)圖去除了大部分干擾信息，圖像重疊區(qū)域的結(jié)構(gòu)和邊緣更清晰，使得縫合線能很好地沿著能量最低的區(qū)域經(jīng)過，能有效避免拼接圖像局部出現(xiàn)變形錯(cuò)位。

不同算法的拼接效果如圖9所示。由圖得知，采用漸入漸出法拼接后的圖像，雖然沒有明顯的拼接縫隙，但在圖像重疊區(qū)域邊緣出現(xiàn)了重影現(xiàn)象。基于ORB 算法的拼接圖像同樣出現(xiàn)重影現(xiàn)象?；陬伾Ｕ娜皥D像拼接方法拼接后的圖像，由于圖像配準(zhǔn)存在偏差，導(dǎo)致圖像出現(xiàn)錯(cuò)位現(xiàn)象。傳統(tǒng)最佳縫合線法拼接后的圖像，雖然沒有明顯的重影現(xiàn)象，但在融合區(qū)域存在拼接痕跡。

圖9 變壓器圖像拼接效果Fig.9 Transformer image stitching effect

本文改進(jìn)最佳縫合線法拼接后的圖像，由于最大限度地避免縫合線穿過兩幅圖像差異較大的區(qū)域，相對(duì)以上算法的拼接結(jié)果，均未出現(xiàn)重影和錯(cuò)位現(xiàn)象，整體視覺效果更好。

2.2 紅外圖像拼接質(zhì)量評(píng)價(jià)

為評(píng)價(jià)改進(jìn)算法的效果，反映紅外圖像的細(xì)節(jié)信息，選取了文獻(xiàn)[9]所用的平均梯度AG、圖像清晰度FD和圖像邊緣強(qiáng)度EI指標(biāo)衡量改進(jìn)算法的圖像拼接效果。

平均梯度AG表示圖像平滑程度，反映圖像細(xì)節(jié)反差能力，其數(shù)值越高，表示圖像信息更豐富，圖像細(xì)節(jié)保留更好，拼接效果過渡更自然。計(jì)算式為：

式中：M×N為圖像的尺寸；?f/?x表示圖像在水平方向的梯度，而?f/?y表示圖像在垂直方向的梯度。

圖像清晰度FD反映細(xì)節(jié)紋理信息，數(shù)值越高，表示圖像的清晰程度越好，細(xì)節(jié)保留得越好。圖像邊緣強(qiáng)度EI則反映圖像的邊緣信息，其數(shù)值越高，表示圖像邊緣越清晰。

表1 給出了平均梯度AG、圖像清晰度FD和圖像邊緣強(qiáng)度EI的評(píng)價(jià)結(jié)果，從表中的數(shù)據(jù)可以看出：在絕緣子和變壓器圖像拼接實(shí)驗(yàn)中，采用本文改進(jìn)的最佳縫合線方法與漸入漸出法、ORB 算法、基于顏色校正的全景圖像拼接方法和傳統(tǒng)最佳縫合線方法相比，平均梯度AG的均值分別提高了2.74%、14.84%、8.54%和1.18%，這表明圖像的信息更豐富，圖像細(xì)節(jié)保留更好。圖像清晰度FD的均值分別提高了3.27%、21.03%、8.75%和1.5%，即改進(jìn)算法的拼接圖像效果清晰度更好。邊緣強(qiáng)度EI的均值分別提高了2.40%、5.7%、0.93%和1.05%，這表明改進(jìn)算法在紅外圖像拼接中，圖像邊緣清晰度更好。

表1 拼接效果性能評(píng)價(jià)指標(biāo)Table 1 Performance evaluation of image fusion algorithms

3 結(jié)論

本文針對(duì)變電站場(chǎng)景的紅外圖像，提出了一種改進(jìn)最佳縫合線的紅外圖像拼接方法。利用改進(jìn)的算法進(jìn)行圖像拼接后，圖像融合區(qū)域過渡更平滑，拼接痕跡明顯減少，且拼接后的圖像在平均梯度、圖像清晰度和圖像邊緣強(qiáng)度均有所提高，有效地避免了結(jié)果圖像出現(xiàn)明顯拼接痕跡等問題，有助于后續(xù)獲取變電設(shè)備整體的準(zhǔn)確狀態(tài)，對(duì)提高巡檢效率具有重要意義。