基于自適應加權的多尺度圖像融合研究

胡雪凱，羅 蓬，李鐵成，蔡玉汝，馬 娜，周雪青

（1.國網河北省電力有限公司電力科學研究院，河北 石家莊 050021；2.南瑞集團（國網電力科學研究院）有限公司，江蘇 南京 210061；3.國網電力科學研究院武漢南瑞有限責任公司，湖北 武漢430074；4.中國科學院上海高等研究院，上海 201210）

0 引言

國家電網在2018年2月首次提出“泛在電力物聯網建設智慧企業”的信息通信戰略目標，在2019年1月公布的1 號文件中年度重點工作首位便是“打造狀態全面感知、信息高效處理、應用便捷靈活的泛在電力物聯網”。電力設備長時間在高壓、高負荷、高溫的工作環境下運行，以及冰雪、臺風、雷電、地震等惡劣自然環境的影響。利用多源異構傳感數據組成電力系統的狀態感知和故障診斷系統[1]，如環境、微氣象數據、局放、紅外、電量等監測數據，可見光、紅外、紫外等機器視覺數據、溫度、濕度、氣象、地理等環境數據，以及臺賬數據、巡檢數據等設備歷史數據組成。

1 紅外與可見光圖像融合方法

1.1 電力設備的常用圖像融合方法

機器視覺中的圖像處理技術在智能化運維、實時態勢感知、電力系統最優運行調度等電力物聯網高級應用場景中得到了廣泛的應用，通過不同類型的機器視覺圖像傳感器組合搭配，如可見光與紅外圖像融合、可見光與紫外光圖像融合、可見光與毫米波圖像融合、CT 與MRI 的圖像融合、SAR 與紅外的圖像融合，對采集的圖像進行配準、分割、特征提取、目標識別等圖像處理和計算機處理，形成高質量的融合圖像[2-3]，實現全天候的智能巡視。例如，將機器視覺引入到輸電線的定期巡檢作業中，通過視頻及圖像分析提取輸電線圖像，提供智能巡檢服務，山東電科院早在2012年開展無人機實現高海拔區域的輸電線巡線[4]；將機器視覺與機器人相結合，開發變電站內自動巡檢車；將機器視覺引入到高壓斷路器的機械特性判斷，進行開關合閘位置判斷[5]，機器視覺技術也可進行電力工程的入場安裝前結構參數檢測。

當電力設備發生接線接觸不良、接線錯誤、端子松動、開關切換不靈等故障，通常伴有電流和電壓的突變，造成局部或整體的異常發熱，據統計[6]熱故障在電力設備總故障的占比為80%。紅外成像利用紅外傳感器對發熱物體的敏感特性成像，優點是對外界環境的影響不大，缺點是圖像中物體邊緣細節信息較少，對比度和清晰度較差；可見光成像是對場景信息的真實反映，優點是有較高的紋理和邊緣細節，缺點天氣和自然光等環境因素對清晰度有直接影響。可以很好地防止由于惡劣的環境或者突發事件造成大規模停電。因此文中利用可見光、紅外熱圖像的互補性，通過圖像融合處理，避免單一圖像傳感器的缺點，同時獲得可見光的邊緣與細節信息與紅外的熱輻射目標信息，提升對場景的感知和理解，并可全天候適用。

像素級融合是在圖像原始像素的基礎上通過一定的策略并計算新的像素值，融合后圖像含較多的原始圖像信息，有利于進一步的分析處理。像素級融合包括空間域融合方法和變換域融合方法，空間域的算法主要有加權平均、基于PCA、基于HIS 色彩映射等融合方法，其中加權平均算法根據權重因子對圖像視覺效果的調整，較多低頻融合采用該方法；圖1(a)為高空輸電線路的紅外圖像，圖1(b)為高空輸電線路的可見光圖像，圖1(c)是加權平均融合圖像。融合圖像相較于可見光圖像總體的亮度和對比度有所下降，地面的樹木清晰度下降。

圖1 加權融合算法Fig.1 Weighted fusion algorithm

變換域的融合算法主要有拉普拉斯金字塔、離散余弦變換、小波變換和多尺度分解法等的融合方法。拉普拉斯金字塔分解[7]在融合過程中，有較多的冗余信息容易產生“阻塞”。離散余弦變換主要用于多聚焦圖像，圖2(a)和圖2(b)是一張前面時鐘清晰、一張后面時鐘清晰的兩組不同聚焦時鐘圖，圖2(c)是基于余弦算法的融合圖像，可以看出兩個時鐘的清晰度均提高了；小波變換除了具有塔型變換的特點，還具有較好方向性的視覺效果。

圖2 基于余弦變換的圖像融合處理Fig.2 Image fusion processing based on cosine transform

由于對熱故障檢測時，圖像中的色彩信息對圖像融合檢測的影響較小，因此文中后續處理采用灰度圖像。

1.2 基于小波變換的紅外與可見光融合方法

基于小波變換（wavelet transform，簡稱WT）的多尺度變換，具有方向選擇性、正交性、可變的時頻分辨率等特性，更加符合人眼對不同方向的高頻分量具有不同分辨率的視覺機制，可以獲得更好視覺效果的融合圖像。首先按照公式(1)進行Mallat 離散小波對圖像分解，其中DjH、DjV、DjD是圖像在Cj－1尺度層上的近似分量、水平和垂直細節分量；j－1 為多尺度分解層數；r、c分別是圖像的行和列；H、G分別是低通、高通濾波器；Cj是第j層分解的低頻分量，是Cj－1上的近似。

將原圖像分解為一系列不同空間分辨率下不同頻帶的子圖，根據圖像子頻帶分別進行小波系數的融合處理，組成全新的融合圖像的小波系數，對各分階層從高到低分別根據融合方案和算子進行融合處理，形成融合圖像的小波系數，令H、G的共軛矩陣為H*，G*，按照公式(2)完成小波逆變換，恢復得到全新的融合圖像。

式中：，分別是低通、高通綜合濾波器。

圖3(a)和圖3(b)分別是高空輸電線的紅外光圖像和可見光圖像，圖3(c)是基于小波變換的融合圖像，可以看出融合圖像兼具紅外的對比度和可見光的細節，同時相較于圖1(c)的加權平均算法具有更好的對比度，適合人眼觀察。

圖3 基于小波變換的圖像融合處理Fig.3 Wavelet transform image fusion

2 基于自適應加權的多尺度融合

2.1 自適應加權小波圖像融合

目前基于小波變換的圖像融合方法的研究主要集中在：融合規則及融合算子的選擇，小波分解與重構的形式。文獻[8]設計了一種基于邊緣選擇的低頻融合規則，高頻采用絕對值最大的融合規則，更好地保留圖像的邊緣信息。文獻[9]將離散小波應用于遙感圖像的融合中，進行小波變換時，采用行列降采樣。提出一種基于自適應的多尺度的圖像融合算法，首先對圖像進行多尺度小波變換分解，低頻子帶與源圖像近似，考慮到圖像拍攝可能有暗背景的情況，根據圖像能量的大小采用自適應調節加權系數進行融合，高頻子帶包含圖像紋理、邊緣等細節信息，選取絕對值最大的那個小波系數，最后將融合后的小波系數進行小波逆變換，生成融合圖像，具體處理過程如圖4所示。

圖4 基于自適應多尺度小波變換的圖像融合流程Fig.4 Image fusion process based on adaptive multi-scale wavelet transform

步驟一：按照公式(1)進行Mallat 離散小波圖像分解；

步驟二：低頻子帶與源圖像近似，考慮到圖像拍攝可能有暗背景的情況，根據圖像能量的大小采用自適應調節加權系數進行融合，高頻子帶包含圖像紋理、邊緣等細節信息，選取絕對值最大的那個小波系數，具體融合規則在下面將詳細介紹；

步驟三：按照公式(2)進行小波逆變換生成融合圖像。

2.2 融合算法方案

融合規則的設計是獲得高品質融合圖像的重中之重[10]，常用的圖像融合規則有平均法、絕對值取大以及L1 范數等[11]，文中設計一種根據圖像的低頻和高頻不同特性，采用不同的融合規則。

1）低頻融合規則

低頻采用自適應的加權融合規則，將圖像劃分為M×N塊，根據區域方差和能量大小自適應加權調節因子調節后融合，實現區域自動調節融合，達到方差大的區域盡量保留到融合區域中，方差小的區域較小比例保留到融合圖像中，避免過多保留一幅圖片的信息，區域方差σ和能量E的計算公式為式(3)，其中u為局部區域的方差均值。

自適應加權融合后的低頻子帶系數計算如公式(4)，式中ωA和ωB分別表示紅外圖像和可見光圖像B的權值，CJ(F,p)，CJ(A,p)，CJ(B,p)是像素點p對應融合圖像、紅外圖像A 和可見光圖像B 在J層分解時的小波系數。當圖像A 的區域能量大的時候，圖像A的融合比例較大，反之，當圖像B 的區域能量大的時候，圖像B 的融合比例較大。

2）高頻融合規則

高頻采用絕對值最大的融合規則，融合后高頻子帶系數計算如公式(6)，式中VA,Ji(x,y)，VB,Ji(x,y)是圖像A 和B 高頻分量，取兩幅圖像中絕對值最大的那個系數作為融合圖像的高頻系數。

3 圖像融合算法仿真

3.1 圖像融合主觀評價

圖像融合源圖像分別采用已經經過配準的高空輸電線和某變電站內電力設備兩種場景可見光圖像和紅外光圖像，采用Matlab 軟件進行算法實現。針對高空輸電線路的紅外光圖像和可見光圖像依次進行加權平均算法、小波變換，小波變換系數平均加權算法，小波系數低頻采用自適應加權和高頻采用最大值的融合算法（即本文的改進算法）圖像融合后，圖5(a)為高空輸電線路的紅外光圖像，圖5(b)為高空輸電線路的可見光圖像，圖5(c)為采用加權平均算法的融合圖像，圖片整體偏暗，對比度相對其他方法較差，圖5(d)采用小波變換的融合圖像，圖5(e)采用小波變換后系數平均加權算法的融合圖像，融合后的圖像清晰度和對比度要好于圖5(c)和圖5(d)，圖5(f)是采用小波變換自適應加權小波變換的融合圖像（即自適應加權的多尺度圖像融合），清晰度和對比度要好于圖6(c)和圖5(d)，較圖5(e)具有更好的細節信息，更加適合人眼觀察。

圖5 不同融合算法的融合結果圖Fig.5 Fusion results of different fusion algorithms

圖6(a)為電力設備的紅外光圖像，圖6(b)為電力設備的可見光圖像，圖6(c)為小波變換系數進行平均加權融合效果，圖6(d)為文中采用自適應加權的多尺度融合效果，通過圖像的比對圖中設備的邊緣細節，圖6(d)的清晰度要好于圖6(c)的融合效果。

圖6 小波變換及改進算法的圖像融合Fig.6 Image fusion of WT and improved algorithm

3.2 圖像融合客觀評價

圖像融合的客觀評價[12]通過數學計算方式進行圖像質量的評估的量化評價，可通過數值大小客觀評價，主要分為3 類：標準差（standard deviation，STD）、均值（MEAN）、平均梯度（average gradient，AG）和信息熵（entropy，EN）等基于統計特征的評價方法，標準差主要反映圖像像素值與灰度均值之間的離散程度，均值是圖像平均亮度的一個反映指標，平均梯度是細節反差和紋理變化特征的一個反映指標。信息熵反映圖像中包含平均信息量的多少；均方誤差、均方根誤差（root mean square error，RMSE）、信噪比等與理想參考圖像對比的評價方法，均方根誤差反映融合圖像與源圖像間的灰度差異；結構相似度（structral similarity，SSIM）、交叉熵（cross entropy，CEN）等與源圖像聯系程度的評價方法，結構相似度，用滑窗技術從結構、對比度和亮度的失真角度計算。交叉熵主要反映與源圖像對應像素的灰度差異。

以一幅M×N的圖像G為例，本文采用的幾種客觀評價指標計算公式如式(7)所示。

式中：P(i)為灰度為i的像素數與總像素數的比；GF(i,j)是參考圖像；GR(i,j)是融合圖像；α，β，γ是權重系數（通常取1）；l(R,)，s(R,F)，z(R,F)是圖像R和F的亮度、對比度和結構相似性。

上述客觀評價指標中，均值、標準差、平均梯度、信息熵的數值越大，融合后的圖像包含的信息越多，細節和紋理豐富，融合效果越好。均方根誤差、結構相似度、交叉熵的數值越小，與參考圖像或者源圖像的差異越小，融合后的圖像效果越好。

對圖5和圖6的圖像融合效果圖的客觀評價分別見表1和表2，通過表1客觀評價標準的對比，可以看到均方差、熵值和平均梯度在幾種融合算法那中表現最優，融合的效果有所改善。

表1 高空輸電線圖像的融合客觀評價標準對比Table 1 Comparison of objective evaluation criteria for fusion of high-altitude transmission line images

通過表2的客觀評價指標可以看出，文中采用自適應加權的多尺度融合的標準差、熵值和平均梯度均有所提升，代表圖像信息量有所增加，包含的細節和紋理等特征信息變得更為豐富。結構相似度和交叉熵值有所減少，代表著和原圖的差異性較小，融合效果較為理想。

表2 電力設備圖像融合客觀評價指標對比Table 2 Comparison of objective evaluation indicators for image fusion of power equipment

4 結論

對電力應用場景下紅外光和可見光的配準圖像，進行基于小波的多尺度變換的圖像融合，針對低頻子帶包含了亮度信息，高頻子帶因為包含了圖像的紋理、邊緣等細節信息的特征，提出了一種自適應的多尺度融合算法，低頻子帶根據方差和能量的大小進行自適應加權平均處理，高頻子帶采用最大值保留更多信息，從測試結果可以看出，該融合算法既保留可見光圖像中的紋理細節、圖像邊緣輪廓信息，又保留了紅外圖像中發熱物體等特征，可全天候工作，目測融合圖像具有較多細節信息和清晰度，客觀評價標準的幾項指標也有所提高，為后續智能巡視的檢測與識別奠定了基礎。