基于深度學習的電力設備紅外與可見光圖像配準

付 添，鄧長征，韓欣月，弓萌慶

基于深度學習的電力設備紅外與可見光圖像配準

付 添，鄧長征，韓欣月，弓萌慶

（三峽大學 電氣與新能源學院，湖北 宜昌 443002）

針對現有電力設備紅外與可見光圖像配準難度大、配準時間長等問題，提出一種基于深度學習的電力設備紅外與可見光圖像配準融合的方法。本文將特征提取與特征匹配聯合在深度學習框架中，直接學習圖像塊對與匹配標簽之間的映射關系，用于后續的配準。此外為了緩解訓練時紅外圖像樣本不足的問題，提出一種利用紅外圖像及其變換圖像學習映射函數的自學習方法，同時采用遷移學習來減少訓練時間，加速網絡框架。實驗結果表明：本文方法與其他4種配準算法相比性能指標均有顯著提升，本文平均準確率為89.909，同其余4種算法相比分別提高了2.31%、3.36%、2.67%、0.82%，本文平均RMSE（Root Mean Square Error）為2.521，同其余4種配準算法相比分別降低了14.68%、15.24%、4.90%、1.04%，算法平均用時為5.625s，較其余4種算法分別降低了5.57%、6.82%、2.45%、1.75%，有效提高了電力設備紅外與紅外可見光圖像配準的效率。

圖像配準；深度學習；自學習；深度神經網絡；電力設備

0 引言

電力設備作為電力系統的重要組成部分，它的運行狀態往往決定著整個電力系統的安全與穩定[1-2]。通過電力設備的紅外圖像可以判斷其是否發生故障，但是紅外圖像往往輪廓不夠清晰，而可見光圖像信息豐富，細節也更全面，因此圖像融合技術應運而生，將紅外和可見光圖像進行融合后，就可以得到既符合人們的視覺特性，又不受光照強度的影響，還包含了兩幅源圖像細節信息的融合圖像[3-6]。然而在實際應用中，紅外與可見光圖像不可能完全一樣，因此在進行圖像融合前需要進行配準，根據紅外與可見光圖像上的特征信息，利用變換參數，將紅外與可見光圖像變換到同一坐標系下。

隨著深度學習的發展，深度學習技術也被引入到了紅外與可見光圖像配準領域。文獻[7-9]利用神經網絡來提取特征學習相似度度量，雖然提高了算法的性能，但收斂速度緩慢。文獻[10-12]利用深度學習方法解決了醫學圖像配準問題，取得了令人鼓舞的結果。文獻[13-15]首次利用深度神經網絡的方法來度量兩個圖像塊的相似性。文獻[16-20]利用深度強化學習將圖像配準轉化為迭代求解最優動作序列的過程，但這類深度迭代算法收斂速度緩慢。文獻[21-22]將深度特征與傳統算子結合以提高精度，但在過程中增加了冗余。文獻[23]使用CNN（Convolution Neural Network）網絡對圖像進行特征提取來實現多模圖像配準。總的來說，這些配準框架都需要獲得盡可能多的局部特征點來進行變換模型的估計，這可能會導致相應的特征點的缺乏，造成配準失敗。

本文提出一種基于深度學習的電力設備紅外與可見光圖像配準方法。與傳統方法不同，本文將特征提取與特征匹配聯合在深度學習框架中，在提高電力設備紅外與可見光圖像匹配精度的同時具有較低的時間復雜度。

1 本文方法

1.1 網絡結構

本文提出的紅外與可見光配準框架如圖1所示。本文將特征提取與特征匹配聯合在深度學習框架中，直接學習圖像塊對與匹配標簽之間的關系。將紅外與可見光圖像塊對作為神經網絡的輸入，輸出的是相對應的匹配標簽，然后，利用訓練好的神經網絡預測新的紅外與可見光圖像塊對的匹配標簽。本文的網絡框架主要包括兩個部分：第一部分是提取紅外與可見光圖像塊的特征點并自發學習特征匹配函數，完成深度神經網絡的訓練，第二部分是紅外與可見光圖像配準。首先為紅外與可見光圖像塊對分配不同的匹配標簽，用于訓練深度神經網絡。然后利用訓練好的神經網絡預測待配準圖像中圖像塊對的匹配關系，最后，剔除錯誤的匹配點對，計算待配準圖像的變換矩陣，配準并融合圖像。

1.2 自學習策略

由于配準框架需要獲得盡可能多的局部特征點來進行匹配標簽的預測，但是，與可見光圖像不同，紅外圖像的獲取十分困難，為了盡可能地從紅外圖像中獲得局部特征點，從而使神經網絡得到充分的訓練，本文提出一種自學習策略，具體步驟如下：

1）特征點檢測。本文以紅外與可見光圖像塊對為訓練神經網絡的樣本，而圖像塊對是以特征點為中心選取的，因此得到準確有效的特征點是關鍵。由于視角或傳感器的原因，紅外與可見光圖像存在一定程度的外觀差異，傳統方法檢測到的特征點可能包含嚴重的異常值，進而在后續的配準中產生大量的誤匹配，深度學習恰好解決了這個問題，卷積神經網絡可以自適應地學習紅外與可見光圖像塊中具有不變特征的信息，并以此為特征點，這些特征點與圖像大小、光線、視角無關。以這些特征點為中心的圖像塊也會有明顯的特征顯示，使用這樣的訓練樣本來訓練神經網絡可以保證神經網絡的優良性能，大大提高后續配準精度。

圖1 圖像配準融合深度學習框架

2）變換圖像。利用一組變換矩陣{1,2, …,}對紅外圖像進行尺度變換、旋轉、平移，得到一組變換的紅外圖像{1,2,…,I}。

3）選取訓練樣本。首先利用卷積神經網絡提取可見光圖像中的特征點，一共有個特征點{1,2,…,x}，然后利用卷積神經網絡同樣提取變換紅外圖像{1,2,…,I}的特征點，也可以得到個特征點{1,2,…,x}。則可見光圖像與變換的紅外圖像I的匹配點對為{(x,x),＝}，不匹配點對為{(x, x),≠}這里＝(1,2,…,)，＝＝(1,2, …,)。最后，根據特征點選取圖像塊集，可見光圖像塊集為{1,2, …,p}，變換的紅外圖像I的圖像塊集為{1,2,…,p}，則可以得到匹配的圖像塊對為{(p, p),＝}，不匹配的圖像塊對為{(p, p),≠}，訓練樣本表示為{(p, p),y}，其中匹配標簽y為：

于是得到1個匹配的正樣本和－1個不匹配的負樣本，為了保證神經網絡的訓練性能，必須要維持正負樣本的平衡，本文的做法是在－1個負樣本中隨機選取1個負樣本與正樣本對應，達到樣本平衡。圖2為自學習策略中訓練樣本的生成方案。

2 訓練過程

一般的深度學習網絡訓練過程是從隨機初始化參數開始，然后使用BP（Back Propagation）算法調整整個網絡的參數，利用隨機梯度下降算法使損失函數最小化。然而這個過程會導致過度擬合，并且訓練成本較高，為此我們采用兩步訓練策略來緩解這些問題。一開始，由于沒有可用的深度學習模型，我們應用玻爾茲曼機來訓練深度學習網絡，只用一個圖像對(1,1)，即最初的學習，經過訓練的深度學習模型不僅可以配對1和1，而且還學習了紅外圖像和可見光圖像的某些共性屬性，因此，它可以通過遷移學習作為其他圖像的訓練網絡。

2.1 初始學習

預訓練時將數據的先驗信息帶入參數初始化中，可以防止過擬合，同時具有較好的范化性能[24]。根據這一思想，應用無監督的預訓練，即限制性玻爾茲曼機（Restricted Boltzmann Machine, RBM,）[25]，來初始化深度學習網絡參數。

RBM學習輸入數據的分布特性，它由輸入層和特征提取層組成。它將輸入單元記為∈{0,1}，將特征提取單元記為∈{0,1}，則聯合概率分布和能量函數可表示為：

圖2 自學習策略中訓練樣本的生成方案

由于RBM的獨立性，輸入單元和特征提取單元的激活概率更新為：

式中：是sigmoid函數，()＝1/(1＋exp(－))。

2.2 遷移學習

對于一幅新的未配準圖像，如果通過本文提出的自學習從頭開始訓練網絡，會耗費大量的時間，因此，我們提出利用遷移學習的方法減少訓練時間，提高訓練網絡擬合新圖像的可靠性。遷移學習是將源網絡作為目標網絡的初始狀態，然后利用目標數據對目標網絡進行微調的過程。這樣不僅提高了網絡的范化性能，而且大大減少了訓練的時間。在本文中，我們有一個經過訓練的網絡，它在初始學習后學習同質數據的某些屬性。按照同樣的思路，我們將已有的深度學習網絡作為初始網絡，然后利用新圖像中相應的匹配標簽對網絡進行微調。

3 配準

3.1 去除外點

在匹配步驟中，將可見光圖像1和紅外圖像1中所有的圖像塊對{p, p}輸入訓練后的神經網絡中，預測匹配標簽，如果標簽為1，則以匹配的圖像塊對的中心點作為圖像匹配的初始特征點。由于圖像塊的尺寸很小，我們可能會在1和1之間發現多個相似的圖像塊對。這種一對多匹配混淆了變換矩陣的計算。因此，我們應用一個全局約束來刪除這些假匹配點。本文在RANSAC（Random Sample Consensus）[26]算法的基礎上做出如下改進，本文通過上述訓練好的圖像塊匹配模型來判定配準點對的特征，弱化了求解參數模型時的多迭代對算法耗時的影響。然后針對RANSAC算法對每次生成的單應性矩陣進行合理性判定而造成的處理效率問題，通過快速舍棄不合理的矩陣來減少單應性矩陣驗證和特征點檢測時間。最后通過更新樣本集再次求解矩陣，使得產生的單應性矩陣是最優的結果。如圖3所示，改進SANSAC算法的運行時間為0.06s，與傳統的SANSAC算法0.09s相比提高了33%。

3.2 幾何變換

通過全局約束刪除假匹配點后，得到圖像塊之間準確的對應關系，由對應關系求得匹配變換矩陣。通過匹配變換矩陣，可以擬合出紅外與可見光圖像塊之間的變換參數，對圖像塊進行重采樣，使得紅外與可見光圖像置于統一坐標系中。相似性變換可以定義為：

式中：(e)、(e)分別為相似變換系數；(e)權重函數，紅外與可見光圖像棋盤圖如圖4所示。

4 實驗結果及其分析

4.1 配準融合評價指標

1）準確率（Accuracy, ACC）[27]是指匹配標簽預測為正樣本的樣本數目和不匹配標簽預測為負樣本的樣本數目占總的樣本數目的比例，其表達式為：

圖4 紅外與可見光圖像棋盤圖

2）精度（Precision,）[27]是指匹配標簽預測為正樣本中正確預測的比例，其表達式為：

3）召回率（Recall,）[27]是指正樣本被正確預測的比例，其表達式為：

式中：TP表示將匹配標簽預測為正樣本；TN表示將匹配標簽預測為負樣本；FP表示將不匹配標簽預測為正樣本；FN表示將不匹配標簽預測為負樣本。

4）F-measure[20]是一個綜合指標，用來度量分類方法的性能，其表達式為：

5）均方根誤差（root mean square error, RMSE）可以衡量配準算法的精度，均方根誤差越小說明配準效果越好，其定義為：

式中：(1i,1i)為紅外圖像匹配點坐標；(2i,2i)為對應的可見光圖像匹配點坐標；為匹配點對數。

4.2 敏感性分析

為了評估不同圖像塊大小對深度學習模型的影響，依次選取18、34、50、66大小的圖像塊進行4組相互獨立的實驗，實驗結果如表1所示。

表1 不同圖像大小對模型的影響結果

由表1可知，隨著圖像塊大小逐漸增大，ACC、、和F-measure整體趨勢是呈上升趨勢的。這是因為圖像塊對越大，細節信息就越豐富，物體的輪廓也越清晰，匹配的準確率也隨之增大。但并不意味著圖像塊越大越好，因為圖像塊對越大，神經網絡的訓練時間和訓練難度也會隨著增大，應用其預測匹配標簽的時間也會隨著增大。

4.3 實驗結果分析

為了驗證本文算法，選擇了較為先進的4種算法進行對比，對比算法為CSS（Curvature Scale Space）算法[28]、CNN（Convolution Neural Network）算法[29]、DSGAN（Generative Adversarial Network for Distant Supervision）算法[30]、DVGG（Difference of Gaussian with VGG）算法[31]。圖5是5組采用本文算法實現的紅外與可見光圖像配準融合效果圖，由圖可知本文算法的配準精度高，融合后的圖像邊緣清晰，能夠清楚反映電力設備的紅外圖像特征和可見光圖像特征。

表2給出了5組實驗數據下5種算法的配準結果對比，從數據中我們可以看出，本文算法的ACC、RMSE均有明顯提高，本文平均ACC為89.909，同其余4種算法相比分別提高了2.31%、3.36%、2.67%、0.82%，由于精確度更高，所以匹配效果更好。本文平均RMSE為2.521，同其余4種配準算法相比分別降低了14.68%、15.24%、4.90%、1.04%，由于平均均方根誤差系數更小，說明本文配準算法具有優越性。

表3給出了5組實驗數據下5種算法的配準時間對比，從數據中我們可以看出，本文算法具有較低的時間復雜度。本文算法平均用時為5.625s，較其余4種算法分別降低了5.57%、6.82%、2.45%、1.75%，平均匹配時間更少、魯棒性更強。

圖5 電力設備紅外與可見光圖像配準融合

表2 不同配準算法配準結果對比

5 結論

本文提出了一種用于電力設備的紅外與可見光圖像配準融合的深度學習框架，這種端到端架構直接學習圖像塊對與其匹配標簽之間的映射函數。為了彌補紅外圖像數據量小的問題，提出一種利用紅外圖像及其變換圖像學習映射函數的自學習方法，不需要依賴于其他數據，并且應用遷移學習方法進一步提高了映射函數的準確性，降低了訓練成本。實驗結果表明，本文的方法具有優越性，平均匹配時間更少，滿足電力系統在線檢測的實時性。

表3 不同匹配算法時間對比

[1] 張旭, 魏娟, 趙冬梅, 等. 電網故障診斷的研究歷程及展望[J]. 電網技術, 2013, 37(10): 2745-2553.

ZHANG Xu, WEI Juan, ZHAO Dongmei, et al. Research history and prospect of power grid fault diagnosis [J]., 2013, 37(10): 2745-2553.

[2] 劉曉康, 萬曦, 涂文超, 等. 基于紅外可見光圖像配準的電力設備分割算法[J]. 計算機與現代化, 2020(8): 26-30.

LIU Xiaokang, WAN Xi, TU Wenchao, et al. Power equipment segmentation algorithm based on infrared and visible image registration[J]., 2020(8): 26-30.

[3] 王鯤鵬, 徐一丹, 于起峰. 紅外與可見光圖像配準方法分類及現狀[J]. 紅外技術, 2009, 31(5): 270-274.

WANG Kunpeng, XU Yidan, YU Qifeng. Classification and status quo of infrared and visible image registration methods[J]., 2009, 31(5): 270-274.

[4] 趙洪山, 張則言. 基于文化狼群算法的電力設備紅外和可見光圖像配準[J]. 光學學報, 2020, 40(16): 1-14.

ZHAO Hongshan, ZHANG Zeyan Infrared and visible image registration of power equipment based on cultural wolf swarm algorithm[J]., 2020, 40(16): 1-14.

[5] MA J Y, JIANG X Y, FAN A X, et al. Image matching from handcrafled to deep features: A survey [J]., 2021, 129(1): 23-79.

[6] 徐全飛, 馮旗. 基于SURF和矩陣乘法的超大規模遙感圖像亞像素配準算法研究[J]. 紅外技術, 2017, 39(1): 44-52.

XU Quanfei, FENG Qi Research on subpixel registration algorithm of super large scale remote sensing image based on surf and matrix multiplication[J]., 2017, 39(1): 44-52.

[7] WU G R, KIM M, WANG Q, GAO Y Z, et al. Unsupervised deep feature learning for deformable registration of MR brain image[C]//16, 2013: 649-656.

[8] CHENG X, ZHANG L, ZHENG Y F. Deep similarity learning for multimodal medical images[J]., 2018, 6(3): 248-252.

[9] Simonovsky M, Gulierrez-Becker B, Mateus D, et al. A deep metric for multimodal registration[C]//19th2016: 10-18.

[10] Kabus S, Netsch T, Fischer B, et al. B-spline registration of 3D images with Levenberg-Marquardt optimization[C]//,2004, 5370: 304-313.

[11] TANG L S, Hamarneh G, Celler A. Co-registration of bone CT and SPECT images using mutual information[C]//, 2006: 116-121.

[12] MIAO S, WANG Z J, LIAO R. A CNN regression approach for real-time 2D/3D registration[J]., 2016, 35(5): 1352-1363.

[13] HAN Xufeng, LEUNG T, JIA Y, et al. MatchNet: Unifying feature and metric learning for patch-based matching[C]//2015(CVPR), 2015: 3279-3286, Doi: 10.1109/CVPR.2015.7298948.

[14] Krebs J, Mansi T, Delingette H, et al. Robust non-rigid registration through agent-based action learning[C]//20th, 2017: 344-35.

[15] Dosovitskiy A, Fischer P, Ilg E, et al. FlowNet: learning optical flow with convolutional networks[C]//, 2015: 2758-2766.

[16] LI H W, WANG B H, LI L. Research on the infrared and visible power-equipment image fusion for inspection robots[C]//2010 1st, 2010: 1-5.

[17] 李寒, 王庫, 劉韶軍. 基于灰度冗余和SURF算法的電氣設備紅外和可見光圖像配準[J]. 電力系統保護與控制, 2011, 39(11): 111-115, 123.

LI Han, WANG Ku, LIU Shaojun. Infrared and visible image registration of electrical equipment based on gray redundancy and surf algorithm[J]., 2011, 39(11): 111-115, 123.

[18] 姜騫, 劉亞東, 方健, 等. 基于輪廓特征的電力設備紅外和可見光圖像配準方法[J].儀器儀表學報, 2020, 41(11): 252-260.

JIANG Qian, LIU Yadong, FANG Jian, et al. Infrared and visible image registration method of power equipment based on contour feature[J]., 2020, 41(11): 252-260.

[19] 李云紅, 羅雪敏, 蘇雪平, 等. 基于改進CSS的電力設備紅外與可見光圖像配準[J]. 激光與光電子學進展, 2021, 11(24): 1-15.

LI Yunhong, LUO Xuemin, SU Xueping, et al. Infrared and visible image registration of power equipment based on improved CSS [J]., 2021, 11(24): 1-15.

[20] Taylor S, Drummond T. Binary histogrammed intensity patches for efficient and robust matching[J]., 2011, 94(2): 241-265.

[21] MA W, ZHANG J, WU Y, et al. A novel two-step registration method for remote sensing images based on deep and local features[J]., 2019, 57: 4834-4843.

[22] YE F, SU Y, XIAO H, et al. Remote sensing image registration using convolutional neural network features[J]., 2018, 15: 232-236.

[23] LIU X L, JIANG D S, WANG M N, et al. Image synthesis based multi-modal image registration framework by using deep fully convolutional networks[J]., 2019, 57(5): 1037-1048.

[24] 周微碩, 安博文, 趙明, 等. 基于幾何不變性和局部相似特征的異源遙感圖像配準算法[J]. 紅外技術, 2019, 41(6): 561-571.

ZHOU Weishuo, AN Bowen, ZHAO Ming, et al A registration algorithm for heterogeneous remote sensing images based on geometric invariance and local similarity [J]., 2019, 41(6): 561-571.

[25] Salakhutdinov R, Hinton G E. Deep Boltzmann machines[C]//12th, 2009: 448-455.

[26] 楊瓊楠, 馬天力, 楊聰錕, 等. 基于優化采樣的RANSAC圖像匹配算法[J]. 激光與光電子學進展, 2020, 57(10): 259-266.

YANG Qiongnan, MA Tianli, YANG Congkun, et al. RANSAC image matching algorithm based on optimized sampling[J]., 2020, 57(10): 259-266.

[27] 李航. 統計學習方法[M]. 北京: 清華大學出版社, 2012.

LI Hang.[M]. Beijing: Tsinghua University Press, 2012.

[28] 朱英宏, 李俊山, 湯雨. 基于CSS角點提取的紅外與可見光圖像匹配算法[J].系統工程與電子技術, 2011, 33(11): 2540-2545.

ZHU Yinghong, LI Junshan, TANG Yu. Infrared and visible image matching algorithm based on CSS corner extraction[J]., 2011, 33(11): 2540-2545.

[29] 岳國華, 邢曉利. 基于卷積神經網絡和校正網絡相結合的遙感圖像配準方法研究[J]. 計算機應用與軟件, 2021, 38(11): 185-190.

YUE Guohua, XING Xiaoli. Research on remote sensing image registration method based on convolution neural network and correction network[J]., 2021, 38(11): 185-190.

[30] FU J, LI W S, XU L M. DSAGAN: A generative adversarial network based on dual-stream attention mechanism for anatomical and functional image fusion [J]., 2021, 576: 484-506.

[31] 王少杰, 武文波, 徐其志. VGG與DoG結合的光學遙感影像精確配準方法[J]. 航天返回與遙感, 2021, 42(5): 76-84.

WANG Shaojie, WU Wenbo, XU Qizhi. An accurate registration method of optical remote sensing images based on VGG and DoG[J]., 2021, 42(5): 76-84.

Infrared and Visible Image Registration for Power Equipments Based on Deep Learning

FU Tian，DENG Changzheng，HAN Xinyue，GONG Mengqing

(College of Electrical and New Energy, China Three Gorges University, Yichang 443002, China)

A registration fusion method of infrared and visible images of power equipment based on deep learning is proposed that aims at problems with difficult and long registration time of infrared and visible images of existing power equipment. In this study, feature extraction and feature matching are combined in a deep learning framework to directly learn the mapping relationship between image block pairs and matching labels for subsequent registration. In addition, a self-learning method using infrared image and its transform image to learn the mapping function is proposed to alleviate the problem of insufficient infrared image samples during training Simultaneously, transfer learning is used to reduce the training time and accelerate the network framework. The experimental results show that the performance index of this method is significantly improved compared with the other four registration algorithms. The average accuracy of this method is 89.909, which is 2.31%, 3.36%, 2.67%, and 0.82% higher than that of the other four algorithms, respectively. The average RMSE of this method is 2.521. Compared with the other four registration algorithms, the algorithm is reduced by 14.68%, 15.24%, 4.90%, and 1.04%, respectively. The average time of the algorithm is 5.625 s, which is reduced by 5.57%, 6.82%, 2.45%, and 1.75% respectively. The efficiency of infrared and visible image registration of the power equipment must be effectively improved.

image registration, deep learning, self-study, deep neural network, power equipment

TP391.41

A

1001-8891(2022)09-0936-08

2021-12-05；

2022-02-09.

付添（1994-），男，湖北云夢人，碩士研究生，主要從事圖像處理，圖像配準研究。

鄧長征（1980-），男，湖北宜昌人，博士，副教授，主要從事圖像處理，智能在線檢測研究。E-mail：814496537@qq.com。