基于深度學習的光伏圖像透視變換算法優化

周亞峰，楊揚

（上海伯鐳智能科技有限公司，上海 201203）

0 引言

隨著計算機科學技術、數學等自然科學的不斷發展，在硬件與理論的不斷驅動下，機器視覺領域實現了迅速發展，在實際應用場景中得到了越來越多的成熟落地。在傳統能源的不可再生性和環境污染性的弊端下[1]，以太陽能光伏發電為代表的新型能源近年來快速發展[2]。對于已裝機運行中的光伏場站實現光伏組件存在的缺陷進行有效檢測方面，楊博等人提出了一種基于無人機實現光伏組件熱斑效應的檢測[3]，數據采用應用方面，楊揚等提出了一種基于混合相加（或雙光）相機的光伏組件缺陷自動檢測方法[2]。

在基于混合相加（或雙光）相機的光伏組件缺陷檢測應用中，將檢測到的熱紅外圖像上面的缺陷點透視變換到對應的可見光圖像上面對應位置，更加準確、有效的展示及定位光伏組件上面的缺陷點，是本文研究的主要方向。對于光伏組件缺陷點從熱紅外圖像到可見光圖像的透視變換，首先對可見光圖像進行相機標定與去畸變處理，再根據兩圖像特征點實現單應性矩陣（熱紅外圖像到去畸變后的可見光圖像的透視變換系數矩陣）的求解，根據單應性矩陣對熱紅外圖像中的缺陷點進行線性的透視變換求解，再對其值利用優化的神經網絡模型進行二次修正后準確投影到可見光圖像上面。

1 相機模型

如圖1的文獻[4]闡述了小孔幾何模型的成像時的像機內參數、攝像機外參數以及成像時所產生的畸變，在圖1中，主要有4個坐標系：世界坐標系，相機坐標系，虛擬成像坐標系，像素坐標系坐標系中的點對應中的點對應中的點、對應中的點

圖1 像機小孔幾何模型

建立Owxwywzw與Ocxcyczc的映射，用旋轉矩陣R和平移向量t來描述[5]。在像機成像中，根據如公式（1）的相機外參數矩陣建立pw(xw,yw,zw,1)T與pc(xc,yc,f)T的對應關系，如公式（2）所示。

建立Ocxcyczc與Onxnyn的映射。如圖1,通過相似三角形的性質定理可得點pc(xc,yc,f)T與點pn(xn,yn)的對應關系，如公式（3）所示。

式中：fn為虛擬圖像平面相對于相機坐標系中心，在zc軸向的距離。

建立Onxnyn與Oouv的映射。如圖1，點pn(xn,yn)與點pu(u,v)的對應關系，如公式（4）所示。

式中：(u0,v0)為Onxnyn中心On在Oouv中的像素坐標；sx、sy分別為Onxnyn中的xn軸、yn軸對應于Oouv中的u軸、v軸的方向系數，同向為正，反向為負。

建立Owxwywzw與Oouv的映射。根據齊次坐標系中的點(x,y,z)等同于常規坐標系中的點(x/z,y/z)。聯立公式（1）～（4），進行推導可得公式（5）。

對于公式（5），在實際應用中，相機傳感器的x軸與y軸之間有可能存在微小的彎曲，因此對相機內參數矩陣加入坐標軸彎曲系數γ。

綜述所述，最終可得Owxwywzw中三維空間點pw(xw,yw,zw,1)T投射對應到Oouv中的像素點pu(u,v)的具體映射關系如公式（6）所示。

2 透視變換

在基于混合相加（或雙光）相機的光伏組件缺陷檢測模型中，將基于熱紅外圖像檢測到的缺陷位置準確透視變換到可見光圖像，實現光伏組件缺陷的定位與展示。混合相機相加相機之固定連接，熱紅外圖像和可見光圖像對應像素之間滿足如公式（7）所示的單應矩陣約束[2]。單應性矩陣H有8個自由度，因此至少需要4個非共線點對來求解[6]。

在第一段的相機模型概述中，通過公（6）得知相機對空間點進行投影成像時，映射關系取決于如公式(1)所示外參數矩陣E和內參數矩陣K。對于兩圖像透視變換實現，在公式（7）的表達中，所求的單應性約束矩陣H主要為兩相機之間的外參數矩陣。而內參數矩陣是導致圖像畸變的主要控制因素，尤其對于徑向畸變，兩相機的不同，所以兩相機所成像產生的畸變程度不同。

關于圖像的畸變，可分為徑向畸變、偏心畸變和薄棱鏡畸變3種[7]，通常我習慣性劃分為如圖2[7]所示的徑向畸變與切向畸變。

圖2 徑向和切向畸變

又因相機成像中，其畸變隨著光學中心的距離呈現非線性變化，在透視變換的實際應用中，無法只通過單應性矩陣H的線性變換實現同一空間缺陷點在熱紅外圖像到可見光圖像上的準確匹配，在文獻[2]中給出了先對圖像進行畸變修正處理，之后對同一空間點實現兩張圖像間像素點的透視變換。

3 修正模型

在實際應用中，針對相機進行標定求內參時存在的誤差性、熱紅外相機內參的難以求解性，在本文中提出了一種基于深度學習的多層感知器透視變換修正模型。該模型熱紅外圖像中的像素點到去畸變的可見光圖像中像素點的常規透視變換的基礎上，對其產生的像素誤差進行二次修正,修正表達式如公式（9）所示，該修正模型示意圖如圖3所示。

圖3 多層感知器修正模型

式中：au、av是修正模型根據熱紅外中的像素點所求得對應于可見光的透視變換修正系數；為熱紅外圖像中的像素點所對應的空間點在可見光圖像中的像素點。其中：

修正模型如圖3，input layers為對應輸入熱紅外圖像中像素點的兩個神經元；output layers有兩個神經元，對應輸出對透視變換的修正系數。

聯立公式（7）～（10）,推導可得加入修正系數后的熱紅外圖像到去畸變的可見光圖像的點的透視變換關系如公式（11）所示。

4 實驗分析

實驗選用大疆M300RTK無人機，搭載禪思H20T混合相加，實現光伏電站的巡檢，采集熱紅外圖像和對應的2倍變焦可見光圖像，用來構建對應特征點實現修正模型的訓練。關于可見光圖像的去畸變處理中，對相機內參數矩陣的求解，采用張正友棋盤格標定法[8]。關于如公式（8）所示的單應性矩陣H的求解，采用12個空間特征點分別對應到熱紅外與去畸變后的可見光圖像上，對構成的多個點對，根據公式（7）進行求解。關于修正模型，構建如圖3所示的多層感知器模型，輸入如公式（10）所示熱紅外圖像對應的像素點，輸出如公式（9）中所示的修正系數。

本實驗的測試結果如圖4所示，圖（a）為熱紅外圖像上檢測到的缺陷組件，圖（b）為沒有引入修正系數的透視變換結果，圖（c）為加入修正系數的透視變換結果。

從圖4可以看出，將有缺陷的光伏組件從熱紅外圖像透視變換到對應的可見光圖像上的實驗中。在沒有引入透視變換修正系數時，變換結果存在一定的誤差，越到圖像的邊緣，其誤差越大，如圖4（b）所示；通過修正模型，在透視變換中引入修正系數后，誤差得到有效的解決，尤其是在圖像邊緣部分，能得到有效的修正，如圖4（c）所示。

圖4 是否引入修正系數透視變換結果對比

5 結論

本文針對光伏發電組件的缺陷檢測應用中，結合深度學習領域的多層感知器模型，在熱紅外圖像中所檢測到的缺陷點往可見光圖像上透視變換的過程中，提出了一種基于多層感知器模型對透視變換結果實現二次修正的方法。通過理論分析與實驗驗證，該方法有效的解決了透視變換中熱紅外鏡頭難以標定、可見光鏡頭標定以及去畸變時產生的誤差、在建立單應性矩陣時存在的誤差等，使得熱紅外圖像上的點更加準確的變換對應到可見光圖像上，尤其是在靠近圖像邊緣的部分，其準確性取得了明顯的提升。