平面標定法在閃電光學(xué)觀測中的應(yīng)用

謝正帥，呂偉濤，馬穎，齊奇，武斌，姜睿嬌，孫秀斌，陳綠文，杜賽，顏旭，肖桐

(1.中國氣象科學(xué)研究院災(zāi)害天氣國家重點實驗室/雷電物理和防護工程實驗室，北京100081；2.成都信息工程大學(xué)，四川 成都610225;3.中國氣象局廣州熱帶海洋氣象研究所，廣東 廣州510641；4.中國鐵道科學(xué)研究院集團有限公司通信信號研究所，北京100081)

1 引 言

閃電是一種產(chǎn)生于大氣中的高能量、長距離放電現(xiàn)象，其出現(xiàn)往往伴有強烈的閃光[1]。閃電的光學(xué)觀測可以幫助人們直觀地了解云外閃電放電通道的發(fā)展情況，一直是研究閃電發(fā)展過程的重要手段。

隨著科學(xué)技術(shù)的發(fā)展，各式各樣的光學(xué)觀測設(shè)備不斷被應(yīng)用于閃電觀測，如膠片相機、磁帶式錄像機、數(shù)碼相機、數(shù)字攝像機、條紋相機[2-3]、高速攝像機[4]等，為研究人員分析閃電特征提供了豐富的觀測資料。為保證閃電光學(xué)觀測有足夠大的視野，提升捕捉閃電通道的概率，經(jīng)常會采用短焦距的廣角鏡頭，甚至是魚眼鏡頭。盡管廣角鏡頭有成像視角范圍大的優(yōu)點，但它獲取的圖像通常存在著畸變，目前閃電光學(xué)觀測資料的分析大多未考慮鏡頭成像畸變的校正，鏡頭成像畸變對閃電特征分析結(jié)果的影響如何迄今仍缺乏準確的認識，在一定程度上會影響閃電通道發(fā)展特征定量分析的準確性，迫切需要對光學(xué)觀測設(shè)備獲取的圖像進行校正以消除畸變的影響。

攝像機標定方法[5]目前主要分為傳統(tǒng)標定法[6-8]和自標定法[9]兩類。傳統(tǒng)標定方法需要預(yù)先準備高精度的標定物作為空間參照物，建立三維空間中標定物上的特征點與獲取到二維圖像中的對應(yīng)點之間的映射關(guān)系，以此計算攝像機的各項參數(shù)。這種方法精度高，但標定過程復(fù)雜；自標定方法不必利用標定物，只利用二維圖像信息來恢復(fù)攝像機內(nèi)外參數(shù)，雖然不需要特定的標定物，然而隨之帶來的問題則是標定穩(wěn)定性不足精準度較差。張正友等提出的平面標定法[10-13]，這種方法介于傳統(tǒng)標定法和自標定法之間，既克服了傳統(tǒng)標定法需要的高精度三維標定物的缺點，又解決了自標定法魯棒性差的難題，并且只需拍攝若干幅不同角度或位置下的平面標定板圖像，因此操作起來相對較為簡便，在實際中得到了很廣泛的應(yīng)用。

本研究基于張正友攝像機平面標定方法制作了便于現(xiàn)場標定實驗的移動棋盤格平面靶標，并針對TOLOG的多套光學(xué)觀測設(shè)備拍攝的靶標圖像，使用特征點提取算法獲取特征點的坐標信息，并通過坐標之間的位置信息計算出多種參數(shù)，最終完成設(shè)備的標定。利用設(shè)備標定得到的參數(shù)對圖像進行校正，重點研究不同設(shè)備獲取的圖像受畸變影響的程度，從而實際應(yīng)用到閃電光學(xué)觀測資料當中，消除設(shè)備對閃電通道特征分析的影響。

2 標定原理

2.1 鏡頭畸變

由于鏡頭成像過程中產(chǎn)生的光學(xué)畸變，導(dǎo)致獲取圖像的非線性失真。畸變的產(chǎn)生使得原本沿直線投影的光路發(fā)生偏移，物點、光心以及像點三點不共線。通常攝像機鏡頭的畸變分為徑向畸變、切向畸變[14-16]等。

圖像中常見的失真主要是桶形畸變與枕形畸變造成的，他們都屬于徑向畸變。徑向畸變的成因是鏡頭透鏡近光軸區(qū)域和遠光軸區(qū)域放大倍率不同所導(dǎo)致，可以用下式表達：

式中，假設(shè)圖像中一像點坐標為xu,yu，其在理想條件下無畸變的坐標為xc,yc，由此可以用k1，k2，k 3，……表示徑向畸變的系數(shù)，而像點與光心的距離用表示。

切向畸變的出現(xiàn)主要是由于鏡頭模組中各鏡片與像平面不嚴格平行造成的，這類缺陷可以表示為：

切向畸變的系數(shù)用p1和p2來表示。

2.2 靶標的設(shè)計與特征點的提取

為了實現(xiàn)攝像機的標定，尋求世界坐標系中特征點與圖像中對應(yīng)點的映射關(guān)系，就需要制作供攝像機拍攝提取特征點的靶標，用于標定攝像機的各項參數(shù)。靶標在保證制作精度的同時還須滿足以下兩個基本條件：首先靶標特征點之間相對位置關(guān)系已知，其次圖像特征點的坐標容易求取。實驗中選取了制作簡便且精度較高的平面靶標[17]，并將其設(shè)計成棋盤格樣式，靶標采用高精度打印技術(shù)并配合高清照相紙，如圖1所示，表面上均勻分布著黑白相間的正方形棋盤網(wǎng)格，其中每塊小方格尺寸為50 mm×50 mm。靶標上每行每列均為12個小方格，總尺寸為600 mm×600 mm。

圖1 平面棋盤格靶標及特征點（角點）選取

選取特征點時應(yīng)遵循坐標點穩(wěn)定且容易提取的原則。在研究中選用了相鄰四個棋盤格的十字中心作為特征點，稱之為角點。這樣12×12的小方格能組成11×11共121個角點（最外圍的一圈小方格只能與其內(nèi)側(cè)組成角點）。靶標每個角點之間的設(shè)計尺寸也是已知的，為了便于移動攜帶試驗，進而將一塊65 cm×65 cm的鋼化玻璃作為基底并把靶標張貼其上，通過空間中靶標與獲取圖像中角點之間的映射可以推算出特征點的相對關(guān)系。將拍攝到的圖進行片二值化處理，采用Harris角點檢測算子[18]得到角點的初始坐標值[19]，再將這些坐標值進行亞像素級定位進一步減小噪聲對標定結(jié)果的影響，這樣就得到了這些特征點在圖像中的實際坐標。根據(jù)坐標即可求出相機的內(nèi)部參數(shù)，利用最小二乘法便可求解出畸變參數(shù)k1，k2。

3 閃電光學(xué)觀測系統(tǒng)標定

本文用以比對分析的閃電通道光學(xué)觀測資料是由位于廣州的高建筑物雷電觀測站[20-26]（Tall-Object Lightning Observatory in Guangzhou,簡稱TOLOG）的數(shù)字化高速攝像機以及單反相機所獲取。廣州高建筑物雷電觀測站目前由1個主站和多個光學(xué)觀測子站組成。本研究主要對主站的6套光學(xué)設(shè)備逐一進行標定。

(1)3套高速攝像系統(tǒng)：攝像機均為Photron公司的FASTCAM系列高速攝像機：1臺型號為SAZ，搭載焦距14 mm的Nikonf/2.8 D ED AF鏡頭，為敘述方便，本文采用編號SAZ代表此套高速攝像系統(tǒng)；1臺SA3，搭載Kowa 8 mmf/1.4鏡頭，編號SA3；1臺SA5，搭載Nikon20 mmf/1.6鏡頭，編號SA5。

(2)3套單反相機：兩臺Nikon D7100機身，分別搭配Sigma 8 mmf/3.5 EX DG Circular Fisheye鏡頭（編號：D7100-8）和Nikon AF Fisheye-Nikkor 16 mmf/2.8D鏡頭（編號：D7100-16）；一臺機身為D7000，搭配產(chǎn)自Nikon AF Nikkor 20 mmf/2.8 D鏡頭（編號：D7000-20）。

如圖2所示，用于TOLOG主站光學(xué)設(shè)備標定的平面棋盤格標定靶標（圖2a）以及設(shè)備的拍攝視野（圖2b），利用張正友校正方法移動拍攝不同角度的多張（不少于20張）靶標照片，使得校正板充分分布在圖片畫面視野的各個位置使靶標在圖片中占據(jù)視野的不同位置這樣能更好地提高標定精度，魯棒性更強。標定后得到各類參數(shù)見表1。

圖2 用于相機標定的靶標照片（a）及廣州高建筑物雷電觀測站光學(xué)觀測設(shè)備的視野（b）

表1 TOLOG閃電光學(xué)觀測設(shè)備的標定參數(shù)

表1中fx和fy為圖像像素分布的比例因子，并且畸變系數(shù)只有k1和k2兩項，由此可見實驗設(shè)備獲取的圖像只受到了徑向畸變的影響。使用這些參數(shù)對靶標圖像進行校正，進而提取畸變校正后其橫、縱各行列的角點坐標，并用坐標信息擬合出二階多項式，多項式高次項系數(shù)可以達到10-6數(shù)量級，由此可見算法的標定誤差很低。同時，使用表1中的標定數(shù)據(jù)分別對6套閃電光學(xué)觀測設(shè)備獲取的圖像進行畸變校正，計算出畸變校正前后圖像中像點與光心在不同視角角度處的變化差異，并繪制出散點圖進而分別擬合成曲線。如圖3所示，圖像在光軸與視線夾角小于5°時基本沒有受到畸變的影響，但隨著夾角的增大，畸變校正前后圖像像點與光心的角度也在不斷增大（畸變影響變大）。在這6套設(shè)備中兩套搭配魚眼鏡頭的設(shè)備產(chǎn)生的畸變導(dǎo)致圖像的形變以及失真最大，除此以外其他設(shè)備獲取的圖像受畸變影響的程度隨著搭配鏡頭焦距的增長相對應(yīng)的變小。

圖3 閃電光學(xué)觀測設(shè)備圖像校正前后像點與光心的角度受畸變影響的相對大小

4 個例分析

2018年7月6日16時41分TOLOG觀測到一次廣州塔上行閃電個例，該個例分別被多臺光學(xué)儀器所捕獲。圖4a為主觀測站D7100-8的單反相機拍攝，上行閃電由廣州塔頂端始發(fā)，向上發(fā)展到最高處（在D7100-8獲取的圖像中約為1 500像素的高度）后向左拐轉(zhuǎn)向視野的左下方繼續(xù)發(fā)展。圖中較為完整的記錄了此次上行閃電的通道，能夠較為全面地分析畸變對不同區(qū)域內(nèi)閃電通道的影響。圖4b是結(jié)合表1中的參數(shù)經(jīng)過校正得到的去除畸變的圖像。根據(jù)鏡頭的成像原理圖像光心位置畸變?yōu)榱鉡20]，為了精確對比閃電通道圖像畸變校正前后的差異，在原始圖像的正中心位置添加了紅色十字標識（圖4a），在此基礎(chǔ)上對圖像進行畸變校正得到校正后圖像(圖4b)，將校正前后的兩幅圖像以光心為基準（十字像素點重合）疊加，由此能夠得到閃電通道校正前后的疊加對比圖。由圖4c可見，圖像在疊加后進行對比度增強及灰度化處理以便于通道的辨認，之后又分別把圖像校正前后的閃電通道標記成藍色和紅色能夠清晰地看出校正前后閃電通道差異。方框選中的區(qū)域是廣州塔的塔尖，從中可以看到廣州塔塔尖在圖像校正前后的偏移大概在11個像素，經(jīng)過換算在空間中偏移量能達到17.5 m。

畸變校正前后閃電通道長度也有一定的差異，由圖4c可見，校正后的閃電通道（紅色）比校正前（藍色）的要長。通過計算，校正前閃電通道長度約為3 654個像素，校正后通道長度約為4 125個像素，兩者像素個數(shù)相差471，校正后閃電通道長度較原圖增加了12.9%。

圖4 TOLOG主站單反相機（D7100-8）于2018年7月6日拍攝的一次廣州塔上行閃電個例（a）為資料原圖，（b）是將（a）經(jīng)過攝像機標定后去除畸變的照片。（c）為（a）（b）以光心為基點的疊加圖，并分別將校正前后閃電通道標記成藍色和紅色（圖c進行了對比度增強）。

為了探求閃電通道位于圖像中不同位置受到畸變影響的強弱，如圖5所示，以圖像光心為圓心，均勻繪制20個同心圓覆蓋全部閃電通道，將其分為37段并保證每段閃電通道的位置關(guān)系已知。計算每段閃電通道校正前后的長度差值，除以校正后的長度，得到相對長度差，結(jié)合各同心圓區(qū)域到圖像光心的夾角，繪制出散點圖6。根據(jù)散點擬合出一條曲線，隨著閃電通道與圖像光心的距離越來越遠，徑向畸變對校正前后閃電通道之間的長度影響也越來越大，通過擬合曲線能夠看出畸變呈現(xiàn)出非線性的變化，并且畸變對圖像的影響是隨著圖像從光心往邊緣區(qū)域處的夾角增大而增大的，并在視野邊緣處達到最大。

圖5 以圖像光心為圓心的閃電通道同心圓分布圖

圖6 校正前后區(qū)域內(nèi)閃電通道相對長度隨區(qū)域與圖像光心的夾角的關(guān)系

圖7為觀測站高速攝像機SA3拍攝的此次閃電事件的同步資料閃電通道圖像，其中圖7a為高速攝像機拍攝的原始圖像，經(jīng)過畸變校正后得到圖7b，再將校正前后圖像以光心為基準疊加，得到校正前后閃電通道疊加對比圖（圖7c）。圖7c中以紅色和藍色分別填充了校正后的閃電通道和原始圖像中的閃電通道。經(jīng)過計算，SA3獲取圖像畸變校正前后閃電通道長度相差4.5%。

圖7 TOLOG主站高速攝像機（SA3）捕捉到的廣州塔上行閃電光學(xué)同步觀測資料（a）、（b）分別為資料原圖和畸變校正后的圖像。（c）為（a）（b）以光心為基點的疊加圖，并分別將校正前后閃電通道標記成藍色和紅色（圖c進行了對比度增強、灰度化處理）。

為了定量分析這兩臺搭配不同種類鏡頭的光學(xué)設(shè)備獲取圖像中閃電通道長度的差異，將D7100-8圖像通道末端清晰處的拐點作為特征點（如圖8左圖紅圈所示），同時高速攝像機SA3圖像中選取閃電通道臨近末尾處相同位置的拐點作為特征點（見圖8右圖紅圈所示），通過像素點間距離[22]換算分別計算兩套設(shè)備從廣州塔塔尖始發(fā)到特征點處閃電通道長度，可以得出：SA3原始圖像中這段通道長度為5 971 m與D7100-8原始圖像的5 425 m相差10.1%，而SA3圖像校正后的通道長度為6 236 m與D7100-8所獲取原始圖像的6 124 m相差1.8%。由此可見不同光學(xué)設(shè)備畸變校正后的圖像一致性更好，所以對光學(xué)設(shè)備的標定校正是很有必要的。

圖8 在不同設(shè)備獲取的同步觀測資料圖像中選取閃電通道的相同拐點作為特征點

5 結(jié)論與討論

本文基于張正友平面標定法運用便攜式棋盤格平面靶標，實現(xiàn)了一種既適用于實驗室研究，又可以應(yīng)用在雷電觀測站外場攝像機標定的靈活方法[10-11]。在實際運用中通過移動平面靶標校正了高建筑物雷電觀測站的各個光學(xué)觀測儀器逐一標定，結(jié)合閃電光學(xué)資料數(shù)據(jù)，分析了一次廣州塔上行閃電畸變校正前后圖像閃電通道長度差異。具體結(jié)論如下。

（1）通過算法標定得到觀測站各光學(xué)系統(tǒng)的參數(shù)，分別對6套閃電光學(xué)觀測設(shè)備獲取的圖像進行畸變校正，通過對校正前后圖像比對后發(fā)現(xiàn)，圖像光心處可看做0畸變的基準點。除此之外圖像受畸變影響的程度跟拍攝設(shè)備搭載鏡頭的種類和焦距有著密切聯(lián)系，對于同一種類的鏡頭，焦距越短，圖像中像點與光心角度的差異也就越大，畸變也隨著圖像視場角的增大而愈加強烈。

（2）對一次廣州塔上行閃電個例圖像進行畸變校正，D7100-8獲取的原始圖像閃電通道長度為：3 654個像素，校正后通道長度為：4 125個像素。校正前后閃電通道長度相差12.9%；通過對高速攝像機SA3獲取的同一閃電事件的同步光學(xué)觀測資料進行畸變校正，校正前后閃電通道的程度相差4.5%；并對同一個個例不同光學(xué)系統(tǒng)獲取的閃電通道長度進行定量對比后發(fā)現(xiàn)，經(jīng)過畸變校正后不同設(shè)備獲取的閃電通道圖像比原圖擁有更好的一致性，由此可見校正前后閃電通道長度的差異可能會對閃電二維速度的計算帶來一定影響。

（3）TOLOG六個觀測站點對發(fā)生在廣州珠江新城地區(qū)的閃電事件進行同步觀測，利用其中兩個站點拍攝的閃電同步光學(xué)觀測資料，可以對閃電通道進行三維重建。目前，在閃電通道三維重建之前并沒有考慮鏡頭畸變對圖像的影響[27]。廣角鏡頭以及魚眼鏡頭獲取的閃電通道二維圖像畸變校正前后差異明顯，可以預(yù)計，利用未經(jīng)畸變校正的圖像直接進行三維重建得到的閃電通道三維坐標會存在更大的偏差，這還需要進一步深入的研究。