可見光相機輔助的熱紅外相機幾何定標

林 棟，楊保平，田鵬義，崔曉杰，祝若鑫

（1. 航天工程大學，北京 102200；2. 北京市遙感信息研究所，北京 100011；3. 西安測繪研究所，陜西 西安 710054）

熱紅外相機能探測波長為8～14 μm的長波紅外輻射，并反演物體表面的溫度信息，且不受黑夜、霧霾等因素影響，能穿透黑暗、識別偽裝，探測熱異常，被廣泛應用于夜間視覺[1]、建筑物密閉性監測[2]、疫情防控[3]等領域。幾何定標模型可構建影像像點坐標與三維地面點坐標之間的關系，是實現精準影像定位的關鍵，需要解算的模型參數包括主距、主點、鏡頭畸變等[4-5]。傳統可見光相機的定標場一般由黑白棋盤格或圓形黑白編碼目標構成；但黑白定標場的材質、溫度均一致，無法為熱紅外影像的特征檢測提供足夠的影像對比度，因而不適用于熱紅外相機定標。因此，相關學者利用額外熱源產生的溫度差或不同材料的輻射率差異構建幾何定標場，生成具有高對比度的熱紅外定標影像[6-7]。

1 熱紅外相機幾何定標研究現狀

現有熱紅外輻射定標場的構建方法主要包括基于輻射率的方法、基于溫度差的方法以及二者融合的方法。

1）基于輻射率的方法主要利用不同材料的輻射率差異提升熱紅外定標影像的對比度，從而大幅提升特征角點檢測的精度。例如，Bison P[8]等利用帶孔洞的平面鋁板生成具有高對比度的熱紅外幾何定標影像；Yastikli N[9]等制作了一個具有3層深度結構的鐵制三維定標場，鑲嵌77 個塑料目標點作為控制點；Lagüela S[10]等在黑色紙板上鑲嵌鋁制目標作為定標場；Alba M I[11]等在木質結構上鑲嵌38 個鐵釘子作為控制點定標場，該方法無需額外熱源制造溫度差，使用方便，但有時無法保證熱紅外定標影像具有足夠的對比度。

2）基于溫度差的方法主要利用額外熱源（如燃燒燈）產生的溫度差異增強熱紅外定標影像的對比度。例如，Lagüela S[12]等提出在一塊木板上構建8行8列方格形狀的燃燒燈作為定標場；Luhmann T[13]等對比基于主動式燃燒燈的二維平面定標場和基于圓形反射材料（自粘箔）的三維立體定標場發現，二維平面定標場的平均反投影誤差為0.3像素，而三維立體定標場的平均反投影誤差可達0.05像素，該方法需額外熱源制造影像上的亮度差異。

3）融合方法。為提升熱紅外定標影像的角點檢測精度，很多學者提出了同時利用輻射率差異和溫度差的融合方法。例如，Ng H[14]等設計了一個由金屬網和塑料板組成的幾何定標場，定標實驗前通過熱風加熱定標場，形成具有高對比度的熱紅外定標影像；Vidas S[15]等將不透明硬紙板作為基礎定標板，通過裁剪具有規則正方形形狀的孔洞形成輻射率差異，再將定標板置于電子屏幕前（如發熱的電腦），以獲取高對比度的定標影像；Berni J A[16]等利用電阻絲制作幾何定標場，當電流通過電阻絲時，電阻絲溫度上升，形成具有高對比度的熱紅外定標影像；Yang R[17]等設計了一種帶有25 個鉆孔的黑色塑料板作為幾何定標場，同時在定標板背面安裝了25 個小燈泡，點亮燈泡時，光線和熱量會穿過鉆孔，被可見光相機和熱紅外相機同時捕獲。

綜上所述，不同于可見光相機利用黑白棋盤格進行幾何定標，熱紅外相機通常使用不同材料的輻射率差異或溫度差異獲取定標場影像。在近景攝影測量環境下，可利用上述方法生成高質量的定標影像，但在航空攝影測量環境下，由于距離遠、溫度差異和幾何尺寸不足等原因，上述定標場難以使用。此外，相較于可見光影像，熱紅外影像空間分辨率低、對比度差，導致其角點檢測精度較差，進而影響內方位元素的高精度解算。本文將分別討論近景攝影測量和傾斜攝影測量環境下的熱紅外相機幾何定標。

2 近景攝影測量相機幾何定標

在近景攝影測量環境下，本文利用不同材料的輻射率差異構建熱紅外相機的幾何定標場，并利用自檢校光束法平差實現熱紅外相機的幾何定標。

2.1 幾何定標場影像的獲取

熱紅外影像的空間分辨率較低、邊緣特征較模糊、像點檢測精度較低，而可見光相機的空間分辨率高、對比度強、像點檢測精度較高，為提高熱紅外影像幾何定標的穩定性和精度，本文提出可見光相機輔助的熱紅外相機幾何定標方法，熱紅外相機FLIR A65的空間分辨率為640 像素×512 像素、可見光相機Nikon D700 的空間分辨率為3 184 像素×2 120 像素；并設計了一種適合可見光相機與熱紅外相機聯合定標的三維定標場（圖1）。

圖1 三維幾何定標場

為了同時獲取高對比度的可見光定標影像與熱紅外定標影像，三維定標場主要以黑色絲絨箔為背景，以帶編碼的可見光影像控制點（由黑白相間的正方形紙質材料構成）和不帶編碼的熱紅外影像控制點（由灰色圓形銀箔構成）為定標源。為確保熱紅外影像具有良好的對比度，通常需要將三維幾何定標場置于室外條件下，黑色絲絨箔因較強的吸收輻射特性在熱紅外影像上呈現白亮，圓形銀箔因鏡面反射特性呈現黑暗，從而形成具有高對比度的熱紅外幾何定標影像；同時在可見光影像上三維定標板的背景呈現黑色，控制點由帶編碼的黑白正方形紙板構成，進而形成具有高對比度的可見光幾何定標影像。

2.2 幾何定標方法

首先利用影像橢圓擬合解算方法實現可見光影像黑白編碼點和熱紅外影像銀箔非編碼點的亞像素級精確檢測；再利用Aicon DPA 軟件的編碼點識別方法實現黑白編碼點在物方空間的毫米級三維測量；然后利用黑白編碼點的物方坐標與像方坐標解算可見光相機的內方位元素，并通過可見光影像前方交會獲取銀箔非編碼點的物方三維坐標；最后以銀箔非編碼點的熱紅外影像像點坐標與物方三維坐標為控制信息，以布朗模型為構像方程，解算熱紅外相機的內方位元素。

具體來說，在已知高精度控制點物像坐標的情況下，本文將像點坐標測量值、地面點三維坐標值和相機內方位元素初始值（由相機供應商提供）作為光束法平差的輸入值，通過光束法平差實現熱紅外相機內方位元素（主距、主點、畸變參數）的高精度解算。假設物方點P(X'Y'Z)與影像內一像點p(u'v)對應，則布朗模型物像關系的表達式為：

式中，(XS'YS'ZS)為影像的投影中心；r為影像的徑向距離；c為主距；(x0'y0)為主點；K1、K2、K3、P1、P2、B1、B2為相機的畸變參數，主要由徑向畸變和切向畸變組成，能通過多項式模型進行描述和校正。

由式（1）可知，P(X'Y'Z)通過共線條件方程變換、畸變校正、像主點平移、焦距解算和坐標軸偏度校正，即可得到目標點在像平面坐標系下的像坐標p(u'v)。在給定初值的基礎上，利用自檢校光束法平差的迭代優化，實現熱紅外相機內方位元素的優化解算。在迭代平差的過程中，引入顯著性檢驗，利用3-sigma 法則刪除不重要的相機參數，避免參數間相關性導致的不收斂或收斂至局部極小值問題。

2.3 實驗結果

FLIR A65相機的內方位元素平差值及其后驗標準差見表1，可以看出，除徑向畸變參數K3與圖像坐標軸偏度B1外，其他參數均能通過顯著性檢驗，且標準差均遠小于其平差值，說明參數解算結果穩定可靠。

表1 FLIR A65相機幾何定標參數x?i 與標準差s?x?i

近景攝影測量通常采用“先驗定標場解算內方位元素、實際應用答解外方位元素”的方法，因此在后續的近景攝影測量應用中，一般固定內方位元素不變（尤其是焦距參數），著重優化外方位元素實現三維重建等應用。

3 傾斜航空攝影測量相機幾何定標

在傾斜攝影測量環境下，由于攝影距離遠，現有幾何定標場尺寸不足、溫度差異不夠，導致近景攝影測量方法不再適用。因此，本文采用幾何定標與三維重建聯合答解的方式，在三維重建的過程中同時優化影像的內外方位元素，完成高精度幾何定標。

3.1 三維重建影像獲取

傾斜攝影測量系統AOS-Tx8 搭載在直升飛機上，主要包含4個可見光相機（Baumer VCXG-53c）和4個非制冷型熱紅外相機（FLIR A65sc）。相機具體參數見表2。

表2 AOS-Tx8包含的可見光相機和熱紅外相機參數

相機組裝結構見圖2，熱紅外相機之間的影像重疊度為12%，由于可見光相機的視場角較大，可見光相機之間的影像重疊度更大。可見光相機與熱紅外相機系統以相同的幀頻（5 Hz）同時獲取影像。直升機在400 m 的高度獲取影像數據，可見光相機的地面分辨率為0.08 m，熱紅外相機的地面分辨率為0.30 m。AOS-Tx8相機系統的尺度為330 mm×420 mm×320 mm，重量為11.6 kg，可被整合在小型飛機或無人機上。傾斜攝影測量系統搭載了全球定位與慣性測量系統，為三維精細建模提供高精度的初始外方位元素。

3.2 三維重建與幾何定標方法

本文首先利用運動結構恢復軟件Agisoft Photo-Scan?分別處理多視可見光影像序列和多視熱紅外影像序列生成可見光影像點云與熱紅外影像點云，盡管全球定位與慣性測量系統為可見光影像序列與熱紅外影像序列提供了相同的輔助定位數據，但生成的可見光影像點云與熱紅外影像點云存在幾何錯位；然后利用基于八叉樹的迭代最鄰近點方法實現可見光影像點云與熱紅外影像點云的精確配準，獲取熱紅外影像序列相對于可見光影像點云的外方位元素，由于可見光相機的空間分辨率高、對比度強，利用可見光影像序列可在無控制點條件下直接生成高精度的三維模型（圖3a）；再選取部分可見光影像點云上的高精度測量點作為控制點，以布朗模型為構像方程，在保持熱紅外影像序列相對于可見光影像點云外方位元素不變的條件下，利用光束法平差完成熱紅外相機的幾何內定向，獲取高精度的內方位元素；最后基于熱紅外影像序列的內外方位元素，利用逐像素密集匹配與幾何定向即可實現地物的三維溫度場重建（圖3b）。

綜上所述，與近景攝影測量相比，傾斜航空攝影測量同樣將可見光影像提供的高精度定位結果作為控制信息，提高熱紅外影像的內方位元素解算精度；但其不再搭建三維幾何定標場，而是在地物三維溫度場重建的過程中同時實現熱紅外相機的幾何定標。

3.3 實驗結果

FLIR A65sc相機的內方位元素平差值及其后驗標準差見表3，可以看出，各參數的后驗標準差均遠小于其平差值，說明本文方法答解的內方位元素具有較強的魯棒性。

表3 FLIR A65相機幾何定標參數x?i 與標準差s?x?i

本文分析了引入可見光影像控制信息對幾何定標精度的影響，結果見圖4，可以看出，若不考慮控制信息，熱紅外相機的定位精度較低，所有像素的平均反投影誤差約為10個像素；若考慮控制信息，則能有效提升熱紅外影像的定位精度，所有像素的平均反投影誤差降至約0.5個像素，在攝影高度為354 m的條件下，X-Y 水平面的定位精度可達0.2 m，說明本文方法答解的內方位元素具有較高的定位精度。

圖4 熱紅外影像的平均反投影誤差

4 結 語

針對熱紅外相機空間分辨率低、影像對比度差等問題，提出了可見光相機輔助熱紅外相機的幾何定標方法。在近景攝影測量環境下，設計了一種兼顧可見光相機與熱紅外相機的新型三維幾何定標場，采用“先驗定標場解算內方位元素、實際應用答解外方位元素”的方法分步實現幾何定標與應用測量。在傾斜航空攝影測量環境下，采用幾何定標與三維重建聯合答解的方式，在三維重建的過程中利用可見光影像的控制信息優化熱紅外影像的內方位元素解算，將幾何內定向與應用測量融為一體。