黃厚田 ,王德江,沈宏海,高玉軍
(1.中國科學院長春光學精密機械與物理研究所,吉林長春130033;2.中國科學院航空光學成像與測量重點實驗室,吉林長春130033;3.中國科學院大學,北京100049)
航空成像系統工作過程中由于工作環境(主要為溫度、壓力)變化導致光學元件曲率半徑、透鏡間的空氣間隔、鏡片間的空氣折射率及結構件的實際尺寸發生變化,造成離焦,從而降低了光學系統的整機調制傳遞函數與成像質量。長焦距、高分辨率的航空相機為了獲得高清晰的地面圖像,必須對成像系統的離焦量進行補償,高精度的自動檢調焦技術是研制航空相機的核心技術之一[1-5]。
與地面成像系統相比,航空成像系統由于其工作環境的特殊性對調焦技術提出了一些特定的要求。首先,由于航空成像系統的搭載平臺為高速運行的飛行器,成像系統對感興趣區域的駐留時間極為有限,因此要求自動檢調焦機構能夠在短時間內完成光學系統焦平面的調整,從而確保成像系統能夠實時地對目標進行偵察、定位[6];其次,隨著航空成像系統焦距的持續增加以及探測器光敏像元尺寸的逐步減小,航空成像系統理論上能夠達到的地面分辨率越來越高,為了能夠在實際飛行中獲得高分辨率的圖像,一般要求成像系統的離焦誤差小于半焦深,這對調焦系統的檢焦精度提出了很高的要求[7-8];再次由于飛機的前向飛行、俯仰、橫滾等運動,航空成像系統在調焦過程中一直處于“動基座”工作狀態,因此要求自動檢調焦機構能夠克服外界擾動對調焦過程的影響,即在動基座條件下仍能保持調焦精度與調焦效率[9];最后,由于航空成像系統執行任務的特殊性,即在災情監測,對敵偵察等突發性應用領域要求航空成像系統具有極高的可靠性,不能由于某個分系統(尤其是對成像質量具有重要影響的檢調焦分系統)的失效而影響了任務的整體實施。根據上述要求,航空成像系統在發展過程中逐漸形成了3種檢調焦技術方案,分為程序標定法、光學自準直法、圖像調焦法,這3種方法幾乎涵蓋了當前所有的航空成像系統的檢調焦技術方案[10]。近年來隨著光場成像理論的發展,以及能夠實現光場成像技術的新型成像器件的成功研制,基于光場的自動檢調焦技術在檢焦精度、檢焦效率以及檢焦可靠性等方面體現了極大的優勢[11]。
本文首先對航空成像系統3種傳統檢調焦技術的工作原理、優缺點進行了比較,然后著重對基于光場成像理論的檢調焦技術方案進行論述,最后對我國未來航空成像系統檢調焦技術的發展做出了展望。
航空相機的離焦主要是由大氣壓力、溫度和成像距離的變化引起的。程序標定法是通過相機上安裝的溫度、壓力和GPS傳感器實時采集探測相機所處的環境,根據溫度、大氣壓力和拍攝高度與離焦量之間的先驗關系,計算出系統當前的離焦量,然后進行調焦補償。
大氣壓力的變化使空氣折射率發生改變,造成相機鏡頭焦距變化,引起離焦。由大氣壓力變化引起的離焦量表示為:

式中,Δf為離焦量,f為透鏡焦距,P為環境大氣壓力,P0為標準大氣壓力,na為空氣折射率,ng為玻璃折射率。
溫度的改變使鏡頭玻璃各鏡面的熱膨脹系數改變,導致折射率、曲率半徑、鏡間間隔和鏡箱長度等參數發生變化,造成離焦現象。溫度變化引起的離焦量表示為:

式中,f為鏡頭焦距,α為金屬線膨脹系數,Φ為溫度變化1℃鏡頭的離焦系數,ΔT為溫度變化量。
航空相機成像時,成像高度和成像角度一般是變化的,即成像斜距是變化的。根據物像共軛關系,物距變化則像距也發生變化,產生的離焦量為:

基于傳感器的自動調焦方法示意圖如圖1所示。

圖1 基于標定法的自動調焦原理示意圖Fig.1 Diagram of the programming focusing technique
為了工程應用的需要,對由大氣壓力、溫度引起的離焦量進行大量的數據仿真,得到航空相機的大氣壓力、溫度變化量與離焦量一一對應的數據擬合曲線。當航空相機上的傳感器采集到工作環境的大氣壓力和溫度值時,通過查表方式可以得到當前相機對應的離焦量值,如最早研發的推掃型線陣航空相機MAEO即采用程序標定法進行自動調焦。然而這種方法需要大量的模擬實驗,在模擬環境下標定離焦量與溫度、壓力、拍攝距離等的先驗關系,雖然調焦速度快,但是標定時需要大量的計算,并且存在建模誤差和機械系統誤差。調焦屬于開環控制,系統無反饋,因此調焦精度不高,因此其在高分辨率航空載荷中的應用受限。
航空相機在飛行過程中,由于環境中溫度、大氣壓力的改變和成像距離的變化引起離焦現象。航空相機除了采用溫控系統和隔熱材料等來降低溫度變化對焦面的影響外,還應用了自動調焦技術來補償溫度變化、壓力變化造成的離焦。自準直調焦方法原理圖如圖2所示。

圖2 自準直調焦方法原理圖Fig.2 Principle of auto-focusing with automatic calibration
相機在拍攝前,首先利用自準直方法進行自動檢焦。相機在進行自動檢焦時,相機鏡頭前方的傾斜掃描反射鏡旋轉至與光軸垂直的狀態,由發光二級管發出的光源照亮位于鏡頭物方焦平面上的光柵,光線經過物鏡及鏡頭前方掃描反射鏡反射回來,再次經過物鏡成像在像方光柵上,并在光電探測元件上產生一個光調制信號。
當相機準確對焦時,反射回來的物方光柵像與像方光柵重合,調制信號幅值最大。當相機離焦時,反射回的物方光柵像落在像方光柵前面或后面,此時產生的調制信號幅值低于重合時的幅值。通過檢測光調制信號的幅值,判斷相機是否準確對焦。

圖3 合焦時和離焦時的調制信號圖Fig.3 Modulating signal in focus superposition and defocusing
航空相機在每次拍攝之前,相機進行自準直調焦過程。通過自準直調焦后,系統對無窮遠準確對焦,此時相機所處的飛行環境中溫度和大氣壓力與地面環境相差很大,通過自準直調焦過程,由溫度和大氣壓力引起系統的離焦量得到了補償。當相機對某一距離成像時,由溫度和大氣壓力引起的離焦量已經被補償,系統只需要通過距離成像公式補償系統由距離產生的離焦量。KA112、KS146等長焦距高分辨率航空偵察相機均采用光學自準值法,圖4為KA112A光學自準值調焦光路圖。

圖4 KA112A光學自準值調焦光路圖Fig.4 Optical auto-collimation focusing diagram for KA112A
光學自準直法對光機結構有特殊要求,即在光學入瞳前需要掃描反射鏡,從而才能實現檢調焦光路的閉合,而在緊湊型航空光學偵查平臺中,在入瞳前端沒有掃描反射鏡,因此光學自準直法應用領域受限。另一方面光學自準直在檢焦過程中需要反射鏡不斷地掃描配合,耗費時間長,例如KA112A一次檢調焦所需時間約為60 s,周九飛等提出的改進型光學自準直調焦法調焦時間仍需20 s以上[12]。
基于圖像對比度調焦法是一種建立在搜尋過程上的調焦方式,成像系統通過鏡頭直接對景物成像,采集到一系列連續數字圖像,系統選擇某一種評價函數判斷一系列圖像中哪一幅處于最佳對焦位置。
對焦開始時,系統處于離焦狀態,拍攝的圖像較模糊,圖像反差低;對焦過程中,系統調整鏡頭(或者成像平面)連續移動,拍攝的圖像由模糊變得清晰,再變得模糊;系統記錄下一系列的圖像,計算每一幀圖像的評價函數值,評價函數值最大的圖像對應成像最清晰的位置,并給出反饋信號控制鏡頭移動到該位置,采集的圖像達到最清晰,最終完成調焦。圖5為采用圖像調焦法獲得的圖像序列圖,從中可以看出,靶標圖案的清晰度與離焦深度呈現對應關系。

圖5 反差對焦原理示意圖Fig.5 Schematic diagram of the contrast auto-focusing
這個搜尋過程需要相同成像參數下的多幅圖像,所用圖像越多則聚焦精度越高。基于圖像調焦法的一項主要研究內容為評價函數的選取,理想的調焦評價函數要求具有單峰值、準確性、靈敏度高、計算量小等優點。目前文獻中提出的評價函數多種多樣,主要包括空間域函數、頻率域函數和統計學函數等[13-24],下邊列出了幾種典型的評價算法數學表達方法。
方差函數利用函數灰度的標準偏差作為調焦評價函數,其表達式為:

梯度函數(垂直方向)絕對值之和:

梯度函數(水平方向)絕對值之和:

拉普拉斯變換絕對值之和:

拉普拉斯變換絕對值平方:

傅里葉變換高頻分量絕對值之和:

式中,I(u,v)為 i(x,y)的傅里葉變換。
小波變換系數之和:

式中,ck為小波系數。
圖像調焦法不需要專用調焦組件,結構簡單,成本低廉;以最終成像為檢測對象,更為準確。這種調焦方式對圖像質量的實時評價,避免了由于數學模型的不確定而引起的調焦誤差,并且不受鏡頭和測量組件變化的影響。這種方法具有檢焦判據靈活多樣、調焦系統更加集成化和自動化、調焦精度高等優點。圖像調焦法是大多數高級戰術偵察平臺與偵察吊艙采用的調焦方法,如RecceLite偵察吊艙,美國的全球鷹偵察系統均采用此法。
圖像調焦法要求獲得的圖像序列為同一景物,且要求導致圖像質量退化的唯一因素為焦平面的改變,這在航空成像系統的應用中頗具挑戰性,但由于視軸穩定系統精度的限制將導致采集的圖像幀與幀之間不匹配,且由于像移補償系統精度以及帶寬的限制,將導致單幀圖像存在像移,且幀與幀之間的像移不一致。因此圖像調焦法能否成功實施,關鍵在于對采集的圖像樣本序列的預處理工作,且對這些圖像的預處理不應單純以圖像算法處理為核心,而應深入結合航空成像系統總體成像原理與成像過程中的各種狀態信息,以提高圖像調焦法的精度及魯棒性。
表1列出了程序標定法、光學自準直法以及圖像對比度法3種檢調焦方法的參數性能比較。

表1 3種調焦方法性能參數對比Tab.1 Comparison of performance parameters of three focusing methods
從表1可以看出,程序標定光機適應能力前,檢焦速度快,但檢焦精度依賴與環境模擬精度;光學自準直法檢焦精度高,且不依賴于外界因素,但其光機適應性差,且速度較慢;圖像對比度法光機適應性強,但其精度依賴與載荷在對焦過程中的整體工作參數。綜上3種方法均有其利弊,在工程實際中需要結合具體要求選擇適當的方法。
光場是表示光輻射分布的函數,反映了光波動強度與光波分布位置和傳播方向之間的映射關系。在幾何光學中,光場指的是光線強度在空間中的位置和方向分布,該分布函數可用光線與兩個平行平面的交點坐標來進行參數化的表示,如圖6所示。
L(u,v,x,y)表示光場的一個采樣,其中各變量:L為光線強度,(u,v)和(x,y)分別表示光線在光瞳與探測器像面上的交點坐標。
傳統的成像系統所采集到的光場分布如圖7所示。探測器像面上每個點接收來自整個光瞳的光線,然后進行積分,像面(x,y)處的光照度為:

圖6 四維光場參數表征Fig.6 Light field parameters in 4-dimension

式中,(u,v)為鏡頭出瞳面上的坐標。

圖7 傳統成像光場表征Fig.7 Traditional light field imaging characterization
可見,傳統成像系統所探測到的光場只能反映其強度和位置(x,y)之間的關系,而損失了(u,v)方向信息。
光線方向信息與景物的立體信息是息息相關的,而景物平面的立體信息對應到像平面上則對應兩種狀態,聚焦與離焦。下面針對不同情況進行論述。
3.1.1 聚焦情況下的光場分布
聚焦狀態的光場成像示意圖如圖8(這里僅選擇場的一維相互對應信息,即u、x平面)。將此過程采用坐標的形式進行描述,由于聚焦時來自不同方向的光線會聚于像平面上的一點,該坐標圖為一條垂直的直線。

圖8 聚焦時的方向光線示意圖Fig.8 Diagram of light direction in focus
3.1.2 離焦情況下光場的分布
光學系統的離焦分為兩種,如圖9與圖10所示,在(u,x)平面可以清晰的看出,離焦時不同方向的光線分散到不同的探測器像元中,因此造成了像的模糊。
3.1.3 光場信息記錄
傳統的焦平面陣列對應的每個元,如x0處的像元只能記錄從-u0到+u0所有方向的光線,而不能分別記錄,如圖11左圖所示。如果在焦平面x0處能將不同方向的光線記錄下來,則可以對光線的方向信息進行恢復,如圖11右圖所示。
基于微透鏡陣列的光場相機結構示意如圖12所示。
主光學系統的F數為:

微透鏡光學系統的F數為:


圖9 前離焦時成像示意圖,方向光線示意圖Fig.9 Diagram of image and light direction in front defocus

圖10 后離焦時成像示意圖,方向光線示意圖Fig.10 Diagram of image and light direction in backwards defocus
當FL=F時,單個微透鏡覆蓋的探測器光敏元與主光學系統成共軛關系,每個光敏像元對應主光學系統上的一部份,如圖13所示。

圖11 光線記錄方式的細分Fig.11 Light recording mode subdivision

圖12 微透鏡陣列光場相機結構示意圖Fig.12 Schematic of light field camera with microlens array

圖13 不同方向光線的記錄Fig.13 Records of light in different directions
采用此方法,單個微透鏡元與其所覆蓋的探測器光敏像元組成了一個等效的新的像元,且該像元能夠實現光線方向信息的記錄。圖14為聚焦情況相鄰兩個的紅、藍點目標經光學系統調制對應的(u,x)平面分布圖,此時收集的所有光線均會聚到 x0、x1點。

圖14 聚焦情況下光線的收集Fig.14 Light collection in focus superposition
圖15為離焦情況下(u,x)平面分布圖,雖然由于離焦的作用藍球與紅球對應的光線彌散到周圍的像素中,但由于每個像素對應的點能夠獨立記錄來自不同方向的光線,沿著紅線與藍線傾斜的方向將光線收集起來,則可以實現離焦狀態下的重聚焦。

圖15 離焦情況下光線的收集Fig.15 Light collection in defocus
傳統的光場相機要求記錄的光線方向信息越多越好,產生這種觀念的原因是只有記錄的方向信息越多,相機重聚焦能力以及三維重建能力越強。但是通過微透鏡陣列實現的光場相機,提高方向分辨率主要有兩個手段:
(1)降低探測器像元尺寸;
(2)提高單個微透鏡像元尺寸;
受限于光學系統的衍射斑,為了防止成像混疊,探測的像元尺寸不可能無限減小,且當前的CMOS探測器的像元尺寸已經與光學系統的衍射斑可相互比擬。在探測器像元尺寸一定的情況下,提高單個微透鏡元的尺寸也可以提高光線的方向記錄能力,但這卻是以犧牲空間分辨率為代價的。例如一個微透鏡元覆蓋的探測器元為N×N,則此時的等效像元尺寸即為微透鏡的像元尺寸,像元分辨率降低了N倍。
2013年,佳能公司推出了70D數碼相機,其本質上也是一款光場相機,不同的是每個微透鏡下僅對應兩個像元,像元排布結構如圖16所示。

圖16 佳能70D數碼相機像元排布圖Fig.16 Pixel arrangement of Canon 70D camera
佳能的全像素雙核CMOS自動對焦技術的核心是:在一個像素中置入兩個相互獨立的光電二極管,兩個二極管分別接受來自鏡頭兩側的光信號。

圖17 佳能70D CMOS像素結構圖Fig.17 Pixel structure of Canon 70D CMOS camera
這種方法是將相位檢測系統微縮到了成像傳感器的像素結構中,用像素表面的微透鏡代替獨立對焦組件的透鏡,用像素半邊感光的方式起到鏡頭光束分離的作用,用兩個像素的組合代替線性傳感器。相機成像時,像素左右獨立的二極管分別接受來自鏡頭兩側的光信號,兩側的光信號分別成像,系統通過左右兩側的像實現相位檢測對焦。

圖18 佳能自動對焦方法示意圖Fig.18 Diagram of auto-focusing technique for Canon cameras
每個像素在制造時即被分為左右兩部分,讀出時左右兩半部分像素分別讀出。當合焦時,左像元組成的圖像與右像元組成的圖像完全一致。當離焦時左右兩半部分圖像產生了與離焦量成比例關系的相位差,根據下式計算離焦量:

根據式(7)即可實現單幅圖像的調焦。

圖19 合焦與離焦時的左右圖像相位關系Fig.19 Phase relationship of the two images in(a)focus and(b)defocus
系統應用相位檢測技術對圖像調焦時,只用單幅圖像即可完成系統調焦過程,調焦速度快,能夠實現成像系統的連續實時追焦功能。在航空相機中應用相位法調焦,利用單幅圖像實現調焦過程,與上述其他方法相比,極大地提高了調焦速度,并且調焦過程不受像移和振動的影響,這在目前的檢調焦應用中具有重要意義。
基于圖像的檢調焦方法直接利用相機拍攝的地面景物作為檢調焦樣本,避免了檢焦過程中的基準傳遞,是最直接的方法;且基于圖像對比度的檢調焦方法不需要外界的輔助檢調焦機構,僅憑成像系統自身就可完成任務,不受光機結構限制、成像譜段限制。由于該方法具有上述特性,國內眾多的科研機構對該技術開展了預研,且在地面仿真實驗過程中獲得了良好的效果,但該項技術在我國的航空遙感載荷,尤其是高分辨率航空相機中仍無法應用,其主要原因為航空遙感載荷的成像平臺為動機座,圖像對比度檢調焦方法采集的序列幀與幀之間存在著不匹配,幀間圖像的像移量不同等因素,這降低了傳統的圖像檢調焦方法的可靠性,極易導致檢焦失敗。因此新一代基于圖像對比度的檢調焦方法必須解決以下問題:
(1)圖像光照度歸一化,對快門、外界陽光引起的光照度非均勻性進行統一;
(2)圖像匹配處理,對多幀圖像之間進行景象匹配,達到對同一目標進行處理;
(3)多幀圖像之間像移量不匹配,對多幀圖像之間的不匹配進行預處理;
(4)大氣激流對連續多幀圖像質量影響研究。
在解決上述問題的前提下,對于圖像對比度的新一代自動檢調焦技術具有廣闊的應用前景。
自動檢調焦技術是影響航空成像系統分辨率的核心技術。檢調焦技術涉及的學科種類眾多,不是單純依賴某一專項技術(如圖像圖形處理)就能夠實現的,從本文論述的航空成像系統自動檢調焦技術發展歷程來分析,這是一門融合航空相機工作原理、光學成像原理、精密機械加工、圖像信息處理以及探測器光敏原理的綜合技術。例如結合航空相機光機結構、成像原理以及精密機械加工等技術提出了光學自準直調焦法,隨著光敏元件的數字化,結合航空相機成像原理與圖像處理技術提出了圖像調焦法。隨著新型光場成像原理的提出以及支撐該技術的探測器的出現,國際領先的數碼相機研制集團提出了基于光場成像的自動檢調焦技術,由于該技術具有單幅圖像高精度調焦能力,因此在航空成像領域具有廣泛的應用前景。相信隨著設計航空相機各領域綜合技術的不斷進步,制約當前航空成像系統調焦精度、調焦效率的瓶頸將不斷被突破。
[1] 趙志彬,劉晶紅.基于圖像功率譜的航空光電平臺自動檢焦設計[J].光學學報,2010,30(12):3495-3500.ZHAO ZH B,LIU J H.Power spectra-based auto-focusing method for airborne optoelectronic platform[J].Acta Optica Sinica,2010,30(12):3495-3500.(in Chinese)
[2] 許兆林,趙育良,張國棟.新型航空相機自動調焦系統的設計[J].電光與控制,2011,18(4):77-80.XU ZH L,ZHAO Y L,ZHANG G D.Design of an auto-focusing system for a new type of aerial camera[J].Electronics Optics Control,2011,18(4):77-80.(in Chinese)
[3] 周懷得,劉金國,張立平,等.線陣——面陣CCD三線陣立體測繪相機焦平面組件的研制[J].光學 精密工程,2012,20(7):1492-1497.ZHOU H D,LIU J G,ZHANG L P,et al..Development of focal plane module for three-line LMCCD mapping cameras[J].Opt.Precision Eng.,2012,20(7):1492-1497.(in Chinese).
[4] 劉磊.空間三反相機調焦范圍的確定[J].光學 精密工程,2013,21(3):631-636.LIU L.Focusing range of space off-axial TMA optical camera[J].Opt.Precision Eng.,2013,21(3):631-636.(in Chinese)
[5] 劉炳強,張帆,李景林,等.空間相機調焦機構運動同步性誤差分析[J].中國光學,2013,6(6):946-951.LIU B Q,ZHANG F,LI J L,et al..Analysis of synchronous motion error for focusing mechanism of space camera[J].Chinese Optics,2013,6(6):946-951.(in Chinese)
[6] IYENQAR M,LANGE D.The Goodrich 3th generation DB-110 system:operational on tactical and unmanned aircraft[J].SPIE,2006,6209:1-12.
[7] LI Z H,WU K Y.Autofocus system for space cameras[J].Optical Engineering,2005,44:1-5.
[8] 楊會生,張銀鶴,柴方茂,等.離軸三反空間相機調焦機構設計[J].光學 精密工程,2013,21(4):948-954.YANG H SH,ZHANG Y H,CHAI F M,et al..Design of focusing mechanism for off-axis TMA space camera[J].Opt.Precision Eng.,2013,21(4):948-954.
[9] WU J G,ZHENG ZH ZH,FENG H J,et al.Restoration of TDI camera images with motion distortion and blur[J].Optics Laser Technology,2010,42(1):1198-1203.
[10] 朱鶴,梁偉,高曉東.航空相機光電自準直檢調焦系統[J].光電工程,2011,38(3):35-39.ZHU H,LIANG W,GAO X D.Autofocusing system with opto-electronic auto-collimation method for aerial camera[J].Opto-electronic Engineering,2011,38(3):35-39.(in Chinese)
[11] 周志良.光場成像技術研究[D].北京:中國科學技術大學,2012.ZHOU ZH L.Research on light field imaging technology[D].Beijing:University of Science and Technology of China,2012.(in Chinese))
[12] 周九飛,翟林培,周剛.航空成像設備自動調焦方法[J].光學學報,2010,30(1):105-108.ZHOU J F,ZHAI L P,ZHOU G.Auto-focus method of aerial imaging device[J].Acta Optica Sinica,2010,30(1):105-108.(in Chinese)
[13] LIN H Y,CHANG CH H.Depth from motion and defocus blur[J].Optical Engineering,2006,45(2):1-12.
[14] ASLANTAS V,PHAM D T.Depth from automatic defocusing[J].Optics Express,2007,15(3):1011-1023.
[15] TIAN Y B.Autofocus using image phase congruency[J].Optics Express,2011,19(1):261-270.
[16] TIAN Y B,SHIEH K,WILDSOET C F.Performance of focus measures in the presence of nondefocus aberrations[J].J.Opt.Soc.Am.A.,2007,24(12):B165-B173.
[17] LI Q X,BAI L F,XUE S F,et al.Autofocus system for microscope[J].Optical Engineering,2002,41:1289-1294.
[18] SUBBARAO M,CHOI T,NIKZAD A.Focusing techniques[J].Optical Engineering,1993,32:2824-2836.
[19] CHOI K S,LEE J S,KO S J.New autofocusing technique using the frequency selective weighted median filter for video cameras[J].IEEE Trans.Consum.Electr.,1999,45:820-827.
[20] ZHANG Y,ZHANG Y,WEN C.A new focus measure method using moments[J].Image Vis.Comput.,2000,18:959-965.
[21] KAUTSKY J,FLUSSER J,ZITOVA B,et al.A new wavelet-based measure of image focus[J].Pattern Recogn.Lett.2002,23:1785-1794.
[22] HOLST G C.Electro-optical Imaging System Performance[M].Bellingham:PIE Optical Engineering Press,2008.
[23] FIETE R D,TANTALO T.Image quality of increased along-scan sampling for remote sensing systems[J].Opt.Eng.,1999,38:815-820.
[24] LIN H Y,CHANG C H.Depth from motion and defocus blur[J].Opt.Eng.,2006,45:815-820.