紅外望遠鏡變步長自動對焦設計

楊鵬博，李 潔，崔文楠，張 濤

〈系統與設計〉

紅外望遠鏡變步長自動對焦設計

楊鵬博1,2,3，李 潔1,3，崔文楠1，張 濤1,2,3

（1. 中國科學院上海技術物理研究所 智能紅外感知重點實驗室，上海 201800；2. 上海科技大學 信息科學與技術學院，上海 201210；3. 中國科學院大學，北京 100049）

在遠距離目標檢測和跟蹤的過程中，成像清晰起著至關重要的作用。紅外望遠鏡系統的成像距離遠、景深短、失焦引起圖像模糊。由于大氣折射，望遠鏡所成的像處于不斷變化之中，造成傳統對焦算法對焦成功率、效率偏低。為了提高自動對焦的成功率和速度，采用了一種具備變步長的爬山法，利用多次求圖像清晰度取其中位數的方法保證清晰度評價的準確性，利用帶動量和加速度的爬山法降低了對焦過程中的不穩定性，減少了粗對焦過程所需的步數。算法在實際中波紅外望遠鏡系統中得到應用，實驗結果表明，該算法在粗對焦階段所需的對焦步數比傳統爬山法減少了12.8%，滿足紅外望遠鏡系統的需要。

自動對焦；紅外望遠鏡；評價函數；動量；加速度

0 引言

自1940年以來，紅外技術已得到了長足的發展，紅外遙感通過接受物體自身輻射或反射出的紅外線來感知目標，由于一些波段的紅外線具有較強的大氣穿透能力，其在資源探測、海洋觀測、地球遙感等領域具有廣泛的應用。隨著經濟、科技的進一步發展，對紅外探測技術的要求也不斷提高，紅外望遠鏡的焦長不斷變長，口徑不斷擴大，成像質量以及對目標的探測和跟蹤能力也在不斷提升，隨之而來的問題是對焦范圍變寬，景深變短，由于失焦引起的模糊更加劇烈。而探測系統對目標的探測和跟蹤成功進行的前提是獲得清晰地目標圖像，在對目標跟蹤的過程中，目標與探測系統的相對位置和相對距離可能處于不斷變化之中，如果不進行有效的對焦操作，探測系統對目標所成像可能會劇烈模糊，使得跟蹤系統不能正常工作乃至丟失目標。

為了及時獲得清晰的紅外圖像，自動對焦算法非常重要，快速、有效的自動對焦算法能夠在較短時間內判斷出鏡頭的離焦狀況，并迅速發出對焦指令。常用的對焦方法分為離焦深度法和對焦深度法，離焦深度法根據獲得的圖像判斷出鏡頭偏離準焦位置的方向和程度進行對焦，對焦深度法根據多次對焦獲得的圖像，對圖像進行評價，根據評價值得變化確定離焦的方向不斷移動鏡頭，最終完成對焦。在離焦深度法和對焦深度法中，離焦深度法速度快、但比較依賴精確的離焦模型和高精度的控制結構，容易產生系統偏差[1]。對焦深度法因其簡單、穩定的特點，在可見光成像系統如手機和監控攝像頭中得到了廣泛的應用[2]。

Erasmus S. J.等[3]開始研究基于數字圖像處理的自動對焦技術，通過分析圖像邊緣的信息來比較不同圖像的清晰程度。林兆華等[4]將自動對焦過程細分，分別采用改進的Kirsch函數和提升小波變換函數對圖像進行評價，提出了根據圖像脫靶量來選擇對焦窗口的算法和曲線擬合結合爬山算法的搜索策略，減少了背景對對焦的影響。王昊[5]提出了基于單幅圖像的離焦估計法，有效提高了對焦的速度。Xiaofan Yu等[6]提出了利用深度強化學習來對顯微鏡中的物像進行對焦，該方法將傳統評價和搜索兩個過程整合到一個網絡中，形成了一個端到端的算法。Rudi Chen等[7]提出了基于決策樹的自動對焦方法，提高了在低光條件下對焦的精確度。

由于紅外探測器所獲得的圖像質量普遍比可見光探測器的差，成像噪聲大，存在壞點，望遠鏡的視場小，大氣折射帶來的圖像模糊程度不穩定，一般自動對焦算法直接應用于紅外望遠鏡上，使得基于圖像質量的自動對焦失敗幾率大大增加，所以需要為紅外望遠鏡系統尋找適合的自動對焦算法。

1 紅外望遠鏡系統

搭建的卡塞格林反射式紅外望遠鏡系統如圖1所示，主反射鏡焦距300mm，口徑600mm，紅外探測器成像大小為640×512，像元尺寸為15mm，響應波長為3.7～4.8mm，F數為2，具備二維轉動功能。望遠鏡系統中相機的積分時間為6ms，在最高8°/s的角速度的運動中幾乎不產生運動模糊。

圖2為紅外望遠鏡系統的控制框圖。紅外輻射首先進入光學系統，然后在紅外探測器上成像，探測器的光敏元響應后由采集卡采集到圖像數據，最后傳送到PC機上由上位機進行處理。其中自動對焦部分，由上位機發送指令控制步進電機帶動反射鏡沿著光軸移動，完成自動對焦任務。

圖1 實際紅外望遠鏡系統

圖2 紅外望遠鏡自動對焦系統框圖

紅外望遠鏡系統在成像上與一般可見光系統有很大的區別，尤其在靜止情況下的成像，可見光成像系統如智能手機鏡頭基本都是近距離成像，空氣密度不均在短距離內對光線的影響極其有限，所以成像質量也不會發生較大的變化。而紅外望遠鏡系統為遠距離成像，空氣密度不均在較長距離上對光線有較強影響，這一點在氣溫較高時尤為明顯。圖像在大氣折射下不斷地變化，導致對焦評價函數評價值不斷抖動，在峰值兩側的對焦評價函數評價值也不再單調，進而使自動對焦算法不能找到對焦評價函數的峰值或者極易找到局部極大值。在平穩平臺上使用紅外望遠鏡對近處一房屋窗戶進行連續成像，其中兩幅圖像的對比如圖3所示，上圖比下圖的Tenengrad函數評價值大4.25%，上圖比下圖更清晰。

圖3 在靜止平臺上不同時刻成像對比

2 對焦評價函數

基于數字圖像處理的自動對焦的算法分為離焦深度法和對焦深度法，離焦深度法根據采集到的圖像估計出離焦量驅動鏡頭到達準焦位置，但是這種方法對焦的質量依賴于高精度的離焦模型，穩定性不高。對焦深度法需要根據當前獲取的圖像的清晰度來決定下一步對焦的方向和距離，在數次循環后找到系統的準焦位置，具有較強的穩定性。因此，采用對焦深度法。

性能優良的對焦評價函數對基于對焦深法的自動對焦算法來說至關重要。理想的對焦評價函數滿足單峰性、無偏性、靈敏度高和計算量小的特點，對于紅外望遠鏡系統，其焦點從幾十米到幾公里遠，所以高動態范圍也是一項重要的性質。近年來已有多項研究提出了各種不同的對焦評價函數，主要分為基于梯度信息的函數，基于頻譜的函數以及熵函數。其中基于梯度的對焦評價函數具有良好的實時性被廣泛用于各種自動對焦系統[8]。

清晰的圖像在空域上表現為更清晰地邊緣，圖像的邊緣表現為圖像局部灰度變化較大的地方，也就是梯度值較大的地方。目前常用的基于梯度的調教評價函數有Tenengrad函數、Brener函數、Laplacian函數、灰度差分絕對值和函數（Sum of Modulus of gray Difference，SMD）、能量梯度函數（Energy of Gradient，EOG）、Roberts梯度和函數以及一種覆蓋范圍可調的變頻梯度對焦評價函數[9]。Tenengrad函數使用Sobel算子計算圖像橫向和縱向的灰度梯度信息，Brener函數只考慮一個方向的梯度信息，Laplacian函數是一種二階微分算子，對噪聲比較敏感，覆蓋范圍可調的變頻梯度對焦評價函數的動態范圍和靈敏度根據不同需求進行調整，但是其缺點是計算量較大。

為了尋找適合此紅外望遠鏡系統的對焦函數，使用該系統連續采集120幀從失焦-準焦-失焦的紅外圖像，幀與幀之間步進距離為10個脈沖，得到了去除一部分幀之后的圖像，如圖4所示。

利用上述對焦評價函數對這些圖像進行評價，向最大值歸一化后的評價曲線如圖5所示。對100張圖像進行評價，得到每個對焦評價函數每張圖像平均處理時間如表1所示。

圖4 從離焦-準焦-離焦采集的部分圖像序列

圖5 評價函數對采集的圖像向最大值歸一化后的評價值

由圖5和表1可得Variance、Squared、Brener、Roberts算子的動態范圍太小，在失焦量較大時過于平緩，而文獻[9]中所提對焦函數的算法實時性太差，綜合評價函數單峰性、靈敏度、動態范圍、計算量等因素，選擇Tenengrad函數作為對焦評價函數，在單獨的線程中平均能達到21.57fps的幀率。

3 抑制對焦過程中的噪聲

由第2章可知，紅外望遠鏡系統在成像的時候會受到如大氣折射、探測器壞點等噪聲的影響，如果不設法降低這些噪聲的影響，對焦函數會失去單峰性，進而使搜索算法找到局部最大值點，最終導致對焦失敗。

表1 不同對焦評價函數的實時性

為了探究在靜止狀態下紅外望遠鏡系統成像的清晰度浮動情況，利用穩定的實驗平臺，對3km遠處的建筑物的成像，以45fps的幀率連續采集30幀圖像，計算得到的Tenengrad值與均值的比值圖像如圖6所示，極差為0.11544，標準差0.03471，圖中直線為平均值。從圖6可以看出紅外望遠鏡系統成像的清晰度在不斷地波動之中。

圖6 對靜止目標連續采集成像的評價值

卡塞格林系統具有長焦距、大通光口徑、工作波段寬等特點[10]。，相應地，對焦機構使用絲桿結構來保證對焦具有的較高的精度，但長焦距、微步進使得鏡頭移動緩慢，實驗中紅外望遠鏡從前焦到后焦需要1.2s。在對焦過程中，系統采集到的紅外圖像由于平臺抖動、大氣折射，甚至飛鳥闖入視野等因素會產生模糊，清晰度不斷變化，尤其在接近準焦的位置，清晰度變化極易導致搜索算法找到錯誤的單峰。所以必須對清晰度評價值進行中值濾波，每一次步進后的清晰度評價值由式(1)得到：

median＝median{1,2, …,f} (1)

式中：median為每次鏡頭步進后的評價值，在后文中，函數的評價值都代表其已經求過中位數。1,2, …,f表示每次鏡頭步進后次成像的清晰度評價值。

對相同建筑物所成像進行連續采集后，每10個點為一組，求Tennengrad函數值取其中位數、平均數后所得圖像如圖7所示，極差為0.091其標準差為0.03284。由此可見，抑制噪聲的方法有一定效果。

利用多次采集圖像并求評價值中位數的方法，采集紅外望遠鏡從離焦-準焦-離焦的圖像，作箱線圖如圖8所示，圖中菱形小方塊代表離群值，豎直線段兩端為清晰度值的有效最大值和最小值，線段中的點位中位數，將每個圖像序列清晰度值的中位數連起來得到比較平滑的圖像為清晰度評價曲線。可以看出在峰值附近，評價值波動較為劇烈，如果沒有進行去噪，自動對焦算法找到的準焦位置可能并不是最優的準焦位置。

圖7 對靜止目標連續采集成像的評價值取中位數作為最終評價值

4 搜索算法

搜索算法對于對焦的速度和精度也起著至關重要的作用，基本分為全局搜索法、爬山法、二分搜索、曲線擬合搜索、以及上述幾種搜索方法的組合[11]。全局搜索是最簡單的搜索算法，但它需要遍歷整個對焦范圍，步長小的情況下總是能夠找到最清晰的鏡頭位置，效率隨著步長減小而急劇降低，在紅外望遠鏡系統跟蹤目標的過程中遍歷整個對焦范圍會讓跟蹤算法丟失目標。大多數基于爬山法的搜索算法使用由粗到精的步長，該方法可以有效地減少尋找準焦位置的時間，典型的算法為兩階段爬山法。曲線擬合搜索將清晰度評價值擬合到多項式或者高斯方程上，在對焦過程中只需計算三四個位置處的清晰度值就能找到準焦位置，但是該方法比較依賴峰值附近的數據，在較高噪音的情況下可能無法找到準焦位置。

圖8 Tenengrad評價函數中值濾波后的評價函數圖

在兩階段自動對焦算法中，首先使用大步距迅速找出評價函數大致的單峰位置，再使用小步距精細對焦找出精確的準焦位置。在粗對焦階段，如果步距太大，容易跨過準焦位置，使得細對焦階段需要多次對焦才能找到準焦位置。粗對焦階段的步距太小也會導致粗對焦階段需要太多的對焦次數。

在爬山法的基礎上提出了變步長的方法。類比深度學習梯度回傳算法中的帶動量的隨機梯度下降法（stochastic gradient descent，SGD）和自動控制理論中的PID（Proportion Integral Differential）算法，可以很自然地將動量和加速度帶入爬山法之中。首先確定粗對焦基礎步進步長為b。取第次步進后的評價值與第－1次步進后的評價值的差為動量，除以第－1次步進后的評價值進行歸一化，如式(2)。取第次步進后的評價值增長量與第－1次評價值的增長量的差作為加速度，除以第－1次步進后的評價值的增長量進行歸一化，如式(3)。最終步進量如式(4)所示。

式中：、為系數。

粗對焦階段結束后使用細步長s進行精細對焦完成自動對焦。變步長兩階段爬山算法流程圖如圖9所示。

5 自動對焦實驗

實驗利用搭建的卡塞格林反射式紅外望遠鏡系統對距離約3km遠的一處建筑物進行自動對焦。試驗采用兩種算法進行對比。對比算法在粗對焦階段采用固定步長，利用Tenengrad清晰度評價函數，每次步進后采集5幅圖像取Tenengrad評價函數的中位數作為該次步進后的清晰度值，其粗對焦步進距離分別為20、30、40脈沖，細對焦步進步長為10，變步長的爬山法中取基準步長s＝20、30、40，s＝10，參數＝200，＝200。設置等待鏡頭移動完成時間為50ms，完成一次步進的時間在300ms內。

實際目標跟蹤中不會有離焦500脈沖以上才對焦的情況發生，所以設定允許偏離的脈沖數分別為100、200、300、400脈沖，在每種條件下實驗重復對焦20次，取所需對焦步數的平均值為最終對焦步數，實驗結果如表2和表3所示。隨機選取對焦前后的圖像如圖10和圖11所示。

由表2可以看出使用提出的算法所需對焦步數均比對比算法所需的步數少，隨著基準步長的增加，完成對焦所需的步數在減少，但在基準步長為40的時候所需的對焦步數多于基準步長為30的時候所需的對焦步數，同樣的現象出現在對比算法取固定步長為40，失焦脈沖為200的時候，這是由于粗對焦步長太大，大大越過了焦面的位置，導致細對焦步數增多。所以，實際應用中需要根據不同的系統選取適合的參數，以適應不同的工作環境。

表3為不同失焦情況下使用兩種算法自動對焦前后的圖像清晰度的比較，從圖像清晰度的提升效果可以看出，兩種自動對焦算法的提升效果在同一水平。

6 結論

本文通過在采集的多幅紅外數據上，測試了多個對焦函數的性能，在考慮單峰性、動態范圍和實時性的情況下選擇了Tenengrad作為對焦函數，并使用了中值濾波和多次評價圖像清晰度求中值的方法降低圖像的噪聲，增強了對焦函數在單峰兩側的穩定性，然后采用帶有動量的兩階段爬山法作為搜索函數。最終在紅外望遠鏡系統上以不同失焦程度進行對焦實驗，驗證了自動對焦設計的可行性。

圖9 變步長的爬山法算法流程

表2 使用對比方法和使用本文提出的變步長自動對焦算法完成對焦所需的步數對比

表3 使用兩種算法對焦前后的紅外圖像清晰度對比（其中Tenengrad數值均為原數值除以1×109后的結果）

圖10 紅外望遠鏡系統自動對焦前圖像

圖11 紅外望遠鏡系統自動對焦后圖像

[1] 李洪宇, 楊帆, 譚文斌, 等. 基于HVS算子的自適應清晰度自動調焦評價函數[J].紅外技術, 2017, 39(7): 632-637.

LI Hongyu, YANG Fan, TAN Wenbin, et al. A Self-adaptive Clarity Auto Focus Evaluation Function Based on HVS Operator[J]., 2017, 39(7): 632-637.

[2] CAO Yongpeng, XIN Chunhui, PAN Qingsong. Study on auto-focusing searching algorithm applied to integrated camera[J]., 2018, 39(4): 483-490.

[3] Erasmus S J, Smith K C A. An automatic focusing and astigmatism correction system for the SEM and CTEM[J]., 1982, 127(2): 185-199.

[4] 林兆華, 劉鑫, 王嵐, 等. 采用MSP430單片機的自動調焦控制系統在經緯儀上的應用[J]. 電光與控制, 2011, 18(1): 48-52.LIN Zhaohua,LIU Xin,WANG Lan,et al. Application of MSP430 in Autofocus System of Theodolite[J]., 2011, 18(1): 48-52

[5] 王昊,張濤,張振,等.單幅圖像估計離焦量的航空攝像機自動調焦系統[J].液晶與顯示,2016,31(5):484-490.

WAHG Hao, ZHANG Tao, ZHANG Zhen, et al. System of aerial camera auto-focus based on defocus estimate by single image[J]., 2016, 31(5):484-490.

[6] YU X, YU R, YANG J, et al. A Robotic Auto-Focus System based on Deep Reinforcement Learning[C]//2018 15th(),, 2018: 204-209.

[7] CHEN R, Van Beek P. Improving the accuracy and low-light performance of contrast-based autofocus using supervised machine learning[J]., 2015, 56: 30-37.

[8] ZHANG Y, LIU L, GONG W, et al. Autofocus system and evaluation methodologies: a literature review[J]., 2018, 30(5): 1165-1174.

[9] 王燁茹, 馮華君, 徐之海, 等. 一種覆蓋范圍可調的變頻梯度自動對焦評價函數[J]. 紅外與激光工程, 2016, 45(10): 266-271.

WANG Yeru, FENG Huajun, XU Zhihai, et al. An adjustable coverage range autofocus evaluation function using gradient operator with variable frequency[J]., 2016, 45(10): 266-271. doi: 10.3788/IRLA201645.1028001.

[10] 栗洋洋, 劉琳, 彭晴晴, 等. 卡塞格林系統的雜散輻射分析[J].激光與紅外, 2019, 49(8): 987-991.

LI Yangyang, LIU Lin, PENG Qingqing, et al. Stray radiation analysis of Cassegra in system[J]., 2019, 49(8): 987-991.

[11] SHA X, LI W, LV X, et al. Research on auto-focusing technology for micro vision system[J]., 2017, 142: 226-233.

Variable Step Autofocus Design for Infrared Telescopes

YANG Pengbo1,2,3，LI Jie1,3，CUI Wennan2，ZHANG Tao1,2,3

(1.,,200083,; 2.,201210,;3.,100049,)

In long-range target detection and tracking, image clarity plays a critical role. An infrared telescope system has a long imaging distance and a short depth of field, and the image blur caused by defocusing tends to be more severe in this system. In addition, because of the atmospheric refraction, the image derived from the telescope constantly changes. This results in a low focusing success rate and low efficiency in traditional focusing algorithms. To improve both the success rate and speed of autofocus, a mountain climbingalgorithmic method with a variable step size was proposed in this study. Image clarity was obtained several times, and its median was calculated to ensure image clarity accuracy. Using the mountain climbing algorithm with momentum and acceleration reduces focusing instability as well as the number of steps required for the coarse focusing process. The algorithm was applied in an actual medium-wave infrared telescope system. Experimental results revealed that the focusing steps required by the algorithm for the coarse focusing stage were reduced by 12.8%, in comparison with the traditional mountain climbing method, meeting the requirements of an infrared telescope system.

autofocus, infrared telescope, evaluation function, momentum, acceleration

TP391

A

1001-8891(2021)03-0218-07

2020-03-21；

2020-12-30.

楊鵬博(1996-)，男，陜西寶雞人，碩士生，研究領域為人工智能及數字圖像處理，E-mail: yangpb@shanghaitech.edu.cn。

張濤（1966-），男，陜西西安人，研究員，博士生導師，主要從事空間光電探測技術領域的研究。E-mail: haozzh@sina.com。

崔文楠（1970-），男，研究員，碩士生導師，主要從事空間光電探測技術領域的研究。E-mail: cuiwennan@mail.sitp.ac.cn。