紅外成像系統中自動對焦功能優化方法研究

楊瑞宇，呂 浩，龔曉霞，吳 誠，李學寬，蘇 蘭，范明國，尹敏杰，杜潤來

紅外成像系統中自動對焦功能優化方法研究

楊瑞宇，呂 浩，龔曉霞，吳 誠，李學寬，蘇 蘭，范明國，尹敏杰，杜潤來

（昆明物理研究所，云南 昆明 650223）

為了在紅外成像系統中實現高效的自動對焦功能，深入分析和討論了紅外成像系統中自動對焦功能的優化方法及特點。結合具體的工程化應用，提出了一種對圖像清晰度評價函數局部隨機起伏噪聲的估計方法，該方法可以提高自動對焦功能的可靠性，通過將圖像清晰度評價函數的靈敏度作為反饋量引入爬坡過程，優化了爬坡算法的收斂速度。其優化方法在工程應用中的實施效果，驗證了設計的正確性，優化方法的有效性。

自動對焦；紅外成像；圖像清晰度評價函數；爬坡算法；自動對焦窗口

0 引言

紅外成像技術作為光電成像技術的重要分支學科，其工程化的應用極大地拓展了人們的“視野”，成為了人類征服未知“漆黑”世界的一件“利器”。但受制于價格因素，目前階段主要的應用，仍以軍事運用背景為主，通常用于大型武器裝備的偵查、穩瞄，或夜間導航，輔助駕駛等。在考慮到不增加紅外系統復雜性前提下，基于數字圖像信息處理的對焦深度自動對焦方法，成為了為一種高性價比、務實可行的自動對焦功能實現方案[1]。

采用基于數字圖像信息處理的對焦深度方法，實現自動對焦功能，主要包含3個關鍵技術，一是清晰度評價函數，二是對焦窗口的選擇，三是搜索算法。而自動對焦功能的優化實現過程，具體方法通常圍繞著基于數字圖像信息處理的對焦深度方法的3個關鍵技術而展開。

圖像清晰度評價函數可分為多種，分別是灰度函數、頻域函數、信息熵函數、統計學函數和基于邊緣輪廓線提取函數等[2-5]。清晰度評價函數的選取應滿足如下設計約束性要求：①有效性：運算得到的對焦位置要和實際的焦點位置表現出重合，而不是一個無關的位置；②單峰性：該函數在調焦的有效行程中有且僅有一個極值位置，對應著自動調焦的最優位置（或算法自身能剔除雙峰或多峰帶來的歧義）；③無偏性：該函數對不同目標背景有著類似的響應率分布（針對調焦行程），對不同目標背景計算得到的曲線要與場景的實際變化相吻合。選取的清晰度評價函數，應滿足一定的性能要求：①高靈敏度：該函數要在峰值附近隨焦距的變化表現出明顯的數值變化，以方便確定峰值的位置；②高信噪比：該函數計算方法對圖像噪聲和目標背景的微小擾動的影響有一定抗干擾能力[5-6]。通過選擇合理的對焦窗口可以降低評價函數運算量，剔除不同景深下對同一背景目標帶來的影響[7]。對焦窗口的選擇方案有：中央選擇法、多區域選擇法、黃金分割點位置法和神經算法等[8]。

搜索算法決定于控制系統，能否在自動對焦過程中，根據當前圖像清晰度評價函數的值，控制焦距變化以快速收斂至最佳對焦位置。常用的對焦搜索算法有盲人爬坡法、窮舉搜索法、Fibonacci搜索法、函數逼近法和黃金分割法等。具體實現應重點考慮如下3個要素：①合理初值的選取；②收斂的有效性；③高的收斂速度[9-10]。

大型武器裝備中的紅外成像系統中，視距通常是其系統功能追求的首要指標，但探測器往往匹配于復雜而笨重的光學成像機構，在此類紅外成像系統中實現自動對焦功能，存在一定實施的困難。通常的具體表現有：視場變倍比大（調焦行程較長）、調焦結構載荷重（執行機構運動遲緩）、齊焦性能隨溫度漂移較大、和紅外圖像性噪比低等一系列特點，最終將導致自動對焦功能實時性能下降。本文針對上述紅外成像系統的特點，通過研究自動對焦功能的關鍵技術，提出了一種基于數字圖像信息處理的自動對焦深度優化方法，在某一型號無人機紅外載荷自動對焦功能的實現過程中，通過成功率、精度和速度3個關鍵性能參數的測試和評價，驗證了其優化方法的有效性。

1 自動對焦關鍵技術的優化

1.1 圖像清晰度評價函數優化

清晰度評價函數提取方法有多種，其中基于邊緣特性提取的方法有：常規的離散差分（differentiation）算子、基于微分的Prewitt算子、常規的梯度算子（gradient）、基于梯度的Roberts算子、Sigma算子和Sobel算子等。為了比較不同方法提取清晰度評價函數的效果，本文通過實驗方法采集計算了上述算子計算得到的圖像清晰度評價函數的實驗數據，和與之對應的不同調焦位置的擬合曲線圖，如圖1所示。

在圖1中，通過NI（National Instruments）公司的機器視覺軟件，采樣計算了某型號熱像儀的上述6種不同算子得到的圖像清晰度評價函數擬合曲線圖，從圖中我們不難發現其中的Sobel算子提取圖像清晰度評價函數的擬合曲線較其他5條擬合曲線，相對平滑（局部噪聲波動較小，圖像清晰度評價函數擬合曲線的歸一化均方根值較小），同時峰值絕對值較大（圖像清晰度評價函數多項式擬合趨勢圖的峰值梯度），單調性較好（圖像清晰度評價函數多項式擬合趨勢圖的平均梯度較大），見表1。在實際情況下，由于噪聲的影響，對局部最大值與最小值的確定就存在較大的誤差，從而導致圖像細節模糊、不清晰。從圖1的對比分析中我們可以得出結論：針對于實驗中涉及的紅外光電系統，上述的6種不同算子，Sobel算子更適合作為此紅外成像系統中圖像清晰度評價函數的提取方法。

圖1 多種方法提取熱像清晰度評價函數擬合曲線的比較圖

在紅外數字圖像視頻流處理過程中，合理選擇提取圖像清晰度的節點，是自動對焦功能優化方法的一個技術關鍵點。圖2為某型號機載熱像儀所拍攝得到的實物和經過數字濾波處理前后的圖像及相應的圖像清晰度評價函數（隨焦距）曲線的對比圖，其中圖2(a)為某型號機載熱像儀數字濾波處理前的圖像場景圖，該圖有較多盲點，看起來較為模糊、清晰度較差；圖2(b)為某型號機載熱像儀數字濾波處理后的圖像場景圖，在圖2(a)的基礎上，我們引入了數字濾波處理，從處理前后的兩幅對比圖中可以很直觀地看到，經過處理后的圖像，剔除了原有圖像中的較多盲點，整體提高了圖像的質量和清晰度。

圖2(c)和圖2(d)為與2(a)和2(b)相對應的圖像清晰度函數值擬合曲線，從圖2(a)中可以明顯看出，在該圖中存在較多的高頻椒鹽噪聲。結合該圖我們來討論椒鹽噪聲對圖像清晰度函數（此處，定義為）的影響。對圖2(c)和圖2(d)進行認真觀察和仔細比較后，可以發現2幅圖像的清晰度函數值擬合曲線無論在形狀上或者是整體趨勢上變化均不大，主要的差異表現在于：圖2(d)較圖2(c)增加了一個相對固定的線性偏置分量。其結果是：由于圖2(b)的椒鹽噪聲產生的線性偏置分量被濾除（或得以抑制），導致與之對應的曲線有較大相對變化率。

就上述情況，考慮到圖像清晰度函數的靈敏度的影響，圖2(b)較圖2(a)更適合于自動對焦功能的實現。由此可見，在紅外成像系統中為保證自動對焦功能的實現和性能的提升，往往更加期望一個“干凈”（無噪聲干擾）的場景。紅外成像數字圖像處理中，除了特有的非均勻校正算法和盲元替換算法，為了解決目標場景（或采樣電路輸入）與輸出觀瞄顯示系統的動態范圍不匹配的問題，往往還會引入一些非線性動態壓縮和細節增強算法，此類非線性的處理，無疑將增加清晰度評價函數的選取違背自動對焦設計約束的風險（有效、單峰、無偏性）。兼顧考慮到其要求的性能參數：高性噪比和靈敏度，本文選擇了經過非均勻校正，濾除圖像本征的高頻噪聲，進行盲元替換后，實時直方圖均衡前的視頻流，作為圖像清晰度評價函數的提取節點。本文所涉及紅外成像視頻的數據流圖，如圖3所示。

表1 多種圖像清晰度評價函數計算方法的對比表

圖2 熱像數字濾波前后的圖像及相應的圖像清晰度評價函數的曲線

1.2 自適應的對焦窗口調整

動態自適應地選擇對焦窗口，更有利于得到單峰的圖像清晰度評價函數。假設F（取自然數，代表第次調焦的計數）為調焦過程中焦距相對位置序列，與之相對應的圖像清晰度評價函數值，也記為D。本文涉及的具體工程實踐中，通過細分子窗口，并根據圖像清晰度評價函數調焦步長改變的變化量D（其中，D＝D－D－1），可以選擇D較大的子窗口，作為清晰度評價函數計算中采樣計算數據窗口，以實現本部分的設計方法的優化。如圖4，如將中心窗口進一步細分16個子窗口，其中圖4(c)和圖4(d)，是圖4(a)和圖4(b)相對應圖像，進行拉普拉斯濾波后的圖像。在大視場情況下，不難發現子窗口W00，W01，W10，W30和W31對于圖像清晰度評價函數的總體變化量的貢獻量是有限的。此種情況下，選擇計算的子窗口可以不包括上述子窗口；而在小視場情況下，情況則相反。所以，在自動對焦前或過程中動態、自適應地選取有效的對焦窗口，也是一種優化自動對焦功能的有效方法。

1.3 噪聲的估計和爬坡算法的優化

爬坡算法的優化，一直是紅外成像系統中實現自動對焦技術的難點和研究熱點。近年來，林忠、王劍華和何炳陽等人提出了“兩次下降爬坡算法”[2]，“變調焦步進的爬坡算法”[10]和“自適應的自動對焦算法”[1]，其要解決的問題是如何使爬坡算法能克服局部峰值，但大多數算法通常是增加了爬坡算法的冗余度（可能降低算法收斂速度）或加強了算法實現約束的條件[11]，在具體工程應用的情況中，也存在一定的實現難度。本文在某型號無人機紅外觀瞄熱像系統的工程化實現中，設計如下自動對焦技術的優化方法，以實現上述方法。

圖3 紅外成像視頻的數據流圖

圖4 熱像的圖像清晰度評價函數中心窗口細分的示意圖

1.3.1 圖像清晰度評價函數噪聲的估計

通過對圖像清晰度評價函數噪聲合理估計，加強了快速爬坡搜索算法反向或結束的約束條件，可以提高算法的精度和可靠性。其理論方法簡述如下：對于一個前期經過濾波的、穩定的數字成像系統，我們可以將其近似地看做，一個以目標場景為輸入，圖像清晰度評價函數為輸出的一個慣性系統，目標場景輸入如果是一個平穩隨機過程，其輸出也應該是一個平穩隨機過程，顯然大多數連續，慢速變化場景的成像系統滿足上述條件。由于系統存在微小的震動、背景噪聲或計算誤差，圖像清晰度評價函數采樣值表示為￠＝＋N，其中N定義圖像清晰度評價函數局部起伏波動的噪聲，區別于數字圖像的本征噪聲，表示一個局部平滑的圖像清晰度評價函數。

一個實際的圖像清晰度評價函數曲線可由兩者的疊加來表示。在自動對焦前或后的過程中，圖像清晰度評價函數值通常是一個隨視頻同步信號同步采樣計算值系列￠[]，顯然，我們可以根據采樣序列￠[]的均值或高階項來估計局部噪聲N（局部峰值）的大小。例如，在噪聲高斯分布情況下，通過￠[]的序列計算，我們可以得到N均值和方差，例如，將噪聲絕對值的最大值區間估計為{－3,＋3}（不同的系統，可更具不同的應用需求或置信度要求，合理調整估計區間），將得到一個大約99.74%的置信空間（其中，置信度={|N－|≤3}≈0.9974）。

若將爬坡算法由D￠-1＜D￠＞D￠+1，再加強一個條件：D￠=＋3，（其中D￠＝|D￠－D－1￠|），滿足此條件下爬坡過程有效，則爬坡的過程，就可以跳出圖像清晰度評價函數局部噪聲峰峰值的區間（噪聲閾值）完成算法，并有99.74%置信度保證其結果的有效性。

在本文的具體設計中，將涉及實現自動對焦功能實現的軟件功能模塊，部署于成像系統中進行圖像處理的FPGA內部，其中嵌入了一個32位MCU軟核處理器。上述軟硬件架構，有較強的計算和圖像處理能力，更有利于保證自動對焦功能實時性能的實現。考慮到自動對焦技術對于紅外場景適應的多樣性，實際應用要求N能自適應地調整和估計，本文構建了一個輸入￠[]、最小均方誤差N為設計約束的自適應數字濾波器，可實現對N的估計。在自動調焦前，固定的場景屬于平穩隨機過程，濾波器類似于維納濾波器結構的數字濾波器，以N最小均方誤差準則構建數字濾波器，估計量記為N，并以當前數字濾波器參數作為濾波器的初始值。當調焦機構在自動調焦功能工作模式下，輸入變化為非平穩隨機過程，濾波器進化為一個類似于卡爾曼濾波器結構的自適應數字濾波器，并實時調整濾波器序數矩陣的參數值，而得以實現上述自適應功能。采用上述的設計優化方法，額外帶來的一個好處是，確定了算法的有效性的置信度后，也就確定圖像清晰度評價函數局部噪聲閾值區間。若定義調焦步長為D，最小步長（表示為MIN(D)，其中，D＝F－F－1）也可以確定，即自動調焦最小步長選取應大于等于，引起圖像清晰度評價函數最小的改變量：＋3。

為了驗證上述設計的正確性，分別在實施策略前后，各取1000次實驗樣本空間來驗證設計的準確性和可行性，在1000次紅外成像系統自動對焦實驗中詳細記錄每次對焦清晰的次數。在紅外成像系統未引入策略實施前，在1000次實驗樣本中，其中有916次執行完成自動對焦后，并達到清晰位置（命中），另外84次完成對焦后不能達到清晰位置（未命中），成功命中率為91.6%；在成功引入策略實施后，在1000次有實驗樣本中有982次執行完成自動對焦后達到清晰位置，只有18次完成對焦后不能達到清晰位置，成功命中率為98.2%。由此可見，在實施本文設計策略后，自動對焦的成功命中率提高了6.6個百分點，實驗數據結果證明了本文針對紅外成像系統所采用的策略設計準確、可靠。該策略的實施，將有效地抑制圖像清晰度評價函數的噪聲，并大幅提升自動對焦功能的成功命中率。

1.3.2 爬坡算法中反饋量的引入

若將S＝(D￠－D－1￠)/(D￠×(F－－1))，作為圖像清晰度評價函數歸一化后，相對焦距的變化量近似值引入，定義為靈敏度（圖像清晰度評價函數隨調焦變化量的敏感度），并以此作為爬坡算法的反饋量，將有利于爬坡算法的收斂。S及其高階項也可用于估計爬坡搜索算法的步進步長，有利于算法的快速收斂。例如，在本文具體設計中，當D＞5(＋3)（即D遠大于(＋3)）時，可取D＞((D－－3)×D￠/S)對D進行估計，當D不滿足上述條件時，最小調焦步長的估計為；DMIN＝((＋3)×D￠/S)，實際的最小調焦步長應大于此估計值。

以實驗驗證上述的優化方法，分別在實施策略前后，取1000次實驗樣本空間，以平均迭代次數考察算法的收斂速度。實施前，爬坡算法平均迭代次數為7；實施后，爬坡算法平均迭代次數為5。實驗表明，上述設計方法有利于爬坡算法的收斂。

1.3.3 分段標定并壓縮對焦搜索的范圍

本文涉及的紅外成像系統應用于軍用背景，要求有較寬的工作溫度范圍，較大視場變倍比，于是要求與之匹配的光學調焦系統也具有相應較長的調焦行程。同時考慮到紅外成像光學系統的齊焦性隨溫度漂移較大，其溫度漂移特性大多穩定的特點，如果在自動對焦前，通過實驗方法，根據系統應用要求的實際景深，可分段標定其在各種溫度的焦深，就能有效壓縮自動對焦搜索的有效行程，以提高自動對焦功能的實時性能。通過實驗來驗證分區的有效性，具體實施方法如下，結合紅外非均勻校正中兩點校正的參數標定方法，將設備的全溫工作范圍（－50℃～＋70℃）化分為7個溫區，壓縮后的自動對焦搜索范圍與全溫范圍的對比示意如圖5所示，試驗數據如表2所示。在本實驗方案中，調焦系統全溫調焦行程總長為15mm，最小調焦步進20mm。未分段前，系統每次自動對焦都將在0～15mm的調焦行程中遍歷一遍，從而確定最佳調焦點；壓縮對焦后最長的自動對焦搜索范圍（比如溫區6）比全溫搜索范圍大概壓縮了60%的長度，效率就提高了60%以上，在實際工作中，系統每次對焦之前會讀取系統當前的環境溫度，根據不同的溫度，在自動對焦時選擇不同的溫區進行對焦。在本次試驗過程中，我們同樣取1000次有效實驗樣本來進行實際測試。

圖5 溫區分段壓縮后的搜索范圍與全溫的搜索范圍對比示意圖

通過自動對焦系統實施壓縮對焦策略前后的實驗數據分析，當系統采用了壓縮對焦策略之后，系統在全溫度范圍內自動對焦的有效時長從2.6s提高到1.2s，自動對焦的速度提高了1.16倍。

分段標定壓縮的自動對焦搜索范圍的方法，能大幅地壓縮自動對焦搜索范圍，以提高其功能實時性。但其適用的條件也是有一定約束限制的。其一，該設計策略主要適用于更寬的溫度工作范圍，存在溫度有較大漂移的成像系統；其二，其方法有效性和效率與成像系統的應用要求密切相關，例如本文設計的紅外成像系統運用于無人機的觀瞄和導航，其飛行高度很大程度將決定了有效的景深范圍，自然分段壓縮后的自動調焦搜索范圍將有大幅的壓縮；其三，其方法策略是針對于紅外成像系統的齊焦性隨溫度漂移較大的特點而提出的，其更適用于多視場、大變倍比、長焦距調焦行程的紅外成像系統。

2 結論

本文在某型號無人機機載紅外熱像儀的工程化應用中，采用了上述優化方法進行了自動對焦功能設計，其應用效果驗證了優化方法的有效性。本方法除了能有效提高圖像清晰度評價函數的信噪比、靈敏度、有效性，還能通過溫區標定的方法壓縮自動對焦搜索范圍，優化爬坡搜索算法的收斂速度，提升自動對焦實時性能。然而，本文對自動對焦技術在紅外成像系統中設計的優化方法，更多地局限于軟件算法的思想。實際應用中，作為紅外成像的光機要素，諸如紅外探測器的性能，調焦伺服機構運動速度、精度，及光學設計的集成度等方面，仍然是制約自動對焦的技術瓶頸。期待隨其相關硬件工藝及其綜合制造能力的提升，紅外成像系統中的自動對焦技術，將取得更為普遍而高效的應用。

表2 實施策略前后自動調焦平均用時對比表

[1] 何炳陽, 張智詮, 楊秋實, 等. 熱成像系統自適應自動對焦算法[J]. 激光與紅外, 2017, 47(10): 1199-1263.

HE Bingyang, ZHANG Zhiquan, YANG Qiushi, et al. Adaptive auto-focusing algorithm of thermal imaging system[J]., 2017, 47(10): 1199-1263.

[2] 林忠, 黃陳蓉, 盧阿麗. 自動對焦綜合性能指標及一種基于雙向兩次下降的自動對焦算法[J]. 科學技術與工程, 2015, 15(32): 175-180.

LIN Zhong, HUANG Chenrong, LU Ali. Auto-focus compressive performance evaluation and an auto-focus algorithm based on two-way twice descent[J]., 2015, 15(32): 175-180.

[3] 郝爭輝, 張學松, 王高, 等. 基于邊緣輪廓線提取的自動對焦評價函數[J]. 紅外技術, 2018, 40(2): 170-175.

HAO Zhenghui, ZHANG Xuesong, WANG Gao, et al. Auto focusing evaluation function based on edge contour extraction[J]., 2018, 40(2): 170-175.

[4] 王燁茹, 馮華君, 徐之海, 等. 一種覆蓋范圍可調的變頻梯度自動對焦評價函數[J]. 紅外與激發工程, 2016, 45(10): 258-263.

WANG Yeru, FENG Huajun, XU Zhihai, et al. An adjustable coverage range autofocus evaluation function using gradient operator with variable frequency[J]., 2016, 45(10): 258-263.

[5] 尤玉虎, 劉通, 劉佳文. 基于圖像處理的自動對焦技術綜述[J]. 激光與紅外, 2013, 43(2): 132-136.

YOU Yuhu, LIU Tong, LIU Jiawen. Survey of the auto—focus methods based on image processing[J]., 2013, 43(2): 132-136.

[6] 李少華. 紅外成像系統自動調焦功能的設計與實現[D]. 武漢: 華中科技大學, 2013.

LI Shaohua. Design & Realization of Auto-focusing in FPGA-based Infrared Imaging System[D]. Wuhan: Huazhong University of Science & Technology, 2013.

[7] 王紅偉, 王加慶, 吳南健. 基于高速視覺目標跟蹤系統的自動調焦算法的設計[J]. 光電系統, 2018, 39(5): 716-721.

WANG Hongwei，WANG Jiaqing, WU Nanjian. Design of automatix focusing algorithm based on high speed vision object tracking system[J]., 2018, 39(5): 716-721.

[8] 馬宣. 能夠自動對焦的紅外成像系統軟件的設計[D]. 成都: 電子科技大學, 2014.

MA Xuan. The Design of an Auto-Focusing Infrared Imaging System[D]. Chengdu: University of Electronic Science and Technology of China 2014.

[9] 王建瑞, 鄧華秋, 陳參寧. 基于紅外圖像的自動調焦技術[J]. 光電技術應用, 2018, 33(3): 1-5.

WANG Jianrui. Auto focusing technology based on infrared image[J]., 2018, 33(3): 1-5.

[10] 王劍華, 鄧華秋, 陳參寧. 數字自動對焦中的搜索算法研究[J]. 傳感器與微系統, 2012, 31(5): 51-54.

WANG Jianhua, DENG Huaqiu, CHEN Canning. Research on search algorithm for digital auto-focus[J]., 2012, 31(5): 51-54.

[11] HE J, ZHOU R, HONG Z. Modified fast climbing search auto-focus algorithm with adaptive step size searching technique for digital camera[J]., 2003, 49(2): 257-262.

Optimizing Method of Autofocusing Function in Infrared Imaging System

YANG Ruiyu，LYU Hao，GONG Xiaoxia，WU Cheng，LI Xuekuan，SU Lan，FAN Mingguo，YIN Minjie，DU Runlai

(,650223,)

In order to realize high efficiency auto focusing function in infrared imaging system, the characteristics of infrared imaging systems are analyzed. The optimization methods of auto-focusing functions in infrared imaging systems are discussed and summarized. Combined with practical engineering applications, a method for estimating the local random fluctuation noise of the image sharpness evaluation function is proposed. The method improves the reliability of automatic focusing processes. By introducing the sensitivity of image sharpness evaluation function as feedback into the climbing process, the convergence speed of the climbing algorithm can be optimized. The optimization methods were applied to engineering applications, and its implementation verified the correctness of the design and the effectiveness of the optimization methods.

auto-focusing, infrared imaging system, image sharpness evaluation function, mountain-climb searching algorithm, focus window

TP751

A

1001-8891(2020)10-0940-07

2020-07-21；

2020-08-21.

楊瑞宇（1977-），男，云南昭通人，碩士，高級工程師，主要從事紅外圖像處理技術方面的研究工作。E-mail：yangruiyu@aliyun.com。