基于目標(biāo)尺度的實(shí)時智能感知自適應(yīng)聚變焦技術(shù)

程勇策，李 楠，喬宇晨，朱向前

（中國電子科技集團(tuán)公司第三研究所，北京 100015）

0 引 言

在光電偵察中，由于視場角和作用距離之間的矛盾，常常需要調(diào)整相機(jī)的焦距。同時，不同距離的目標(biāo)成像后需要調(diào)節(jié)聚焦，以便使圖像更加清晰。由于觀測目標(biāo)的隨機(jī)性和人的視覺感受差異，尚沒有一個準(zhǔn)確的聚變焦方法能夠滿足所有的應(yīng)用。

目前針對性的研究中，杜平等[1]實(shí)現(xiàn)了50～ 200 mm范圍內(nèi)紅外4倍連續(xù)變焦，完成了對特定景物的放大縮小，且切換過程中不會造成目標(biāo)丟失；潘雪娟等[2]使用了圖像熵作為圖像清晰度的判別函數(shù)，對紅外圖像的聚焦效果進(jìn)行了驗證；周麗平等[3]針對顯微視覺系統(tǒng)小視場的特點(diǎn)，使用了頻域聚焦和時域聚焦相結(jié)合的方法，提高了顯微成像的聚焦正確性和穩(wěn)定性；張耀軍等[4]使用基于非下采樣剪切波變換（Non Subsampled Shearlet Transform，NSST）圖像特征實(shí)現(xiàn)了多個不同聚焦圖像的融合，獲得了結(jié)果圖像，擁有更清晰的視覺效果。

本文主要針對工程中遇到的目標(biāo)聚變焦問題，使用深度學(xué)習(xí)和梯度算子相結(jié)合的方法，實(shí)現(xiàn)光電偵察系統(tǒng)快速變化焦距且快速完成對焦，為光電偵察的無人化值守提供技術(shù)支撐。

1 基于深度學(xué)習(xí)的自動焦距調(diào)節(jié)系統(tǒng)

在光電系統(tǒng)中，通常需要根據(jù)目標(biāo)在視場中的大小來判斷焦距是否合適。其中，最重要的環(huán)節(jié)是檢測出圖像中的目標(biāo)，并確定其范圍。

1.1 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法

隨著相關(guān)器具性能的提高，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法突破了傳統(tǒng)目標(biāo)檢測的瓶頸，成為當(dāng)前目標(biāo)檢測的主流算法之一。李旭冬等[5]描述了當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)的研究進(jìn)展及常用的卷積神經(jīng)網(wǎng)絡(luò)；Lin T Y等[6]提出基于特征金字塔的FPN算法，在增加極小計算量的情況下，處理物體檢測中的多尺度變化問題；Ren S等[7]提出基于R-CNN的目標(biāo)檢測算法，實(shí)現(xiàn)了準(zhǔn)確的實(shí)時目標(biāo)檢測。Redmon J等[8]提出的YOLOv3算法具有小而精的特點(diǎn)，在保證算法準(zhǔn)確性不變的基礎(chǔ)上，通過減少算法輸出張量的尺度，可以有效減小算法的運(yùn)算量，提高算法的運(yùn)行速度。本文基于YOLOv3算法，能準(zhǔn)確識別實(shí)時視頻中的目標(biāo)，并對目標(biāo)的尺寸與視場范圍角度進(jìn)行對比，對視頻的焦距變化提出變焦建議，使目標(biāo)在視場中保持一定尺寸，便于觀察。

YOLOv3使用ResNet的殘差思想和多尺度預(yù)測，使其在一定程度上可以進(jìn)行不同尺度的目標(biāo)識別。原始圖片在預(yù)處理階段被填充縮放至416×416的大小，作為網(wǎng)絡(luò)輸入。YOLOv3的特征提取網(wǎng)絡(luò)結(jié)構(gòu)為DarkNet53，輸入圖片經(jīng)過DarkNet53網(wǎng)絡(luò)降采樣5次，每次產(chǎn)生不同尺度的特征圖。YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)

目標(biāo)檢測階段采用多尺度融合的方式，在最后3個尺度（13×13、26×26、52×52）的特征圖上分別檢測。每個尺度上有3個錨點(diǎn)框（anchor boxes）用于檢測不同規(guī)格的目標(biāo)。算法按照特征圖的大?。⊿×S）將416×416的圖片劃分為S×S個等大柵格（grid cell），每個柵格根據(jù)錨點(diǎn)框預(yù)測3個邊界框（bounding boxes）。每個邊界框返回兩類參數(shù)：第一類為目標(biāo)框信息，即目標(biāo)框的中心位置與目標(biāo)框的寬和高；第二類為目標(biāo)的置信度，取值范圍為[0，1]。 具體檢測方法為：先對13×13的特征圖進(jìn)行卷積預(yù)測，得到第1個尺度下的檢測結(jié)果；之后將13×13的特征圖上采樣得到26×26特征圖，與網(wǎng)絡(luò)降采樣生成的26×26特征圖進(jìn)行特征融合后進(jìn)行卷積預(yù)測，得到第2個尺度下的結(jié)果；同理得到第3個尺度下的結(jié)果。將3次檢測結(jié)果進(jìn)行非極大值抑制（Non-Maximum Suppression，NMS），得到最終 結(jié)果。

YOLOV3采用logistic方式，邊框預(yù)測公式為：

式中：cx、cy是網(wǎng)格的坐標(biāo)偏移量；pw、ph是預(yù)設(shè)的anchor box的邊長。最終得到的邊框坐標(biāo)值是bx、by、bw、bh，網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)是tx、ty、tw、th。

1.2 基于目標(biāo)檢測的焦距調(diào)節(jié)算法

本算法對輸入視頻進(jìn)行逐幀檢測，獲取檢測目標(biāo)的邊界框，得到檢測目標(biāo)的寬、高數(shù)值。分別計算檢測目標(biāo)的寬、高與原始視頻寬、高的比值，取兩者較小值為檢測目標(biāo)的尺寸特征變量。若其數(shù)值小于0.6，檢測目標(biāo)尺寸較小，建議增大焦距，放大目標(biāo)在視場中所占比例；若其數(shù)值大于0.4，檢測目標(biāo)尺寸較大，建議減小焦距，減小目標(biāo)在視場中所占比例。

2 基于梯度的自動聚焦調(diào)節(jié)系統(tǒng)

自動聚焦主要包括圖像清晰度評價函數(shù)、基于評價函數(shù)的圖像清晰度計算方法以及自動聚焦策略3個環(huán)節(jié)。

2.1 基于梯度的圖像清晰度評價函數(shù)

張宏飛等[9]提出了以圖像的灰度梯度和閾值計數(shù)為基礎(chǔ)的清晰度評價方法。在視場不變的情況下，圖像清晰度最高的聚焦位置為對比度高、邊緣清晰的情況。這種情況下，對應(yīng)圖像的邊緣高頻分量的信息較高。為了兼顧效率，本文使用了空域的梯度作為圖像清晰度的評價標(biāo)準(zhǔn)，用來檢測圖像的邊緣高頻信息。使用拉普拉斯算子進(jìn)行梯度計算，考慮X、Y兩維方向：

式中：f()為像素的數(shù)值。

2.2 圖像清晰度的計算方法

在實(shí)際計算圖像清晰度時，需要進(jìn)行條件約束，來降低噪聲及干擾的影響，具體采用3個步驟進(jìn)行處理：

（1）將彩色RGB圖像變換為灰度圖，以提高計算效率；

（2）對圖像進(jìn)行高斯濾波，消除圖像中的椒鹽噪聲，降低噪聲對梯度的影響，提高魯棒性；

（3）選擇計算窗口，為了避免圖像成像畸變對計算的影響，本文并不進(jìn)行全圖像的梯度計算，而是在圖像中心窗口進(jìn)行計算。根據(jù)上述自動變焦的結(jié)果，目標(biāo)在視場內(nèi)的范圍約為0.5，考慮到目標(biāo)不一定在圖像中心位置，因此選擇0.8（w）×0.8（h）的窗口來進(jìn)行梯度計算（w和h分別為圖像的寬 和高）。

2.3 自動聚焦策略

自動聚焦過程即是求取變化過程中圖像梯度最大點(diǎn)的過程。通過折半查找策略，獲取梯度最大點(diǎn)。聚焦調(diào)節(jié)過程如圖2所示。

圖2 聚焦調(diào)節(jié)過程示意圖

其過程如下：

（1）計算當(dāng)前窗口梯度數(shù)值；

（2）按照步長L1調(diào)節(jié)聚焦，重新計算窗口梯度數(shù)值；

（3）如果梯度增加，則繼續(xù)調(diào)節(jié)焦距，直至梯度減??；

（4）若梯度減小，步長減半，反向調(diào)節(jié)焦距，直至梯度增加；

（5）反復(fù)迭代，直至步長小于閾值。

3 試 驗

針對飛機(jī)目標(biāo)進(jìn)行自動變焦試驗。當(dāng)目標(biāo)在視場中較小時，提示增大焦距，放大目標(biāo)在視場中的占屏比。如圖3所示。

圖3 檢測目標(biāo)較小時提示增加焦距

目標(biāo)在視場中較大時，提示減小焦距，縮小目標(biāo)在視場中的占屏比。如圖4所示。

圖4 檢測目標(biāo)較大時提示減小焦距

目標(biāo)占屏比適中時，提示占屏比合適。如圖5所示。

圖5 檢測目標(biāo)占屏比合適

對圖像進(jìn)行自動聚焦試驗，結(jié)果如圖6和圖7所示。從兩組圖可以看到，圖像邊緣逐漸清晰，符合人的視覺觀察情況。

圖6 自動聚焦試驗1

圖7 自動聚焦試驗2

4 結(jié) 語

本文針對工程中目標(biāo)焦距不易調(diào)節(jié)和圖像不清晰等問題，使用深度學(xué)習(xí)和梯度算子相結(jié)合的方法，實(shí)現(xiàn)了焦距自動調(diào)節(jié)和自動聚焦。通過試驗結(jié)果可以看出，焦距自動調(diào)節(jié)后，目標(biāo)比例合適，符合人的視覺觀察；圖像清晰，細(xì)節(jié)準(zhǔn)確，可直接用于工 程實(shí)踐。