基于柔性閾值的孿生網絡的多源圖像融合跟蹤

宋文姝，侯建民

（1.山西省無線電監測中心，山西 太原 030009；2.晉西車軸股份有限公司，山西 太原 030027）

0 引 言

目前，精確打擊武器面對的典型目標以車輛和導彈發射架等為主，而針對移動目標的打擊過程基于傳統的單一模式，如可見光和紅外等[1]，存在干擾和遮擋時，目標容易丟失或難以正常跟蹤。傳統的成像模式間存在差異，如光電圖像對圖像色彩較為敏感，而紅外圖像主要表現目標的熱輻射特性，不易受光照影響，但目標細節往往不夠。在實際應用中，依據兩者的互補特點，可從不同互補特征完成典型目標特征互補，為目標跟蹤提供更好的特征。多源圖像融合根據成像模式的不同構建典型的信息互補特征，形成對典型目標更顯著的決策意見。

基于可見光/紅外圖像的融合跟蹤能夠有效提高目標的魯棒性，使得目標跟蹤算法能夠適應不同的作戰場景。然而，該算法對移動目標的精確打擊仍然有很多問題亟需解決，同一場景小角度差異的可見光/紅外圖像進行融合，能夠完成典型目標的細節信息收集，提升典型目標的特征信息，從而確定典型目標的打擊模式。從兩幅圖像中獲取互補的有用信息，形成統一更優質的圖像，完成典型目標的特征凸顯。在實際應用中，由不同種類傳感器獲得的多模態圖像由于成像機理不同，可以反映目標場景不同側面的特性，后續討論中認為視角一致（即同一角度下成像）。

1 相關工作

1.1 孿生網絡

孿生網絡是一種同時構建2種不同網絡進行權值共享的網絡模式，通過典型網絡的相似性比較，完成對同一目標的達成度考核。孿生網絡于2016年首次應用于基于圖像的目標跟蹤。Bertinetto[2]等人在此基礎上提出了全卷積孿生網絡SiameseFC。SiameseFC網絡的基礎網絡采用了AlexNet[3]，將上一幀圖像中的目標作為模板，使用全卷積神經網絡對模板與當前幀圖像分別卷積，將兩路卷積特征進行相關計算，得到一個相關面圖，將相關面上最大響應值的坐標乘以步長，即可得到目標在當前幀的位置。周正等人[4]利用SiameseFC網絡提出了一種能適用于嵌入式平臺的Siamese網絡匹配算法，具有很強的實時性，在SiameseFC的基礎上，提出了孿生區域選取網絡SiameseRPN[4]，SiameseRPN也采用AlexNet作為基礎網絡，并將區域選取網絡（Region Proposal Network，RPN）[5-6]與孿生網絡結合，使用模板的卷積特征作為卷積核在當前幀圖像中進行相關卷積運算，輸出目標的類別與位置，提升了定位精度，被大量用于目標跟蹤領域。

1.2 融合跟蹤

紅外/可見光圖像目標跟蹤在民用目標檢測和救災等領域具有重要應用，國內外開展了比較多的研究。一種時空卡爾曼濾波融合模型用于在時間和空間的融合，提高了多視角下的融合跟蹤效果。文獻[7]和文獻[8]提出聯合稀疏表示的目標融合跟蹤算法，文獻[9]提出加權Mean-Shift紅外/可見光融合算法，以上兩種方法缺少模板更新，在速度運動快的情況下，跟蹤效果較差。

隨著深度學習的發展，采用深度學習完成目標融合跟蹤成為重要的趨勢，2018年，自適應協同分類器和不同模式的融合跟蹤算法用于協同跟蹤，支持對融合的目標跟蹤[10-12]，2017年，李成龍[13]提出加權稀疏表達正則化的圖學習理論，同時采用支持向量機完成典型目標的定位，并發布了RGB210數據庫。除了基于深度學習的方法，Bailer[14]提出一種融合不同跟蹤算法的綜合跟蹤模式，有效增強了跟蹤效果。Biresaw[15]提出多級融合跟蹤方法，通過融合不同跟蹤器的結果達到跟蹤效果。現有的算法仍然無法準確判斷圖像模態，采用紅外/可見光圖像融合模式，通過選擇合適參數可以達到最優的跟蹤效果，但無法滿足現有的自主跟蹤模式。

2 基于柔性閾值的孿生網絡的多源圖像融合跟蹤

2.1 融合模式

針對典型打擊過程中目標多源圖像融合跟蹤需求，開展多源圖像融合技術研究。針對典型跟蹤過程中兩種不同數據源存在的表征差異，考慮采用多源數據特征進行融合。目前的融合有像素級、特征級以及決策級3個層次。像素級采用直接的圖像像素點進行融合；特征級主要根據圖像整體特征，采用融合目標特征信息，形成對目標特征的持續跟蹤；決策級依據各圖像對目標跟蹤信息進行融合。由于特征級能夠有效利用不同成像機理的互補信息，因此本文考慮采用特征級融合模式。

針對不同成像特征，構建其全連接的深度模型，形成對典型圖像的深度特征描述模式。具體特征表征結構如圖1所示。

圖1 深度特征描述模式

2.2 柔性閾值設置

針對紅外和光電圖像特征級跟蹤結果實時調整，兩者的網絡采用共用閾值，傳統網絡的閾值設置為固定值，假設原來閾值設置為：

式中：n為個數。

兩個網絡采用典型融合模式，針對不同的圖像和不同的特征需求進行共享參數的動態調整。調整規則如下。

根據輸入圖像的特征，對共享的權重進行調整：

式中：α為調整因子，初始值設為0.5，根據兩路網絡的檢測結果進行調整，假設實時跟蹤準確率為p1，p2，則：

通過式（3）調整后，形成新的共享權值：

2.3 基于柔性閾值的孿生網絡的多源圖像融合跟蹤

針對兩個不同數據源的融合模式，采用相同的孿生網絡分別進行可見光與紅外圖像的目標跟蹤，通過將兩者的跟蹤結果融合，進一步獲得更精確的目標跟蹤效果。

網絡融合跟蹤方法的流程如圖2所示。由于多源圖像的網絡架構一致，因此，設置圖像模板為127×127，如果目標在圖像邊緣而無法獲得目標全部信息，則采用0值填充方式完成。

圖2 柔性閾值孿生網絡融合跟蹤方法流程

通過全卷積網絡特征關聯和目標信息檢索，能夠獲得比較好的跟蹤結果，對于調整后獲得的目標位置，通過采樣能夠在原圖中找到目標位置。

可見光/紅外圖像的跟蹤結果通過標記框進行表征，通過比較兩者融合結果的有效性，提高典型融合跟蹤效果。如果出現某一組數據未檢測到目標，則表示其共享的權重需要進行調整。采用不同的權重進行典型目標跟蹤，針對兩者圖像跟蹤結果進行比較，具體誤差分析如圖3所示。

圖3 跟蹤中心誤差示意圖

假設跟蹤中心誤差為d，則：

假設兩者跟蹤距離差d＜5，則認為該次跟蹤有效，同時對以上區域形成融合架構。如果不滿足該要求，則認為其中一個通道目標跟蹤失敗，則根據式（3）的結果確定選擇哪個通道作為此次跟蹤的結果。如果α＞0.5，則認為可見光跟蹤可靠，否則則認為紅外圖像可靠。

在d＜5時，采用中心幾何平均方法完成結果融合，具體融合方法為：

3 實驗結果與討論

為驗證本項目算法的有效性，本文采用6組可見光與紅外視頻進行相關實驗，同時為了驗證本算法的可靠性，構造典型的驗證數據，有助于與數據進行比較。在跟蹤過程中，主要針對地面車輛和空中飛機進行實驗，地面目標遮擋最大為50%。

本研究采用跟蹤精度和成功率作為考核參數，比較不同算法的性能。跟蹤精度的定義為目標跟蹤的像素標記框與真實像素標記框的比率。由于真實像素點無法進行精確標記，采用專家標注的模式，形成真實目標參考標注數據。此時，可定義重合比例為跟蹤標注框像素點與真實框像素點的重合比例。即：

式中：a、b分別表示跟蹤的像素標記框與真實像素標記框，∩表示交集，∪表示并集。跟蹤精度定義為跟蹤的像素標記框與真實像素標記框的中心位置誤差小于給定閾值的情況。精度反映了閾值變化對整體跟蹤精度的變化情況，成功率是只跟蹤像素框和真實像素框的重合比率大于閾值的情況，有效反映當閾值從0到1變化時，整體跟蹤成功的情況。

將本文算法與單獨可見光圖像、紅外圖像跟蹤結果進行對比，結果如圖4所示。可以看出，采用柔性閾值孿生網絡的多源圖像融合跟蹤算法精度最高可提高10%，而成功率則提高15%以上，說明本文算法具有一定的有效性。

圖4 融合跟蹤結果與單獨跟蹤圖像對比圖

對于地面車輛目標存在遮擋跟蹤效果，圖4的跟蹤效果為最高遮擋50%左右的融合前后跟蹤效能?？梢钥闯觯趲缀跛械奶魬鹨蛩叵?，本文提出的決策級融合跟蹤算法都使跟蹤精度和成功率有了巨大的提升。唯一的例外是在發生嚴重遮擋的情況下，盡管融合跟蹤的結果較基于紅外的跟蹤結果有很大提升，但是較基于可見光的跟蹤結果尚有一些差距。這可能是目標被嚴重遮擋，以至于算法對模態可靠性的判斷出現了問題，導致未能合理融合可見光和紅外的跟蹤結果。

4 結 語

針對精確制導武器打擊目標存在的目標跟蹤困難和典型目標跟蹤難的問題，在傳統的孿生網絡基礎上，本文提出一種基于柔性閾值的孿生網絡架構，分別根據不同的圖像特征，在傳統權重值上加入調整因子，從而提高目標跟蹤的準確率，完成對目標的精確跟蹤。實驗表明，提出的方法能夠滿足跟蹤實時性和性能要求，特別是在單一圖像源跟蹤不可靠的情況下。針對目標更高比例的遮擋情況，下一步將繼續探索，以達到典型高遮擋情況下的目標跟蹤效果，從而獲得更高精度的目標跟蹤結果。