基于卷積神經網絡的紅外目標跟蹤研究

王亞婷

摘要：與視覺目標跟蹤不同，熱紅外目標跟蹤可以在完全黑暗中跟蹤目標對象。因此，它具有廣泛的應用，例如夜間的救援和視頻監控。然而，該領域的研究很少，主要是因為熱紅外圖像具有雜波干擾嚴重、信噪比低等特點，這些特點使得常規方法難以獲得目標的特征。考慮到卷積神經網絡的強大表征能力及其在視覺跟蹤中的成功應用，我們將基于可見光圖像的預訓練卷積神經網絡轉換為熱紅外跟蹤。我們觀察到，由于缺少目標的空間信息，卷積層的特征比來自全連接層的特征更加適合紅外目標跟蹤。基于以上，本文提出了一種基于相關濾波器的集成跟蹤器，具有用于熱紅外跟蹤的多層卷積特征。

關鍵詞：網絡;目標跟蹤

中圖分類號：TP183?? 文獻標識碼：A?? 文章編號：1672-9129（2020）12-0037-01

1 引言

在過去的幾十年中，基于可見圖像序列的大量判別跟蹤方法被提出來解決各種挑戰，而判別方法已被用于分類，人臉識別，動作識別，手寫識別，圖像分割，圖像去噪等。特別是近兩年來，視覺跟蹤通過深度學習取得了重大突破。盡管取得了很大進展，但由于諸如改變外觀，遮擋，光照變化和背景雜亂等消極因素，視覺跟蹤仍然是一個很大程度上未解決的問題。與視覺對象跟蹤相比，熱紅外跟蹤具有幾個優點。例如，它不受光照變化的影響，因為熱紅外圖像不依賴于反射光，而主要取決于物體的輻射溫度。熱紅外跟蹤還可以在完全黑暗中跟蹤目標，而視覺跟蹤總是在惡劣的能見度條件下失敗。此外，在一些對個人信息敏感的真實場景中，熱紅外跟蹤可以保護隱私。因此，熱紅外跟蹤適用于各種應用，例如救援，視頻監控和夜間巡邏。

盡管存在許多優點，但熱紅外跟蹤在此期間面臨許多挑戰。首先，熱紅外圖像具有一些不需要的屬性，例如低分辨率，較大百分比的死像素，以及沒有可視顏色圖案。這些不需要的屬性使得難以獲得目標對象的辨別特征并因此降低跟蹤性能。另外，在沒有顏色模式的情況下，背景中存在許多類似的目標以干擾跟蹤器。

2 提出的方法

首先使用相關濾波器和卷積特征來呈現弱跟蹤器，然后給出融合多個響應圖的集合方法，以及比例估計策略，最后顯示在線模型更新。

（1）弱跟蹤器。近年來，在基于相關濾波的跟蹤由于其較低的運算量而受到了相當多的關注。在這項工作中，我們還使用具有卷積特征的KCF來構建弱跟蹤器。在ImageNet數據集上訓練的預訓練VGG-Net用于提取熱紅外目標的卷積特征。給出在第k層卷積層提取的紅外圖像目標區域的特征圖 XkRM×N×D（M，N，D代表寬、高和通道數），和相關高斯形狀標簽矩陣Y。

在搜索階段，目的是在搜索框中獲取目標位置的響應圖。給定搜索框處的紅外熱搜索區域，我們還使用預訓練的VGG-Net提取該搜索區域的特征。令Vk表示該搜索區域的第k個卷積層的特征圖。我們首先將其轉換為傅立葉域：V = F（V）。然后，可以獲取目標在搜索框中的位置的響應圖。

（2）總體跟蹤器。給定n個響應圖P = {P 1，P 2，...，P n}，其中每個響應圖P k∈P（k = 1，2，...，n）是從一個弱跟蹤器生成的，我們的目標是融合這些響應圖以獲得更強大的響應圖。實際上，每個響應圖P k都可以看作是概率圖，它由概率分布組成。該概率分布表示位置（i，j）成為目標中心的概率。因此，我們可以使用散度來測量概率圖Pk和融合概率圖Q之間的距離。然后，我們最小化該距離以優化融合概率圖Q。

我們可以看到它的形式很簡單：它是所有過濾后的響應圖的平均值。這有一個更直觀的解釋：使用加權和的所有濾波后的響應圖都可以增強最終結果。

通常，來自VGG-Net的特征圖包含一些噪聲，從其中獲得的響應圖也有很大的噪聲。因此，我們首先對響應圖的噪聲進行過濾以獲得更多置信度。為此，我們僅使用一種簡單的策略，該策略利用另一個概率圖來濾波當前的概率圖。但是，集成跟蹤器無法適應目標的變化外觀，因此跟蹤性能有限。為了提高集成跟蹤器的準確性，有效的比例估計方法是必要的。 在本文中，采用了一種簡單但有效的規模估計策略。對于給定的三個不同比例尺的目標，此策略的主要目的是找到最大響應圖的相應尺度的更改方向。

（3）模型更新。由于目標對象的外觀動態變化，模型更新是對象跟蹤中的重要步驟。因此，模型需要更新以適應外觀的變化。在這項工作中，我們使用簡單的線性更新方法來更新過濾器。該方法只是利用當前樣本Xk來更新過濾器。

與訓練階段一樣，在每個卷積層上提取目標的特征圖。隨后，收集這些特征圖和過濾器模板以計算它們的相關性。

3 總結

在本文中，在可見圖像數據集上訓練的預訓練CNN轉移到熱紅外跟蹤任務。利用預訓練的CNN提取熱紅外目標物體的特征。然后，分析完全連接的層特征和卷積層特征，它們更適合于熱紅外跟蹤。結果，發現卷積特征具有強大的能力來表示熱紅外物體，因為它們具有比來自全連接層的特征更豐富的空間信息。但是，來自單個卷積層的要素由于缺少語義信息而無法應對各種挑戰。基于這一觀察，提出了一種基于相關濾波器的集成跟蹤器，該跟蹤器使用多層卷積特征進行熱紅外跟蹤。在此跟蹤模型中，還基于散度采用集成方法來融合每個部分。

參考文獻：

[1]唐崢遠，趙佳佳，楊杰，劉爾琦，周越.基于稀疏表示模型的紅外目標跟蹤算法[J].紅外與激光工程，2012，41（05）：1389-1395.

[2]程建，周越，蔡念，楊杰.基于粒子濾波的紅外目標跟蹤[J].紅外與毫米波學報，2006（02）：113-117.