一種基于注意力機制引導圖像增強的細粒度圖像分類

彭耀葵 呂友成

(1、廣東工業大學,廣東 廣州510000 2、廣州星海集成電路基地有限公司,廣東 廣州510000)

1 本文的研究內容

細粒度圖像的分類目的在于區分具有細微視覺差異的從屬類別,比傳統粗粒度圖像分類更加具有挑戰性。其挑戰主要有以下方面:(1)圖像之間的特征差異較小,判別性的特征更加細微。例如:需要根據鳥羽毛的一部分的顏色來確定類別。(2)訓練數據集信息有限,僅使用其所屬的類別,而沒有人工的標注框等信息。

細粒度圖像分類的關鍵步驟是從圖片中提取出最顯著的局部特征。如果特征區域是手動標記的,則將花費額外的時間和經濟成本,因此可以考慮使用弱監督方法。此外,單純的卷積網絡很難處理細粒度的分類問題,因此使用想辦法找出需要注意的區域。數據增強是訓練常用方法,可用于防止數據過擬合和改善模型的性能。許多常用的數據增強方法使用隨機方法,例如隨機圖像裁剪、旋轉、放大,可能使目標適合我們的需求,但是會引入嘈雜的目標或背景信息。因此,我們設計了一個以注意力為導向的數據增強模塊,可以實現更好的分類效果,該方法可實現比當前最新方法好的效果。

2 相關的研究基礎

弱監督學習不需要借助附加的人工標注信息[1],降低了人工的工作量,同時在濾去背景等噪聲干擾之后,網絡可以提取出人類考慮不到的區域特征,從而提高了網絡的分類精度。常見的方法有以下幾種:

雙線性CNN 算法[2],該方法依賴于兩個特征提取器的連接,兩個特征提取器的輸出在圖像的每個位置使用外部乘積相乘,然后得到最后的結果。關鍵是使用二階統計信息來融合來自不同渠道的信息,實現細粒度分類。

但是,由于原始雙線性池的導致其高維性,Gao 等人提出的CBP 緊湊型雙線性池化的方法,該方法使用Tensor Sketch 投影和Random Maclaurin 投影來極大地減小尺寸而不會降低精度。

WSDAN[3]的作者從特征圖通道之間的局部特征的交互作用提出了一種雙線性注意力集中機制(BAP),以提高它們的表示能力。但是,在WSDAN 網絡中的閾值是人為設計的固定值,該值具有很大的隨意性,導致預測結果不盡人意。

3 本文的實驗方法

本文提出新的方法就是基于圖像二值化設計了一個閾值,以便每個圖片根據其自身的特征使用相應的閾值范圍。下面詳細介紹所我們提出的網絡結構,包括弱監督學習的注意力圖,注意力圖指導的圖像數據增強和分類的損失函數設計。對于每個輸入圖像,設計一個弱監督學習網絡以生成相應的注意力圖,以表示目標的最大區別特征,然后通過基于注意力圖的數據增強方法對其進行裁剪或放大,最后通過網絡以獲取最終分類結果。該過程如圖1 所示。

圖1 本文構建的模型結構圖

3.1 弱監督學習的注意力圖

獲取弱監督學習的注意力圖的方法具體如下:我們使用resnet50 深度卷積神經網絡作為骨干網絡,在為每個訓練圖像提取基本特征圖之后,繼而生成相應的注意力圖,以表示圖像的最顯著特征部分。通過使用注意力圖,我們設計出更加靈活的網絡結構,并且可以更輕松地實現細粒度分類的端到端訓練。

受雙線性池化的網絡模型的啟發,我們設計了網絡結構的第二部分。每個注意力圖代表目標圖像的特定部分,將獲得的特征圖和注意圖的元素相乘,然后使用卷積處理局部特征圖,最后結合每個局部特征圖以獲得特征矩陣。

3.2 注意力圖引導下的數據增強

傳統隨機的數據增強效率非常低,特別是如果圖像中的可判別性區域在整個圖片中所占的比例較小,則會導致更多的背景噪聲,因此使用注意力圖進行圖像增強[4]。除此之外,物體在不同的圖像中占有不同的比例。因此,我們讓圖像本身確定自己的閾值,而不是使用手動設計的值來調整閾值。自適應二值化閾值算法用于獲取整個圖像的平均值,并將其用作基準。這樣,我們可以獲得針對不同圖像的最合適的圖像增強。裁剪大于基準的區域以獲取關鍵區域,并在該區域上使用弱監督學習來生成注意力圖,以表示目標的顯著特征,我們稱之為裁剪注意力。另外,我們添加了一個輔助分支,丟棄具有更高基準的區域并使用左側的部分,以便網絡可以學習非關鍵區域的某些功能,從而生成次要關注地圖,我們將其稱為掉落注意力。結合這兩個分支,我們的圖像增強功能可以有效地提取圖像中最有用的區域特征。

在圖2 中可以看到聚焦細節的圖像。第一張圖片是原始圖片,第二張圖片是經過設計的蒙版處理后獲得的圖像,可以看出主要部分和背景部分是可區分的。第三張圖片是在注意力圖指導下進行數據增強后獲得的圖像,紅色部分是特征信息最明顯的區域。

圖2 從左到右分別是原始圖像、蒙版生成圖像和細節聚焦圖像

3.3 損失函數設計

受焦點損失的啟發[5],我們將標準的交叉熵損失與焦點損失的結果結合在一起。通過減少易于分類的樣本的權重,該模型可以將更多的注意力集中在訓練過程中難以分類的樣本上。通過控制兩個部分的不同比例,網絡可以適應更多的數據集。焦點損失函數的表示如公式(1)所示。

同時,中心損失[6]功能被引入到我們的網絡中。在特征圖中為訓練集的每個類別維護一個班級中心。在訓練過程中,網絡映射后,特征圖中的樣本與類中心之間的距離約束增加,以達到更好的分類效果。中心損失函數的表示如公式(2)所示。

這兩個損失函數的比例由超參數β 控制,本文設計調整不同數據集的β 值以獲得最佳結果,模型整體的損失函數的表示如公式(3)所示。

4 實驗過程及結果

在本節中,我們進行了許多實驗和比較,以證明模型的準確性。分別從實驗數據集、實驗環境和實驗結果進行了分析。

4.1 實驗數據集

CUB-200-2011 鳥類數據集包括200 種鳥類,有5994 個訓練圖像和5794 個測試圖像。Stanford-Cars 汽車數據集有16185張不同型號的汽車圖片,訓練集8144 張、測試集8041 張。FGVC-Aircraft 飛機數據集包含10200 架飛機圖像,102 個類別,每類100 幅圖像。

4.2 實施環境及參數設置

實驗環境基于Ubuntu16.04 操作系統,CPU 為Inteli7-9700,GPU 為NVIDIA RTX2080,運行內存16G。該模型采用在ImageNet 上經過預訓練的Resnet50 模型為基本網絡。刪除了原始的完全連接層,并添加卷積層、下采樣層和特征提取層以提取感興趣的區域,使用自定義蒙版生成圖像區域關注圖。權重衰減和動量分別設置為1×10-5和0.9,學習速率初始值設置為0.001,衰減速率為0.9。

4.3 實驗結果

本文的方法與上述細粒度圖像分類數據集上的最新方法進行比較,結果如表1 所示。可以看出,本文的網絡體系結構對這些數據集都實現了最佳分類效果。

表1 實驗結果在三個不同的數據集上與最新方法的比較

從表1 可看出:(1)本文網絡結構優于許多使用附加圖像注釋的強監督方法,模型無需其它人工標注信息；(2)本文方法優于大多數其它弱監督方法,能更準確獲得圖像顯著區域。

5 結論

本文提出了一種基于注意力機制下圖像增強的弱監督細粒度圖像分類端到端網絡。弱監督分類網絡生成注意力圖,注意力機制能夠引導圖像的增強,從而使網絡獲得更好的分類結果。這兩個模塊進行交互,以使網絡模型可以獲得更多的局部顯著性特征信息,并確保分類結果更高的準確性。