基于干預(yù)注意力的細(xì)粒度圖像識(shí)別

中圖分類(lèi)號(hào)：TP391.4 文獻(xiàn)標(biāo)志碼：A

Fine-grained image recognition based on interventional attention

CHEN Jiankun， WANG Yongxiong， PAN Zhiqun （ ， ， ， ）

Abstract： Attention plays a key role in fine-grained image recognition tasks. In order to make the model pay more atention to discriminative regions， a new method based on interventional attention was proposed to provide key clues supervising atention to learn features. Specifically， the interventional attention was added to the training process， the attention mechanism was applied to the process data cuting dropping to guide the model to improve the learning efficiency. At the same time， the fused attention was applied to the feature extraction network to help the network learn more discriminable features. In addition， label smoothing loss function center regularization loss function were introduced into the objective function， which effectively improved classification accuracy.

Experimental results show that the proposed method has excellent permance， achieving 89.8% 95.7% 94.7% classification accuracy on CUB-200-2011， St Cars FGVC Aircraft dataset respectively. In comparison with the other mainstream fine-grained classification algorithms， the proposed method achieves better classification results.

Keywords： fine-grained image recognition; interventional attention; data augmentation; fused attention; label smoothing

近幾年，細(xì)粒度圖像識(shí)別[1一直是研究熱點(diǎn)和難點(diǎn)之一。細(xì)粒度圖像識(shí)別是子類(lèi)的識(shí)別，類(lèi)別間的差異經(jīng)常很小，尤其在圖像中光照、背景、姿態(tài)等因素的干擾下，細(xì)粒度識(shí)別具有更大的挑戰(zhàn)性。早期方法[2常以部件標(biāo)注和局部信息區(qū)域?yàn)榇鷥r(jià)獲取關(guān)鍵局部信息，但這種方式常需要昂貴的人工與數(shù)據(jù)標(biāo)注成本。因此，僅利用分類(lèi)標(biāo)簽，自動(dòng)獲取圖像判別性區(qū)域就顯得十分重要。

注意力機(jī)制是計(jì)算機(jī)系統(tǒng)模擬人類(lèi)的搜索識(shí)別方式，找到圖像中的有辨識(shí)性區(qū)域，并減少由于不同的視覺(jué)外觀而造成的雜亂背景、遮擋、姿勢(shì)變化等。盡管目前注意力機(jī)制的應(yīng)用十分廣泛，但是如何學(xué)習(xí)更加有效的注意力仍然是一個(gè)值得研究的問(wèn)題。傳統(tǒng)的基于概率的方法[3]僅通過(guò)損失函數(shù)監(jiān)督最終預(yù)測(cè)，卻常常忽略預(yù)測(cè)和注意力之間的因果關(guān)系。與此同時(shí)，數(shù)據(jù)增強(qiáng)[4-5]是一種常用的增加數(shù)據(jù)量及多樣性的策略。以往的細(xì)粒度識(shí)別中通常采用隨機(jī)數(shù)據(jù)增強(qiáng)的方法對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理。然而，由于裁剪區(qū)域是隨機(jī)采樣且大部分樣本包含大量背景噪聲，這些因素會(huì)降低訓(xùn)練效率并影響提取特征的質(zhì)量。

基于上述問(wèn)題，本文研究如何利用注意力學(xué)習(xí)更加有效的特征提取，并利用注意力機(jī)制引導(dǎo)數(shù)據(jù)裁剪和擦除的數(shù)據(jù)增強(qiáng)過(guò)程。訓(xùn)練過(guò)程僅依靠類(lèi)別標(biāo)簽，就能夠有效提升注意力學(xué)習(xí)的質(zhì)量，準(zhǔn)確獲取圖像關(guān)鍵性區(qū)域并取得較為理想的分類(lèi)精度。該方法的優(yōu)勢(shì)如下：

a.采用干預(yù)注意力學(xué)習(xí)方法加強(qiáng)注意力引導(dǎo)學(xué)習(xí)的因果推理過(guò)程，利用注意力引導(dǎo)數(shù)據(jù)增強(qiáng)。同時(shí)，將通道注意力機(jī)制與空間注意力機(jī)制進(jìn)行融合，幫助網(wǎng)絡(luò)提取關(guān)鍵性區(qū)域，有效改善注意力機(jī)制性能，計(jì)算效率較高。

b.采用標(biāo)簽平滑方法降低模型過(guò)擬合，并利用中心正則化損失矯正注意力區(qū)域的位置，從而增強(qiáng)對(duì)關(guān)鍵性區(qū)域的關(guān)注能力，加強(qiáng)注意力模塊的提取特征能力。

c.在3個(gè)經(jīng)典細(xì)粒度圖像分類(lèi)數(shù)據(jù)集CUB200-2011[]、 St Cars[7]和 FGVC Aircraft8]上進(jìn)行實(shí)驗(yàn)，結(jié)果表明本文方法具有較明顯的性能提升。

1相關(guān)工作

1.1 細(xì)粒度圖像識(shí)別

在細(xì)粒度識(shí)別中，現(xiàn)有大多數(shù)方法都采用帶注意力機(jī)制的深度學(xué)習(xí)網(wǎng)絡(luò)。Liu等提出了全卷積注意力網(wǎng)絡(luò)，采用強(qiáng)化學(xué)習(xí)方法獲得視覺(jué)注意力，更好地適應(yīng)了不同細(xì)粒度域的局部判別區(qū)域。Lin等[1]提出了雙流架構(gòu)的B-CNN，有效地將圖像表示為兩個(gè)CNN特征的池化外積架構(gòu)。Wang等[11]進(jìn)一步提出基于雙線(xiàn)性卷積神經(jīng)網(wǎng)絡(luò)的包含自聚焦模塊和稀疏縮放因子的稀疏聚焦框架，其中，每個(gè)通道的稀疏縮放因子用來(lái)評(píng)估特征通道的重要性，并將其用于通道剪枝。譚潤(rùn)等[2]提出，利用雙線(xiàn)性注意力池化和卷積塊注意模塊構(gòu)建注意力學(xué)習(xí)模塊和信息增益模塊，分別獲取目標(biāo)局部細(xì)節(jié)信息和目標(biāo)重要輪廓的數(shù)據(jù)

Chen 等[13]提出了一種圖像分割操作用于細(xì)粒度分類(lèi)，將圖像分割成局部補(bǔ)丁，隨機(jī)混洗重建新圖像進(jìn)行訓(xùn)練，從而迫使模型關(guān)注局部細(xì)節(jié)信息而非全局信息。Li等[14]提出一種多分支通道增強(qiáng)網(wǎng)絡(luò)，對(duì)原始圖像進(jìn)行多模式打亂操作，然后將不同混淆程度的圖像組合成3對(duì)信息作為輸入，利用打亂操作迫使通道尋找判別性區(qū)域。Du 等[15]進(jìn)一步應(yīng)用多尺度拼圖生成器，以漸進(jìn)式訓(xùn)練策略捕獲交叉粒度信息。還有Zheng等[和Sun 等[17]也提出基于注意力的細(xì)粒度分類(lèi)方法，并以自下而上的方式設(shè)計(jì)注意力模型，在細(xì)粒度識(shí)別任務(wù)中取得了較為優(yōu)異的結(jié)果。

1.2 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是對(duì)輸入圖像的預(yù)處理，常用的方式為對(duì)圖像進(jìn)行空間水平的變換。在以往的方法[4-5，18]中，都采用基于圖像裁剪和圖像擦除的數(shù)據(jù)增強(qiáng)方式，包含對(duì)圖像進(jìn)行幾何變換的數(shù)據(jù)增強(qiáng)操作。這對(duì)于提升深度學(xué)習(xí)模型的魯棒性，避免過(guò)擬合及提升模型的泛化能力都具有積極作用。

Devries等[5和Singh等[19]的思路都是隨機(jī)采用一些方形區(qū)域?qū)υ驾斎雸D像進(jìn)行一定掩蔽，以增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的魯棒性。但是，傳統(tǒng)數(shù)據(jù)裁剪和擦除的區(qū)域具有一定的隨機(jī)性，常常會(huì)將需要檢測(cè)的目標(biāo)或者關(guān)鍵性區(qū)域遮蔽，從而影響增強(qiáng)數(shù)據(jù)的可利用性。同時(shí)，隨機(jī)的掩碼過(guò)程容易產(chǎn)生不受控制的噪聲數(shù)據(jù)，影響增強(qiáng)數(shù)據(jù)的區(qū)域分布，降低增強(qiáng)數(shù)據(jù)的質(zhì)量

基于上述問(wèn)題，Gong等[2提出不同于隨機(jī)選取掩碼的增強(qiáng)方式，該方法先取得圖像的顯著性圖，再?gòu)闹蟹治鋈〉脠D像區(qū)域的重要程度，從而選取相應(yīng)區(qū)域進(jìn)行圖像裁剪或擦除操作。Cubuk等[21]通過(guò)設(shè)計(jì)一個(gè)特定的方式，創(chuàng)建數(shù)據(jù)增強(qiáng)方式的搜索空間，以獲得優(yōu)秀的目標(biāo)數(shù)據(jù)集的精度。但是這類(lèi)方法相比而言成本大，需要時(shí)間比較長(zhǎng)，產(chǎn)生的增強(qiáng)數(shù)據(jù)較為復(fù)雜。本文采用的注意力引導(dǎo)的數(shù)據(jù)裁剪和擦除方式更為簡(jiǎn)單，可生成更優(yōu)質(zhì)的增強(qiáng)數(shù)據(jù)以提升性能。

1.3 干預(yù)推理

以深度學(xué)習(xí)為基礎(chǔ)的方法在特征提取能力方面有著比較優(yōu)秀的效果，但是深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中有一定的不確定性。為了能夠揭開(kāi)黑箱，理解事實(shí)的邏輯因果，并獲得真正的因果影響因素，需要將學(xué)習(xí)到的偽邏輯關(guān)系進(jìn)行解耦合。因此，將因果推理理論應(yīng)用到深度學(xué)習(xí)模型中的分析方法就顯得至關(guān)重要。該方法有助于揭開(kāi)黑箱，減少對(duì)于偽邏輯關(guān)系的錯(cuò)誤學(xué)習(xí)，有效提升模型的泛化能力及魯棒性。

在圖像分類(lèi)任務(wù)中，常使用因果關(guān)系作為工具降低偏差數(shù)據(jù)的影響。由因果推斷理論得知，混雜因子造成的偽邏輯關(guān)系對(duì)提升模型在測(cè)試集上的準(zhǔn)確性具有不利影響。為找到訓(xùn)練過(guò)程中的混雜因子，增強(qiáng)學(xué)習(xí)穩(wěn)定性，減少訓(xùn)練集中偽邏輯關(guān)系的不利影響，可以利用干預(yù)推理方法進(jìn)行訓(xùn)練。

干預(yù)推理[22]是指通過(guò)對(duì)某個(gè)事件發(fā)生的某一先決條件進(jìn)行確定性假設(shè)，然后通過(guò)該假設(shè)對(duì)事件發(fā)生結(jié)果進(jìn)行重新表征，從而得到以此為先決條件的推理結(jié)果。具體而言，干預(yù)操作方法通過(guò)確定一個(gè)變量的值，限制該變量隨其他自然變量變化的自然趨勢(shì)。在圖模型中，干預(yù)操作會(huì)刪除所有指向該變量的邊。以此為依據(jù)，得到干預(yù)條件下的推理結(jié)果，并將其與原推理結(jié)果進(jìn)行對(duì)比，得出最后結(jié)果。基于因果推理中的干預(yù)理論，對(duì)網(wǎng)絡(luò)學(xué)習(xí)到的視覺(jué)注意力進(jìn)行干預(yù)操作，即為干預(yù)注意力學(xué)習(xí)方法。

2 算法原理

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

細(xì)粒度圖像分類(lèi)研究的主要問(wèn)題是關(guān)鍵性區(qū)域的提取與學(xué)習(xí)能力的加強(qiáng)，所以訓(xùn)練過(guò)程中常需要采取一些方式加強(qiáng)網(wǎng)絡(luò)對(duì)細(xì)節(jié)的關(guān)注。一是增強(qiáng)網(wǎng)絡(luò)對(duì)區(qū)分性特征的提取能力，從而使最終提取特征更加有效；二是利用注意力機(jī)制將網(wǎng)絡(luò)學(xué)習(xí)的重點(diǎn)放在更加需要關(guān)注的地方，并提升目標(biāo)關(guān)鍵區(qū)域的模型表征能力。網(wǎng)絡(luò)訓(xùn)練流程如圖1所示。

在特征提取階段，首先，利用融合注意力機(jī)制對(duì)特征提取網(wǎng)絡(luò)所得到的特征圖進(jìn)行通道和空間上的加強(qiáng)，得到相應(yīng)特征圖。然后，將所得特征圖輸人卷積層獲得自然注意力圖，該注意力圖可以顯示目標(biāo)的局部顯著特征。同時(shí)，采用均勻分布注意力為干預(yù)手段，產(chǎn)生與自然注意力圖同一維度的干預(yù)注意力圖。最后，將特征圖分別與自然注意力圖及干預(yù)注意力圖進(jìn)行雙線(xiàn)性注意力池化，該操作具體原理如圖2所示。

具體地，將特征圖分別與 n 張自然注意力圖、干預(yù)注意力圖進(jìn)行按位相乘的操作，從而得到特征融合后的特征圖 F₁，F(xiàn)₂，…，F(xiàn)_n 及干預(yù)特征圖F₁^′，F(xiàn)₂^′，…，F(xiàn)_n^′ 。然后，對(duì)所得特征圖進(jìn)行全局平均池化，獲得相應(yīng)特征向量 G₁，G₂，…，G_n 及相應(yīng)干預(yù)特征向量 。最后，將這些特征進(jìn)行拼接從而得到相應(yīng)特征矩陣，再通過(guò)線(xiàn)性層得到相應(yīng)注意力特征輸出向量 pp 與 pp^′ 。最終，由自然注意力特征輸出向量 pp 減掉干預(yù)注意力特征輸出向量 pp^′ 得到預(yù)測(cè)結(jié)果向量 。

同時(shí)，通過(guò)利用注意力裁剪和注意力擦除方法對(duì)圖像進(jìn)行數(shù)據(jù)增強(qiáng)，并將增強(qiáng)圖像與原始圖像一起輸入網(wǎng)絡(luò)中，有效增強(qiáng)模型對(duì)于待分類(lèi)目標(biāo)局部顯著特征的關(guān)注。對(duì)于每一幅訓(xùn)練圖像，注意力增強(qiáng)分支將隨機(jī)選擇一張自然注意力圖作為增強(qiáng)圖來(lái)指導(dǎo)數(shù)據(jù)增強(qiáng)過(guò)程。該分支通過(guò)選擇其中顯著特征部分將其擦除得到擦除圖像，同時(shí)將相關(guān)顯著特征部分剪裁下來(lái)得到裁剪圖像，進(jìn)而幫助后續(xù)網(wǎng)絡(luò)提取更加顯著的特征部分。

2.2 融合注意力

傳統(tǒng)通道注意力模塊常采用 SENet[23]，該網(wǎng)絡(luò)的基本原理是，通過(guò)獲取不同特征圖的關(guān)鍵程度，為學(xué)習(xí)特征圖賦予不同權(quán)重值，迫使網(wǎng)絡(luò)對(duì)不同特征圖采用不同的關(guān)注程度。但該網(wǎng)絡(luò)的全連接層會(huì)獲得所有通道的依賴(lài)關(guān)系，這會(huì)增加計(jì)算量并對(duì)預(yù)測(cè)結(jié)果產(chǎn)生負(fù)面影響。本文方法將空間注意力機(jī)制與通道注意力機(jī)制加以融合。具體地，將通道注意力網(wǎng)絡(luò)中的全連接層改為 1×1 卷積層，并通過(guò)動(dòng)態(tài)選取卷積核，保持通道特征維度一致，從而有效減少參數(shù)量。為了提升特征提取網(wǎng)絡(luò)對(duì)有辨別性區(qū)域的關(guān)注，將通道注意力機(jī)制中單一的全局平均池化（globalaveragepooling，GAP）改成采用全局最大池化和全局平均池化融合的方式，將所得結(jié)果相加并進(jìn)行激活得到輸出結(jié)果，將所得結(jié)果通過(guò)激活函數(shù)得到通道注意力特征。將該特征輸入空間注意力網(wǎng)絡(luò)中：首先，將其沿通道維度進(jìn)行最大值池化和平均值池化操作；然后，將池化結(jié)果進(jìn)行拼接并進(jìn)行卷積操作；最后，將所得結(jié)果通過(guò)激活函數(shù)得到輸出結(jié)果。該模塊通過(guò)嵌入到總框架中特征提取模塊的骨干網(wǎng)絡(luò)中發(fā)揮作用。由于融合注意力模塊具有即插即用的特性，因此，以本文實(shí)驗(yàn)用到的ResNet骨干模型為例，可將該模塊插人到ResNet每一個(gè)殘差子網(wǎng)絡(luò)的最后輸出位置，從而增強(qiáng)骨干網(wǎng)絡(luò)的特征提取效率與質(zhì)量。融合注意力模型如圖3所示。

2.3 干預(yù)注意力

深度學(xué)習(xí)訓(xùn)練算法常通過(guò)最小化損失函數(shù)進(jìn)行參數(shù)優(yōu)化，這種方法將訓(xùn)練過(guò)程看作黑箱，忽略網(wǎng)絡(luò)內(nèi)部的訓(xùn)練結(jié)果，不利于對(duì)內(nèi)部變量進(jìn)行直觀控制。干預(yù)注意力學(xué)習(xí)將因果推理理論引入到注意力機(jī)制中，通過(guò)直接控制內(nèi)部變量使模型學(xué)習(xí)到更加有效的注意力圖，從而實(shí)現(xiàn)注意力質(zhì)量的提升。

在干預(yù)注意力學(xué)習(xí)中，通過(guò)引入因果圖的方式，操作內(nèi)部變量的值分析因果關(guān)系，并且查看其效果，該操作在常見(jiàn)的因果推理文獻(xiàn)中被稱(chēng)為干預(yù)，用公式可以表示為do。通過(guò)一個(gè)現(xiàn)實(shí)中的干預(yù)機(jī)制調(diào)整各變量的狀態(tài)，從而達(dá)到干預(yù)的目的。利用預(yù)先設(shè)計(jì)的干預(yù)方法，觀察自然注意力和干預(yù)注意力對(duì)預(yù)測(cè)結(jié)果的影響，促使網(wǎng)絡(luò)更好地學(xué)習(xí)有效的注意力分布，并抑制數(shù)據(jù)集中的混雜因素對(duì)訓(xùn)練的負(fù)面影響，增強(qiáng)深度模型的可解釋性。同時(shí)，干預(yù)注意力幫助模型理解不同注意力區(qū)域?qū)︻A(yù)測(cè)結(jié)果的影響關(guān)系，從而更好地學(xué)習(xí)圖像關(guān)鍵區(qū)域的規(guī)律和特征，并揭示圖像中的潛在信息和重要特征。干預(yù)注意力學(xué)習(xí)的原理如圖4所示。

圖4中： X 代表特征圖； A 代表自然注意力圖； 代表干預(yù)注意力圖； Y 代表自然注意力預(yù)測(cè)；Y代表干預(yù)注意力預(yù)測(cè)； Y_effect 代表注意力影響輸出預(yù)測(cè)。

在實(shí)驗(yàn)過(guò)程中，進(jìn)行干預(yù) do（A=a） ，需先在網(wǎng)絡(luò)中生成一個(gè)干預(yù)注意力圖 ，從而替換學(xué)習(xí)到的注意力圖。注意力圖選取要具有真實(shí)合理性，要在合理的選擇范圍內(nèi)，即干預(yù)注意力圖的維度大小應(yīng)該與自然注意力圖 A 保持一致，從而保證干預(yù)注意力的真實(shí)性。在實(shí)際操作中，可應(yīng)用均勻分布注意力或隨機(jī)分布注意力當(dāng)作干預(yù)方式。干預(yù)過(guò)程需保持特征圖 X 不變，并保證固定干預(yù)注意力圖 ，目的是斷開(kāi)從特征圖生成注意力圖的因果推理支路，從而完成干預(yù)注意力操作。根據(jù)注意力機(jī)制的公式，完成干預(yù)后，得到干預(yù)注意力預(yù)測(cè) ，其數(shù)學(xué)表達(dá)式為

式中： C 表示分類(lèi)器； 表示 1～n 張注意力干預(yù)圖； ? 表示全局平均池化；*表示按位相乘，這就是干預(yù)注意力學(xué)習(xí)的基本思路。學(xué)習(xí)到的注意力影響輸出預(yù)測(cè) Y_effect 可用 Y（A=A，X=X） 和 之差的期望表示，其數(shù)學(xué)表達(dá)式為

式中， E 表示期望

在細(xì)粒度圖像分類(lèi)任務(wù)中，復(fù)雜的背景、遮擋以及姿態(tài)變化往往會(huì)對(duì)網(wǎng)絡(luò)的分類(lèi)結(jié)果造成巨大影響。將干預(yù)理論引入注意力機(jī)制中，可以有效提升干預(yù)對(duì)象的學(xué)習(xí)質(zhì)量，將網(wǎng)絡(luò)學(xué)習(xí)重點(diǎn)放在更加有區(qū)分度的目標(biāo)上，同時(shí)減少網(wǎng)絡(luò)學(xué)習(xí)冗余信息，有助于增強(qiáng)模型訓(xùn)練的魯棒性，并有效提升模型泛化能力。與現(xiàn)有方法相比，干預(yù)注意力有效提升了注意力學(xué)習(xí)的質(zhì)量，有助于解決細(xì)粒度分類(lèi)任務(wù)中需要更好關(guān)注圖像中細(xì)微差異的問(wèn)題，從而提升了網(wǎng)絡(luò)對(duì)于圖像中關(guān)鍵細(xì)節(jié)的分辨能力，進(jìn)而有效提升其在細(xì)粒度圖像分類(lèi)問(wèn)題上的分類(lèi)準(zhǔn)確率。

2.4 損失函數(shù)

當(dāng)遇到多類(lèi)分類(lèi)問(wèn)題時(shí)，預(yù)測(cè)正確類(lèi)別標(biāo)簽通常為1，其余位置為0。但這種硬標(biāo)簽的預(yù)測(cè)策略會(huì)使網(wǎng)絡(luò)訓(xùn)練結(jié)果過(guò)于武斷，不利于訓(xùn)練過(guò)程中對(duì)噪聲抵抗能力以及網(wǎng)絡(luò)泛化能力的提升。當(dāng)引入標(biāo)簽平滑策略時(shí)，模型不要求正確類(lèi)別預(yù)測(cè)為1，而僅要求正確類(lèi)別預(yù)測(cè)為 1-ε ，并將其他類(lèi)別的預(yù)測(cè)標(biāo)簽設(shè)為 ε ，其中， ε 表示與1相比極小的正實(shí)數(shù)。對(duì)于細(xì)粒度圖像分類(lèi)任務(wù)而言，區(qū)分與表達(dá)類(lèi)別內(nèi)差異是其要解決的關(guān)鍵性問(wèn)題。因此，在損失函數(shù)中引入中心正則化損失函數(shù)以縮短類(lèi)內(nèi)距離，使其更多反應(yīng)和表達(dá)類(lèi)內(nèi)相似性。標(biāo)簽平滑交叉熵?fù)p失函數(shù) L_ce（Y_effect，y^′） 和中心正則化損失函數(shù) L_center 表示為

式中： y^′ 表示平滑分類(lèi)標(biāo)簽； y 表示分類(lèi)標(biāo)簽；L_ce（?） 表示標(biāo)準(zhǔn)交叉熵的損失函數(shù)； 表示均勻分布； m 表示圖像數(shù)量； 表示第 i 張圖像 I_i 的局部響應(yīng)特征； c_n（y_i） 表示第 i 張圖像分類(lèi)標(biāo)簽y_i 的部位特征中心； K 表示自然注意力圖通道數(shù)量，其取值應(yīng)兼顧網(wǎng)絡(luò)訓(xùn)練時(shí)精度與速度的要求。若 K 取值過(guò)小，則難以達(dá)到訓(xùn)練精度要求；相反，若其取值過(guò)大，則會(huì)過(guò)度消耗計(jì)算成本，且對(duì)訓(xùn)練精度的提升效果有限。經(jīng)驗(yàn)證， K 為32時(shí)更能滿(mǎn)足相關(guān)要求。同時(shí)，將注意力質(zhì)量當(dāng)作一個(gè)監(jiān)督信號(hào)，指導(dǎo)注意力的學(xué)習(xí)過(guò)程。所以總的目標(biāo)函數(shù)為

L=L_ce（Y_effect，y^′）+αL_center

式中， α 是兩種損失函數(shù)的線(xiàn)性組合系數(shù)。

通過(guò)優(yōu)化新的目標(biāo)函數(shù)，期望注意力發(fā)現(xiàn)最具判別性的區(qū)域，避免次優(yōu)結(jié)果。其次，希望利用干預(yù)注意力監(jiān)督預(yù)測(cè)結(jié)果，迫使分類(lèi)器根據(jù)主要線(xiàn)索來(lái)作決定，而非偏見(jiàn)信息，降低訓(xùn)練集當(dāng)中偏見(jiàn)成分的影響。與現(xiàn)有方法相比，該損失函數(shù)的設(shè)計(jì)能夠達(dá)到更好地修正卷積神經(jīng)網(wǎng)絡(luò)參數(shù)權(quán)重的目的，使提取的圖像特征得以更有效地進(jìn)行圖像分類(lèi)。

3 實(shí)驗(yàn)及結(jié)果分析

為了評(píng)估模型的有效性，本文將提出的學(xué)習(xí)方法在幾個(gè)常用的細(xì)粒度圖像分類(lèi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，通過(guò)消融實(shí)驗(yàn)驗(yàn)證所加模塊對(duì)于基線(xiàn)模型準(zhǔn)確度的提升效果，并與其他先進(jìn)的方法進(jìn)行比較，驗(yàn)證方法的有效性。下面描述具體實(shí)驗(yàn)數(shù)據(jù)集、實(shí)施設(shè)置細(xì)節(jié)及實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集

實(shí)驗(yàn)采用3個(gè)常用的經(jīng)典公開(kāi)細(xì)粒度圖像數(shù)據(jù)集，分別是CUB-200-2011、StCars和FGVCAircraft，3個(gè)數(shù)據(jù)集的類(lèi)別數(shù)量、訓(xùn)練集和測(cè)試集的圖像數(shù)量如表1所示。

3.2 實(shí)驗(yàn)設(shè)置

針對(duì)每一張訓(xùn)練圖像，利用本文數(shù)據(jù)增強(qiáng)方法將訓(xùn)練數(shù)據(jù)集擴(kuò)充3倍，本文代碼基于Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)，以ResNet系列和VGG19作為骨干模型，同時(shí)采用注意力機(jī)制加強(qiáng)特征提取能力。注意圖是在 1×1 卷積后得到的。在GPU上使用動(dòng)量為0.9，epoch數(shù)為160，權(quán)重衰減為0.00001，最小批量大小為4的隨機(jī)梯度下降（stochasticgradientdescent，SGD）來(lái)訓(xùn)練模型。將初始學(xué)習(xí)速率設(shè)置為0.001，在每2個(gè)epoch之后進(jìn)行0.9的指數(shù)衰減。其中，在CUB-200-2011數(shù)據(jù)集上以VGG19為骨干網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)中采用的最小批量大小為8。為了有效兼顧網(wǎng)絡(luò)訓(xùn)練速度與精度要求，使其更好展現(xiàn)所提方法的有效性及合理性，本文參數(shù)選取考慮了模型的復(fù)雜度、數(shù)據(jù)集的大小和分布，并評(píng)估了模型的準(zhǔn)確性、泛化能力和穩(wěn)定性，同時(shí)考慮了可用的計(jì)算資源，從而確定此參數(shù)選取策略。本文采用分類(lèi)準(zhǔn)確度檢驗(yàn)細(xì)粒度圖像分類(lèi)模型的訓(xùn)練效果，該性能指標(biāo)可直觀反映模型的分類(lèi)性能。分類(lèi)準(zhǔn)確率公式為

式中： T 表示所有類(lèi)別中被正確分類(lèi)的圖像樣本數(shù)量； W 代表總的樣本數(shù)量。

3.3 對(duì)比實(shí)驗(yàn)

在 CUB-200-2011、 St Cars 和 FGVCAircraft數(shù)據(jù)集上，與其他細(xì)粒度分類(lèi)方法進(jìn)行比較評(píng)估，實(shí)驗(yàn)結(jié)果如表2所示。本文方法使用相同主干網(wǎng)絡(luò)，在3個(gè)廣泛使用的數(shù)據(jù)集中進(jìn)行測(cè)試，與同類(lèi)別先進(jìn)方法相比，表現(xiàn)出約 1% 的性能提升。可以觀察到，隨著骨干網(wǎng)絡(luò)層數(shù)加深，本文方法的分類(lèi)準(zhǔn)確率在3個(gè)數(shù)據(jù)集上都有 1%～ 4% 的提升，說(shuō)明骨干網(wǎng)絡(luò)特征提取能力的優(yōu)劣對(duì)于分類(lèi)準(zhǔn)確率有一定影響。同時(shí)，比較本文方法與其他方法在應(yīng)用不同層數(shù)骨干網(wǎng)絡(luò)時(shí)在3個(gè)數(shù)據(jù)集上的分類(lèi)表現(xiàn)，可以發(fā)現(xiàn)，本文方法在不同數(shù)據(jù)集上的性能提升程度存在一定區(qū)別，這是由于不同數(shù)據(jù)集的數(shù)據(jù)分布差異導(dǎo)致的。例如，在StCars數(shù)據(jù)集上，本文方法在應(yīng)用較淺層的ResNet34作為骨干網(wǎng)絡(luò)時(shí)表現(xiàn)出相對(duì)更優(yōu)的性能。這是由于該數(shù)據(jù)集的類(lèi)內(nèi)差異更小，通過(guò)所提出的干預(yù)注意力機(jī)制等方法可以關(guān)注判別性區(qū)域，使網(wǎng)絡(luò)在訓(xùn)練過(guò)程中更多學(xué)習(xí)到有助于分類(lèi)的特征，從而在該數(shù)據(jù)集上得到更高的分類(lèi)準(zhǔn)確率。

3.4 消融實(shí)驗(yàn)

為檢驗(yàn)本文方法關(guān)鍵組件的有效性，在CUB200-2011數(shù)據(jù)集上利用5組消融實(shí)驗(yàn)，驗(yàn)證干預(yù)推理機(jī)制、融合注意力增強(qiáng)和標(biāo)簽平滑損失函數(shù)的使用對(duì)實(shí)驗(yàn)結(jié)果的影響。最終結(jié)果如表3所示。實(shí)驗(yàn)1中，基線(xiàn)模型采用 ResNet50 作為特征提取網(wǎng)絡(luò)，同時(shí)應(yīng)用注意力引導(dǎo)數(shù)據(jù)增強(qiáng)方法，最終預(yù)測(cè)結(jié)果由最后的全連接層獲得。實(shí)驗(yàn)2相比基線(xiàn)模型，在特征提取網(wǎng)絡(luò)中加人融合注意力分支，其準(zhǔn)確率提升約 0.5% ，證明該分支加強(qiáng)了網(wǎng)絡(luò)對(duì)特征的提取能力。

實(shí)驗(yàn)3和實(shí)驗(yàn)5分別在實(shí)驗(yàn)1和實(shí)驗(yàn)2的基礎(chǔ)上加入干預(yù)注意力分支，其性能分別提升 0.2% 和0.5% ，證明該分支對(duì)于提升注意力學(xué)習(xí)的質(zhì)量及模型準(zhǔn)確率具有一定的效果，且當(dāng)特征提取網(wǎng)絡(luò)的性能提升時(shí)，該分支的性能表現(xiàn)越明顯。實(shí)驗(yàn)4在實(shí)驗(yàn)1的基礎(chǔ)上應(yīng)用標(biāo)簽平滑方法，其分類(lèi)準(zhǔn)確率相較基線(xiàn)模型提升約 1.6% ，證明該方法的應(yīng)用對(duì)于減少過(guò)擬合，提高模型的置信度有積極作用。僅利用標(biāo)簽平滑對(duì)分類(lèi)準(zhǔn)確率的提升效果十分明顯，但并不意味著融合注意力與干預(yù)注意力對(duì)于模型訓(xùn)練的重要程度不高，可能僅在特定數(shù)據(jù)集與參數(shù)配置情況下呈現(xiàn)出這樣的現(xiàn)象，也從側(cè)面證明所提各方法對(duì)訓(xùn)練都有較好效果。

3.5 損失函數(shù)的參數(shù)評(píng)估

為檢驗(yàn)本文方法的中心正則化損失函數(shù)對(duì)模型的性能影響，對(duì)式（5中線(xiàn)性組合系數(shù) α 進(jìn)行參數(shù)評(píng)估。實(shí)驗(yàn)在StCars數(shù)據(jù)集上進(jìn)行，骨干模型采用ResNet50，最終對(duì)比結(jié)果如圖5所示。通過(guò)觀察可得，在中心正則化損失函數(shù)的線(xiàn)性組合系數(shù)加大到2的情況下，分類(lèi)準(zhǔn)確率提升約0.4% ，其原因在于中心正則化損失將目標(biāo)各個(gè)部位的位置誤差計(jì)入損失函數(shù)，通過(guò)矯正各部位的位置信息使得目標(biāo)定位更精準(zhǔn)，加強(qiáng)了提取特征的準(zhǔn)確度，從而提升了模型的分類(lèi)性能。

3.6 數(shù)據(jù)可視化

為直觀展現(xiàn)注意力增強(qiáng)分支的裁剪與擦除圖像的應(yīng)用效果，并展現(xiàn)提出的干預(yù)注意力引導(dǎo)的數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)的圖像注意力關(guān)注區(qū)域，對(duì)于輸入圖像的自然注意力圖與干預(yù)注意力圖及本文方法的裁剪圖像與擦除圖像及其對(duì)應(yīng)的注意力圖采用可視化方法。實(shí)驗(yàn)在CUB-200-2011鳥(niǎo)類(lèi)公開(kāi)數(shù)據(jù)集上進(jìn)行，骨干模型采用ResNet50，可視化熱力圖如圖6所示。

觀察自然注意力圖可知，網(wǎng)絡(luò)更多地將關(guān)注集中在鳥(niǎo)的頭部和身體等關(guān)鍵性識(shí)別區(qū)域，這有助于網(wǎng)絡(luò)學(xué)習(xí)到更關(guān)鍵的區(qū)分區(qū)域，可以幫助其理解在處理任務(wù)時(shí)的關(guān)注重點(diǎn)，從而使模型的優(yōu)化和改進(jìn)方向更為明確，有助于提升模型性能。觀察干預(yù)注意力圖發(fā)現(xiàn)，其關(guān)注區(qū)域較為分散，其作用在于幫助模型更好地學(xué)習(xí)圖像的規(guī)律和特征，去除網(wǎng)絡(luò)學(xué)習(xí)的冗余信息，增強(qiáng)注意力學(xué)習(xí)質(zhì)量，提升模型的泛化能力和魯棒性。觀察裁剪圖像及其注意力圖可知，裁剪圖像范圍更多集中在對(duì)分類(lèi)更有效的目標(biāo)區(qū)域，在注意力圖中可以看到網(wǎng)絡(luò)能夠從中找到更重要的特征，將其加入訓(xùn)練過(guò)程，有助于網(wǎng)絡(luò)學(xué)習(xí)更加細(xì)微的特征。觀察擦除圖像及其注意力圖，可以發(fā)現(xiàn)擦除圖像將圖像中比較有辨識(shí)性的區(qū)域進(jìn)行擦除，從而促使模型學(xué)習(xí)到某些更為隱藏性的特征，加強(qiáng)對(duì)圖像中區(qū)分性特征學(xué)習(xí)的全面性。注意力引導(dǎo)的裁剪與擦除技術(shù)可以有效地防止模型過(guò)度依賴(lài)數(shù)據(jù)中的局部特征，促使模型學(xué)習(xí)更加全局和抽象的特征表示，從而提升模型的性能。

3.7 可視化圖對(duì)比

為有效對(duì)比本文方法與基線(xiàn)方法，將兩種方法在網(wǎng)絡(luò)關(guān)注區(qū)域的注意力圖進(jìn)行可視化，實(shí)驗(yàn)在CUB-200-2011鳥(niǎo)類(lèi)公開(kāi)數(shù)據(jù)集上進(jìn)行，可視化熱力圖對(duì)比如圖7所示。本文模型采用以ResNet50為骨干模型結(jié)合注意力引導(dǎo)數(shù)據(jù)增強(qiáng)的方法，與基線(xiàn)方法進(jìn)行比對(duì)，可觀察到本文方法的注意力圖將關(guān)注區(qū)域更多聚焦到檢測(cè)目標(biāo)中，同時(shí)將關(guān)注區(qū)域更分散地體現(xiàn)于目標(biāo)區(qū)域中，可有效降低網(wǎng)絡(luò)對(duì)某些關(guān)鍵性區(qū)域的過(guò)分依賴(lài)，減少?gòu)?fù)雜背景對(duì)檢測(cè)準(zhǔn)確度的影響。最終，該方法幫助網(wǎng)絡(luò)準(zhǔn)確地監(jiān)測(cè)目標(biāo)特征，取得更加有效的細(xì)節(jié)區(qū)域，為提升網(wǎng)絡(luò)分類(lèi)精度提供重要的幫助。

4結(jié)論

提出了一種新的干預(yù)注意力引導(dǎo)的數(shù)據(jù)增強(qiáng)方法，在細(xì)粒度圖像分類(lèi)任務(wù)中，干預(yù)注意力能夠有效引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)圖像關(guān)鍵判別性特征，挖掘數(shù)據(jù)間關(guān)聯(lián)性，提高模型的學(xué)習(xí)效率和泛化能力，并為人類(lèi)理解網(wǎng)絡(luò)訓(xùn)練過(guò)程提供良好的實(shí)驗(yàn)示例。設(shè)計(jì)的標(biāo)簽平滑損失函數(shù)以及中心正則化損失函數(shù)能夠有效提升模型分類(lèi)精度。最終實(shí)驗(yàn)結(jié)果表明，本文方法相較其他細(xì)粒度分類(lèi)方法，在分類(lèi)準(zhǔn)確率上具有一定提升，但本文方法在訓(xùn)練速度上還存在一定的不足。今后的研究可考慮一些更加輕量化的方法，通過(guò)減少參數(shù)量，使訓(xùn)練速度得到一定程度的提升。可嘗試結(jié)合更高級(jí)的可解釋性模型，以提高模型解釋的準(zhǔn)確性和可信度。另外，該方法可用于增強(qiáng)注意力學(xué)習(xí)質(zhì)量，降低數(shù)據(jù)集偏差帶來(lái)的影響。將其應(yīng)用于各種細(xì)粒度圖像識(shí)別任務(wù)，具有良好的泛化性

參考文獻(xiàn)：

[1]白尚旺，王夢(mèng)瑤，胡靜，等.多區(qū)域注意力的細(xì)粒度圖像 分類(lèi)網(wǎng)絡(luò)[J].計(jì)算機(jī)工程，2024，50（1）：271-278.

[2] ZHANG N， DONAHUE J，GIRSHICK R， et al. Part-based R-CNNsfine-grainedcategorydetection[C]/ Procedings the l3th European Conference on Vision. Zurich： Springer， 2014： 834-849.

[3] CHEN G Y， LU J W， YANG M， et al. Learning recurrent 3D attention video-based person re-identification[J]. IEEE Transactionson Image Processing，2020，29： 6963-6976.

[4]PARK S， KWAK N. Analysis on the dropout effect in convolutional neural networks[C]//Proceedings the l3th Asian Conference on Vision. Taipei， ： Springer， 2017： 189-204.

[5]DEVRIES T， TAYLOR G W. Improved regularization convolutional neural networks with cutout [DB/OL]. （2017-08-15）[2024-01-08].https：//rxiv.org/abs/1708. 04552.

[6] WAH C， BRANSON S， WELINDER P， et al. The CaltechUCSD birds-200-2011 dataset[R]. Pasadena： Calinia Institute ， 2011.

[7] KRAUSE J， STARK M， DENG J， et al. 3D object representationsfine-grainedcategorization[C]/ Proceedings 2013 IEEE International Conference on Vision Workshops. Sydney： IEEE，2013： 554-561.

[8]MAJI S， RAHTU E， KANNALA J， et al. Fine-grained visual classification aircraft [DB/OL]. （2013-06-21） [2024-01-08]. https：//arxiv.org/abs/1306.5151.

[9]LIU X， XIA T， WANG J，et al. Fully convolutional attention networks fine-grained recognition [DB/OL]. （2016-03-22）[2024-01-08].htps：//rxiv.0rg/abs/1603. 06765.

10]LIN T Y， ROYCHOWDHURY A， MAJI S. Bilinear CNN models fine-grained visual recognition[C]/Proceedings 2015 IEEE International Conference on Vision. Santiago： IEEE， 2015： 1449-1457.

11] WANG Y X， LI G J， MA L. A sparse focus framework visual fine-grained classification[J]. Multimedia Tools Applications， 2021， 80（16）： 25271-25289.

12]譚潤(rùn)，葉武劍，劉怡俊.結(jié)合雙語(yǔ)義數(shù)據(jù)增強(qiáng)與目標(biāo)定位 的細(xì)粒度圖像分類(lèi)[JI.計(jì)算機(jī)工程，2022.48（2）： construction learning fine-grained image recognition[C]//Proceedings 2019 IEEE/CVF Conference on Vision Pattern Recognition. Long Beach： IEEE， 2019： 5152-5161.

[14]LI GJ， WANG Y X， ZHUF T.Multi-branch channel-wise enhancement network fine-grained visual recognition[C]//Proceedings the 29th ACM International Conference on Multimedia. New York： ACM， 2021： 5273-5280.

[15] DU R Y， CHANG D L， BHUNIA A K， et al. Fine-grained visual classification via progressive multi-granularity training jigsaw patches[C]//Proceedings the 16th European Conference on Vision. Glasgow： Springer， 2020： 153-168.

[16] ZHENG H L，F(xiàn)U JL，MEI T，et al. Learming multiattention convolutional neural network fine-grained imagerecognition[C]//Proceedings2017IEEE International Conference on Vision. Venice： IEEE，2017： 5219-5227.

[17] SUN M， YUAN Y C， ZHOU F， et al. Multi-attention multiclassconstraint fine-grained image recognition [C]//Proceedings the 15th European Conference on Vision. Munich： Springer， 2018： 834-850.

[18]江雨燕，陶承鳳，李平.數(shù)據(jù)增強(qiáng)和自適應(yīng)自步學(xué)習(xí)的深 度子空間聚類(lèi)算法[J].計(jì)算機(jī)工程，2023，49（8）： 96-103，110.

[19] SINGH K K， LEE Y J. Hide--seek： cing a network to be meticulous weakly-supervised object action localization[C]/Proceedings 2017 IEEE International Conference on Vision. Venice： IEEE，2017： 3544-3553.

[20] GONG C Y， WANG D L， LI M， et al. KeepAugment： a simpleinmation-preservingdata augmentation approach[C]/Proceedings 2021 IEEE/CVF Conference on Vision Pattern Recognition. Nashville： IEEE，2021： 1055-1064.

[21] CUBUK E D， ZOPH B， MANE D， et al. AutoAugment： learning augmentation strategies from data[C]//Proceedings 2019 IEEE/CVF Conference on Vision Pattern Recognition. Long Beach： IEEE， 2019： 113-123.

[22]NAIMI A I. Tyler J VerWeele. Explanation in causal inference： methods mediation interaction[J]. European Journal Epidemiology， 2016，31（10）： 1065-1066.

[23]HU J， SHENL， SUN G. Squeeze--excitation networks[C]//Proceedings 2018 IEEE/CVF Conference on Vision Pattern Recognition. Salt Lake City：IEEE，2018：7132-7141.

[24]FUJL，ZHENG HL，MEI T.Look closer to see better： recurrent attention convolutional neural network finegrained image recognition[C]//Proceedings 2017 IEEE Conference on Vision Pattern Recognition Honolulu：IEEE，2017：4476-4484.

[25]王陽(yáng)，劉立波.面向細(xì)粒度圖像分類(lèi)的雙線(xiàn)性殘差注意 力網(wǎng)絡(luò)[J].激光與光電子學(xué)進(jìn)展，2020，57（12）：121011.

[26]HUANG S L， WANG X C， TAO D C. SnapMix： semantically proportional mixing augmenting finegrained data[C]//Proceedings the 35th AAAI Conference onArtificial Intelligence. Palo Alto： AAAI， 2021： 1628-1636.

[27] WANG Y M， MORARIU V I， DAVIS L S. Learning a discriminative filter bank within a CNN fine-grained recognition[C]//Proceedings 2018 IEEE/CVF Conference on Vision Pattern Recognition. Salt Lake City：IEEE，2018： 4148-4157.

[28] YANG Z， LUO T G， WANG D， et al. Learning to navigate fine-grained classification[C]//Proceedings the 15th European Conference on Vision. Munich： Springer， 2018： 438-454.

[29] LUO W， YANG X T， MO X J， et al. Cross-X learning fine-grained visual categorization[C]//Proceedings 2019 IEEE/CVF International Conference on Vision. Seoul：IEEE，2019：8241-8250.

[30]DING Y， ZHOU Y Z， ZHU Y，et al. Selective sparse samplingfine-grainedimagerecognition[C]// Proceedings 2019 IEEE/CVF International Conference on Vision. Seoul：IEEE，2019：6598-6607.

[31] SUN G L， CHOLAKKAL H， KHAN S， et al. Fine-grained recognition： accounting subtle differences between similarclasses[C]//Proceedings the 34thAAAI Conference on Artificial Intelligence. Palo Alto： AAAI， 2020：12047-12054.

[32] ZHUANG P Q， WANG Y L， QIAO Y. Learning attentive pairwise interaction fine-grained classification[C]// Proceedings the 34th AAAI Conference on Artificial Intelligence.PaloAlto：AAAI，2020：13130-13137.

（編輯：董偉）