基于Attention機制的圖像應用

高政霞

（蘭州資源環境職業技術學院 信息工程學院，甘肅 蘭州 730021）

1 Attention機制的概念和分類

1.1 Attention機制的概念

目前，Attention沒有嚴格的數學定義。認知科學中，信息處理存在局限，人類選擇性關注信息中最為關鍵的部分信息，同時忽略其他可見信息，這種機制通常稱為Attention機制。例如，人類在閱讀書籍時通常關注和處理少量的字、詞、句，看世界的時候，關注特定區域以了解所需知識。

在學術界，Attention也是一種方法論。如處理圖像時，利用神經網絡提取特征，Attention機制通常作為一部分約束加入神經網絡中，使模型的處理結果更為精確，并且能夠硬性選擇輸入的某些區域或者給各特征分配不同權重。神經網絡中滑動窗口方法以及圖像中傳統的局部特征提取和顯著性檢測都可視為Attention機制。

1.2 Attention機制的分類

Attention[1]起源于人類視覺研究，在計算機視覺中，Attention機制主要指的是神經網絡中的Attention機制，從這個角度將Attention機制分為四大類：基于輸入項的柔性注意力（Item-wise Soft Attention）、基于輸入項的硬性注意力（Item-wise Hard Attention）、基于位置的柔性注意力（Location-wise Soft Attention）、基于位置的硬性注意力（Location-wise Hard Attention）[2]如表1所示。

表1 神經網絡中Attention機制的四種類型

在計算機視覺中，往往使用神經網絡處理大量的輸入信息來提取圖像特征，而且理論上網絡越深提取的特征更精確，但如果借鑒人腦的Attention機制，可以大大提高效率，有選擇性地提取關鍵信息來處理，從這個層面上可將Attention機制分為兩類：

1.2.1 聚焦式（Focus）注意力

Focus是一種自上而下的有意識的Attention機制，可以說是一種主動注意，指的是有選擇性、有預定目標、依賴于任務并且自主有意的聚焦某一個對象的Attention機制。在人工神經網絡中所提到的Attention機制一般都指的是聚焦式注意力。

1.2.2 顯著性（Saliency-based）注意力

Saliency-based也是一種自上而下的有意識的Attention機制，但屬于被動注意，主要是在外界的刺激驅動下的注意，無需主動干預，不依賴于任務，比如神經網絡中的最大池化（Max-pooling）和門控（Gating）機制相當于顯著性注意力。

2 Attention原理

Attention機制是一種尋址（Addressing）過程，只專注于特征的神經網絡，輸入能夠進行特定選擇，Attention可將輸入設為,特征向量,Attention向量,Attention網絡。那么計算如公式（1）所示：

⊙表示對應按元素相乘的運算。本文引用Soft Attention和Hard Attention來講解Attention原理，Soft Attention指相乘時掩膜值（mask of values）在0到1，而Hard Attention表示掩膜值（mask of values）被強制分為0或1兩種（），Hard Attention可用來掩飾指數的特征向量，這樣就增加了維度。神經網絡的本質是一個函數逼近器，在理解Attention的重要形式考慮到依賴于它的架構，可近似不同類型的函數。

神經網絡的應用一般是鏈矩陣乘法和對應元素的架構中，此時特征向量只在加法時相互起作用。Attention機制能用于特征相乘的掩膜（mask），該操作使神經網絡逼近的函數空間大大擴展，其使得全新的用例成為可能。

3 Attention圖像應用

當前計算機視覺領域的研究，如模式識別、圖像處理、目標追蹤、圖像檢索、目標檢測等等，使用Attention機制很廣泛。而Attention作為一種思想便于結合多種不同模型，且Attention并不依賴于任何框架。

3.1 Attention延伸

2021年1月李揚志等[3]提出一種時空注意力圖卷積網絡（STA-GCN）模型進行人體骨架動作識別，識別精度能夠很好地通過空間注意力機制和時間注意機制的結合挖掘判別力時域片段。Lin等[4]提出一種用于圖形分割的任務解耦方法，利用深層網絡得到較為粗糙的圖像分割結果圖Attention Map，進行預測艦船船頭船尾靠岸的大致位置（如圖1所示）。

圖1 STA-GCN

基于多特征注意力機制的視覺應用有效聚合語義分割網絡，在圖文評論情感分析中Attention有效利用端對端學習方式，通過多層次文本特征和層次化圖像特征進行空間注意類引導。

3.2 Attention推理

武維等[5]提出一種深度注意力流行度預測模型構建基于Attention-LSTM進行捕捉流行趨勢狀況并挖掘時序信息，高維度文本特征提取作者通過實驗表明模型優良，可見Attention機制在預測、推理等方面也有很好的應用前景。人臉識別、人臉監測中Attention機制的應用對于情緒分類、美麗預測、年齡預測等方面也有非常廣闊的應用前景。

吳若有等[6]提出一種基于注意力機制和CNN的低照度圖像增強算法用來改善圖像質量，在提高圖像清晰度、避免顏色失真上效果明顯，可以有效地改善圖像質量，而且對于美圖的進一步增強有一定優勢。

3.3 Graph Attention Network

Graph Attention Network（GAT）是目前炙手可熱的研究方向，其中引入了Attention機制通過學習鄰居的權重來更好地實現對鄰居的加權聚合。它的優點在于對噪音鄰居的魯棒性更好，而GAT也賦予了深度學習領域中相關提出模型的可解釋性。對于GAT的工作內容如圖2所示。

圖2 GAT工作內容

GAT首先學習了圖2左邊中節點i和節點j之間的Attention權重aij，其次基于Attention權重{a11，…,a16}來對階段{1,2,…，6}的表示h1，…,h6進行加權平均，最終得到節點1的表示h'1。Attention網絡有很多設計方式，可以將節點i和節點j的表示拼接，再映射成標量，但這樣會導致Attention值非對稱，也就是eij≠eji。除了拼接外，可以進行鄰居信息的聚合，但需要對各節點鄰居的Attention進行歸一化操作。歸一化后的Attention權重才是真正的聚合系數。此時的歸一化會導致Attention權重非對稱性。因此求解Attention權重分子分母都是非對稱的情況，所以aij也是非對稱的。那么非對稱在圖像數據中有何用呢？例如在抖音中，一個大咖和一個粉絲互相關注，但是大咖和粉絲相互之間的重要性明顯是不一樣的。對于粉絲來說大咖的重要性顯而易見，但是對于大咖來說，這一個粉絲對他的重要性有可能忽略不計。

所以完整的圖注意力公式如下：

3.4 Attention機制主要應用方式

Attention機制主要應用的方式大概有學習權重分布，即通過構造的Attention模型從而自動去學不同尺度的權重，進行融合；任務聚焦或解耦，即將圖像分類和分割任務進行解耦，使用Attention Map對淺層網絡的損失進行引導，并且通過反向傳播得到目標特征位置上的損失，其他地方的損失不反傳。

Attention機制發展至今，研究學者們依然在通過各種方面對其進行改進，隨之還產生了很多形式，比如Soft Attention、Hard Attention、Global Attention、Local Attentio n、Self-Attention（又稱為intra Attention）等。變種花樣何其多，但并不脫離其本質結構。

4 討論

Attention機制在深度學習、人工智能、數據挖掘等領域有重大應用，并且在開展創新創業大賽及技能類競賽和相關項目中應用前景廣闊。但根據目前研究進展來看也有些許難點有待解決，主要體現在：

（1）如何將其更好地融入到職業教育中，挖掘最大的應用潛能。

（2）缺少基于Attention機制的教育相關的數據集，需要我們不斷擴展完善。

5 結論

綜合分析，Attention機制這個概念特別新穎而且應用強，它的出現可以推動很多相關工作，擴展了神經網絡的功能，可近似更加復雜的函數，能夠幫助研究者專注于輸入信息的特定部分，提高計算機視覺任務的效率和提取性能，為各個研究領域注入了活力，目前不僅在計算機視覺領域應用廣泛，而且在語音識別、自然語言處理、認知和推理、人機交互等不同的類型任務中都能看到Attention機制的身影，它的前景非常廣闊。