基于通道域自注意力機制的圖像識別算法

何海洋 孫南

摘? 要： 為了提高自注意力網絡的圖像識別效果，對通道域自注意力機制存在的梯度死亡的問題，提出了一種優化算法。首先聚集特征在空間范圍上的全局特征響應，然后使用新的激活函數對通道關系建模，構造通道權重響應。將改進后的通道域自注意力模塊使用于神經網絡分類器中，在CIFAR-10和CIFAR-100數據集上進行實驗，結果顯示，和傳統模型相比，圖像識別準確率提高了1.3%和1.4%，驗證了所提算法的有效性。

關鍵詞： 通道域自注意力; 神經網絡; 激活函數; 圖像識別

中圖分類號：TP391? ? ? ? ? 文獻標識碼：A? ? ? 文章編號：1006-8228（2020）10-64-05

Abstract： In order to improve the image recognition of the self-attention network， an optimized algorithm is proposed for the problem of gradient death that exists in the channel domain self-attention mechanism. Firstly， the global feature response over the spatial extent of the feature is aggregated， and then the new activation function is used to model the channel relationship and to construct the channel weight response. The improved channel-domain self-attention module is used in neural network classifier， and experiments are carried out on CIFAR-10 and CIFAR-100 datasets.? The experiment results show that the accuracy of image recognition is improved by 1.3% and 1.4% compared with the traditional model， which verifies the effectiveness of the proposed algorithm.

Key words： channel domain self-attention; neural network; activation function; image recognition

0 引言

圖像識別是計算機視覺領域中的三大任務之一，其是通過分析圖片的整體特征，找到目標圖片的所屬類別。目前，深度學習在圖像識別領域取得了突破性的進展。

隨著NLP中的注意力機制廣受歡迎[1]，注意力機制引起了計算機視覺領域的重視，開始慢慢滲透到研究的主體結構中，以補充現有的CNN體系結構或完全替代它們。

注意力機制是網絡架構的一個組成部分，負責管理和量化信息之間的相互依賴關系。對于在輸入和輸出元素之間的關系，一般稱它為General Attention，而輸入元素內部的關系叫做自注意力（Self-Attention）。自注意力是一種與單個序列的不同位置相關聯的注意力機制，它接受n個輸入，并返回n個輸出，其目的是計算同一序列的表示形式。大量文獻表明自注意力機制在機器閱讀，抽象概念總結和圖像描述及生成中非常有用[2-5]。

空間域自注意力[6]提……