基于選擇性注意機制的目標區域提取研究*

王奕婷 高美珍 洪家平 陳英豪 喬豐收

（1.北京師范大學人工智能學院 北京 100875）（2.湖北師范大學物理與電子科學學院 黃石 435002）

（3.湖北師范大學計算機科學與技術學院 黃石 435002）

（4.中國人民解放軍91919部隊 黃岡 438000）（5.武漢船舶通信研究所 武漢 430079）

1 引言

在目標檢測［1～3］領域，傳統的方法如方向梯度直方圖結合支持向量機［4～5］的算法在實時性和準確率之間達到平衡，但對于遮擋和目標方向改變的情況存在漏檢。為使結果更加精確，基于區域候選［6～7］的方法被提出并大量探索。這類方法先提取目標備選區域，然后訓練神經網絡以實現目標檢測。但在保證準確率的前提下，候選區域提取方法有一定計算復雜度且生成候選框的數量較多，造成后續訓練和測試的計算量大，難以應用于實時監測的場景。

在現有模型的基礎上，引入選擇性注意機制［8～9］能夠更加高效地實現目標備選區域提取。Ji等人在卷積神經網絡中引入多尺度注意機制［10］產生顯著性映射圖，并在多個數據集上達到了更高的檢測精度。趙謙等［11］借鑒視覺注意模型生成顯著圖，能夠濾除部分干擾并對目標區域進行增強以達到更高的準確率。但隨著外界環境的變化與目標數量的增加，該方法表現欠佳且實時性不夠，需要更加高效的視覺注意機制模型。

近年來，構建基于注意機制的算法模型逐漸成為研究熱點，并被廣泛應用于分類［12～13］、檢測［14］與分割［15］、目標跟蹤與識別［16～17］、質量評估［18］等多個領域。Itti等提出一種基于視覺注意的系統［19］，融合多尺度圖像特征并進行疊加構建顯著圖，能夠減少背景噪聲的干擾并實現不同場景下的目標區域提取，但處理后圖像的邊緣信息丟失。在此基礎上，許永恩等引入邊緣信息的提?。?0］以實現更精確的目標檢測，但其在復雜場景下檢測精度不高，且較Itti模型運算速度有所下降。為提高定位準確率，Harel等提出基于圖的視覺注意（GBVS）模型［21］，在特定特征通道上生成激活圖，對其進行歸一化得到顯著的區域。該模型在自然圖像場景下檢測準確度高，但無法精確提取出目標區域輪廓且運算速度較慢。

針對上述問題，本文提出并構建一種基于選擇性注意機制的目標區域高效提取模型。這種方法可以不依賴于光照、方向等其他底層特征，且不需要高性能設備的安裝，大大降低了運算量。

2 背景建模

將二維尺度的圖像從空間域轉化到頻域，能夠根據不同的頻率成分來區分不同組成部分的信息。圖1展示了原始圖像及其變換后的結果。

圖1 原始圖像與變換圖示

圖1（a）為原始圖像，將給定的三通道RGB圖像轉換為灰度圖像，如圖1（b）所示。進行二維離散余弦變換，得到對應的幅度與頻率的變化關系。圖1（c）展示了變換后得到的頻域部分區域，采用灰度圖像的方式呈現，共分為256個灰階。隨著水平方向的自左向右和垂直方向的自上向下變化，頻率數值由小到大遞增。圖示表明，能量主要集中在低頻部分。

為進一步觀察不同水平和垂直等級的數值變化情況，在離散余弦變換的結果中選擇部分的行和列，分別繪制水平和垂直方向的幅度-頻率關系曲線，如圖2和圖3所示。

圖2 水平方向的幅度-頻率關系曲線

圖3 垂直方向的幅度-頻率關系曲線

可以看到，圖像中大部分信息存在于頻域中的低頻區域。對輸入信號的不同頻率成分的信息進行變換和分析，能夠去除部分冗余信息并突出較為顯著的目標區域。根據以上分析，構建模型并進行理論分析。

3 模型算法

本文提出一種基于頻域分析的計算模型，操作步驟分為預處理和算法實現兩部分。先對圖像進行預處理，再通過分析頻譜信息并進行函數映射與差值計算，提取目標區域。

3.1 預處理

讀入原始圖像并統一調整格式，采用加權平均法將彩色圖像轉為灰度圖像，如式（1）。

其中，x、y分別為輸入圖片的水平和垂直位置，R(x，y)、G(x，y)、B(x，y)為輸入圖像每個像素對應的紅、綠、藍通道的值，f(x，y)為變換得到的灰度圖像。在不影響圖像的有效信息表示和目標提取準確度的前提下，設置圖像大小為原來的一半可以提高后續的運算和處理速度。

3.2 模型構建

為去除圖片中的部分冗余信息，構建計算模型如圖4所示。

圖4 基于選擇性注意機制的區域備選流程圖

預處理得到的f(x，y)作為輸入信號，其中，圖像的長為M，寬為N，0≤x≤M，0≤y≤N。對輸入的信號進行二維離散余弦變換，從空域轉換到頻域。

式中 0≤u≤M，0≤v≤N，DCT代表對信號進行離散余弦變換，u、v是變換后二維數組的坐標，F(u，v)為不同頻率坐標位置的系數值。將F(u，v)的相位信息記為φ(u，v)。圖像的相位包含了數據的空間位置信息，因此提取出來可以在幅值進行映射變換后重構顯著區域圖。

構造式（3），在頻域中對幅值信息進行映射。定義a為補償因子，當a取值為10時，特性曲線如圖5所示。

圖5 映射函數特性曲線

其中，x為輸入信號，g（x）為輸出。這里的輸入信號為|F(u，v)|，也即經過離散余弦變換后的幅度。

將F(u，v)經過函數g(x)映射變換的函數記為G(u，v)，采用鄰域平均法對輸出信號處理得到I(u，v)。通過數值作差，在變換域中減去相對冗余的成分，而保留較為顯著的成分，將差值結果記作H(u，v)。

在變換域中構建式（5），將形狀信息與幅值信息結合在一起。

對Hf(u，v)進行二維離散余弦逆變換，得到變換后的信號h(i，j)。

式中IDCT表示對信號進行二維離散余弦逆變換。再對恢復的信號進行絕對平方運算并進行線性濾波，記得到的結果為hn(i，j)，如式（7）、（8）、（9）。

其中，p(i，j)為n階矩陣。對hn(i，j)進行直方圖均衡化得到輸出，即為目標備選區域圖。

4 實驗與分析

4.1 實驗設計

實驗統一采用Intel（R）CoreTMi5-7200U CPU@2.50GHz、4.00GB RAM的硬件配置和Matlab R2018b的軟件環境，比較本文提出的算法與Itti提出的視覺注意模型和基于圖的視覺顯著性（GBVS）模型的處理效果與運算速度。

選用SOD數據集和INRIA Person數據集進行測試和驗證。其中，SOD數據集包含300張不同目標類別的自然場景圖像及對應的人工標注過的目標區域圖，用于定量評估模型效果。INRIA Person數據集共有2573張圖片，被分為訓練集和測試集，每集合包括正樣本和負樣本。正樣本中包含多種類型的行人目標圖片；負樣本為不包含行人的其他場景圖片。訓練集和測試集的正樣本中分別包含2416和1126個不同姿態的人物。

4.2 實驗驗證

4.2.1 定量評估

在SOD數據集上進行測試并采用檢測精度（precision）作為評估指標，如式（10）。其中，TP表示被正確地劃分為正例的個數，FP表示被錯誤地劃分為正例的個數。

分別用本文構建的模型、Itti模型和GBVS模型處理SOD數據集上的圖像，將其結果與人工標注的目標區域圖比較并根據上式計算得出預測精度值，如表1。

表1 不同方法在SOD數據集評估結果

采用本文提出的算法得到的檢驗精度為0.5641，Itti提出的模型精度為0.5184，GBVS模型的精度為0.6132。該算法的精度介于Itti模型與GBVS模型之間，說明在自然場景目標的數據集上表現優良。

4.2.2 實測效果

行人檢測作為一個特殊領域，超出了一般的目標檢測。為進一步驗證該方法的效果，選用INRIA Person數據集作為實驗測試數據，該數據集包含有公路、街道、商場、山地、橋梁、湖泊、雪地等室內外的多種場景，能夠較為全面地體現不同場景下的樣例。

分別采用本文提出的算法、Itti提出的模型和GBVS模型對INRIA Person數據集進行處理，圖6展現了不同方法處理的效果。其中，左側的（a）欄為原始圖片；（b）欄為本文方法處理后的目標備選區域圖；（c）欄為Itti模型處理結果圖；（d）欄為基于圖的視覺顯著性模型計算結果。

圖6 原始圖像與不同算法處理結果

可以看到，本文處理結果比Itti模型和GBVS模型提取出的區域輪廓更加精確，并且在不同天氣、不同背景、不同數量行人的情況下都能完整地提取出行人所在區域，具有優越的表現。

4.2.3 運算速度

統計本文算法、Itti提出的視覺注意模型以及基于圖的視覺顯著（GBVS）模型在INRIA Person數據集正負樣本的運算時間如表2。該時間為讀取圖片、進行數據預處理、模型計算、寫入指定文件夾總共的時間。

表2 統一環境配置下的累計運行時間

經計算，本文提出算法平均每張圖片的實測時間約為 0.061s，Itti模型約為 0.2273s，GBVS模型約為0.4978s。統一條件下與Itti模型及GBVS模型相比，該方法平均每張圖片的處理時間降低了一個數量級，顯著提升了運算速度。不同方法在數據集上的平均運行時間如表3。

表3 統一環境配置下的平均運行時間

5 結語

針對目前引入視覺注意機制的目標檢測方法計算量大且難以適應復雜背景與多目標場景檢測的問題，本文提出一種基于選擇性注意機制的模型，能夠對目標區域進行高效提取。該模型基于數據驅動，不需要有關場景的先驗信息，采用便攜采集設備即可實現，因此具有較強的適用性。在SOD數據集上，本文方法的檢測精度高于Itti模型。結果表明該方法顯著提升了運算速度，在INRIA Person數據集上平均每張圖片處理時間為0.061s，相較Itti模型和GBVS模型每張圖片處理時間減少一個數量級，并且能夠更精準地刻畫目標的邊緣輪廓。