一種可變錨框候選區域網絡的目標檢測方法

李承昊，茹樂，何林遠，遲文升

（1.空軍工程大學 航空工程學院，西安710038； 2.空軍工程大學 裝備管理與無人機工程學院，西安710038；3.西安電子科技大學 機電工程學院，西安710126）

隨著計算機科學和認知神經科學的不斷發展，人們想要研發以及開發能夠模擬、延伸和擴展人類智能的理論、方法、技術以及應用系統，自此人工智能這一技術科學誕生。模式識別、機器學習和深度學習等理論的不斷完善和發展，使得計算機視覺在社會各種領域應用廣泛，例如交通、醫學、農業等領域都取得了明顯的成果。隨著計算機視覺領域的蓬勃發展，目標檢測作為該領域一個重要任務，在人臉識別、行人跟蹤、車牌識別和無人駕駛等領域獲得廣泛應用［1］。

在生活中，人們僅僅通過看一眼就可以在很短的時間內知道圖像中的物體類別和位置甚至還能獲得更為復雜的信息。快速而又準確的目標檢測方法能夠使機器扮演視覺處理的角色，從環境中發現目標、定位目標并分析目標，為計算機后續判讀、推理并決策提供可靠保證［2］。隨著深度學習的廣泛應用，目標檢測方法已經從傳統的基于手動設計特征算法向基于深度學習計算機自動提取特征算法發展。目前目標檢測方法一般被分為兩大類：一類是基于一體化卷積神經網絡的一步檢測（One-stage），如YOLO［3］、SSD［4］等；另一類是以R-CNN［5］模型為基礎的兩步檢測（Two-stage），以模型為基礎對兩步檢測進行不斷地改進，出現了一系列具有代表性的算法Fast R-CNN［6］、Faster RCNN［7］等。近年來，目標檢測方法不斷追求更好的特征提取網絡、更高效的訓練方法、更完善的分類方式和更有效的樣本后處理，涌現出許多具有更好性能的算法如Cascade R-CNN［8］、Mask RCNN［9］和FPN［10］等。

人的視覺系統對于通過人眼接收到的圖像是進行選擇性處理，基于注意力機制（Attention Mechanism）的深度神經網絡被廣泛應用到各個領域。模型可以利用注意力機制通過訓練不斷提取更為有效的注意區域，從而提升模型的性能。文獻［11］中提出了一種基于注意力引導機制的網絡來克服大圖像成像像素飽和度失調的問題；文獻［12］提出了圖注意網絡利用掩蔽自注意層來提升模型的性能解決了許多理論問題；文獻［13］提出了一種三步注意力引導卷積網絡來對肺部醫學圖像進行分類進而提高了準確率。

受以上方法啟發，本文提出了一種基于注意力機制的候選區域網絡（RPN），運用注意力引導（AG）模塊對Faster R-CNN［7］的RPN進行改進，并采用局部訓練和全局訓練相結合，獨立地訓練改進的RPN和整體地訓練整個網絡結構相結合，通過注意力機制不斷降低分類和回歸誤差，提高了識別性能。同時本文根據改進的RPN網絡引入一種置信度因子非極大值抑制（NMS）算法，雖然對于速度性能有小幅度的下降，但是對于模型的準確性有著顯著的提高。本文在標準數據集MS COCO 2007［14］進行了綜合實驗，實驗結果也證明該方法有著較好的準確性能。

1 相關工作

本節主要對與本文工作最為相關的目標檢測方法和深度學習算法進行分析。目標檢測的目的是檢測出圖像中每一個目標的位置和類別。根據以往的經驗，可變形組件模型及其改進算法一直是一個很好的解決辦法。這些算法利用人工描述的特征，如HOG［15］和SIFT［16］等，來對整幅圖像進行掃描獲取大致目標區域。傳統的目標檢測方法利用滑動窗法來大致確定目標位置，雖然實現較為簡單，但是這種幾乎遍歷的方法造成計算量較大，耗費時間多。隨著深度學習的廣泛應用，R-CNN［5］、Fast R-CNN［6］中的選擇性搜索（Selective Search）算法通過采用邊緣、顯著性、形狀等特征來尋找感興趣區域，雖然相比滑動窗法有所改進但仍然不滿足實際需求無法完成端到端的訓練。Faster R-CNN［7］的RPN利用深度卷積神經網絡提取的特征來尋找感興趣的候選區域，能夠真正地實現端到端的訓練。從該系列算法的發展可以看出，改進主要圍繞如何尋找更為有效的候選區域這一問題。

RPN是Faster R-CNN［7］中至關重要的一個環節，其輸入是由深度卷積神經網絡提取出的特征圖，其輸出是候選建議區域。整個網絡的作用是尋找目標可能存在的區域并進行粗檢測，同時由于RPN減小了計算冗余也大大地縮短了計算時間。網絡通過輸入的任意尺度圖片的特征圖，利用滑動窗口在卷積特征圖上進行滑動獲取多個錨。錨（Anchor）機制是RPN中比較重要的一個方法，是以得到的每個錨點的中心位置為基準，根據本文已經設定的9種不同的長寬比、不同的尺度對應映射得到錨框，再通過忽略超出邊界的錨框來去掉多余重疊區域，至此本文就分別得到了感興趣的原圖區域和感興趣的特征圖區域（見圖1）。兩者正是依靠錨機制來相互聯系。接下來就是對候選區域進行前景與背景的粗檢測，RPN在此任務上分成2層進行處理：一層是soft-max分類層，輸出是錨點所對應2個分類信息，背景的分數（不是目標）和前景的分數（是目標），識別錨框內是否含有目標；另一層是邊框回歸層，輸出是錨框的4個位置信息（中心點的x和y，整個框的長度和高度）來定位候選區域的位置。至此，Fast R-CNN［6］通過獨立的網絡從特征圖上獲取一幅圖像的候選區域并且已經對該區域進行了粗檢測。由于RPN是獨立的網絡所以可以實現端到端的訓練，可以通過反向傳播算法對候選建議網絡參數進行調優，同時增加了模型的可移植性。

NMS算法一直以來就是行之有效的后處理方式其實質是通過抑制非極大值數據來搜索局部極大值。目前在基于深度學習的目標檢測領域NMS算法被廣泛使用，它的目的是從目標產生的多個候選框選擇最為合理的候選框。文獻［17］提出了一種基于“抑制覆蓋檢測”和“重疊判據”的改進NMS算法在行人檢測中降低誤檢概率；文獻［18］提出了一種連續比例因子NMS，降低了算法對于固定閾值的依賴。

圖1 錨點映射Fig.1 Anchor mapping

RPN的核心作用就是在提取圖像特征的過程中來完成對于候選框的選擇操作，RPN最大的優點也在此，減少了重復提取特征的過程。同時，由于RPN的存在Faster R-CNN［7］真正成為了能夠實現端到端的目標檢測框架。但是，RPN也存在這一些問題，仍然無法達到實時檢測的目的，對于候選框的分類和回歸計算量仍然很大。不同錨點所產生的錨框尺寸是相同因此缺乏多樣性進而導致小目標檢測效果不是很好。傳統的NMS算法雖然計算速度較快，但是對于閾值依賴過大，容易造成誤檢和漏檢。本文改進的RPN的錨框大小和尺寸不在固定并且能夠更好地包圍目標。同時基于傳統NMS算法存在的問題，引入置信度因子減少了對于閾值的依賴性。通過實驗發現本文提出的方法與現存一些先進算法相比具有很好的準確性能。

2 可變錨框的RPN網絡

本文的目標檢測系統是在Faster R-CNN［7］上進行改進的，改進的RPN網絡主要包括兩部分：一部分是AG模塊，該模塊運用注意力機制引導RPN搜尋更有效的錨框；另一部分是NMS算法的改進，通過引入置信度因子加強目標檢測系統對已經獲取的錨框進行有效的后處理。首先，對整體網絡框架進行了簡要分析；其次，介紹了AG模塊的設計思想和特性；最后，對使用的基于置信度因子的NMS算法進行分析。

2.1 網絡框架

本文網絡框架（見圖2）是在 Faster RCNN［7］基礎上進行改進，輸入圖像通過特征提取網絡得到特征圖，AG模塊利用特征圖對目標錨框的種類進行預先選擇，利用AG模塊提供的信息來指導RPN進行錨框的選擇，在后端去除冗余的過程中，與傳統的處理方式不同，引入了置信度因子的NMS（Cf-NMS）算法來去除多余錨框并保留有效錨框。其后生成候選框，后端網絡與傳統兩步檢測相同，進行池化和全卷積得出最終檢測結果。

圖2 網絡框架Fig.2 Network framework

2.2 注意力引導模塊

錨機制是今年以來比較流行的尋找目標位置的方法。具體來說就是將預定義的縱橫比和大小的錨放置在特征圖上，而其中錨框的尺度以及縱橫比都是根據經驗預先定義好的，本文的目的是為了尋找一種更高效的可學習的錨框的搜索方案。考慮到對于某個固定類別的目標其實其形狀以及大小是類似的或者說是相關的。AG模塊的工作原理如下：目標的形狀和大小可以用2個參數來表征（s，r），s為目標的尺度大小，r為目標的縱橫比。該模塊的任務可以歸結在已知圖像特征圖，來尋求目標的尺度大小以及縱橫比，假設本文在一個給定圖像上畫出一個物體的大致區域，則可以考慮這個物體的區域其尺度大小和縱橫比，以I為條件的分布則可以寫為

式中：p（s，r|I）為輸入圖像I存在的目標尺度為s和縱橫比為r的概率。

本文將對于目標區域的搜尋分別注意力集中在目標區域的大小以及縱橫比，根據式（1）設計了對于錨框選擇的AG模塊如圖3所示，同樣預先定義幾種可以選擇的錨框的種類。假定一組尺度s1，s2，…，sn和一組縱橫比r1，r2，…，rm，S和R分別對應尺度空間和縱橫比空間，然后相互組合就會有n×m個可供選擇的錨框形狀。即AG模塊的錨框選擇空間A為

圖3 注意力引導模塊Fig.3 Attention guidance module

該模塊由兩部分組成，分別用于對目標區域的大小和縱橫比進行預測。在特征圖上錨點的選擇仍然采取滑動窗口的方法，這樣的選擇能夠更完備以及不遺漏地確定目標的中心點。對于錨框的選擇具體來說，依據給定的特征映射也就是從特征提取網絡獲取的特征圖I，該部分對于每個確定的中心點進行大小和縱橫比的預測，生成對于每個錨點的幾組優化組合。在本文的網絡結構中，使用了2個子網絡分別用于對目標區域大小和縱橫比進行預測，利用特征圖進行一次卷積后通過最大池化層進行再次降維，保留最強特征，再經過2次卷積后再利用反卷積，將反卷積與最大池化層相結合分別生成含有S和R單通道映射。在此，本文的結構與原算法中相比，不像原來錨的選擇方法采用固定的窮舉法對于形狀的選擇，因為對于目標的每個錨來說與它的形狀是有一定的關系的。在實驗中本文對于2種空間內種類，相互組合也就是說有25種可供選擇的種類n，m=5，從中預測2類尺度大小和3類縱橫比也就是說最后選擇6種錨框對目標進行檢測。

2.3 置信度因子的NMS算法

對于現階段的目標檢測系統，每個要識別的目標都有多個錨框，但是目標檢測任務要求最終的結果是每個目標分類對應于一個框，因此需要對冗余的錨框進行去冗余。傳統的NMS是一種貪心算法，將檢測框的置信度分數從大到小排列，將分數最大的檢測框作為抑制框（該算法認為分數最大的即為目標框），將其余的框與抑制框做交并比（Intersection over Union，IoU）運算，移除所有IoU值大于預設閾值T，重復上述運算再找到新的抑制框，直至沒有錨框可以抑制為止。

式中：RIoU為交并比；G為由貪心方式選擇出來的抑制框；C為待選擇的目標框。

雖然在算法的第1步對于預選框進行根據置信度從大到小排列，但是對于檢測框的移除并未考慮置信度，只是依據IoU與固定閾值進行對檢測框的選擇會造成錯誤檢測。存在這樣的2種情況：①當檢測的2個目標相鄰甚至有較大重疊時，如果僅僅依靠IoU作為條件判定會將存在目標的檢測框移除造成漏檢。②當目標的部分結構被檢測框選中時，如果僅僅以IoU作為條件判定，由于目標部分結構較小所以IoU較小不會將該種目標框保留造成誤檢。

針對以上這種情況，本文在貪心NMS算法的基礎上提出了一種Cf-NMS算法，將判定函數進行改進，引入置信度因子μ，改進抑制目標框的條件，優化錨框后處理方式進而提高檢測的準確性。置信度因子μ是目標框與預選框的置信度分數之間的關系，當兩者分數相近時，置信度因子通過降低改進的U函數來優化抑制條件。

式中：μi為檢測框i的置信度因子；ci為檢測框i的置信度分數；cm為抑制框的置信度分數。

3 實驗結果和分析

本節先介紹利用所提改進方法對Faster RCNN［7］中的RPN進行改進，然后用改進的模型進行端到端的訓練獲得目標檢測模型，最后對比驗證模型的檢測效果并分析。

3.1 訓 練

對于本文所提出的框架為了使其能夠完成端到端方式的訓練，本文以多任務損失函數完成對其的優化。在傳統的分類損失Lcls和回歸損失Lreg的基礎上，引入了尺度損失La和縱橫比損失Lr2種附加損失。它們共同優化模型，損失公式為

式中：ω1和ω2為AG模型參數。

為了確定最佳錨框的選擇，首先，將錨框的真實值相匹配，接下來從尺度空間和縱橫比空間中預測最佳的參數來更好地覆蓋真實目標。本文中錨點位置的選擇與經典RPN相一致，對于與真實值的匹配不存在較大的問題，同時尺度空間和縱橫比空間本質也是預定義的空間，所以可以直接將錨框分配給真實值的包圍框，使該錨生成的框產生最大的IoU值。AG模塊是對錨的選擇進行引導并不是起決定性作用，對于損失函數的選擇，La和Lr均采用smooth L1損失，分類損失和回歸損失采用傳統的損函數。

3.2 實驗設置

1）平臺環境為：處理器為Intel（R）i7-8750H CPU@2.20 Hz 2.20 GHz，安裝內存為8 GB，操作系統為Windows 64位，顯卡為NVIDIA GeForce GTX 1050Ti 4 GB，實驗框架為Caffe。

2）數據集：在經典的MS COCO 2007［14］數據集上進行實驗。

3）實驗細節：選擇廣泛使用的ImageNet［19］作為本文的主干網絡。對于輸入圖像，為了保持尺度和縱橫比，不對輸入圖像進行過多的預處理。對于尺度空間和縱橫比空間分別設置為S=｛128，192，256，384，512｝和R=｛0.5，0.8，1，1.2，2｝。在Cf-NMS算法中，通過大量的試驗性實驗得到閾值選取0.6有著更好的效果，所以在模型的整體檢測過程中閾值選擇0.6。對于多任務損失函數設置AG模型參數ω1=0.5，ω2=0.1，在訓練中總共訓練了5 epoch，初始學習率設置為0.01。

4）評價指標：為獲得更為全面有效的錨框選擇，所以實驗以平均查全率（AR）作為評價候選區域的好壞。在不同的RIoU（0.5～0.9）進行平均查全率的比較。AR100、AR300和AR500分別對應于每幅圖像100、300和500個建議的平均查全率；ARS、ARM和ARL分別對應于小型、中型以及大型目標選取100幅圖像計算的平均查全率。在進行改進的NMS算法和模型整體準確性性能的比較中，本文采用平均準確度（mAP）作為性能度量參數（下標的含義與AR相同）。

3.3 實驗結果

本文首先對改進的RPN與原RPN以及RPN的一些變體進行AR的比較。“RPN＋AG”為引入AG 模塊的改進RPN，“RPN ＋9 anchors”和“RPN＋12 anchors”分別對應于RPN固定的9種和固定的12種錨框，其中的NMS算法仍為傳統貪心NMS算法，按照此方式對本文改進的RPN進行平均查全率的評估。接下來，本文又對Cf-NMS算法與傳統的貪心算法、抑制覆蓋檢測的NMS［17］和連續比例因子的NMS［18］在不同閾值下平均準確度的比較。最后，對本文提出的整體的目標檢測模型與現有一些先進方法進行比較，如Cascade RCNN［8］、Mask R-CNN［9］和FPN［10］。

如表1所示，本文方法對于候選區域的平均查全率性能明顯要優于傳統RPN和固定種類的RPN。從中也可以發現，本文方法對于小目標會有更好的效果，分析其原因：傳統的方法由于固定的錨框尺度和縱橫比的限制對于小目標不能做到很好的識別。對于不同目標，錨框的選擇不再同傳統方法一樣，不同目標有著同種類型的錨框選擇，而是會生成更符合目標的錨框種類。同時可以發現，本文方法雖然在運行速度上有所增加，但仍在可接受的范圍內。

從表2中可以得出，本文的Cf-NMS算法對于目標有著更好的準確率。當閾值等于0.6時，本文方法相比其他算法精度提升了約2%。當閾值大于0.6時，本文方法仍然具有較好的性能。原本檢測框中被抑制的正樣本由于閾值的增大被保留，降低了漏檢，實現了較好的效果。通過實驗本文也發現隨著閾值的升高，檢測準確度呈現先增加后降低的趨勢，這是由于當閾值很低時，許多不含有目標的錨框沒有被有效地抑制造成了準確度低的情況，當閾值很高時，正負樣本的比例不均衡造成了準確率的降低。

檢測結果示例和檢測性能比較如圖4和表3所示。在與上述3種先進算法的對比中可以發現，本文方法無論是在不同RIoU閾值下的準確度還是在平均準確度都有所提高。在小型、中型以及大型目標的測試中可以發現，雖然本文方法對于小型和中型目標的檢測查準率與先進算法相比有著很好的提升，但是對于大型目標本文方法與Cascade R-CNN［8］相比，性能提升并沒有達到預期的效果。

表1 候選區域的平均查全率Table 1 Average recall rate of region pr oposal

表2 不同NMS算法的mAP的實驗結果Table 2 Experimental results of m AP by different NMS algorithms

圖4 檢測結果示例Fig.4 Sample of test results

表3 檢測性能比較Table 3 Comparison of detection performance

4 結 論

1）本文提出了一種基于注意力引導的可變錨框RPN，其通過AG模塊來預測目標的尺度和縱橫比，來引導錨框的選擇。與傳統方法相比，不同目標的錨框不再是固定的種類。在與傳統RPN和RPN一些變體比較實驗中，所提方法也在平均查全率上有較好的提升。

2）所提方法在召回率方面比RPN高。針對傳統的后處理方式貪心NMS算法出現的誤檢和漏檢的問題，在抑制判別條件中引入了置信度因子，增加了算法的準確度。同時所提方法在平均查全率上相比于傳統的RPN有所提高。

通過實驗發現所提方法還是存在不足。雖然通過AG模塊以及Cf-NMS算法來對模型進行改進，但是仍然受限于預定義的錨框選擇空間集。下一步工作希望改進方法使RPN在尋找感興趣區域算法方面不過分依賴于參數設定。