輪廓匹配的復雜背景中目標檢測算法

侯春萍，張倩文，王曉燕，王致芃

(1.天津大學 電氣自動化與信息工程學院，天津 300072; 2.天津大學期刊中心，天津 300072)

目標檢測是計算機視覺和圖像分析領域非常重要的任務，旨在定位和識別圖像內的特定目標.現階段研究中，基于機器學習的目標檢測效果最好，但是需要大量的訓練樣本，訓練過程也很耗時，并不適用于所有的檢測任務[1].而模板匹配的方法簡單，適應性強，能夠處理復雜場景并且不用進行額外的訓練，越來越被廣泛使用[2-3]，模板匹配是指用事先定義好的模板在圖像中搜索從而找到匹配目標的一種高級的機器視覺技術.

本文的研究重點是復雜背景的圖像中的目標檢測，是指圖像中的目標除了受到尺度變化，光照影響等類內變化之外，圖像的背景中也會含有雜亂的無關場景，目標在圖像中出現的區域定位一般是不確定的.基于形狀的模板匹配技術由于能夠在目標類內變化的情況下仍得到較好的匹配結果而吸引了研究者的注意[4-6].Ferrari等[7]建立了一個由K個接近直線的輪廓段組成的網絡，可以呈現尺度不變的局部形狀特征.但該算法所提取的輪廓片段不連貫會導致形狀特征不夠準確.Nguyen[8]提出了一種基于平均場的倒角模板匹配方法，但該方法沒有很好地處理復雜背景.Wei等[9]則通過對輪廓線段的優化來減少背景邊緣，可是處理流程仍然容易受到背景的影響.

然而，這些問題在目標檢測中卻是不可避免的，針對上述問題，本文提出了一種基于輪廓匹配的新型目標檢測算法，算法結合了圖像顯著性檢測和形狀模板匹配的方法，顯著性檢測算法可以幫助定位目標所在區域，結合模板匹配算法實現目標檢測，有效解決了在復雜背景下形狀目標檢測不準確、效率低的問題.

1 基于輪廓匹配的復雜背景中目標檢測算法

基于輪廓匹配的復雜背景中目標檢測算法結合顯著性檢測和模板匹配，首先應用顯著性檢測算法對輸入圖像進行顯著性預處理，之后在得的顯著性區域內進行模板匹配，有效降低目標檢測結果受背景的影響.輪廓匹配的第一步是對顯著性區域圖像進行邊緣檢測，但是邊緣檢測去噪聲的同時削弱了邊緣信息會導致初始邊緣圖像輪廓線段不完整；同時目標周圍部分也可能產生一些與目標無關的輪廓段，因此本文通過邊緣鏈接和輪廓線段篩選來對初始邊緣圖像進行優化.在輪廓匹配過程中，本文提出了一種新的形狀描述子用來描述輪廓形狀，實現邊緣圖像和模板輪廓的匹配，最終驗證候選假設，完成目標檢測任務.

1.1 顯著性區域檢測

對人類視覺感知來說，顯著性區域往往比背景具有更獨特的顏色[10]，因此可以利用顏色特征分離顯著區域和背景，完成顯著性區域檢測.但是這種顏色特征的全局顯著性區域檢測的方法會受到圖像的紋理影響而產生較高漏報率，本文中又提出基于相鄰超像素距離特征的局部顯著性檢測方法，結合兩種算法就實現更有效的顯著性區域檢測.

圖1 算法的整體流程

1.1.1 全局顯著性區域檢測

首先需要應用SLIC超像素[11]提取超像素的顏色特征[12-14]和位置特征，組合構建特征向量，然后利用超像素的特征向量判斷其顯著度，根據顯著度進行分類，組成由前景區域，背景區域和未知區域組成的初始三元圖.

單一顏色空間并不能完全對應人腦視覺顏色處理[15]，因此本文將多種空間映射為一種高維空間，找到最佳顏色系數的線性組合，區分顯著區域和背景.利用RGB，CIELab，色調，飽和度以及RGB空間的顏色漸變11個顏色通道，獲得高維顏色轉換矩陣K.然后通過三元圖中的前景候選和背景候選顏色樣本來估計顏色系數的最佳線性組合，以分離顯著區域顏色和背景顏色，可以表述為l2正則化最小二乘問題

(1)

式中：α∈l是需要估計的系數向量，λ是控制α的大小的加權參數，是M×l矩陣

(2)

式中：每行對應于前景/背景候選區域中的顏色樣本，FSi和BSj依次表示三元圖中的f個前景候選超像素和b個背景超像素；每列對應測試圖像超像素的11個顏色通道平均像素值，例如R,G分別代表顏色通道R和G.

最終顯著圖可以由高維顏色空間的顏色系數的線性組合表示為

(3)

式中α*是α通過l2正則化最小二乘得到.

1.1.2 局部顯著性區域檢測

局部顯著性區域檢測方法用相鄰超像素的空間距離和顏色距離作為特征.對于圖像中的每個超像素Xi，計算其空間和顏色距離特征[16].顯著性檢測的完成使用隨機森林回歸算法，根據超像素的特征向量估計其顯著度，生成最終檢測結果.

1.1.3 顯著性區域圖的生成

在應用兩種方法分別生成顯著性區域圖之后，需要將其組合在一起以獲得最終顯著性區域圖，Borji等[17]提出了一種結合兩種顯著性檢測結果的方法

(4)

式中：Z是歸一化因子，p(·)是逐像素組合函數，SG和SL分別是全局和局部顯著性檢測結果.

p(x)=exp(x)可以作為逐像素組合函數來給予高顯著性度的區域更高權重值.權重值由顯著性區域檢測結果和顯著性區域真實結果GT的比較來得到.通過求解非線性最小二乘問題來計算線性求和的最佳權重值.

(5)

本文針對每個變量迭代優化其中的非負最小二乘目標函數來找到最優權重.式中的目標函數是雙凸的，經過幾個優化步驟后一定會收斂.然而通過不同的初始值會得到不同的結果，因此可以使用隨機初始化的變量重復優化過程幾次，得到最終的結果，權重值為ω={1.15,0.74,1.57,0.89}.

最終顯著性區域圖組合方式為

(6)

顯著性區域檢測結果如圖2所示，圖中還展示了顯著性區域內提取邊緣圖像和直接提取對比.與直接提取相比，顯著性區域提取的邊緣圖像能有效減少圖像背景對模板匹配過程的影響.

圖2 顯著性區域檢測及邊緣圖像對比

1.2 輪廓匹配

基于輪廓匹配的目標檢測算法在顯著性區域圖像中進行，包括對邊緣圖像的處理和后續的輪廓匹配過程.

1.2.1 邊緣圖像處理

本文將對顯著性區域進行輪廓提取得到的圖像定義為初始邊緣圖像，對其進行的優化處理包括邊緣鏈接和輪廓線段篩選.

邊緣鏈接：對顯著性區域圖像的邊緣檢測算法利用高斯模糊去除噪聲的同時削弱了邊緣信息，造成初始邊緣圖像輪廓線段不完整，因此需要進行邊緣鏈接，本文用到Kovesi[18]開發的邊緣鏈接軟件.圖2中由顯著性區域得到的邊緣圖像就是通過邊緣檢測和邊緣鏈接算法得到.

輪廓線段篩選：顯著性區域檢測并未完全將目標之外的部分刪除，因此邊緣檢測算法也會產生一些與目標無關的輪廓線段.這些輪廓線段分為兩類：第一類是邊緣鏈接后仍然較短的輪廓線段，基本不具有形狀描述能力，可以設置閾值將其刪除；第二類是孤立輪廓線段，滿足閾值長度，但不與其余輪廓線段產生聯系，圖像邊緣輪廓的連續性決定了此類線段也不具有形狀描述能力，在邊緣圖像處理過程中也可以刪除.處理過程如圖3所示，以圖片彩色邊緣圖像為例，最終得到的邊緣圖像可直接進行輪廓匹配.

圖3 邊緣圖像處理

1.2.2 形狀描述子

對于一段給定的輪廓段S，對其進行像素點采樣，如圖4所示,首先采樣得到采樣點Pi=(xi,yi)，(i=1,2,…,N)，N是輪廓段采樣點的個數.首先計算該段輪廓的質心點G.然后對每個采樣點找到其最遠距離點fPi，通過計算采樣點Pi到其它所有采樣點的距離，最遠距離點fPi.

圖4 輪廓段形狀描述子示意

Fig.4 Schematic diagram of the shape descriptor of contour segment

函數DS(Pi)計算每個采樣點的形狀描述子為

(7)

(8)

得到每個采樣點的形狀描述子后，每條輪廓段S的形狀描述子SD(S)可以由式(7)組合表示為

SD(S)=(DS(P1),DS(P2),…DS(PN))=

(9)

式中SD(S)是3×N維矩陣.其中每列代表該輪廓段上第i個采樣點的形狀描述子DS(Pi)；每行代表輪廓段的距離信息，角度信息和弧度信息.

得到完整輪廓段的形狀描述子之后可以進行模板匹配.通過形狀描述子間的相似度來表示兩條輪廓段的匹配關系.形狀描述子以矩陣表示，二者的矩陣相關系數可以反映其關系得密切程度，就能代表不同輪廓段的匹配程度.不同形狀描述子之間的相關系數被稱為輪廓的匹配系數.

(10)

形狀描述子已經廣泛應用于現在的形狀匹配算法中，本文中提出的形狀描述子中，輪廓段的角度信息和弧長弦長的關系表示其邊界信息，采樣點和質心點之間的距離關系表示其區域信息，所以能夠對輪廓段的形狀有完全定量的描述，更全面地描述輪廓的形狀，顯著提高描述能力.

1.2.3 輪廓匹配

上述處理后，就可以對邊緣圖像和模板邊緣進行輪廓匹配，圖5是本文中輪廓匹配的流程圖.

圖5 輪廓匹配流程圖

輪廓匹配過程中，首先要建立邊緣圖像和模板邊緣輪廓匹配的空間關系，然后應用深度優先搜索獲得候選假設.因為提前對模板邊緣做了優化處理，所以3～4條輪廓線段足以描述整個目標，搜索到多于3個片段可以被確定為候選假設.驗證候選假設時使用了支持向量機的分類器模型(SVM)進行二分類判斷每個假設是否可以作為最終檢測.

2 結果及分析

2.1 實驗結果

本文在ETHZ形狀數據集中[8]進行了實驗，該數據集有5個不同的類別，分別是蘋果標志，馬克杯，長頸鹿，天鵝和瓶子五種，共包含155個圖像，每個類別包含32～37張圖像，所有類別都包含有顯著的比例變化，光照變化和類內變化，而且圖像中目標大都被不相關的背景雜波包圍，因此非常適合本文所提出的目標檢測算法.實驗中將數據集中所有圖像作為測試圖像，部分檢測結果如圖6所示，在實驗中，蘋果標志類圖像進行目標檢測時，訓練了處理數據集中原有圖像來得到模板輪廓，其余的類別使用了數據集中所提供的模型來進行輪廓匹配，每個類別的模板圖像都在圖6中最右列給出.

2.2 結果分析

本節對實驗結果進行分析，利用檢測結果與真實值的交并比(Intersection-over-Union，IoU)進行目標檢測性能評估，IoU是目標檢測問題中的標準性能度量，一般大于50%時就可以認定檢測性能良好.本文使用了20%-IoU和50%-IoU的檢測標準，分別認定當檢測結果與真實值的交并比大于20%或者50%的時候目標檢測任務完成.將本文算法的結果與現有的基于形狀的方法(包括Ferrari等[7]提取尺度不變的形狀特征組成網絡的方法，張桂梅等[19]提出的改進局部輪廓特征方法，Nguyen等[8]提出的倒角匹配方法，畢威等[20]提出的基于圖像顯著性輪廓的方法和Wei等[9]利用輪廓分割和優化進行形狀匹配的方法)進行比較，評估各算法的檢測性能.首先統計目標檢測率和誤報率的曲線關系，檢測率是用符合標準的檢測結果次數除以總數，誤報率表示每個圖像在實驗過程中的平均誤報數，也就是全部錯誤次數除以圖像數量.檢測率/誤報率曲線表示不同誤報率的情況下的目標檢測率，可以用來評價不同目標檢測算法的性能.在圖7中展示了不同算法的檢測率/誤報率的關系曲線.

圖7中可以看到，在誤報率較低的情況下，本文方法在瓶子和蘋果標志類的檢測性能比Nguyen的方法略差.但其余情況下，本文方法在所有類別的檢測中均優于其它算法.這是因為與Ferrari和張桂梅提出的方法相比，實驗中對初始邊緣圖像進行了輪廓優化，得到的輪廓段更完整，而且形狀描述子包含輪廓段的角度信息和邊界信息，可以改善因為提取

圖6 算法在ETHZ數據集中部分檢測結果

圖7 不同算法ETHZ數據集中各類別的檢測率/誤報率曲線的比較

片段不連貫造成的檢測性能略低的問題.和Nguyen的方法相比，顯著性區域檢測算法的應用可以保證復雜背景下的檢測性能.畢威也選取了基于顯著性的方法，但是該方法僅考慮了顯著性輪廓.與Wei的方法比較，算法也有相對較好的性能表現，這是因為Wei的輪廓預處理程序受限于圖像背景，但是本文方法無需對背景進行輪廓處理.

總的來看，圖7中可以看出，本文算法在不同誤報率的容錯條件下目標檢測率均比其余算法有所提升，可以更有效地檢測復雜背景中的目標.表1單獨列出了在50%-IoU的檢測標準下誤報率分別為0.3和0.4時不同算法的檢測率.

表1 誤報率分別為0.3/0.4時不同算法的檢測率對比

2.3 其他數據集

本文還在其他數據集做了實驗來驗證算法的可行性，在INRIA Horse[21],Weizmann Horse[22]和Caltech101[23]數據集中都做了實驗，部分檢測結果如圖8所示.

圖8 其他數據庫中的部分檢測結果(每行對應INRIA Horse，Weizmann Horse和Caltech101中的蝴蝶和錨)

Fig.8 Examples of detection results for other datasets (INRIA Horse, Weizmann Horse, and the butterfly and anchor in Caltech101 are presented in the four rows, respectively)

3 結 論

本文提出了一種在復雜背景圖像中進行目標檢測的新算法，將顯著性區域檢測算法和基于形狀的模板匹配算法相結合.與之前的工作相比，本文首先在傳統的目標檢測基礎上對輸入圖像進行顯著性檢測的預處理，在顯著性區域內進行模板匹配能夠降低目標檢測結果受背景的影響.在基于輪廓形狀實現模板匹配的過程中，用到了具有更全面輪廓信息的形狀描述子.然后采用深度優先搜索策略對候選假設進行驗證，確定目標位置.最后在ETHZ形狀數據集中進行了實驗，結果表明與現有基于形狀的目標檢測方法相比，本文算法顯著提高了檢測率，在圖像目標檢測技術的廣泛應用下具有十分重要的意義.