多目標魚體對象提議檢測算法研究

孫龍清 劉 婷 陳帥華 吳雨寒

(中國農(nóng)業(yè)大學信息與電氣工程學院， 北京 100083)

0 引言

魚的行為變化與養(yǎng)殖環(huán)境密切相關(guān)，可以作為水質(zhì)監(jiān)測的依據(jù)[1-2]。基于視頻圖像處理技術(shù)對多目標魚體進行精確且快速的檢測定位，有助于進一步提取多目標魚體的運動和行為參數(shù)，對水質(zhì)異常做到早預警[3-5]。準確有效的多目標魚體檢測算法是魚群行為分析和水質(zhì)監(jiān)測的基礎(chǔ)。

目標檢測是根據(jù)目標區(qū)別于背景的特征，利用視頻圖像識別技術(shù)將目標從圖像中自動識別出來并進行定位[6]。對象提議算法通過預先找出圖像中目標可能出現(xiàn)的區(qū)域，避免滑動窗口的窮盡搜索，提高檢測速度的精度。對象提議算法主要分為基于聚類操作的對象提議算法和基于窗口打分的對象提議算法[7]。基于聚類操作的對象提議算法中最具代表性的是UIJLINGS等[8]提出的選擇性搜索算法(Selective search，SS)，利用分割算法[9]產(chǎn)生超像素區(qū)域，通過不斷合并超像素來生成不同大小的候選窗口，已被應用于R-CNN[10]、 Fast R-CNN[11]等物體檢測框架中，生成的候選窗口召回率高，缺點是運算速度慢。基于窗口打分的對象提議算法利用滑動窗口遍歷圖像，根據(jù)特定的特征對窗口打分篩選得到候選窗口，CHENG等[12]提出的二值化規(guī)范梯度(Binarized normed gradients，BING)對象提議算法，基于邊緣特征訓練兩級線性SVM模型對窗口進行打分，篩選得到候選區(qū)域，獲得的候選窗口召回率高，運算速度快，但隨著候選窗口與真實窗口之間的交并比(Intersection over union，IOU)標準的嚴格，召回率會明顯下降。

針對對象提議算法難以同時滿足高召回率和高運算速度的問題，ZITNICK等[13]提出了Edge Boxes算法，基于滑動窗口完全包含的邊緣數(shù)量對窗口打分篩選得到候選窗口，保證了高召回率和較高的運算速度。ZHAO等[14]應用Edge Boxes算法實現(xiàn)了行人檢測，在夜間環(huán)境下由于部分邊緣信息的丟失，會出現(xiàn)漏檢情況；HU等[15]將Edge Boxes算法與選擇性搜索算法結(jié)合起來，實現(xiàn)了對癌細胞的檢測，當癌細胞之間出現(xiàn)黏連時，會出現(xiàn)一個候選窗口包含多個癌細胞的情況；KUANG等[16]將區(qū)域相似性與Edge Boxes算法融合，實現(xiàn)了對多種水果的檢測，當水果間緊密相鄰時，易出現(xiàn)一個候選窗口包含多個目標的狀況。大量的研究應用表明，Edge Boxes主要缺陷在于：①當圖像中的目標物體位于低能見度環(huán)境下時，目標物體會缺失部分邊緣信息，使得召回率降低，最終造成漏檢。②Edge Boxes算法具有窗口包含邊緣段越多、越易于獲得更高得分的特性，當目標相鄰或輕微重疊時，最終篩選獲得的候選窗口可能包含多個目標，無法實現(xiàn)對每個目標的精確檢測。

為克服上述缺陷，生成高召回率的候選窗口，實現(xiàn)多目標魚體的精確檢測，本文提出利用魚體圖像的骨架和邊緣信息，設(shè)計新的窗口打分策略，獲得候選窗口，訓練主成分分析(Principal component analysis，PCA)卷積核提取魚體目標和背景的特征，利用支持向量機分類得到魚體目標所在的候選窗口，運用非極大值抑制算法[17]剔除得分低的窗口，完成目標檢測。

1 材料和方法

1.1 實驗平臺與樣本數(shù)據(jù)集

實驗平臺主要由攝像機、魚缸和臺式計算機3部分組成，如圖1所示。 攝像機為海康威視工業(yè)攝像機，分辨率為3 840像素×2 160像素，安裝在養(yǎng)殖魚缸的正上方；魚缸尺寸為120 cm×120 cm×100 cm，其中水深50 cm；臺式計算機的顯卡為NVIDIA GeForce GTX 970M，16 GB內(nèi)存。

圖1 實驗平臺Fig.1 Experiment platform1.攝像機 2.魚缸 3.臺式計算機

樣本數(shù)據(jù)集截取自上述實驗平臺采集到的真實視頻圖像，數(shù)據(jù)集構(gòu)建步驟如下：

(1)從視頻中截取1 500幅魚體圖像數(shù)據(jù)，這些圖像數(shù)據(jù)可以是連續(xù)截取的，也可是隨機挑選的，圖像樣本如圖2a所示。

圖2 訓練數(shù)據(jù)集Fig.2 Training data sets

(2)對截取的圖像利用開源圖像標注軟件labelImg進行人工標注，生成表明魚體真實位置的XML文件。

(3)根據(jù)標注，將含有目標魚體的區(qū)域剪裁下來構(gòu)成檢測對象識別模型的正樣本，如圖2b所示，隨機剪裁一些背景區(qū)域作為負樣本，如圖2c所示。

1.2 算法原理

本目標檢測模型主要包括獲得候選窗口和檢測對象識別兩部分，完整的算法流程如圖3所示。

圖3 魚體檢測算法流程圖Fig.3 Flow chart of fish detection algorithm

1.2.1獲得候選窗口

用不同寬高比、不同尺度的滑動窗口按照一定的滑動步長對圖像進行從左到右、從上到下的掃描，生成一系列初始窗口，基于圖像的骨架信息和邊緣信息設(shè)計打分函數(shù)對初始窗口打分，篩選得到候選窗口。

(1)骨架信息提取

對連續(xù)多幀圖像求相應位置像素值的中值作為背景模型，將待檢測圖像與背景差分獲得運動前景，對運動前景二值化后進行骨架提取，二值化運動前景如圖4所示。骨架提取可以理解為提取出運動前景的中心軸[18-19]，原理如圖5所示。假設(shè)P1=1為待判斷的點，其8鄰域分別按照圖5中的順序標記為P2、P3、P4、P5、P6、P7、P8、P9。

圖4 二值化運動前景Fig.4 Binarization of foreground segmentation

圖5 骨架提取原理圖Fig.5 Schematic of skeleton extraction

為了保證骨架的連續(xù)性，將每次迭代分為兩個子迭代。在第1個子迭代中，去除同時滿足以下條件的點

式中B(P1)——點P1的8鄰域中像素值為1的點的像素之和

A(P1)——點P1的8鄰域中，順時針方向像素值從0到1的變化次數(shù)

p2、p4、p6、p8——點P2、P4、P6、P8的像素

在第2個子迭代中，去除同時滿足以下條件的點

循環(huán)迭代直到?jīng)]有符合條件的點為止。骨架信息如圖6所示。

圖6 骨架信息Fig.6 Skeleton information

(2)邊緣信息提取

本文采用快速有效的結(jié)構(gòu)化森林邊緣檢測算子[20]得到魚體圖像的邊緣響應，如圖7所示。為了保證算法的運算效率，引入“邊緣段”數(shù)據(jù)結(jié)構(gòu)，即將具有相似性的邊緣點進行聚合。搜索邊緣響應圖中每一個邊緣點的8鄰域，找到與其梯度方向角差值最小的邊緣點添加進來，直到梯度方向角差值的和超過閾值π/2，得到一系列邊緣段，此時邊緣圖像可以看成是邊緣段的集合。

圖7 邊緣響應圖Fig.7 Edge response map

(3)初始窗口打分

針對滑動窗口從左到右、從上到下掃描得到的一系列初始窗口，依據(jù)提取到的二值化運動前景可以濾除一部分不可能位于目標之上的初始窗口。對初始窗口打分的兩個重要依據(jù)為窗口中完全包含的邊緣段數(shù)量和窗口中可能包含的魚體數(shù)量。

設(shè)定位于窗口邊界上的邊緣段為窗口外物體的邊緣響應，基于與窗口邊界上的邊緣段的相似度，對初始窗口中每一個邊緣段計算一個0～1范圍內(nèi)的連續(xù)值來指示其被初始窗口完全包含的程度

(1)

其中

a(si,sj)=|cos(θi-θij)cos(θj-θij)|γ

(2)

式中w(si)——邊緣段si被初始窗口完全包含的程度

b——初始窗口

Sb——窗口b邊界上的邊緣段集合

xi——邊緣段si上任意一點

T——長度為|T|的有向邊緣組路徑，起點是t1=sj∈Sb，終點是t|T|=si

a(si,sj)——任意兩個邊緣段之間的相似度

θi——邊緣段si的平均方向角

θj——邊緣段sj的平均方向角

θij——邊緣段si平均坐標位置和邊緣段sj平均坐標位置連線向量的方向角

γ——調(diào)節(jié)相似度計算的敏感度

把在原圖生成的初始窗口b映射到骨架圖像上，處理初始窗口內(nèi)的連通區(qū)域時，一個點其8鄰域中只有1個非零像素點與它相鄰，則該點是骨架的端點，通過對骨架的端點計數(shù)可以估計初始窗口中完全包含的魚體數(shù)量。

(3)

其中

u=uin-ub

(4)

式中μ——初始窗口中可能包含的魚體數(shù)

u——完全包含在初始窗口b中的骨架的端點數(shù)

uin——初始窗口b中的所有端點數(shù)

ub——初始窗口b中與窗口邊界相關(guān)的端點數(shù)

(5)

(6)

式中hb——初始窗口b的得分

mi——邊緣段si上所有邊緣點幅值的總和

bw——初始窗口b的寬度

bh——初始窗口b的高度

nb——初始窗口b對應運動前景像素值的和

λ——分子標準化系數(shù)，本文設(shè)置為1.5

p——邊緣點

mp——邊緣點的幅值

當u=0時，為了保證不出現(xiàn)打分函數(shù)分母為0的極端情況，設(shè)置μ=1。

根據(jù)分數(shù)對初始窗口進行排序，并輸出得分排名前β的窗口作為單幅圖像的候選窗口，用于后續(xù)檢測對象識別階段。其中β為可以使本文魚體對象提議算法達到最高召回率的最少候選窗口。

1.2.2檢測對象識別

計算每一個候選窗口對應區(qū)域

(7)

G——候選窗口對應區(qū)域

經(jīng)過兩級PCA卷積后，每個候選窗口對應區(qū)域生成了l×r幅特征圖。對這些特征圖進行哈希編碼，堆疊成l組特征圖，每組r幅二進制特征圖。將每組的r幅二進制特征圖轉(zhuǎn)換成1幅十進制特征圖，共有l(wèi)幅。最后對每1幅特征圖進行直方圖統(tǒng)計，形成一個直方圖向量，把l個直方圖向量串聯(lián)為一個特征向量后，輸入到SVM中分類，判斷該候選窗口是否含有目標。保留包含魚體的候選窗口并濾除位于背景的候選窗口，保留下的部分候選窗口會在同一個魚體目標上高度重疊，本文利用非極大值抑制算法解決該問題，完成多目標魚體檢測。

1.2.3PCA卷積核與SVM訓練

設(shè)有N個尺寸為K×K的訓練樣本，對于每一個訓練樣本，利用k×k的采樣窗口以每個像素點為中心進行采樣，則每一個訓練樣本共K2個采樣塊，每個采樣塊的尺寸為k×k。N個訓練樣本構(gòu)成一個k×k行、K2×N列的矩陣。提取采樣矩陣的協(xié)方差矩陣的前L1個特征向量構(gòu)成第1級PCA卷積核。

將訓練樣本與第1級PCA卷積核進行卷積，對卷積結(jié)果采用與第1級相同的方法獲得第2級PCA卷積核。將第1級卷積結(jié)果與第2級PCA卷積核進行卷積得到特征圖，經(jīng)過哈希編碼與直方圖統(tǒng)計獲得特征向量輸入到SVM中訓練，得到檢測對象識別模型。

2 實驗與討論

2.1 魚體對象提議算法效果分析

2.1.1滑動窗口的寬高比、面積和滑動步長

對人工標注魚體真實位置窗口的寬和高進行統(tǒng)計分析，設(shè)定滑動窗口的寬高比在[1/3,3]之間；滑動窗口的面積在100～10 000像素之間；滑動窗口的步長α是通過相鄰滑動窗口的交并比來表示的，當該值設(shè)定太大時，會生成密集的初始窗口增加運算時長，當該值設(shè)定太小，又會降低命中率。經(jīng)過實驗分析，滑動窗口的步長α一般情況下設(shè)置為0.7，具體實驗結(jié)果如表1所示。α的計算公式為

(8)

式中St——當前時刻與下一時刻滑動窗口的交集

St′——當前時刻與下一時刻滑動窗口的并集

IOU閾值定義為

(9)

式中TIOU——候選窗口與人工標注窗口的交并比

Soverlap——候選窗口與人工標注窗口的交集

Sunion——候選窗口與人工標注窗口的并集

召回率(Recall)定義為

(10)

式中R——召回率

Tp——存在目標的候選窗口數(shù)量

Fn——不存在目標的候選窗口數(shù)量

表1 不同IOU閾值和α下本文算法召回率 (前1 000個候選窗口)和運行時間Tab.1 Results of proposal recall at 1 000 proposals and runtime at different values of IOU and α

分析表1可知,在IOU閾值較低時，如TIOU≤0.7，步長α為0.70時,本文算法在運行效率和召回率之間有一個較好的平衡；當IOU閾值較高時，如TIOU=0.9，步長α為0.85時，會生成密集的初始窗口，使得算法的召回率提高，但運行時間高達2.30 s。由上述分析可知，一般情況下設(shè)定滑動窗口的寬高比為 [1/3，3]、面積為100～10 000像素，α取0.7，對輸入圖像進行遍歷。

2.1.2召回率分析

衡量本文算法性能的一個重要指標是召回率。評價召回率的方法有兩種[22]:固定候選窗口數(shù)量，根據(jù)不同的IOU閾值來計算召回率；固定IOU閾值，根據(jù)不同的候選窗口數(shù)量計算召回率。

依據(jù)這兩種評價方法在真實數(shù)據(jù)樣本上分析比較本文算法、Edge Boxes算法和滑動窗口算法，其中滑動窗口算法作為參照基準。分別固定候選窗口數(shù)量為100、500、1 000個，設(shè)置步長α為0.7，依據(jù)不同的IOU閾值計算召回率，實驗結(jié)果如圖8所示。

圖8 3種不同候選窗口數(shù)量下的召回率對比Fig.8 Comparison of recall rates under three different proposals

由圖8可知，本文算法的召回率均比Edge Boxes算法高。TIOU≤0.7時，本文算法召回率較Edge Boxes算法提升明顯；而TIOU≥0.8時，本文算法改善微弱，但是根據(jù)表1可知，若僅實現(xiàn)在高IOU閾值下保持高召回率，且不考慮時間，可以通過增大步長α的方式實現(xiàn)。

在IOU閾值分別為0.5、0.7和0.9時，根據(jù)不同候選窗口數(shù)量來計算召回率。其中在IOU閾值為0.5和0.7時設(shè)置α為0.7，在IOU閾值為0.9時設(shè)置α為0.85，實驗結(jié)果如圖9所示。

圖9 3種不同IOU閾值下的召回率對比Fig.9 Comparison of recall rates under three different values of IOU

由圖9可知，本文算法召回率相較于Edge Boxes算法均有不同程度的提高。在IOU閾值為0.5、0.7和0.9時，本文算法召回率最高分別為96.9%、78.4%和31.0%，高于Edge Boxes算法的85.2%、58.5%和27.0%。根據(jù)圖9b可知，當候選窗口數(shù)量大于950時，召回率曲線斜率趨向于0，說明當候選窗口數(shù)量大于950時，召回率基本不變，故本文選擇窗口得分排名前950的候選窗口進行目標對象的識別。

2.2 檢測對象識別模型參數(shù)分析

通過對魚體標注框的統(tǒng)計可知，其寬、高均處于40～120像素之間，本文將訓練樣本的尺寸統(tǒng)一設(shè)置為64像素×64像素。檢測對象識別模型的主體部分是兩級PCA卷積， PCA卷積核的尺寸和數(shù)量是決定識別準確率的關(guān)鍵因素。

為了確定卷積核的尺寸，本文分別使用3×3、5×5、7×7、9×9共4種不同尺寸的卷積核進行實驗，設(shè)兩級PCA卷積核數(shù)量都為8，實驗結(jié)果如表2所示。

表2 不同尺寸卷積核識別準確率對比Tab.2 Classification accuracy comparison of different convolution kernel size

由表2可知，在固定兩級卷積核數(shù)量的情況下，卷積核尺寸為5×5時的識別準確率最高，為94.25%，因此在訓練檢測對象識別模型時，采樣塊尺寸為5×5。

確定卷積核為5×5后，通過改變卷積核數(shù)量η分析其對識別準確率的影響，設(shè)兩級卷積核的數(shù)量一致，即L1=L2=η,結(jié)果如圖10所示。

圖10 不同卷積核數(shù)量下的識別準確率Fig.10 Identification accuracy under different convolution kernel numbers

由圖10可知，當4≤η≤9時，識別準確率隨著η的增大而提高，當η=9時，識別準確率達到最大值95.71%，當10≤η≤12時，識別準確率隨η的增大而下降。由此可知，PCA卷積核數(shù)量為9時識別效果最優(yōu)。

2.3 本文算法效果分析

Edge Boxes-PCANet算法的檢測效果如圖11所示，本文算法的檢測效果如圖12所示。

圖11和圖12來自于本實驗平臺采集到的真實

圖11 Edge Boxes-PCANet算法檢測效果圖Fig.11 Detection effect diagram of Edge Boxes-PCANet detection algorithm

圖12 本文算法檢測效果圖Fig.12 Detection effect diagram of the proposed algorithm

數(shù)據(jù)，直觀地對比檢測效果，本文算法能夠針對目標魚體生成更緊密的包圍框，并且對處于較深水體處的目標魚體也展現(xiàn)了較好的檢測性能，如圖中的綠色圓圈標記所示。

對檢測結(jié)果進行數(shù)據(jù)分析，如表3所示，本文算法的漏檢率、誤檢率均低于Edge Boxes-PCANet算法，表明本文算法的性能優(yōu)于Edge Boxes-PCANet算法。

表3 本文算法與Edge Boxes-PCANet算法的檢測性能對比Tab.3 Comparision of detection performance between the proposed algorithm and Edge Boxes-PCANet algorithm

3 結(jié)論

(1)根據(jù)魚體圖像的邊緣和骨架特征提出了多目標魚體對象提議檢測算法，對生成的候選窗口利用 PCA卷積核提取特征，利用SVM進行目標對象識別，最后利用非極大值抑制算法剔除冗余窗口，實現(xiàn)對多目標魚體的精確檢測。

(2)實驗表明，本文算法在固定候選窗口下召回率最高可達96.9%；對目標對象的最高識別準確率可達95.71%。本文算法的漏檢率、誤檢率和平均檢測時間分別為5.26%、2.52%和0.40 s，與Edge Boxes-PCANet算法相比，本文檢測算法在多目標魚體檢測上具有更優(yōu)越的性能。