基于改進可變形部件模型與判別模型的葡萄葉片檢測與跟蹤

楊 森，馮 全※，王書志, 張 芮

?

基于改進可變形部件模型與判別模型的葡萄葉片檢測與跟蹤

楊 森1，馮 全1※，王書志2, 張 芮1

（1. 甘肅農業大學工學院，蘭州730070；2. 西北民族大學電氣工程學院，蘭州 730030）

為解決釀酒葡萄生長狀態自動監測問題，該文提出基于機器視覺和視頻處理技術的自動監測系統，開發了多角度可變形部件模型的葡萄葉片檢測算法和基于顏色特征的判別模型跟蹤算法。在葉片檢測方面，該算法對顏色特征圖像采用可變形部件模型訓練出多角度葉片檢測器，通過多模型匹配后產生葉片檢測候選集合，選擇集合中得分最高的檢測結果作為最后的定位信息；在跟蹤方面，結合圖像中目標的顏色直方圖，建立具有區分背景和目標的組合判別模型，并將位置函數的最大值作為相鄰幀的目標位置，從而實現對葉片目標的實時跟蹤。試驗結果表明，該文檢測算法對自然條件下的葡萄葉片平均檢測率為88.31%，誤檢率為8.73%；葉片跟蹤的準確性也相對較高，其重疊率高達0.83，平均中心誤差為17.33像素，其證明了該算法的有效性，研究結果為葡萄生長狀態的自動分析提供參考。

機器視覺；圖像處理；模型；葡萄葉片；檢測；跟蹤；可變形部件模型；判別模型

0 引 言

近年來釀酒葡萄的種植向集約化發展，大規模種植給生長狀態的監測帶來了極大的挑戰，而人工檢測效率低、工作強度大。葡萄葉片的健康狀態在很大程度上能反映葡萄的生長狀態，而葡萄葉片的檢測是后續視覺處理的基礎。自然條件下獲取的圖像中葉片姿態不同，葉片相互遮擋，伴有陰影存在，且光照隨時間變化很大，影響了葉片自動檢測以及定位的準確性。現有的很多葉片識別與分割算法[1-4]往往是在特定的背景和特定光照條件下開展的，與植物實際的生長環境有差異，無法適用于自然條件下的葉片實時檢測。文獻[5]采用了HOG特征和支持向量機對自然條件的葡萄葉片進行檢測，檢測率達到83.5%，但對葉片的遮擋和重疊、葉片的傾斜和變形檢測效果較差。此外，對于已檢測到的葉片進行跟蹤也很有意義，因為在葡萄生長期內，葉片在生長且不斷改變其位置、狀態，為了判斷葡萄生長狀態的變化，需要對比同一葉片不同時間的狀態；在某個時刻，葉片上經常有斑駁的陰影或高光斑，容易被誤判為病斑等，但太陽位置變化后，這些陰影或光斑會消失；一些土斑、鳥屎等雜物從顏色和形狀上與病斑很像，但它們隨著時間不會增大和擴散。如果在序列圖像（視頻）中跟蹤某片具有疑似病癥葉片的運動，就能比較該葉片在不同時間上的狀態變化，排除虛假病害，提高病害判斷的準確性。目前關于運動目標跟蹤的研究有2大方向[6]：一種是基于運動信息的跟蹤方法[7-9]，該方法對目標的遮擋、相似性目標的跟蹤效果較差；另一種是建立在模型基礎上的跟蹤方法[10-12]，集中在行人、車輛及人臉的跟蹤[13-14]，該方法中主要采用特征點的匹配來實現目標的可靠跟蹤，對場景的變化和外觀的變形具有很好的適應性。葡萄葉片質地較為柔軟，易變形，自然環境中在風吹動下，運動方向和形態往往變化不定，葉片表面的特征點容易丟失，導致跟蹤失敗或誤跟。

本文采用基于WiFi的無線分布式的組網方式實現釀酒葡萄視頻的采集，對檢測和跟蹤的葡萄葉片進行實時分割，特征提取，實現葡萄生長狀態的在線監測，但限于篇幅本文只討論監測過程中技術難度最大的葉片檢測和跟蹤方法。針對上述葉片檢測和跟蹤算法存在的不足，本文采用多角度可變形部件模型的葉片檢測算法，結合顏色直方圖描述外觀特征，建立一種具有判別能力的目標跟蹤模型，并通過模型的學習克服跟蹤中對目標相似區域的偏移，實現對葡萄葉片運動的準確跟蹤。

1 視頻采集的網絡結構及算法流程

為解決大規模葡萄種植基地面積大、密度高，拉線不方便等困難，能夠實現遠程和移動式的視頻實時采集，本文的視頻采集設計了2種無線網絡部署方式，由圖1所示，以適應在不同環境下正常工作。方案1是一種全無線方式，終端采用無線攝像頭，具有部署靈活、可移動的特點，可用太陽能和蓄電池對IP攝像頭進行供電；方案2則是一種局部有線方式，由支持POE模式的交換機與IP攝像頭連接，除了傳輸數據，還可給攝像頭實時供電。在2種模式下，從無線網橋出來的信息通過交換機連接，在交換機輸出端設計了2種連接方式：1）將局域網與交換機連接后，監測PC機接入局域網后，可訪問IP攝像頭；2）交換機后側連接路由器并接入互聯網，用戶可以直接通過互聯網遠程訪問IP攝像頭。

圖1 視頻采集網絡結構

本文提出的葡萄葉片檢測與跟蹤的總體流程圖如圖2所示。

注：sv表示投票得分；sd表示距離得分。

首先通過在線網絡結構獲得視頻序列圖像并對圖像進行預處理，獲得葉片圖像的/圖像；在其/圖像基礎上提取HOG特征金字塔；利用訓練后的多角度模型濾波器與特征金字塔圖形進行卷積，計算出每個部件的最后的得分，并通過得分確定出葉片的位置；其次利用初始獲得的葉片位置計算出葉片在區域處的概率，并計算出候選區的投票得分和距離得分；最后通過求得組合得分最高的區域，確定為該幀中葉片跟蹤的位置。

2 葉片檢測

2.1 特征提取

HOG特征[15]是對圖像中目標區域的梯度方向和梯度幅值統計信息而定義的一種特征，主要用來描述目標的外形輪廓，對圖像幾何和光學的變形都能保持很好的不變性。葡萄園中圖像背景較為復雜，如果直接提取目標的HOG特征，背景中的土地、雜物、葉片的陰影以及套袋等會被誤檢測為目標，大大降低了葉片目標識別的準確性，因此本文對葉片特征的提取進行了2方面的改進。

1）為消除背景的干擾，本文選擇在/圖像中提取HOG特征（其中、分別為RGB空間的綠色和紅色分量）。葉片的、、分量均會隨光照變化而變化，但/分量則能夠基本消除光照變化的影響。本文采集大量的葡萄葉片樣本對/分量進行統計發現，對于綠色葉片區域，/分量比較大，非葉片區域該值則較小。試驗發現，當圖像中的/>1.3時，該區域基本可判定為葉片區域。圖3是葉片圖像的/圖的一個例子，圖3a為原始圖像在某一尺度下的RGB圖，圖3b是對應的圖；可以看出/分量圖基本保留了葉片區域，且葉片區域特征顯示較明顯，對消除背景和光照變化的干擾具有較好的適應性。提取圖像的/分量后需將圖像映射到[0, 255]的范圍內，其映射關系表示為

a. 原始圖像 a. Original imageb. G/R分量圖 b. G/R componentimagec. 特征金字塔圖像 c. Feature pyramid image

圖3 特征圖像的提取

Fig.3 Extraction of feature image

2）傳統的HOG特征采用無符號的梯度特征，而本文改進的HOG特征采用了有符號和無符號相結合的策略。若對HOG特征直接進行特征向量化，一個單元的特征維數高達108維，其維數相對較高，因此采用主成分分析法（principal component analysis，PCA）[16]對單元內的特征進行降維處理后得到31維的特征，大大提高了檢測速度。

由于葡萄葉片在圖像中的大小不確定，因此采用金字塔來提取圖像不同尺度下HOG特征，即將圖像變換為一個10層的HOG特征金字塔[17]，HOG金字塔中每一層的最小單位是細胞單元。如圖3c為第5尺度下提取的 特征金字塔圖像，特征圖像中基本顯示了葉片的紋理和輪廓。

2.2 混合多角度可變形模型

葉片在自然生長時姿態多樣，通過攝像頭在葡萄園采集的圖像（視頻）中，大部分葉片是正面的，但也有不少葉片背面或側面朝向攝像頭，因此在圖像中，采用單一角度的檢測模型無法滿足檢測精度，為解決葡萄葉片姿態多樣、容易形變等問題，采用可變形部件模型，建立了葉片正面，側面，背面的混合多角度模型。基于可變形模型（deformable part model，DPM）的方法在檢測時，通過檢測部件來確定目標是否存在，而且能夠評估各部件之間的相互關系，因此對目標的形變具有較強的適應性，但DPM采用的是灰度圖像，對于畫面幾乎是綠色調和常存在局部陰影的葡萄葉片圖像，檢測效果會下降，因此本文針對DPM進行了改進，使之更適合葉片檢測。假設是HOG金字塔，表示金字塔第層位置的一個細胞單元，濾波器在此檢測窗口上的得分為：

在自然條件下葡萄葉片的形狀各異，因此將整體葉片分解為多個部分，并通過部件模型確立各部分之間的相互位置關系。記含有部分的葡萄葉片模型為，是根濾波器，表示葉片的整體形狀，表示第個部件，用來描述葉片的細節部分，可用三維向量表示為，其中是第個部件的濾波器；第個濾波器的錨點位置。則葉片目標在某個位置的得分表示為

2.3 模型匹配

采用滑動窗口的檢測方法在圖像上滑動，計算框中圖像區域的HOG特征，在特征金字塔的每一層上進行檢測。首先計算混合模型與特征圖像的相似程度，將待檢測的圖像提取不同尺度下的特征金字塔圖像，使用已訓練的根模型和不同角度的部件模型與特征圖像進行卷積得到濾波后的響應圖，然后分別對部件濾波響應圖進行響應變換，綜合部件模型與特征圖像的匹配程度和部件模型相對于其理想位置的偏離程度，得到最優的部件模型位置和響應得分，并將圖像在位置處的得分與訓練模型的閾值判斷后確定是否為目標，依次對檢測圖像在不同尺度下計算響應得分后，可獲得不同尺度葡萄葉片的檢測結果。圖像中處的響應得分[18]表示為：

利用模型匹配后，由于根濾波器與部件濾波器都會檢測到目標，造成對目標的重疊檢測或將葉片的陰影誤檢為目標，因此本文改進了檢測算法，主要從兩方面進行改進，以提高葉片檢測的準確性。1）降低葉片檢測器的閾值。雖然降低模型的閾值能夠提高目標檢測的查全率，但也會提高誤檢率。由于待檢測圖像通過/分量提取特征圖像后，在整個圖像基本保留了葉片部分，因此，在處理后的圖像中進行檢測，即使閾值降低后誤檢率也不會增加太多，經試驗統計，本文將閾值從-0.4降到-0.8；2）檢測結果的合并。目標匹配后，每張檢測圖像都會產生以葡萄葉片為目標的檢測結果集合，采用非極大值抑制來消除重復的檢測框。集合中每一個檢測目標包含一個檢測框和一個得分。以此按照得分對中的檢測結果進行排序，選擇具有最高得分的檢測結果并刪除之前選擇的包圍盒覆蓋超過50%的檢測結果。利用該方法會增加檢測框的寬度和高度，而且會增加少量的漏檢，但是能抑制更多的誤檢窗口，總體性能有一定的提升。

2.4 葉片檢測器的訓練

一般戶外獲取的葉片圖像姿態多樣，單一的檢測器無法滿足對自然條件下各種角度葉片的檢測，因此訓練了多角度葉片檢測器。訓練視頻來自于甘肅農業大學葡萄園，采集于2016年5月—10月，通過無線視頻采集系統采集了晴天、陰天，多云條件下不同品種的葡萄（赤霞珠，品麗珠）葉片視頻圖像形成訓練視頻集和測試集。利用圖像處理技術將訓練視頻集分解成多張葉片圖像后，并對分解后的圖像經過人工裁剪，形成單葉片圖像集和非葉片圖像集，其中單葉片圖像集按照葉片正面、側面、背面3種姿態進行分類后，形成了3 000幅訓練正樣本，選擇不包含葉片或非葡萄葉片集中的4 000幅圖像作為負樣本。為了避免一些形狀與葡萄葉片相似的雜草葉片誤檢測為目標，在形成4 000幅負樣本數據集時選擇一些葡萄園中常見的雜草葉片及多種非葡萄的植物葉片作為負樣本。由于模型易發生形變，部件的位置不固定，采用Latent SVM[19]將部件的位置作為隱含變量，在模型訓練時根據正樣本中葡萄葉片的各個部件的位置確定出在模型中的最佳位置。圖4a為葉片根檢測器，圖4b~圖4d為側面，正面和背面3個角度的檢測器。

a. 根模板 a. Root templateb. 側面模板 b.Profile template c. 正面模板 c.Front templated. 背面模板 d. Back template

3 葉片跟蹤

常見的行人或車輛跟蹤算法中，目標常沿著一定的線路運動，但葡萄葉片在風中通常呈擺動式運動，且葉片容易翻滾，很多在行人和車輛跟蹤[20-21]表現較好的基于特征點的跟蹤算法對葉片跟蹤的適應性并不十分理想。本文采用基于判別模型[22]和顏色特征的跟蹤方法解決這個問題。

3.1 判別目標模型

顏色特征是目標識別中較為容易提取的特征，因此本文采用顏色直方圖來描述目標的外觀特征。若將視頻圖像的像素數值范圍[0,255]平均分為16個區段，并給定方形目標區域（初始檢測到的目標檢測框或目標當前的跟蹤位置）和目標周圍區域（區域是與為同一中心的外圍區域，且區域的寬度和高度為區域的1.5倍），根據貝葉斯定理，則獲得目標在位置處發生的概率近似表示為[23]

該判別模型可以區分背景和目標的像素，由于葉片周圍分布較多綠色部分，目標的跟蹤會偏向于葉片特征相似的位置區域，造成目標跟蹤的準確率下降。假設可能存在的誤跟蹤區域為，建立組合的目標模型為

（7）

式中組合模型的第1部分為目標與背景模型，第2部分為目標與相似特征區域模型；為預先定義的權重參數，試驗中取0.01。

為了適應目標外觀特征，光照條件等變化，通過線性插值的方法定期更新組合模型，則時刻更新后目標模型表示為

3.2 跟蹤定位

利用檢測-跟蹤的原則可以預測目標葉片在新的一幀中的位置，若目標在前一時刻的位置為，采用與前一時刻目標成比例的矩形區域在相鄰幀中不斷搜索后，則目標在下一幀的位置表示為

（10）

（11）

一般利用（9）式在候選目標中計算它們的投票得分和距離得分，最后選擇組合得分最高的作為新的目標位置，但在與目標相似的區域的得分也會很高，可能導致目標的定位錯誤，因此需對目標進一步判別，如果，則認為候選目標為干擾區域，其中為判斷系數，取值范圍[0,1]。

為進一步完善目標的跟蹤，跟蹤的過程依次將多個跟蹤目標進行編號，在長期跟蹤過程中，由于外界的影響或劇烈的運動導致目標在該場景中消失，某一時刻可能會重新回到場景中，或在監控區域中可能會長出新的葉片目標，為了對目標身份進行判別，在跟蹤過程中，需要每隔30 min重新檢測一次，確定是否有新的目標出現。具體實現為如下：1）將初始跟蹤到的目標提取SIFT特征[24]，并建立特征數據庫；2）長期跟蹤過程中需要定時對目標進行重新檢測，將檢測到的目標提取SIFT特征，并與數據庫中特征進行匹配，檢驗場景中是否出現新的目標；若目標匹配成功，則保持原來的目標編號，若目標不能匹配，則該目標為新的目標，將其編號后，并將特征數據添加到數據庫中。

4 結果與分析

4.1 葉片檢測

為測試葡萄葉片檢測的有效性，在自然光照條件下，通過視頻采集系統在甘肅農業大學葡萄園（103.69°E, 36.08°N，甘肅省蘭州市安寧區）不同位置隨機采集了多段視頻，經視頻分析和圖像處理得到不同光照條件和不同背景下的2 000張測試樣本（其中測試樣本中不包含訓練集），并將測試樣本根據圖像中葉片的數量分成單葉片、2葉片、3葉片和多葉片（3個葉片以上）4種情形，根據生長狀態分為病斑葉片、開花期和結果時期3種情形。針對葉片的檢測采用檢測率（detection rate，DR）和誤檢率（false positive rate, FPR）作為評價準則[25]，其中DR和FPR分別定義為：

（13）

式中TP表示正陽性，具體表示為人工標記到的同時本研究所用的檢測器也檢測到的葉片數量；FN表示假陰性，本研究中具體表示為人工標記到的，但檢測器未能檢測的葉片數量；FP表示假陽性，具體表示為人工未標記，但檢測器檢測到的葉片的數量。

采用PASCAL目標檢測協議[26]來評價檢測的精度，即當交疊率（intersection over union，IOU）>0.5時，認為檢測框準確檢測到了目標。圖5給出了一些葡萄葉片檢測結果的例子。表1統計了不同情形下葉片的檢測率和誤檢率，其中單葉片、2葉片、3葉片和多葉片4種情形下的檢測率分別為92.67%，91.99%，92.59%和89.93%，誤檢率分別為6.04%，7.22%，6.72%和8.72%，且這4種情形下的平均檢測率為91.79%，誤檢率為7.17%。試驗結果表明，單葉片在檢測率和誤檢率2方面都是最優的，2葉片和3葉片的檢測率略低于單葉片，但仍高于90%；多葉片的檢測率較單葉片、2葉片和3葉片略低，誤檢率也相對較高，原因可能是多葉片情形下，背景更為復雜，且出現葉片的重疊、遮擋的情形較多。對于病斑葉片的檢測，由于葉片的殘損、特征的多樣性，使得外觀變化劇烈，誤檢率高達13.91%，其檢測率相對于其他的情形是最低的，但統計的檢測率在83.50%左右，對于基本完整的病斑葉片可以準確檢測。

a. 2葉片 a. Two leavesb. 3葉片 b. Three leaves c. 病斑葉片 c. Disease leavesd. 多葉片 d. Multiple leaves e. 開花期 e . Flowering stagef. 結果期 f. fruiting stage

葡萄在生長過程中背景的復雜程度不斷發生變化，一般在葡萄生長后期，葉片相對比較濃密，開花時期和結果實時期背景較為復雜，為驗證本檢測算法在復雜環境下的適應性，采集開花期和結果實期的測試樣本各50張（包含的葉片數量為247）進行測試，表1中還統計了不同生長時期的葉片檢測結果，在開花期和結果實期檢測率分別為84.3%和83.2%，誤檢率為8.69%和9.84%，在有葡萄花和葡萄果實等外界因素的影響，這2種復雜生長期下的平均檢測率仍保持在83.75%，平均誤檢率為9.26%。由于后期葉片比較濃密，葡萄果實對葉片的遮擋等原因，因此開花期和結果期的平均檢測率與表1的前4種情形相比下降了8.22%。此外，根據表1的統計，在7種情形下的葉片平均檢測率為88.31%，平均誤檢率為8.73%，表明本文檢測算法取得了較好的檢測效果。

表1 不同情形下葉片檢測準確性

注：TP表示將正類預測為正類數；FN表示將正類預測為負類數；FP表示將負類預測為正類數；DR表示檢測率；FPR表示誤檢率。

Note: TP indicates that the positive class is predicted to be positive class; FN indicates that the positive class is predicted to be negative class; FP indicates that the negative class is predicted to be positive class; DR indicates the detection rate; FPR indicates the false detection rate.

為進一步驗證本檢測算法的有效性，將本檢測算法與傳統的DPM（deformable part model）[10]算法、基于HOG特征的級聯分類器（Adboost）算法[27]，proposal中評分相對較高的邊緣檢測器（Edge Boxes）算法[28]在同一測試集上進行了比較，并通過測試集的精度與召回率進行了評價，其召回率與式（12）表達相同，精確度（precise rate, PR）定義為：

圖6a描繪了在數據集上不同算法的精度—召回率曲線。通過比對不同的算法表明，本文檢測算法檢測性能相比于傳統的DPM略有所提高，且本文算法的曲線更接近右上角，并隨著召回率的增大精確度的值呈遞減趨勢，表明在召回率較大時，精確度也相對比較大。圖6b描繪了交疊率(Intersection over union, IOU)增大過程中，不同算法的召回率曲線，即檢測率與IOU的變化情況。當IOU增大時，本文檢測算法的檢測性能一直處于領先，但IOU>0.8時，本文算法的召回率略高于DPM檢測算法。

4.2 葉片跟蹤

葉片跟蹤對于監視生長狀態非常關鍵，只有準確跟蹤葉片，才能確定葉片上各種目標狀態與上一個時間點相比是否發生變化。試驗中對自然條件下2方面的運動狀態實現了跟蹤分析：1）監視過程伴隨葡萄的生長過程，是一種長期跟蹤，即生長狀態的跟蹤；2）自然狀態下風對葉片影響非常顯著，稍大點的風就會使葉片的位置、狀態等發生變化，甚至會從場景中消失，即運動狀態的跟蹤。運動狀態視頻和生長狀態視頻均采用在線網絡結構采集，其中，選擇大風、微風，人工晃動等自然條件拍攝的10個視頻作為葉片運動視頻的測試樣本；生長狀態的視頻采集于2016年5月10日至7月1日，隨機選擇葡萄園內的3個位置，通過圖像處理技術后，將每天在9:00-18:00內拍攝的視頻各取1 min，最后將整個時間段內拍攝的視頻按照拍攝的時間順序進行組合成3個生長狀態的視頻。為了驗證本跟蹤算法對2種狀態的跟蹤準確性進行分析，采用Benchmark評估方法[29]中的中心誤差和重疊率來衡量本算法跟蹤的準確性，中心誤差定義為跟蹤窗中心位置與目標中心位置的平均Euclidean距離，中心誤差越小，跟蹤越準確，重疊率定義為跟蹤得到的目標區域與真實目標區域重疊的比例，重疊率越大，跟蹤越穩定。

圖6 不同方法的葉片檢測結果

試驗數據分析中，對所有跟蹤視頻每間隔5幀進行人工標記真實目標的中心位置和覆蓋區域后，并選擇了KLT（kanade-lucas-tomasi）跟蹤算法[30]和本跟蹤算法對2種狀態下葉片跟蹤的準確性進行了比較。圖7為不同時刻3個葡萄葉片目標在2種算法下部分視頻序列的跟蹤結果，綠色框表示KLT算法跟蹤結果，紅色框表示本文算法跟蹤結果，從圖中可以看出，目標在開始運動時2種算法都可以有效跟蹤，但目標在經歷頻繁的形變和遮擋干擾下，KLT算法出現了不同程度跟蹤不準確的現象，而本文算法在應對變形，外觀變化和光照變化的干擾時，不斷進行外觀模型的更新，基本可以實現對目標的準確跟蹤。表2顯示了在不同狀態下2種跟蹤算法的中心誤差和重疊率，結果表明2種狀態下KLT算法的平均中心誤差39.41像素，平均重疊率為0.57，而本文算法的平均中心誤差17.33像素，平均重疊率為0.83，本文算法均在2種運動狀態下取得了比KLT算法更小的中心誤差和更大的重疊率，平均重疊率高于KLT算法0.26，平均中心誤差下降22.08像素。針對生長狀態的跟蹤，本算法也取得了較小的跟蹤誤差和較大的重疊率，說明本算法在應對光照變化、運動變化劇烈具有一定的魯棒性。

a. 第5幀 a. Frame 5thb. 第78幀 b.Frame78th c. 第146幀 c. Frame146thd. 第170幀d. Frame 170th

表2 2種算法跟蹤性能對比

5 結 論

葡萄葉片的檢測與跟蹤是對葉片生長狀態進行監測和分析的前提，通過在線視頻采集網絡，該文提出了一種基于機器視覺無線、分布式的葡萄葉片檢測與跟蹤方案。在葉片目標檢測階段，在提取的/特征圖像中采用多角度的葉片檢測器進行匹配，有效消除了光照的變化，且在不同背景下多葉片情形下的檢測準確率為89.93%；在葉片跟蹤階段，引入葉片顏色特征后，采用在線判別模型跟蹤算法對檢測出的葉片目標進行跟蹤，降低了對目標表觀特征相似區域跟蹤的可能性。試驗表明，本文檢測算法在7種情形下的平均檢測率為88.31%，在開花期和結果實期2種復雜條件下的平均檢測率為83.75%；本文跟蹤算法在2種跟蹤狀態下的平均重疊率高于KLT算法0.26，平均中心誤差下降22.08像素。此外，本文檢測與跟蹤方法在環境變化適應能力優于其他算法，可為植物生長狀態實時監控提供參考。

[1] 李燦燦，王寶，王靜，等. 基于K-means聚類的植物葉片圖像葉脈提取[J]. 農業工程學報，2012，28(17)：157－162.

Li Cancan, Wang Bao, Wang Jing, et al. Extracting vein of leaf image based on K-means clustering[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(17): 157－162. (in Chinese with English abstract)

[2] 王麗君，淮永建，彭月橙. 基于葉片圖像多特征融合的觀葉植物種類識別[J]. 北京林業大學學報，2015，37(1)： 55－61.Wang Lijun, Huai Yongjian, Peng Yuecheng. Method of identification of foliage from plants based on extraction of multiple features of leaf images[J]. Journal of Beijing Forestry University, 2015, 37(1): 55－61. (in Chinese with English abstract)

[3] 鄭小東，王曉潔，趙中堂. 基于形狀特征的植物葉柄與葉片分割算法[J]. 計算機工程與設計，2010，31(4)：918－920.Zheng Xiaodong, Wang Xiaojie, Zhao Zhongtang. Segmentation algorithm of leafstalk and lamina based on shape feature[J]. Computer Engineering and Design, 2010, 31(4): 918－920. (in Chinese with English abstract)

[4] 張星龍，馮全，楊梅，等. 基于光源不變圖和聚類算法的葉片陰影中病斑的分割[J]. 西北農林科技大學學報(自然科學版)，2015，43(10)：189－194.Zhang Xinglong, Feng Quan, Yang Mei, et al. Segmentation of shaded plant lesions using illuminant invariant image and clustering algorithm[J].Journal of Northwest A & F University(Natural Science Edition), 2015, 43(10): 189－194. (in Chinese with English abstract)

[5] 馬媛，馮全，楊梅，等. 基于HOG的釀酒葡萄葉檢測[J].計算機工程與應用，2016，52(15)：158－161. Ma Yuan, Feng Quan, Yang Mei, et al. Detection of wine grape leaves based on HOG[J]. Computer Engineering and Applications, 2016, 52(15): 158－161. (in Chinese with English abstract)

[6] 姜文濤，劉萬軍，袁姮. 基于軟特征理論的目標跟蹤研究[J].計算機學報，2016，39(7)：1334－1355. Jiang Wentao, Liu Wanjun, Yuan Heng. Research of object tracking based on soft feature theory[J]. Chinese Journal of Computers, 2016, 39(7): 1334－1355. (in Chinese with English abstract)

[7] Airouche M, Bentabet L, Zelmat M, etal. Pedestrian tracking using color, thermal and location cue measurements: A DSmT-based framework[J]. Machine Vision and Applications. 2012, 23(5): 999－1010.

[8] Ramirez-Paredes J P, Sanchez-Yanez R E, Ayala-Ramirez V. A fuzzy inference approach to template-based visual tracking[J]. Machine Vision and Applications, 2012, 23(3): 427－439.

[9] Rezaeian M, Vo B N. Error bounds for joint detection and estimation of a single object with random finite set observation[J]. IEEE Transactions on Signal Processing, 2010, 58(3): 1493-1506.

[10] Kalal Z, Mikolajczyk K, Matas J. Tracking-learning – detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(7): 1409－1422.

[11] Tian Y L, Senior A, Lu M. Robust and efficient foreground analysis in complex surveillance videos[J]. Machine Vision and Applications, 2012, 23(5): 967－983.

[12] 付毅，吳澤民，田暢，等. 場景自適應的跟蹤特征選擇機制研究[J]. 光學技術，2014，40(6)：551－559.Fu Yi, Wu Zemin, Tian Chang, et al. Research on scene adaptive tracking feature selection[J]. Optical Technique, 2014, 40(6): 551－559. (in Chinese with English abstract)

[13] Tang S, Andriluka M, Schiele B. Detection and tracking of occluded people[J]. International Journal of Computer Vision, 2014, 110(1): 58－69.

[14] Lavi B. Online multiple face detection and tracking from video[J]. Diagnostic Microbiology & Infectious Disease, 2014, 12(1): 39－43.

[15] Deniz O, Bueno G, Salido J, et al. Face recognition using histograms of oriented gradients[J]. Pattern Recognition Letters, 2011, 32(12): 1598－1603.

[16] Felzenszwalb P F, Girshick R B, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627－1645.

[17] Dollar P, Appel R, Belongie S, et al. Fast feature pyramids for object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(8): 1532－1545.

[18] 孫黎亞，張樺，薛彥兵，等. 基于分級判斷的行人檢測[J].光電子·激光，2016(3)：332－338. Sun Liya, Zhang Hua, Xue Yanbing, et al.Pedestrian detection based on hierarchical judgement[J]. Journal of Optoelectronics · Laser, 2016(3): 332－338. (in Chinese with English abstract)

[19] Wang Q, Zhu W, Wang B. Three-Dimensional SVM with latent variable: application for detection of lung lesions in CT images[J]. Journal of Medical Systems, 2015, 39(1): 1–8.

[20] 王文江，黃山，張洪斌. 一種基于Mean Shift和Kalman預測的帶寬自適應跟蹤算法[J].計算機工程與科學，2013，35(5)：87－92.Wang Wenjiang, Huang Shan, Zhang Hongbin. Bandwidth- adaptive tracking algorithm based on Mean Shift and Kalman prediction[J]. Computer Engineering & Science, 2013, 35(5): 87－92. (in Chinese with English abstract)

[21] Milan A, Roth S, Schindler K. Continuous energy minimization for multi-target tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(1): 58－72.

[22] Domingos P, Pazzani M. On the optimality of the simple bayesian classifier under zero-one loss[J]. Machine Learning, 1998, 29(2/3): 103－130.

[23] Possegger H, Mauthner T, Bischof H. In defense of color-based model-free tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015: 2113－2120.

[24] 董文會，常發亮，李天平. 融合顏色直方圖及SIFT特征的自適應分塊目標跟蹤方法[J]. 電子與信息學報，2013，35(4)：770－776. Dong Wenhui, Chang Faliang, Li Tianping. Adaptive fragments-based target tracking method fusing color histogram and SIFT features[J]. Journal of Electronics & Information Technology, 2013, 35(4): 770－776. (in Chinese with English abstract)

[25] Hosang J, Benenson R, Dollar P, et al. What makes for effective detection proposals?[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(4): 814－830.

[26] Everingham M, Gool L V, Williams C K I, et al. The pascal, visual object classes (VOC) challenge[J]. International Journal of Computer Vision, 2010, 88(2): 303－338.

[27] 鄧海峰. 行人檢測與跟蹤關鍵技術研究[D]. 北京：北京交通大學，2011.Deng Haifeng. Research on Object Detection and Tracking[D]. Beijing:Beijing Jiaotong University, 2011. (in Chinese with English abstract)

[28] Zitnick C L, Dollar P. Edge boxes: Locating object proposals from edges[C]//European Conference on Computer Vision. Springer International Publishing, 2014: 391－405.

[29] Wu Y, Lim J, Yang M H. Online object tracking: A benchmark[J]. IEEE Conference on Computer Vision & Pattern Recognition, 2013, 9(4): 2411－2418.

[30] 劉軍，梁久禎，柴志雷. 基于DM642的KLT跟蹤算法的實現及優化[J]. 激光與紅外，2011，41(8)：936－940.Liu Jun, Liang Jiuzhen, Chai Zhilei. Implementation and optimization of KLT tracking algorithm based on DM642[J]. Laser &Infrared, 2011, 41(8): 936－940. (in Chinese with English abstract)

Grape leaves detection and tracking based on improved deformable part model and discriminative model

Yang Sen1, Feng Quan1※, Wang Shuzhi2, Zhang Rui1

(1.730070,; 2.730030,)

Recently, some researchers have exploited computer vision based video analysis to monitor the growth status of crop under the natural condition. Since leaf is the largest organ of the vast majority of plants, it often serves as primary monitoring object. Most of analysis algorithms of illness detect the blobs on the leaf surface and then judge the kind of diseases. In a leaf image, the blobs may be caused by shadow, dust, highlight, and so on, which are prone to be confused with the blobs caused by diseases. To accurately judge the illness of a leaf for online surveillance, it is important to consider the time factor, since the blobs caused by the aforementioned factors may disappear with time elapsing. There exist some reasons such as the various poses, mutual occlusion, appearance and the irregular movement, which make the conventional detection and tracking methods hard to locate the leaves accurately in the images. In this paper, a novel scheme to monitor the leaves of vine grape was proposed. To improve the accuracy of leaves detection, a traditional RGB (red, green, blue) image was replaced by a G/R image to train the deformable part model (DPM) since the former makes it easier to distinguish the grape leaves from the background than the latter. The DPM detector for leaves was constructed based on HOG feature, which was a mixture over 3 components representing different aspects of a leaf. Since high dimension of HOG feature hampered real-time detection, PCA (principal component analysis) method was exploited to reduce its dimension, which speeded up the process of training and detection effectively. By utilizing the trained model, the overall score was computed for each root location according to the best possible placement of the parts through the matching procedure. The scores were sorted and the detection with the highest score was picked out. To robustly trace the sharp movement of a leaf, probability model based online object tracking algorithm with color features was put forward. In the proposed algorithm, object-background model capable of differentiating a leaf from the background was constructed firstly. To reduce the risk of drifting towards the regions which exhibit similar appearance of leaf (but not real leaf) at a next frame, then a distractor-aware representation was combined to the formal model to generate a discriminative object model. Based on this model, detection rate and false detection rate were computed. This allows us to efficiently obtain the new object location in the next frame. In the long-term tracking process, detection repeated at the 30-minute interval to check whether new leaves appeared in the vision field or not. For the sake of the robustness, the images were gathered at various conditions, such as sunny day, cloudy day, shadow, flowering stages and fruiting stages to train the detection and tracking models. Experiments were conducted to evaluate the performance of leaf detection at 5 different settings. The experimental results showed that the average detection rate reached up to 88.31%, and the average false detection rate fell down to 8.73%. For the tracking algorithm, the results were also exciting: The overlap rate was as high as 0.83, and the average center error was 17.33 pixels. Compared with the classical KLT (Kanade-Lucas-Tomasi) tracking algorithm, our algorithm demonstrated the better robustness in the condition of illumination change and sharp movement.

computer vision; image processing; models; grape leaf; detection; tracking; deformable part models; discriminative model

10.11975/j.issn.1002-6819.2017.06.018

TP391.41

A

1002-6819(2017)-06-0140-08

2016-10-13

2017-02-05

國家自然基金（61461005）；甘肅省科技重大專項計劃（1502NKDF023）

楊 森，男（漢族），甘肅武威人，主要從事圖像處理，模式識別。蘭州甘肅農業大學工學院，730070。Email：1535361383@qq.com

馮 全，男（漢族），甘肅蘭州人，教授，博士，主要從事圖像處理、信息安全。蘭州 甘肅農業大學工學院，730070。Email：fquan@sina.com