基于輪廓特征的單只蛋雞行為識(shí)別方法*

趙守耀，陸輝山，王福杰，李沛，王寧

(中北大學(xué)機(jī)械工程學(xué)院，太原市，030051)

0 引言

家禽行為是其在特定條件下生理和心理行為的自然反應(yīng),可以作為評(píng)價(jià)家禽福利及其健康狀況的最直接的證據(jù)，因此, 對(duì)家畜采食及飲水等行為進(jìn)行監(jiān)測(cè), 對(duì)實(shí)現(xiàn)家畜福利化養(yǎng)殖具有重要意義[1-2]。傳統(tǒng)的蛋雞行為識(shí)別方法主要有2種，一是雞場(chǎng)飼養(yǎng)員根據(jù)蛋雞的生長(zhǎng)周期和用肉眼進(jìn)行觀測(cè)，這種識(shí)別方法需要的人工成本高，主觀性強(qiáng)，準(zhǔn)確性不高，不適合大面積推廣。二是通過(guò)在蛋雞身上佩戴傳感器，但是這種方法對(duì)于育成期的蛋雞是侵入式的，會(huì)對(duì)蛋雞的行為表達(dá)造成一定的影響，從而影響蛋雞的生長(zhǎng)發(fā)育。

近年來(lái)，圖像處理技術(shù)在禽畜行為識(shí)別領(lǐng)域取得了重大的研究突破，現(xiàn)有研究針對(duì)大型家畜，如豬、牛的研究已經(jīng)取得了較大地進(jìn)展[3-5]，而對(duì)于蛋雞的研究較少，目前許多國(guó)內(nèi)外學(xué)者也對(duì)蛋雞的行為進(jìn)行了成功識(shí)別。Leroy等[6]通過(guò)對(duì)單只蛋雞輪廓的橢圓擬合點(diǎn)分布模型，通過(guò)模型匹配對(duì)6種行為(站立、坐、睡覺(jué)、梳理、抓和啄)模型進(jìn)行分類識(shí)別，成功率在70%～96%。勞鳳丹等[7-8]通過(guò)獲取蛋雞的質(zhì)心，通過(guò)質(zhì)心坐標(biāo)的移動(dòng)來(lái)判斷單只蛋雞的運(yùn)動(dòng)、采食和飲水行為，通過(guò)對(duì)蛋雞輪廓進(jìn)行橢圓擬合后得到幾何特征，用貝葉斯分類法分類出探索、拍翅膀、輕微擺動(dòng)等行為。為了進(jìn)一步研究多只蛋雞的行為，利用深度圖像對(duì)蛋雞的個(gè)體行為(采食、躺、臥和站立)和群體行為進(jìn)行識(shí)別。Pereira等[9]利用圖像處理方法得到蛋雞輪廓后，提取出多個(gè)特征建立行為分類決策樹，對(duì)單只蛋雞的展翅、靜止、休息和搜索等行為進(jìn)行分類，分類正確率為70.3%。Poursaberi 等[10]基于橢圓擬合方法對(duì)火雞的轉(zhuǎn)身、拍翅膀的行為進(jìn)行監(jiān)控，并利用火雞輪廓上的關(guān)鍵點(diǎn)組成火雞形狀描述的算法進(jìn)一步區(qū)分躺和站的行為。但上述研究對(duì)某些行為的特征選取較為單一，也沒(méi)有從所提取的特征中進(jìn)行選擇，并對(duì)選擇后的特征進(jìn)行排列組合，進(jìn)行建模結(jié)果對(duì)比，得到最佳的特征組合，提高模型的運(yùn)算速度及分類正確率[11-13]。

本文選取育成期綠殼蛋雞為研究對(duì)象，在前人研究的基礎(chǔ)上，根據(jù)所研究對(duì)象的特點(diǎn)，選取分割后蛋雞輪廓的7種特征，并對(duì)特征對(duì)比分析，選擇最佳的特征并進(jìn)行排列組合，結(jié)合機(jī)器學(xué)習(xí)算法，建立蛋雞行為識(shí)別模型，對(duì)蛋雞的采食、站、臥和修飾行為進(jìn)行識(shí)別和分類。

1 材料和方法

1.1 試驗(yàn)材料

試驗(yàn)于2020年8月8—13日在山西省大同市靈丘縣匯鑫養(yǎng)殖有限公司進(jìn)行，試驗(yàn)蛋雞為11周齡的白色綠殼蛋雞，采用室內(nèi)平養(yǎng)方式，蛋雞自由飲水、采食。雞舍每天的光照時(shí)間為(8:00～16:00)，試驗(yàn)期間雞舍內(nèi)溫度維持在20 ℃～25 ℃，雞舍環(huán)境干燥、衛(wèi)生、通風(fēng)。

1.2 試驗(yàn)平臺(tái)

為了更好地監(jiān)控蛋雞，綜合考慮試驗(yàn)場(chǎng)地的情況及試驗(yàn)器材，搭建如圖1所示的試驗(yàn)平臺(tái)，在圍欄邊緣有固定的料槽，蛋雞可以自由地采食和飲水。在雞籠中心距地面2 m高處安裝海康威視攝像頭，攝像頭與硬盤錄相機(jī)相連，硬盤錄相機(jī)連接一臺(tái)顯示器，可以實(shí)時(shí)觀察雞舍內(nèi)的狀況，相機(jī)的錄像時(shí)間為8：00～17：00。

圖1 試驗(yàn)平臺(tái)結(jié)構(gòu)圖

1.3 圖像預(yù)處理

圖像預(yù)處理的主要目的是提取出目標(biāo)的特征，本文圖像處理主要包括以下幾個(gè)部分。

1) 灰度化及濾波。得到蛋雞圖像后，依次進(jìn)行灰度化和圖像平滑的方法去除噪聲，提高目標(biāo)和背景之間的對(duì)比度。

2) 自動(dòng)全局閾值分割。由于試驗(yàn)蛋雞的顏色為白色，背景為白色孔狀落糞網(wǎng)，本文的分割方法能根據(jù)直方圖中的像素分布，自動(dòng)計(jì)算出一個(gè)灰度級(jí)用于分割區(qū)域，分割后得到二值化區(qū)域。

3) 形態(tài)學(xué)濾波。分割后二值化區(qū)域中仍有部分落糞網(wǎng)的結(jié)構(gòu)，且落糞網(wǎng)結(jié)構(gòu)為圓形孔狀結(jié)構(gòu)，所以選擇圓形結(jié)構(gòu)元素對(duì)二值化區(qū)域進(jìn)行開(kāi)運(yùn)算處理。

4) 小面積區(qū)域去除和孔洞填充。形態(tài)學(xué)開(kāi)運(yùn)算后圖像中仍然存在許多面積較小的聯(lián)通域，同時(shí)雞體可能存在較小的孔洞，通過(guò)孔洞填充來(lái)填補(bǔ)較小的孔洞，得到完整的蛋雞區(qū)域，蛋雞的采食、站立、臥和修飾行為圖像預(yù)處理前后的結(jié)果如圖2所示。

1.4 圖像特征提取

在得到圖2(b)所示的二值化區(qū)域后，進(jìn)一步獲得其輪廓，對(duì)所得到的蛋雞輪廓進(jìn)行橢圓擬合、外接矩形擬合和內(nèi)接圓擬合后，進(jìn)行特征提取，四類行為的特征提取結(jié)果圖如圖3所示。選取面積、周長(zhǎng)、質(zhì)心、圓度、橢圓方向、外接矩形的長(zhǎng)寬比和內(nèi)接圓半徑7種特征，每種特征及其描述如表1所示。

(a) 原始圖像

(a) 蛋雞輪廓

表1 輪廓特征及其描述

1.5 行為識(shí)別模型的建立

極限學(xué)習(xí)機(jī)(Extreme Learning Machine, ELM)是一種基于前饋神經(jīng)網(wǎng)絡(luò)構(gòu)建的機(jī)器學(xué)習(xí)方法。ELM算法隨機(jī)產(chǎn)生輸入層與隱含層的連接權(quán)值及隱含層神經(jīng)元的閾值，且在訓(xùn)練過(guò)程中無(wú)須調(diào)整，只需要設(shè)置隱含層神經(jīng)元的個(gè)數(shù)，便可以獲得唯一的最優(yōu)解。極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、單隱藏層以及輸出層 3 部分組成[14-17]，其網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)圖

給定任意Q個(gè)不同樣本(xi,ti)，其中xi=[xi1,xi2,…,xin]T表示樣本的特征向量，n表示輸入樣本維數(shù)，ti=[ti1,ti2,…,tim]T表示對(duì)應(yīng)樣本的標(biāo)簽，m表示期望的輸出向量維數(shù)。一個(gè)有L個(gè)隱含層節(jié)點(diǎn)的單隱層神經(jīng)網(wǎng)絡(luò)的輸出

(1)

式中：G(x)——激活函數(shù)；

Wi=[wi,1,wi,2,wi,2,…,wi,n]T——輸入權(quán)重；

βi——輸出層權(quán)重；

Bi——第i個(gè)隱含層單元的偏置；

Wi×Xj——Wi和Xj的內(nèi)積；

oj——網(wǎng)絡(luò)輸出。

2 結(jié)果和分析

2.1 特征提取結(jié)果

通過(guò)雞舍監(jiān)控視頻，發(fā)現(xiàn)蛋雞日常行為的時(shí)間分布不同，采食、站、臥和修飾所用時(shí)間的比例約為4∶3∶2.5∶2，故選取各類行為的圖像數(shù)目為，采食1 200 張，站900張，臥750張，修飾600張作為樣本，通過(guò)1.4節(jié)的方法提取特征，隨機(jī)挑選7種特征在每種行為50組數(shù)據(jù)，發(fā)現(xiàn)質(zhì)心的中心坐標(biāo)、內(nèi)接圓半徑和橢圓方向這3種特征對(duì)行為的區(qū)分度不大, 故舍棄；剩余5種特征的曲線圖如圖5所示。

(a) 中心列曲線圖

2.2 建模結(jié)果

選取中心列、周長(zhǎng)、面積、圓度和外接矩形的長(zhǎng)寬比這5種特征作為4種行為的輸入特征。由圖5可知，列坐標(biāo)可以作為采食行為的特征，周長(zhǎng)可以作為修飾行為的特征，面積特征在4種行為下存在交叉部分，而圓度和外接矩形的長(zhǎng)寬比可以作為站和臥兩種行為的特征，故建立4種特征組合進(jìn)行對(duì)比。為了消除特征之間的單位和尺度差異，對(duì)提取的特征數(shù)據(jù)進(jìn)行歸一化處理，將數(shù)據(jù)的80%作為訓(xùn)練集，20%作為測(cè)試集，對(duì)模型進(jìn)行訓(xùn)練。

分別將4種特征組合作為輸入對(duì)模型的識(shí)別率和運(yùn)行時(shí)間進(jìn)行對(duì)比，由于不同組合下的訓(xùn)練集和測(cè)試集是隨機(jī)產(chǎn)生的，每次運(yùn)行的結(jié)果都會(huì)有所不同，故將10次運(yùn)行結(jié)果的平均值作為最終結(jié)果，見(jiàn)表2，4種組合的運(yùn)行時(shí)間都在1.7 s左右，但B組的識(shí)別率最高。

表2 不同特征建模結(jié)果

為了進(jìn)一步驗(yàn)證B組模型的分類性能，將查準(zhǔn)率p，召回率r和F1值作為方法的性能評(píng)價(jià)指標(biāo)，計(jì)算公式

(2)

(3)

(4)

式中：TP—— 正確分類為本行為的樣本數(shù)；

FP—— 錯(cuò)誤分類為本行為的樣本數(shù)；

FN—— 錯(cuò)誤劃分為其他行為的樣本數(shù)。

本方法結(jié)果的p、r和F1得分見(jiàn)表3。

表3 模型的度量得分

2.3 行為識(shí)別結(jié)果

隨機(jī)選取某一天8：00～16：00中每小時(shí)的前10 min 的視頻片段，應(yīng)用上述行為識(shí)別模型對(duì)視頻中處于采食、站、臥和修飾的每幀圖像進(jìn)行識(shí)別，平均識(shí)別時(shí)間為1.54 s，統(tǒng)計(jì)后得到采食、站立、臥和修飾4類行為的識(shí)別率如表4所示。

表4 行為識(shí)別結(jié)果

2.4 結(jié)果分析

表2中的4種組合，B組的識(shí)別率最高，分析圖5中的特征曲線可知，4種行為在面積特征下的曲線存在部分交叉，其余3個(gè)組合A、C和D的輸入中都包含面積特征，可知，相對(duì)于B組，A組在模型訓(xùn)練時(shí)輸入特征的維度較高，模型的復(fù)雜度較高，難以對(duì)冗余特征進(jìn)行深層次提取，C和D組中面積這一特征對(duì)分類的貢獻(xiàn)度較差，導(dǎo)致模型的整體識(shí)別率低于B組。

表3的分析結(jié)果可知，采食、站和臥的查準(zhǔn)率，召回率和F1值均超過(guò)90%，說(shuō)明本文提出的方法能夠準(zhǔn)確分辨出蛋雞的采食、站和臥行為。修飾行為的各種指標(biāo)值較低，可能是修飾特征多樣和數(shù)據(jù)量過(guò)少有關(guān)。此次試驗(yàn)的準(zhǔn)確率達(dá)到了95.3%，說(shuō)明本方法在農(nóng)業(yè)領(lǐng)域適用。

由表4的行為識(shí)別結(jié)果可知，蛋雞的采食和站這兩類行為的識(shí)別率較高，臥和修飾的識(shí)別率較低，通過(guò)對(duì)4類行為的視頻圖像和輪廓特征數(shù)據(jù)進(jìn)一步分析，可知，采食和站行為的主要區(qū)別在于輪廓的質(zhì)心位置，蛋雞的尾部在靠近料槽時(shí)，算法會(huì)將其誤判為采食，需要進(jìn)一步研究蛋雞的頭尾特征，建立更多的輪廓特征，提高識(shí)別率。蛋雞的臥行為主要分布在圍欄邊緣，由于圖像采集設(shè)備的高度原因，鐵絲網(wǎng)會(huì)遮擋蛋雞個(gè)體，導(dǎo)致分割獲取的蛋雞輪廓不完整，造成誤判，后續(xù)試驗(yàn)可以改變攝像頭的高度，采用其他材質(zhì)的圍欄。修飾的識(shí)別率最低，根本原因在于蛋雞在臥時(shí)也會(huì)進(jìn)行修飾行為，翅膀張開(kāi)的幅度較小，導(dǎo)致周長(zhǎng)輪廓的變化幅度較小，特征不明顯，同臥行為的輪廓特征指標(biāo)差別不大；且一天當(dāng)中蛋雞進(jìn)行修飾行為的時(shí)間較短，獲取的行為數(shù)據(jù)樣本較少，后續(xù)可進(jìn)一步研究其特征或采取卷積神經(jīng)網(wǎng)絡(luò)的方法提取特征，選取更適合分類的特征，提高該行為的識(shí)別率。

3 討論

1) 本文在前人研究的基礎(chǔ)上，對(duì)所提取的特征進(jìn)行選擇，選擇最佳的特征組合，建立行為識(shí)別模型，以實(shí)現(xiàn)對(duì)不同行為的分類，相比前人的研究，建模的速度快，對(duì)蛋雞的行為識(shí)別率也有所提高。

2) 該方法也存在一定的局限性。蛋雞多分布在圍欄的角落，由于圍欄的遮擋，此時(shí)相機(jī)的位置無(wú)法全面拍攝蛋雞，對(duì)特征提取造成一定影響。蛋雞個(gè)體較小，難以區(qū)分頭部和尾部，蛋雞的尾部靠近料槽時(shí)，會(huì)被誤判為采食。修飾的識(shí)別率較低是由于蛋雞處于臥時(shí)，也會(huì)張開(kāi)翅膀進(jìn)行修飾行為，此時(shí)會(huì)被誤判，后續(xù)可以進(jìn)一步研究其特征或利用深度學(xué)習(xí)技術(shù)進(jìn)行特征提取，提高修飾的識(shí)別率。

4 結(jié)論

1) 對(duì)育成期的蛋雞進(jìn)行連續(xù)監(jiān)控，獲得監(jiān)控視頻后，對(duì)獲取的蛋雞圖像進(jìn)行特征提取，選擇提取出的7種輪廓特征，并結(jié)合極限學(xué)習(xí)機(jī)，建立蛋雞行為識(shí)別模型，實(shí)現(xiàn)了對(duì)單只蛋雞的采食、站立、臥和修飾的識(shí)別，各類行為的識(shí)別率分別為97.00%、94.46%、91.50%和86.64%，模型對(duì)單幀圖片的平均識(shí)別時(shí)間為1.54 s。

2) 主要是針對(duì)單只蛋雞的行為進(jìn)行研究，單只蛋雞的行為較為單一，但在實(shí)際的養(yǎng)殖環(huán)境中，蛋雞數(shù)量多，下一步可以增加蛋雞的數(shù)目，進(jìn)一步研究其群體行為。