基于融合圖像與運動量的奶牛行為識別方法

顧靜秋 王志海 高榮華 吳華瑞

(1.北京交通大學計算機與信息工程學院, 北京 100044; 2.國家農業信息化工程技術研究中心, 北京 100097)

基于融合圖像與運動量的奶牛行為識別方法

顧靜秋1,2王志海1高榮華2吳華瑞2

(1.北京交通大學計算機與信息工程學院, 北京 100044; 2.國家農業信息化工程技術研究中心, 北京 100097)

為從海量監控視頻中快速、準確識別影響奶牛繁殖與健康的行為，以小育成牛舍與泌乳牛舍中400頭奶牛為研究對象，分析了奶牛在活動區與奶廳匝道的運動行為，提出了一種基于圖像熵的奶牛目標對象識別方法，通過最小包圍盒面積計算與目標對象輪廓圖，實時捕獲奶牛爬跨行為與蹄部、背部特征，融合被識別奶牛連續7 d的運動量，判斷影響奶牛健康繁殖的異常行為。試驗結果表明，利用本文方法對監控視頻內奶牛目標對象、運動行為進行實時監測，有效監控識別奶牛發情、蹄病行為準確率超過80%，發情漏檢率最低為3.28%，蹄病漏檢率最低為5.32%，提高了規模化養殖管理效率。

奶牛行為； 目標分割； 圖像熵； 圖像矩； 運動量； 智能分析

引言

奶牛有其自身的生活習性和行為特點，奶牛養殖過程中，奶牛繁殖檢測和奶牛健康保證在牛群繁殖管理中具有重要地位，及時發現奶牛發情有利于健康奶牛的及時受孕、產犢并延長泌乳期，提高奶牛養殖的經濟效益。正確了解、掌握奶牛的行為，對奶牛的健康生理狀況進行實時監控，對在實際生產中掌握奶牛的疾病預防、診斷、治療，做好繁殖和飼養管理工作，提高生產效率，獲得最大生產效益具有極大的意義。因此，奶牛養殖過程中不同生育期的生理健康行為的實時感知及智能識別與分析，對提高養殖場產量起著重要作用。奶牛在不同生理發育期需要重點監測的行為主要包括發情、蹄病。

目前，依靠人工觀察再依靠經驗判斷的奶牛識別方式已逐漸顯露出識別不準確的弊端。“第六屆中國奶業大會暨中國奶業展覽會”公布的數據顯示：截至2014年底，全國奶牛存欄量已經達到1 460萬頭，其中存欄量100頭以上的奶牛規模養殖比重達到45%，人工主觀觀察方法無法實現快速、精確的奶牛行為監測，且需要大量的勞動力。為解決人工觀測的不足，國內外學者利用物聯網技術，在奶牛身體不同部位安裝三軸加速計、藍牙設備等自動監測設備，實時監測奶牛在不同生育期的體征和行為，具有較好的識別效果[1]；但侵入式采集方式容易因環境污染造成信號傳輸偏離，間接影響到奶牛正常行為，影響到對奶牛行為的正確判斷。

物聯網技術已經在國外奶牛養殖中得到大量應用，大大提高了奶牛養殖的精準化、信息化水平，使奶牛養殖產業產生了質的飛越[2-7]。國內對動物行為視頻動態監控與智能分析研究起步較晚，但隨著物聯網技術的廣泛應用，取得了若干研究成果[8-18]。

上述技術和系統都具有較高的交互性和靈活性，研究者在對動物行為分析中，能夠解決基本的體態識別，但是在動物目標自動跟蹤和視頻行為分析方面仍然存在局限性[19]：大多數研究只是對動物位置、運動軌跡、速度、距離等定量參數的一個運動模式分析過程，缺少對海量監控視頻的實時分析，丟失了動物外觀表現的特殊行為特征；即便是引入了視頻分析的內容，也只是對動物移動、靜止休息等最基本的行為模式進行識別，且識別背景為實驗環境下的單一背景，動物間交互行為分析的方法較少；大多數利用神經網絡對動物行為識別的方法，前期需要數據學習過程，識別的過程較長，而且對動物體態行為分類數量比較少，很難實現所有動物行為的準確識別；智能互聯網在畜牧養殖業中的滲透，使得圖像分析技術逐步應用于禽類等小型養殖領域[20-23]，但在豬牛羊等大型畜牧類養殖中的應用還比較少。本文以奶牛發情、蹄病行為為監控對象，通過高清攝像頭實時捕獲奶牛在活動區內的運動行為與奶廳匝道中的蹄部、背部特征，同時結合奶牛最近7 d的運動量，及時對奶牛發情、蹄病行為進行預警，以期減少由于漏判造成的配種不及時與蹄病延誤等現象，提高養殖管理者工作效率，提升奶牛年產奶量以及整個奶牛養殖產業的持續發展。

1 材料與方法

1.1 試驗對象

以河北省豐寧縣銀河牧場生態養殖基地養殖的荷斯坦奶牛為研究對象，通過高清攝像頭與牛只運動量檢測設備，實時采集2015年全年小育成牛舍與泌乳牛舍400頭牛只行為視頻數據與運動量數據。

1.2 試驗設備

試驗采用?？低旸S-2CD2155F(D)-I(W)(S)、500萬像素日夜型半球網絡攝像機，實時采集奶牛行為監控視頻，確保奶牛行為圖像特征足夠清晰，為后續圖像處理試驗提供基礎。

同時，試驗利用天津市海辰博遠軟件有限公司的HEATTAG-002型計步器設備，該計步器固定在奶牛四肢并與牛只標號一一對應，能夠得到每只奶牛運動量。計步器采用加速度傳感器，當奶牛四肢活動時，傳感器產生前后、上下、左右3個方向的加速度周期性變化，該加速度變化被加速度傳感器所感知而產生數字信號，數字信號經過放大、濾波和二值化處理，可分離出連續運動步伐的波形數據，通過識別軟件對波形數據進行處理，獲得奶牛日常采食、運動等累計步伐數量。奶牛運動量監測系統由佩戴在奶牛腿部的傳感器模塊(計步器)、數據接收系統和計算機分析軟件組成，通過對奶牛運動量的檢測，獲得奶牛的運動情況。每頭奶牛每分鐘的活動數據都儲存在計步器中，當奶牛進入擠奶操作間時，門口的接收器便會讀取數據，并傳送到服務器，計算機系統會對比某時段運動量與歷史上同時段運動量的平均值，若奶牛運動量遠遠大于過去同時段數值，則該頭奶牛很可能發情；而患蹄病的牛只，由于自身疫病造成運動量降低，所以若奶牛運動量小于過去同時段數值，則該奶牛有可能患有蹄病，需及時進行干預治療。

1.3 試驗方法

1.3.1 不同生育期奶牛養殖動態監測內容

奶牛養殖過程中，按照不同生長階段進行數據采集與管理，根據奶牛不同生長階段需要重點監測的內容不同，以奶牛發情與蹄病行為為實例，主要對奶?；顒訁^與擠奶匝道牛只行為進行實時監測，從大量的視頻監控內容中，自動抽取發情、蹄病行為視頻關鍵幀，如圖1所示，并結合配備在奶牛右后肢上的計步器監測運動量，判斷預警奶牛的蹄病與發情行為。

圖1 佩戴在奶牛右后肢上的計步器Fig.1 Pedometer on cow limb

1.3.2 奶牛行為智能分析方法

奶牛行為識別可以定義為測試視頻序列與預先標定的典型行為參考特征的匹配程度，通過實時跟蹤目標奶牛對象行為，挖掘奶牛發情、蹄病等行為規則，判斷被跟蹤奶牛健康與繁殖方面是否存在異常。

為實現奶牛行為的實時監控，對奶牛養殖場布設的高清攝像頭采集到的監控視頻內容進行分析，首先提取視頻內容中的奶牛對象，然后對其進行動態跟蹤，得到連續的運動行為，根據蹄病、發情行為模型匹配，對奶牛養殖過程中出現的上述異常行為進行提示預警，有效節省養殖人員的時間，提高規?；B殖管理效率，圖2為奶牛行為識別過程。

圖2 奶牛行為分析方法 Fig.2 Cow behavior analysis method

2 試驗結果及分析

為驗證蹄病與發情行為監測的實用、可靠性，于2016年3月—10月，將攝像頭視點固定在奶?；顒訁^域，實時監控奶牛的日常行為，平均每10 min對當前監控視頻的畫面進行抓取，另存為一張.jpg格式的圖片，單幅圖像大小約為45 KB，共獲取32 100幅圖像數據。對15 000幅圖像(發情行為3 476幅，蹄病行為5 217幅，正常行為6 307幅)進行人工識別后再對其進行自動識別。同時，在每頭奶牛的右后肢位置綁定計步器設備，實時采集該牛只的運動量數據。

2.1 奶牛目標對象提取

奶牛是群體養殖的動物，若想實現對單個奶牛行為的有效分析與識別，必須首先從海量監控視頻內容中提取出需要定位的奶牛對象，而奶牛是一個運動的對象，如何從圖像序列中將變化區域從背景圖像中提取出來是首先需要解決的問題。

熵能夠描述某一圖像灰度分布的聚集特性，但不能反映相應的灰度分布空間特征，故本文將聚類算法與熵結合，求取灰度級為[0,L]、尺寸為M×N的圖像灰度概率

(1)

式中ni——灰度i的像素數Pi——灰度i的概率

設定閾值T1、T2、T3，將圖像灰度分為目標對象O、天空S、地面G3個區域。3個區域的平均相對熵為

(2)

(3)

(4)

其中

式中EO——目標對象區域的平均相對熵ES——天空區域的平均相對熵EG——地面區域的平均相對熵PT1——灰度T1的概率PT2——灰度T2的概率

圖像熵為

(K=3)

(5)

其中

將式(5)分別代入式(2)～(4)得到最佳閾值T1、T2、T3為

(6)

為實現奶牛目標對象的有效分割，按照某種相似度量，對圖像歐氏空間內的特征向量進行聚類，如上所述，聚合成3個分離開的子集XO、XS、XG，xl、xm、xn為圖像中任意特征向量

(7)

則必須滿足

(8)

式中vO、vS、vG——子集XO、XS、XG的均值

根據上述最佳閾值，對視頻關鍵幀截取到的圖像進行分析，抽取奶牛目標對象，為典型行為識別提供數據支撐。

利用上述基于圖像熵的分割方法，對奶牛目標進行分割，得到奶牛目標對象如圖3b所示，背景圖像如圖3c所示。

2.2 奶牛典型行為識別

2.2.1 基于圖像的奶牛蹄病行為智能分析

奶牛蹄病是奶牛養殖過程中最易患的疾病之一，僅次于乳房炎和繁殖系統疾病，蹄病雖是慢性過程，不致死亡，但是肢蹄健康是奶牛高產、健康的基礎，蹄部疾病不僅會造成奶牛產奶量下降，而且會造

成牛只高淘汰率，增加奶牛養殖成本。

本文采用輪廓圖模型結構方法，將奶牛形體輪廓分割為頭部、腹部、四肢、臀部、背部5部分，并采用無向圖G=(V,U)表示各部分之間的關系，U為輪廓邊集合，V為點集合，V={v1,v2,…,v7}，vi(i=1,2,3,4,5,6,7)對應奶牛輪廓的5部分如圖4所示。若vi與vj相連，則有(vi,vj)∈U。

圖4 奶牛形體輪廓分割圖Fig.4 Contour segmentation of cow1.奶牛頭部輪廓 2.奶牛腹部與頸部輪廓 3.奶牛蹄部輪廓 4.奶牛臀部輪廓 5.奶牛背部輪廓

蹄病表現出來的特征是：背部彎曲，主要體現在背部的彎曲程度；明顯跛行，主要體現在蹄部與地面的夾角。牛只行走過程中蹄部與地面夾角為α，如圖5所示。按照背部彎曲程度、蹄部與地面的夾角可以將蹄病分成4種等級，如圖6所示。

圖5 牛蹄與接觸地面的夾角Fig.5 Angle between cow hoof and ground

圖6 4種程度蹄病示意圖Fig.6 Sketches of four degrees of hoof disease

因蹄部與地面的夾角易受到周邊遮擋，很難通過視頻圖像獲取，本文主要通過背部彎曲程度對應牛只蹄病等級進行監測。

2.2.2 基于圖像的奶牛發情行為智能分析

奶牛發情后的12～24 h是最佳受孕時期，典型特征是爬跨(前蹄動作)與活動量變大，伴隨進食量與產奶量的下降。一般要在發情12 h后才會出現明顯特征性動作，現有監測依靠人工監視，無法保證白天長時間的連續監測，更無法解決夜間發情監測。

奶牛爬跨行為比較明顯，相比較奶牛在一起的其他正常行為圖像而言，具有爬跨行為的奶牛包圍盒面積有所不同，本文在利用上述圖像熵方法對奶牛目標對象識別基礎上，計算奶牛對象最小包圍盒之間的相交面積，如圖7所示，判斷發情行為如下：

奶牛目標對象最小包圍盒面積可以通過圖像矩計算得到，令0階矩M00為奶牛目標對象最小包圍盒的面積

(9)

式中I(x,y)——最小包圍盒內任意像素點l、w——包圍盒的長和寬x、y——像素點橫、縱坐標值

則矩形的重心坐標xc、yc分別為

(10)

當監控視頻內的奶牛對象相互重疊時，分別計算奶牛對象的最小包圍盒中心點[(x1,y1)、(x2,y2)、(x3,y3)、(xQ,yQ)],最小包圍盒的寬分別為w1、w2、w3、wQ，取

葉圣陶先生說：“預習是訓練閱讀的最重要的階段。”由此可見，預習非常重要。如何指導高年級學生自主、高效預習課文呢？我認為，可以從以下幾個方面進行落實。

(11)

式中Q——奶牛對象頭數

當

R

則奶牛疑似發情。

2.3 試驗分析

2.3.1 奶牛發情行為試驗分析

在3 476幅發情行為圖像中，隨機選取1 800幅作為訓練集，以奶牛腹部中間位置為中心點，計算牛只的最小包圍盒，并獲取大于1個包圍盒的最小相交面積，分析比較后確定發情判斷的最小相交面積的范圍。其中wi(i=1,2,3,4)為包圍盒的最短邊，li(i=1,2,3,4)為包圍盒的最長邊，A、B、C、D分別為4個包圍盒，R為2個包圍盒中心點(R1,R2)的距離。

圖8 不同情況下牛只最小包圍盒相交示意圖Fig.8 Sketches of minimum bounding intersection

圖8a與圖8b為包圍盒A與包圍盒B相交的最小包圍盒，其中圖8a中2個最小包圍盒的最短邊為w1，w1R。圖8c中A與B、D 2個最小包圍盒相交，其中包圍盒的最短邊為w1=w2，且w1=w2

根據R

2.3.2 奶牛蹄病行為試驗分析

為有效捕捉奶牛蹄病行為，在奶牛進入奶廳匝道處安裝高清攝像頭，近距離實時觀察每頭奶牛的背部與蹄部特征。

利用圖像熵分割方法，將攝像頭監控的關鍵幀內的奶牛目標對象進行分割，并參照上述方法，將奶牛的輪廓分為5部分，并將牛只背部彎曲程度與4種級別蹄病等級進行匹配，實現蹄病預警，并匹配相應蹄病等級。

由于沒有考慮蹄部與地面的夾角，因此僅僅通過背部彎曲程度判斷蹄病等級的方法還有所不足，本文在背部彎曲程度判斷的基礎上，結合牛只的運動量，若奶牛發生蹄病，運動量在7 d內會明顯下降，通過圖像背部特征與奶牛運動量特性進行融合，可以在蹄病初期就能很好的監測到，及時進行防治，防止蹄病惡化，影響奶牛的產奶量。

利用上述方法對河北省豐寧縣銀河牧場的200頭泌乳牛與200頭小育成牛的發情行為和蹄病行為進行自動識別，并將識別準確率、漏檢率與人工識別結果進行對比分析，驗證本文方法的魯棒性，如表1、表2所示。

表1 準確率對比分析

表2 漏檢率對比分析

通過表1、2可以看出，由于奶牛發情、蹄病圖像特征會因為遮擋、光照等原因，造成特征提取誤差，自動識別奶牛發情與蹄病的準確率為80%以上，而由于人的經驗豐富，使得人工識別奶牛發情行為與蹄病的準確率能達到95%以上。雖然發情與蹄病自動識別準確率比人工識別略低，但是，自動識別的方法可以實現每天24 h的不間斷監測，避免了人工無法長期觀察的弊端。通過對視頻監控圖像進行分析識別，奶牛發情與蹄病行為的漏檢率不超過6.3%。而人工會隨著長時間從事某一監測，造成視覺與體力疲勞，導致比較大的漏檢率。因此，綜合分析本文的方法，能夠提高奶牛發情與蹄病行為識別的效率。

3 結束語

對不同生育期內重點監測的蹄病、發情行為的監控視頻進行了分析，研究了基于圖像熵的奶牛目標檢測、體態分類與識別等關鍵技術，提取奶牛目標對象，同時采用最小包圍盒面積計算方法，實時捕獲奶牛在活動區內的爬跨行為和背部彎曲度，并借助計步器采集到的運動量，對奶牛養殖過程中出現的蹄病、發情等異常行為進行提示預警，有效節省養殖人員的時間，使得奶牛發情、蹄病的識別準確率均超過80%，發情漏檢率最低為3.28%，蹄病漏檢率最低為5.32%，提高了規?；B殖管理效率和奶牛健康繁殖的科學研究水平，具有重要的應用價值。但文中并未考慮監控視頻的前后幀的相關性，在今后的研究中，需要結合奶牛行為的時間相關性，抽取某一時間段內奶牛的行為特征模型，提高行為識別的準確性；同時進一步研究蹄病與發情行為視頻關鍵幀與具體牛只編號的對應關系，以精確定位到發情、患病牛只。

1 溫長吉,王生生,趙昕,等.基于視覺詞典法的母牛產前行為識別[J/OL].農業機械學報,2014, 45(1):266-274. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20140141&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2014.01.041. WEN Changji, WANG Shengsheng, ZHAO Xin, et al. Visual dictionary for cows sow behavior recognition[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(1):266-274. (in Chinese)

2 NOLDUS L, SPINK A J. Tegelenbosch ethovision: a versatile video tracking system for automation of behavioral experiments[J]. Behavior Research Methods, Instruments & Computers, 2001，33(3): 398-414.

3 Med Associates Inc. Homecage video tracking system[M/OL]. (2007-11-01)[2016-03-01].http:∥www.med-associates.com/new_prod/video.htm.

4 LEROY T, VRANKEN E.A computer vision method for on-line behavioral quantification of individually caged poultry[J]. Transactions of the ASABE,2006,49(3):795-802.

5 BIOBSERVE G. Trackit system family[M/OL].(2007-11-05)[2016-03-01]. http:∥www.biobserve.com/products/trackit/index.htm.

6 TUCHER B, KHAN Z, VELOSO M. Automatically tracking and analyzing the behavior of live insect colonies[C]. AGENTS’01, 2001: 521-528.

7 SHAO Bin,XIN Hongwei.A real-time computer vision assessment and control of the themal comfort for group-housed pigs[J].Computer and Electronics in Agriculture,2008,62(2):15-21.

8 王舉,陳曉江,常儷瓊,等.基于壓縮感知的被動式移動目標軌跡測繪[J].計算機學報,2014,37(74):1-15. WANG Ju, CHEN Xiaojiang, CHANG Liqiong, et al. Compressive sensing based device-free moving target trajectory depiction[J].Chinese Journal of Computers,2014,37(74):1-15. (in Chinese)

9 紀濱,朱偉興,劉波,等.基于脊腹線波動的豬呼吸急促癥狀視頻分析[J].農業工程學報,2011,27(1): 191-195. JI Bin, ZHU Weixing, LIU Bo,et al. Video analysis for tachypnea of pigs based on fluctuating ridge-abdomen[J]. Transactions of the CSAE,2011,27(1):191-195. (in Chinese)

10 趙凱旋,何東健,王恩澤.基于視頻分析的奶牛呼吸頻率與異常檢測[J/OL].農業機械學報,2014, 45(10):258-263. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20141040&journal_id=jcsam. DOI:10.6041/j.issn.1000-1298.2014.10.040. ZHAO Kaixuan, HE Dongjian, WANG Enze.Detection of breathing rate and abnormity of dairy cattle based on video analysis[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(10):258-263. (in Chinese)

11 劉波,朱偉興,楊建軍,等.基于深度圖像和生豬骨架端點分析的生豬步頻特征提取[J].農業工程學報，2014,30(10):131-137. LIU Bo, ZHU Weixing, YANG Jianjun, et al. Extracting of pig gait frequency feature based on depth image and pig skeleton endpoints analysis[J]. Transactions of the CSAE,2014,30(10):131-137. (in Chinese)

12 朱偉興,浦雪峰,李新城,等.基于行為監測的疑似病豬自動化識別系統[J],農業工程學報,2010,26(1): 188-192. ZHU Weixing, PU Xuefeng, LI Xincheng, et al.Automatic identification system of pigs with suspected case based on behavior monitoring[J]. Transactions of the CSAE,2010,26(1):188-192. (in Chinese)

13 宋杰偉,王金一,南凱,等.基于Web的鳥類視頻監控系統研究與實現[J].計算機應用與軟件, 2011,28(3):86-88. SONG Jiewei, WANG Jinyi, NAN Kai, et al.Study on Web-based video monitoring system for birds and its implementation[J].Computer Applications and Software,2011,28(3):86-88.(in Chinese)

14 段延娥,李道亮,李振波,等.基于計算機視覺的水產動物視覺特征測量研究綜述[J].農業工程學報，2015,31(15):1-11. DUAN Yan’e, LI Daoliang, LI Zhenbo,et al. Review on visual attributes measurement research of aquatic animals based on computer vision[J]. Transactions of the CSAE,2015,31(15):1-11. (in Chinese)

15 龐超,何東健,李長悅,等.基于RFID與WSN的奶牛養殖溯源信息采集與傳輸方法[J].農業工程學報，2011,27(9):147-152. PANG Chao, HE Dongjian, LI Changyue, et al. Method of traceability information acquisition and transmission for dairy cattle based on integrating of RFID and WSN[J]. Transactions of the CSAE,2011,27(9):147-152. (in Chinese)

16 尹令,劉財興,洪添勝,等.基于無線傳感器網絡的奶牛行為特征監測系統設計[J].農業工程學報，2010,26(3):203-208. YIN Ling, LIU Caixing, HONG Tiansheng, et al. Design of system for monitoring dairy cattle’s behavioral features based on wireless sensor networks[J]. Transactions of the CSAE,2010,26(3):203-208. (in Chinese)

17 田富洋,王冉冉,劉莫塵,等.基于神經網絡的奶牛發情行為辨識與預測研究[J/OL].農業機械學報,2013,44(增刊1):277-281. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=2013s1 50&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2013.S1.050. TIAN Fuyang, WANG Ranran, LIU Mochen, et al. Oestrus detection and prediction in dairy cows based on neural networks [J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2013,44(Supp.1): 277-281. (in Chinese)

18 柳平增,丁為民,汪小旵,等.奶牛發情期自動檢測系統的設計[J].測控技術,2006,25(11): 48-51. LIU Pingzeng, DING Weimin, WANG Xiaochan, et al. Design of automatic system to detect cow oestrus[J]. Measurement & Control Technology, 2006,25(11): 48-51. (in Chinese)

19 耿麗微,錢東平,趙春輝.基于射頻技術的奶牛身份識別系統[J].農業工程學報，2009，25(5)：137-141. GENG Liwei, QIAN Dongping, ZHAO Chunhui. Cow identification technology system based on radio frequency[J]. Transactions of the CSAE, 2009, 25(5): 137-141.(in Chinese)

20 STEM U, HE R, YANG C H.Analyzing animal behavior via classifying each video frame using convolutional neural networks[J]. Scientific Reforts,2015,5:1-13.

21 NILSSON M, HERLIN A H, ARDO H, et al. Development of automatic surveillance of animal behaviour and welfare using image analysis and machinee learned segmentation technique[J]. Animal, 2015,9(11):1859-1865.

22 沈明霞,劉龍申,閆麗,等.畜禽養殖個體信息監測技術研究進展[J/OL].農業機械學報,2014,45(10):245-251. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20141038&journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2014.10.038. SHEN Mingxia, LIU Longshen, YAN Li, et al. Review of monitoring technology for animal individual in animal husbandry[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(10):245-251. (in Chinese)

23 勞鳳丹,滕光輝,李軍,等.機器視覺識別單只蛋雞行為的方法[J].農業工程學報,2012,28(24):157-163. LAO Fengdan, TENG Guanghui, LI Jun, et al. Behavior recognition method for individual laying hen based on computer vision[J]. Transactions of the CSAE,2012,28(24):157-163. (in Chinese)

Recognition Method of Cow Behavior Based on Combination of Image and Activities

GU Jingqiu1,2WANG Zhihai1GAO Ronghua2WU Huarui2

(1.SchoolofComputerandInformationTechnology,BeijingJiaotongUniversity,Beijing100044,China2.NationalEngineeringResearchCenterforInformationTechnologyinAgriculture,Beijing100097,China)

Due to the application of internet of things (IoT) to large-scale cow breeding, mass of multi-scale data and multi-divisional sensor data and video monitoring data of cow individuals were collected. Therefore, it is significant to dig out useful information about features of healthy reproduction behavior for development of scientific large-scale breeding measures and improve economic benefits from cow breeding. For the rapid and accurate identification of cow reproduction and healthy behavior from mass surveillance video, totally 400 head of young cows and lactating cows were taken as the research object and cow behavior from the dairy activity area and milk hall ramp was analyzed. The method of object recognition based on image entropy was proposed, aiming at the identification of motional cow object behavior against a complex background. Calculation of a minimum bounding box and contour mapping was used for the real-time capture of rutting span behavior and hoof or back characteristics. Then, by combining the continuous image characteristics with movement of cows for 7 d, abnormal behavior of dairy cows from healthy reproduction can be quickly distinguished by the method, which improved the accuracy of the identification of dairy cows characteristics. Cow behavior recognition based on image analysis and activities was proposed to capture abnormal behavior that had harmful effects on healthy reproduction and improve the accuracy of cow behavior identification. The experimental results showed that through target detection, classification and recognition, the recognition rates of hoof disease and heat in the reproduction and health of dairy cows were greater than 80%, and the false negative rates of oestrus and hoof disease reached 3.28% and 5.32%, respectively. This method can enhance the real-time monitoring of cows, save time and improve the management efficiency of large-scale farming.

cow behavior; target segmentation; image entropy; image moment; activities; intelligent analysis

10.6041/j.issn.1000-1298.2017.06.019

2017-02-24

2017-05-02

國家自然科學基金面上項目(61571051)

顧靜秋(1977—)，男，博士生，國家農業信息化工程技術研究中心副研究員，主要從事農業大數據分析與智能決策研究，E-mail： gujq@nercita.org.cn

王志海(1963—)，男，教授，博士生導師，主要從事機器學習研究，E-mail： zhhwang@bjtu.edu.cn

S823.9+1； TP391.4

A

1000-1298(2017)06-0145-07