基于深度與傳統特征融合的非限制條件下奶牛個體識別

司永勝 王朝陽 張 艷 王克儉 劉 剛

(1.河北農業大學信息科學與技術學院, 保定 071001; 2.河北省農業大數據重點實驗室, 保定 071001;3.中國農業大學農業農村部農業信息獲取技術重點實驗室, 北京 100083)

0 引言

在現代奶牛養殖管理中,準確可靠地識別每頭奶牛具有重要意義[1-2]。奶牛個體識別是智能擠奶、健康監測、行為識別分析等奶牛精準管理的基礎[3]。

通過肉眼進行人工奶牛個體識別因存在費時、費力等缺點[4],逐漸被射頻識別技術(RFID)所取代。部分養殖企業采用了基于RFID的電子標簽進行奶牛個體識別。電子耳標只能在接近讀卡器的位置被識別。此外,電子耳標易脫落和損壞、易受到外部電磁環境干擾、成本較高[5]。基于計算機視覺的個體識別具有非接觸、成本低、不易引起牲畜應激反應等優點[6-7]。

基于機器視覺技術的奶牛個體識別[8-9]方法可分為兩種:傳統的人工提取圖像特征,然后利用機器學習方法進行分類[10];基于深度學習方法提取深度特征,對奶牛個體進行識別[11]。在使用傳統特征對奶牛識別方面,LI等[12]采集尾根部圖像,提取Zernike不變矩特征,利用SVM對奶牛進行個體識別,識別準確率為99.6%。蔡騁等[13]提出用自適應級聯檢測器定位牛臉位置,用統計迭代模型提取牛臉輪廓,實現了肉牛的面部輪廓提取。XIAO等[14]提取奶牛背部花紋的特征,對特征進行選擇后使用SVM對奶牛個體進行識別,識別準確率為98.67%。隨著深度學習研究的深入,基于深度學習技術提取深度特征對奶牛進行識別取得了較大的進展。HU等[15]使用YOLO算法對奶牛個體進行定位,然后利用分割算法將牛身體分為頭、軀干和腿部3部分,使用神經網絡分別進行特征提取,利用SVM對奶牛進行個體識別,識別準確率為98.36%。何東健等[16]改進YOLO模型,利用奶牛背部花紋對通過擠奶通道的奶牛進行識別,識別準確率為95.91%。

上述研究大部分是在奶牛處于擠奶廳或過道等位置的限制性條件下的識別,奶牛和相機的位置和角度固定,花紋變化較小。非限制性條件下奶牛個體識別具有較強的實際意義,但由于奶牛姿態的變化、拍攝角度和相對位置的變化,識別難度較大。TASSINAIR等[17]利用奶牛兩個側面的花紋信息,基于YOLO對牛舍中自由活動的非限制性條件下的奶牛進行識別,識別準確率為75.59%,識別率較低。大部分研究都是單獨利用人工提取的傳統特征或單獨利用深度學習提取深度特征進行識別。深度學習方法能很好地描述低級特征和高級特征,但在提取局部空間特征方面不如傳統的特征提取可靠[18]。有研究證實了深度特征與傳統的互補性,將二者融合可以有效提高識別準確率[19]。

奶牛個體識別對提高奶牛福利和養殖效率具有重要意義。本文以非限制條件下的站立和躺臥姿態的奶牛為研究對象,將利用深度學習提取的深度特征和人工提取的傳統特征相融合,進而利用融合后的特征進行奶牛個體識別,以期為實現奶牛行為智能分析、疾病檢測、牛奶溯源和精準飼喂等提供技術支持。

1 實驗材料

1.1 視頻圖像采集

本文視頻數據采集自河北省保定市宏達牧場,2021年11月8—11日連續4 d。圖像采集時間為08:00—17:00,采集58頭荷斯坦奶牛在活動區活動和在休息區躺臥的奶牛圖像,圖1為圖像采集示意圖。

圖1 數據采集示意圖Fig.1 Data acquisition diagrams

本文實驗牛舍長25 m,寬15 m,為避免遮擋,采集奶牛的俯視視頻。4個攝像頭(DH-IPC-HFW4838M-I)安裝在休息區和活動區上方的橫梁上,如圖1a所示,安裝位置距地面7.5 m,攝像頭與水平方向夾角約80°,確保4個攝像頭拍攝范圍能覆蓋整個實驗牛舍,圖1b為圖像采集現場環境。

采集視頻的分辨率為2 560像素×1 440像素,幀率為25 f/s。在每個攝像頭拍攝的視頻中隨機選取4 000幅圖像,用于奶牛圖像的分割,4個攝像頭共選取16 000幅圖像,其中活動區8 000幅,休息區8 000幅。圖1c、1d分別為活動區和休息區采集到的圖像,活動區的奶牛可能出現在該區任意位置,同時,休息區的奶牛也可以隨意選擇臥床位置,這都導致了奶牛在圖像中的位置不固定。出現在圖像中不同位置的同一頭奶牛花紋圖案有較大變化。服務器配置為Intel Xeon Silver 4208 CPU, Nvidia GeForce RTX 3090 GPU。圖像分割、深度特征與傳統特征提取均使用Python語言編寫,傳統特征選擇及奶牛分類均在Matlab R2017b上實現。

1.2 圖像預處理

Mask R-CNN已經被驗證可較好地用于復雜環境下的奶牛分割[20-21],本文采用Mask R-CNN對奶牛的躺臥和站立姿態進行識別和圖像分割,識別和分割結果如圖2所示。由于頭部的晃動會造成花紋特征不穩定,對站立姿態和躺臥姿態的奶牛都提取軀干部為感興趣區域。圖2a為Mask R-CNN對不同姿態奶牛檢測到的感興趣區域。

圖2 Mask R-CNN檢測結果及分割后的奶牛圖像Fig.2 Mask R-CNN detection results and segmented cow images

對于休息區和活動區采集到的奶牛圖像,按照7∶2∶1的比例劃分為訓練集、驗證集、測試集。本文使用Labelme對訓練集和驗證集圖像進行標記。由于牛舍中奶牛會出現站立、朝左側躺臥、朝右側躺臥3種姿態,因此對奶牛進行標記時將圖像標簽分為站立、朝左側躺臥和朝右側躺臥3種。為加快模型的訓練過程以及防止過擬合,批量大小(Batchsize)設置為2,學習率設置為0.001,權重衰減設置為0.000 1,沖量設定為0.9,交并比(IOU)設定為0.7,置信度設定為0.7,迭代次數設置為500。利用訓練集、驗證集圖像訓練Mask R-CNN模型,然后利用訓練后的模型對測試集圖像進行識別分割,自動輸出識別為朝左側躺臥、朝右側躺臥和站立的圖像。在圖2a中識別為站立姿態并以淺藍色標注的奶牛的分割效果如圖2b所示,在圖2a中識別為躺臥姿態并以黃綠色標注的奶牛分割效果如圖2c所示。

由于奶牛圖像方向和大小不同,參考文獻[14]的方法將分割后的奶牛圖像標準化。標準化后的奶牛圖像頭部朝向相同,尺寸為256像素×64像素。

由每頭奶牛標準化的圖像中分別隨機選取100幅背部圖像、100幅左側躺臥圖像和100幅右側躺臥圖像,用于奶牛特征提取及識別。58頭奶牛共計選取17 400幅圖像。然后將隨機選取的17 400幅圖像按照7∶3的比例隨機劃分為特征提取的訓練集和驗證集。

2 研究方法

奶牛的特征融合及識別過程如圖3所示。分別由兩條路徑提取奶牛的特征:由CNN提取Softmax層概率向量形式的深度特征;人工提取并采用NCA選擇的傳統特征,并將其輸入SVM模型后輸出概率向量。即兩條路徑得到的特征都是概率向量的形式。將上述概率向量形式的特征融合后再次輸入SVM分類模型,得到最終的奶牛個體識別結果。

圖3 奶牛特征融合及個體識別Fig.3 Feature fusion and individual recognition of dairy cows

2.1 傳統特征提取

荷斯坦奶牛僅有黑白兩種底紋,其顏色特征不明顯,但有豐富的花紋特征,因此本文提取奶牛花紋形狀特征。利用OTSU法將選取的標準化后的圖像轉化為二值圖像[22],提取二值圖像中的花紋形狀特征。

2.1.1Hu矩特征

Hu矩是歸一化矩的線性組合,Hu矩具有旋轉、平移、縮放不變性,本文選取Hu矩作為奶牛圖像特征。

Hu矩由不變矩與中心矩構成。大小為M×N的二值圖像由f(x,y)表示,則p+q階不變矩和中心矩的公式為

(1)

(p,q=0,1,2,…)

(2)

(3)

(4)

式中M、N——原始圖像的長度、寬度

(x,y)——圖像坐標

p、q——矩的階數

f(x,y)——坐標(x,y)處的像素值

mpq——圖像p+q階不變矩

μpq——圖像p+q階中心矩

(x0,y0)——圖像矩心坐標

歸一化中心矩定義為

(5)

式中ypq——p+q階歸一化中心矩

μ00——圖像0階中心矩

利用二階和三階中心矩構造7個不變矩,分別定義為

I1=y20+y02

(6)

(7)

I3=(y30-3y12)2+(3y21-y03)2

(8)

I4=(y30+y12)2+(y21+y03)2

(9)

I5=

(y30-3y12)(y30+y12)[(y30+y12)2-3(y21+y03)2]+

(3y21-y03)(y21+y03)[3(y30+y12)2-(y21+y03)2]

(10)

I6=(y20-y02)[(y30+y12)2-(y21+y03)2]+ 4y11(y30+y12)(y21+y03)

(11)

I7=

(3y21-y03)(y30+y12)[(y30+y12)2-3(y21+y03)2]-

(y30-3y12)(y21+y03)[3(y30+y12)2-(y21+y03)2]

(12)

式中I1、I2、…、I7——Hu矩特征值

計算每個奶牛圖像的7個Hu矩特征,形成Hu矩特征向量。

2.1.2全局形狀特征提取

由于奶牛處于非限制條件下,隨著拍攝距離和角度的變化,奶牛全局花紋會有些變化,但有部分特征可能變化較小。

(1)連通域個數

奶牛白色花紋數量是花紋特征中比較穩定的屬性。本文統計奶牛二值化圖像中白色花紋的連通域數量作為全局特征。

(2)白色花紋面積

奶牛白色花紋面積反映白色花紋絕對數量。

(3)黑色花紋和白色花紋面積比值

黑色和白色花紋的比值體現了奶牛白色花紋相對數量。

(4)花紋投影特征

奶牛花紋投影特征反映奶牛花紋的整體分布情況。對奶牛二值圖像的白色像素分別進行水平和垂直兩個方向的投影,得到投影直方圖。如圖4所示,利用OTSU法將站立奶牛背部圖像(圖4a)轉換為二值圖像(圖4b),然后將奶牛的二值圖像進行投影,得到奶牛的垂直投影直方圖(圖4c)。

圖4 奶牛白色花紋投影特征提取Fig.4 White pattern projection feature extraction of dairy cows

2.1.3局部花紋特征提取

奶牛具有多個花紋,但最大花紋最容易檢測且相對穩定,本文提取最大花紋的面積、矩形度和長寬比作為局部特征信息。其中矩形度可以體現目標對其外接矩形的充滿程度,用目標的面積與最小外接矩形的面積之比來描述。最大花紋的最小外接矩形的長寬比是表征最大花紋形狀的另外一個特征。

2.2 傳統圖像特征選擇

NCA是一種屬于Filter的特征選擇的非參數方法,其目標是最大限度地提高回歸和分類算法的預測精度。NCA基于給定的距離度量算法對樣本進行度量,借助度量學習中的馬氏距離概念,使用fscnca函數通過正則化進行NCA特征選擇,輸出每個特征的特征權重,特征權重表示所提取特征的重要性。

基于提取的傳統特征和特征權重的大小,利用SVM對奶牛個體進行預測,所有特征子集用于訓練多個SVM分類器,將識別準確率最高的SVM分類器對應的特征子集確定為最佳特征子集。最佳特征子集在SVM分類器中的輸出即為傳統特征對應的概率向量。

2.3 深度特征提取

相對復雜的深度學習模型要求海量的樣本避免過擬合的問題。在數據量相對有限的情況下,AlexNet模型比VGGNet和ResNet在奶牛特征提取上表現更優[23-24]。本文選擇AlexNet進行深度特征提取。

AlexNet在ImageNet的分類任務中有較高的分類性能。為了提取站立和躺臥姿態下奶牛圖像的深度特征,分別訓練了兩個經過微調的AlexNet模型。使用ImageNet上預訓練的權重作為模型的初始參數,通過微調最后兩層參數生成一個新的模型[25]。利用訓練后兩個模型分別提取相應的深度特征,即Softmax層的特征。

為了加快模型的訓練速度以及防止過擬合,Batchsize設置為64,學習率設置為0.01,當模型的損失函數小幅波動時,將學習率變為原來的1/10。

2.4 傳統特征和深度特征融合

如圖3所示,訓練后的CNN模型輸出的帶有Softmax激活的深度特征為概率向量的形式。利用NCA特征選擇后的傳統特征訓練的SVM模型也輸出概率向量。采用特征加權求和、特征值求和和特征最大值3種融合方法將上述兩種概率向量相融合,使用融合后的概率向量(即融合特征)訓練SVM模型并對奶牛進行個體識別,根據奶牛識別的結果,選取最佳融合策略。

2.5 奶牛個體識別及評價指標

將融合后的特征向量用于訓練新的SVM模型,然后將驗證集中的融合特征輸入到該SVM模型中進行分類[19],得到最終的識別結果。本文采用徑向基函數建立SVM模型,懲罰系數C與gamma參數為最優經驗值,采用奶牛識別的準確率作為模型性能的評價指標。

3 結果與分析

3.1 傳統特征選擇

圖5展示了傳統特征在奶牛識別中的權重,其中圖5a、5b分別為使用NCA特征選擇后站立和躺臥姿態下奶牛傳統特征權重。兩種姿態下,白色花紋投影Pw、Hu矩特征中的I1、黑白花紋面積比值Rbw、最大花紋的矩形度Rrec、長寬比Rlw、最大連通域面積Amax、白色花紋面積Aw、Hu矩特征中的I2和白色花紋連通域個數Ncd是權重最高的9個特征,其中Pw、I1、Rlw、Amax和Ncd5個特征在兩種姿態下權重排序相同。Rbw和Rrec處于權重排序的3、4位,Aw和I2處于權重排序7、8位,但在兩種姿態下顛倒次序。Hu矩中的I1和I2權重較大,I3～I7權重較小。具體說明不同階次的矩描述不同目標的屬性,低階Hu矩提供圖像的基本形狀和描述目標的細節和復雜性[26]。但高階矩容易受到噪聲的影響。

圖5 奶牛圖像傳統特征權重Fig.5 Traditional feature weight of cow image

根據特征權重,依次按照由高到低的順序,逐步累加特征,首先使用權重最高的單個特征進行識別,接著將權重次高的特征加入,獲得奶牛識別結果。依此類推將特征加入后奶牛的識別結果如圖6所示。單獨使用白色花紋投影Pw對站立奶牛進行識別的準確率為88.39%,對躺臥姿態的識別準確率為78.45%。然后根據特征權重由大到小依次加入其余傳統特征。盡管增長幅度較小,但兩種姿態下的識別準確率都逐漸提高。增加到8個特征時,站立和躺臥姿態下準確率分別達到93.87%和84.31%,此后再加入特征,準確率降低。因此最佳的特征子集為Pw、I1、Rbw、Rrec、Rlw、Amax、Aw和I2。

圖6 使用傳統特征的奶牛識別準確率Fig.6 Cow identification accuracy using traditional characteristics

加入特征Ncd后,準確率降低。分析識別錯誤樣本后可知,一些花紋面積較小,這些較小的花紋對相機拍攝角度較敏感,不是可靠的特征。加入Hu矩I3～I7后,識別準確率逐漸降低。由于拍攝角度和距離的變化,奶牛花紋變化較大,需要矩特征具備良好的旋轉、縮放和平移不變性,而基于二階矩的不變矩才具備上述特征,只有I1和I2由二階矩組成。Hu矩特征中的高階矩對花紋的大小、方向等變化敏感。

3.2 奶牛深度特征圖及分析

圖7為輸入圖像及前兩個卷積層的特征圖。圖7a中存在細小的噪聲點,圖7b中奶牛的背部輪廓以及黑白花紋的類別和花紋的形狀等特征可以較好地得到展示。圖7b同時顯示了卷積運算的濾波和平滑效果,特征圖中消除了原始圖像中白色花紋等部分的細小噪聲點,減少了噪聲和增強了特征。圖7b中卷積運算將輸入圖像映射到不同的灰度空間,在光照不均勻的情況下抵抗外界干擾[15],因此,卷積運算提高了網絡的魯棒性。隨著網絡卷積層的深入,提取的特征越來越抽象(圖7c),即深度特征的可解釋性較差。

圖7 卷積層特征圖Fig.7 Feature maps of convolutional layers

3.3 奶牛特征融合結果分析

圖8為單獨采用傳統特征、深度特征及特征融合的特征值求和、特征最大值和特征加權求和3種特征融合策略分別對站立和躺臥姿態奶牛進行個體識別的累計匹配 (Cumulative match characteristic,CMC) 曲線。單獨采用深度特征識別站立和躺臥姿態奶牛的準確率均高于利用傳統特征的準確率。這表明對于奶牛個體識別,相比傳統特征,深度特征具有更強的表征能力。深度特征在站立姿態和躺臥姿態下的識別準確率分別為96%和94%。傳統特征在兩種姿態下識別準確率分別為94%和84%。和站立姿態相比,躺臥姿態下的奶牛花紋變形較大。說明傳統特征更容易受到花紋形變的影響。文獻[12]驗證了傳統特征中的矩特征對奶牛花紋的旋轉、尺度變化和平移等不敏感,和本文結果有差異。可能原因是本文的花紋變形是由奶牛姿態不同導致的,而文獻[12]中的花紋變形是人為設置,前者的變形情況比后者更加復雜,并非單一的旋轉、平移或尺度變化。3種特征融合方法中,加權求和方式的識別準確率最高。和深度特征識別相比,站立姿態的加權求和準確率提高約3個百分點,躺臥姿態的加權求和準確率提高約2個百分點,和傳統特征識別相比,站立姿態的加權求和準確率提高約5個百分點,躺臥姿態的加權求和準確率提高約10個百分點。這再次驗證了對于花紋變形較大的躺臥姿態,傳統特征表征能力較差。同時表明,在花紋變形較小的情況下,傳統特征和深度特征更具備互補性。

圖8 奶牛識別的CMC曲線Fig.8 CMC curves for cow identification

采用特征加權求和策略的融合方法達到了最高的準確率,在這3種融合策略之中,加權的性能普遍優于其它兩種融合策略。其主要原因是奶牛個體識別的深度特征明顯優于傳統特征,特征值求和的融合不能體現深度特征的這種優勢,特征最大值識別可以體現深度特征的優勢,卻忽略了傳統特征的作用。特征加權求和根據兩種特征的重要性進行融合。

為求取最佳加權系數,對深度特征概率向量和傳統特征概率向量權重系數以步長為0.1進行不同組合。表1為特征加權求和的深度特征概率向量和傳統特征概率向量權重系數比例分別為9∶1、8∶2、7∶3、6∶4、5∶5時躺臥和站立奶牛的識別準確率。站立姿態下的奶牛深度特征概率向量和傳統特征概率向量的比例系數為6∶4時奶牛的個體識別準確率最高,為98.66%,而躺臥姿態下的奶牛比例系數為8∶2時識別準確率最高,為94.06%。奶牛的姿態不同,特征融合時的奶牛最佳權重系數也不相同。傳統特征對花紋變形較小的站立姿態奶牛具有更好的表征能力,所以其在站立姿態下權重占比相對較大。但意外的是,躺臥姿態下,權重系數的變化并沒有明顯影響奶牛的識別準確率,分析融合前的概率向量和最終的識別結果,主要原因是:大部分深度特征概率向量中目標奶牛所對應的概率元素值遠大于其它奶牛所對應的概率元素值,使得傳統特征概率向量的權重變化對融合后的識別準確率影響較小。但有少部分深度特征和傳統特征概率元素的最大值所對應的都不是目標奶牛,但利用融合后的特征實現了準確識別。

表1 特征融合時不同權重系數比例的奶牛識別準確率Tab.1 Identification accuracy of cows with different weight coefficients during feature fusions %

圖9為使用不同特征的奶牛識別準確率箱線圖。利用傳統特征識別躺臥姿態下的奶牛的準確率波動較大,最小值約為66%,識別準確率較低,傳統特征難以實現躺臥奶牛的個體識別。和單獨采用深度特征相比,站立姿態的特征融合方法的箱子高度和端線間的長度明顯縮短,融合后的方法穩定性更好,同時,中位線與上四分位數線重合,沒有在箱內顯示,說明超過50%的奶牛識別準確率達到100%。

圖9 奶牛識別準確率箱線圖Fig.9 Box plot of identification accuracy of cows

和單獨采用深度特征相比,躺臥姿態的融合方法的中位線和均值提升不明顯,但上四分位數線和上端線重合,說明更多的奶牛識別準確率達到100%。與站立姿態融合方法的箱體和端線長度相比,躺臥姿態融合方法的箱體和端線長度更長,說明對于躺臥奶牛,特征融合方法識別的準確率波動較大,其中約25%樣本準確率低于90%。從圖9可看出,采用本文方法,站立姿態下奶牛個體的識別準確率差異較小,而躺臥姿態下奶牛個體的識別準確率差異較大。花紋豐富的奶牛個體識別率較高。在躺臥姿態下,花紋較少奶牛和接近純色的奶牛個體識別準確率較低,但在站立姿態下,這些奶牛可以被多角度拍攝,不明顯的特征也可以較好地提取,識別準確率較高。

躺臥奶牛由于花紋變化較大,個體識別準確率較低。如何提高躺臥奶牛的個體識別準確率,是下一步的研究內容,擬將牛舍不同位置布設攝像頭,采集頭部、軀干等多部位特征,然后利用深度學習或特征融合的方法進行個體識別。

4 結論

(1)提取奶牛的傳統特征,并使用NCA對奶牛的傳統特征進行選擇。利用選擇后的傳統特征基于SVM模型對站立和躺臥奶牛進行個體識別,準確率分別達到94%和84%。單獨應用傳統特征進行躺臥姿態奶牛個體識別準確率較低。

(2)通過AlexNet網絡提取奶牛的深度特征。將傳統特征和深度特征相融合。和單獨使用深度特征相比,特征融合的方法對站立和躺臥姿態奶牛的識別平均準確率分別提高約3個百分點和2個百分點,達到98.66%和94.06%,但躺臥姿態下的識別準確率波動較大,實現躺臥姿態下奶牛的穩定、準確個體識別,還需要進一步研究。