基于熱紅外視頻的奶牛跛行運動特征提取與檢測

康 熙，李樹東，張旭東，劉 剛

（1. 中國農業大學信息與電氣工程學院，北京 100083； 2. 中國農業大學現代精細農業系統集成研究教育部重點實驗室，北京 100083； 3. 中國農業大學農業農村部農業信息獲取技術重點實驗室，北京 100083）

0 引 言

奶牛跛行不僅影響奶牛產奶量，還會降低奶牛生活福利和繁殖能力，提高淘汰率[1-4]。美國高盛研究報告《人工智能與精準農業》中顯示，奶牛平均跛行率為23.5%，每年造成經經濟損失達到110 億美元[5]，奶牛跛行對奶牛養殖和國家乳業發展都有很大影響[6]。人工檢測奶牛跛行依賴觀察者主觀性因素，費時費力，因此開展奶牛跛行的早期檢測、自動檢測具有重要研究意義[7-10]。

計算機視覺技術在奶牛跛行檢測領域中，由于其適中的價格和非接觸的檢測模式，近年來成為奶牛跛行檢測的主流研究手段[11-12]，國內外學者對此進行了大量的研究。Pluk 等[13]采用可見光（2D，two-dimensional）相機采集奶牛行走弓背曲率，通過曲率大小判斷奶牛跛行程度。Song 等[14-15]采用可見光相機跟蹤牛蹄軌跡實現了奶牛跛行檢測。He 等[16-17]改進了傳統圖像處理方法及機器學習技術以提高圖像處理中奶牛定位精度。宋懷波等[18]采用頭頸部曲率擬合方法檢測奶牛跛行。Kang 等[19-20]為避免奶牛個體特異性對跛行的影響，提出了基于可見光視頻的支撐相跛行檢測的方法。Viazzi 等[21-22]提出了利用深度（3D，three-dimensional）相機測量奶牛弓背曲率檢測奶牛跛行的方法，驗證了深度相機跛行檢測的可行性。Orman 等[23]利用熱紅外相機檢測奶牛牛蹄溫度，通過其溫度變化判斷牛蹄是否發炎并存在跛行。尹玉[24]基于可見光圖像，構建了基于支持向量機和奶牛行走速度的奶牛跛行檢測模型。

深度學習技術可以自動地從數據中生成特征來執行目標識別和分類任務，具有精度高及響應快等優點[25]。因此，對于基于計算機視覺技術的奶牛個體識別和跛行檢測研究具有重要意義。Guzhva 等[26]提出了一種基于卷積神經網絡的奶牛個體自動跟蹤方法。Jiang 等[25]建立了FilterLayer YOLOv3 網絡，可以在復雜的環境條件下準確檢測奶牛的關鍵部位。Fuentes 等[27]基于深度學習技術，提出了一種利用時空信息識別奶牛行為的方法，可以有效識別15 種不同的奶牛行為。Jiang 等[28]提出了一種單流長期光流卷積網絡，利用光流信息反映奶牛行走時全身的運動信息，提高了奶牛行為識別的準確性。

通過分析前人針對計算機視覺奶牛跛行檢測的研究可知，用于奶牛運動特征參數獲取的相機主要包括可見光相機和深度相機。深度相機一般放置在通道上方，可以有效的檢測奶牛背部變化，然而無法拍攝奶牛步態變化，限制了其檢測精度[12,29]。可見光相機一般放置于通道一側，可以對奶牛整體進行拍攝，獲取其頭部、背部及腿部等關鍵位置圖像，由此計算包括點頭、弓背及步態不均勻等運動特征。然而可見光相機受光線、環境因素影響較為嚴重，當光線較強或黑夜時，圖像會出現曝光模糊或黑暗的現象[25]，當牛場背景復雜或變化時，會影響奶牛特征信息提取精度[21,25]。熱紅外相機同樣也可以對奶牛跛行進行檢測，由于奶牛蹄部感染引起的炎癥會導致其表面溫度升高，一些研究通過比較熱紅外圖像中患肢的溫度變化，檢測奶牛蹄病[30]。但這種方法需要近距離拍攝局部溫度以確保溫度準確，需要人為操作，效率較低，不適用于系統的、實時的跛行檢測，并且這種方法主要屬于測溫技術，沒有有效利用熱圖像中的奶牛圖像信息[12]。因此，亟需探究一種針對環境因素影響魯棒性強、獲取跛行信息完整的計算機視覺檢測方法，用于提高奶牛跛行檢測精度和應用性。

本文針對以上問題，擬在計算機視覺奶牛跛行檢測系統的基礎上，分析熱紅外相機代替可見光相機搭建計算機視覺系統對奶牛跛行運動特征獲取的可行性和優勢，提出了一種利用熱紅外視頻獲取奶牛跛行運動特征的方法，旨在有效避免光照、環境變化對基于計算機視覺的奶牛跛行檢測系統的影響，提高奶牛跛行運動特征獲取的準確性，并通過試驗驗證了該方法的準確性和魯棒性。

1 材料與方法

1.1 試驗數據來源

1.1.1 圖像獲取

試驗數據于2020 年9 月26－28 日采集于河北鼎源牧業養殖場，采集對象為處于泌乳中期的美國荷斯坦奶牛。采集系統如圖1 所示，奶牛養殖場育成牛在擠奶后，需要依次通過通道走出擠奶廳，故在通道一側適宜位置安裝高分辨率可見光攝相機（Panasonic DC-GH5S，松下，日本）與熱紅外相機（Flir T620，菲力爾，美國），調整焦距和角度使相機可以完整錄制奶牛行走過程，并連接工控機用于收集奶牛行走視頻。可見光攝像機分辨率為1 920×1 080 像素，幀率為50 幀/s；熱紅外相機分辨率為640×480 像素，幀率為15 幀/s。視頻數據采集工作在每天中午、晚上奶牛2次擠奶后進行，共采集368 頭奶牛行走視頻（如圖2 所示）。

1.1.2 數據標定與運動評分

本文旨在探究不同相機所獲取的奶牛行走視頻在特征提取和跛行檢測算法中的效果，因此對視頻中的奶牛特征位置進行了手動的數據標定，如圖3 所示。

在奶牛跛行檢測研究中，奶牛跛行程度通常使用運動評分表示，運動評分越高說明跛行越嚴重[31]，本文數據由兩名專業的觀察員對奶牛進行運動評分，評分方式采用簡化標準，即等級1 表示無跛行，等級2 表示輕中度跛行，等級3 表示重度跛行[32-33]。觀察者根據奶牛行走視頻對每頭奶牛的運動情況進行評分，用于表征跛行情況。

1.2 奶牛運動特征提取與跛行檢測

1.2.1 運動特征提取

為了對比熱紅外相機與可見光相機應用于計算機視覺奶牛跛行檢測系統的表現和效果，本文針對2 種相機所錄制的視頻，探究了用于跛行檢測的奶牛關鍵身體部位的目標識別效果。

由于奶牛運動系統是一個整體且會隨時間變化[34]，根據對前人研究的分析，奶牛跛行時身體部位會發生明顯的運動學變化，例如點頭、弓背及步態不均勻等[12]。因此本文選擇了幾處能較好的表達跛行特征的身體部位，包括頭部、肩部、背部、臀部和蹄部，作為跛行運動特征部位。

在目標識別的算法選擇上，前人針對基于計算機視覺技術的奶牛跛行檢測研究，奶牛圖像中特征的獲取方法包括傳統的圖像處理方法[15-16]和深度學習算法[25]。本文選擇了傳統圖像處理和深度學習2 種方法用于相機間的對比，以保證檢測的全面性和普適性。傳統的圖像處理方法選擇基礎且應用較廣的三幀差法，并根據圖像情況增加了核密度估計；深度學習選擇YOLOv4 網絡，具有速度快、精度高并適用于規模化生產環境[35]等優點。

2 種檢測方法所用數據集相同，均為熱紅外相機與可見光相機同時錄制的奶牛行走視頻，人工選擇30 頭不停頓、不快跑的自然行走奶牛的視頻，經過分幀后，最終獲得熱紅外圖像1 400 張，2D 白天圖像1 400 張，2D 夜晚圖像1 400 張，所有均圖像為連續的，并沒有進行抽幀處理。

本文的研究是針對農場中的奶牛，奶牛的等熱區（適宜的溫度范圍）為10～21 ℃，當外界溫度高于該范圍后，奶牛會產生熱應激，影響奶牛泌乳性能，因此農場會安裝遮陽和降溫設備以保證環境溫度的適宜。奶牛的體溫在38 ℃以上，與環境溫度差異較大，因此利用熱紅外相機獲取奶牛運動信息時，受環境溫度影響較小[36]。并且由于檢測環境普遍為半開放室內，不存在日光直射，白天和夜晚的變化對熱紅外成像影響較小，但會影響可見光相機成像。因此本文僅將可見光相機獲取的圖像分為了白天與黑天兩部分。

1）基于三幀差法的運動特征提取算法

圖4 為本算法的技術路線圖，首先通過核密度估計對奶牛視頻幀圖像進行背景建模，然后利用三幀差法對運動奶牛輪廓進行提取，將其與核密度估計建立的背景進行邏輯或操作，最后根據奶牛各部位的空間位置關系，通過連通域的外接矩形提取奶牛的運動特征。

核密度估計采用核函數對視頻幀序列中每個像素點的分布規律進行統計學分析，從而建立動態背景，是近年來廣泛應用的非參數密度估計法。高斯函數可以充分反映隨機變量的概率分布，生成平滑的密度函數曲線，因此本研究采用高斯函數作為核函數。則概率密度函數p(xt)如公式（2）所示。

式中j為圖像維度；xtj為當前像素xt在j維度上的值；xij為第i個采樣點的像素xi在j維度上的值；σj為像素在j維度的方差。

根據概率密度函數p(xt)，背景和前景運動目標的判別如式（3）所示。

式中T為前景分割閾值，其中，Mt(x,y)為0 代表背景像素，Mt(x,y)為1 代表運動目標像素。

三幀差法首先對三幀圖片進行灰度變換，然后再分別進行幀差處理，用第n幀灰度圖像減去第n?1 幀灰度圖像，得到二值圖像P1(x,y)，用第n?1 幀灰度圖像減去第n?2 幀灰度圖像，得到二值圖像P2(x,y)，最后將P1(x,y)和P2(x,y)進行邏輯與操作，如式（3）～（5）所示。

式中fn(x,y)為第n幀灰度圖像；fn?1(x,y)為第n?1 幀灰度圖像；fn?2(x,y)為第n?2 幀灰度圖像；P(x,y)為二值圖像P1(x,y)和P2(x,y)進行邏輯與操作后的結果圖。

本研究通過判斷外接矩形的位置來確定奶牛部位。連通域中的最大外接矩形為奶牛身體主干，主干上側為奶牛肩部、背部和臀部特征位置，主干下側為奶牛蹄部特征位置，主干包含了奶牛頭部特征位置。針對奶牛頭部位置的提取，以主干連通域為標準，獲取其最左側的連通域作為奶牛頭部位置，將奶牛頭部定位框的左邊界中心點作為頭部特征點；針對奶牛蹄部位置的定位，提取主干下側的連通域作為蹄部位置，將奶牛蹄部的下邊界中心點作為蹄部特征點。將主干上側的連通域的左邊界中心點作為奶牛肩部特征點，主干上側的連通域的右邊界中心點作為奶牛臀部特征點，主干上側的連通域的上邊界中心點作為奶牛背部特征點。

2）基于YOLOv4 的運動特征提取算法

圖5 為YOLOv4 主干特征提取網絡。YOLOv4 采用CSPDarknet53 作為主干網絡，從而在提高訓練速度的基礎上也提高了目標檢測的精度[37]。YOLOv4 在CSPDarknet 上加入了空間金字塔池化模塊（Spatial Pyramid Pooling，SPP）[38]，改善了感受域尺寸，在保證了檢測速度同時提高了對于特征提取的能力。此外，YOLOv4 選擇路徑聚合網絡（Path Aggregation Network，PAN）[39]進行多通道融合。PAN 網絡加入了上下采樣的路徑增強，防止部分信息在特征融合中丟失，使最終獲取到的信息既包含底層特征又包含語義特征，提高檢測精度[40]。

同時，YOLOv4 引入了2 大類模塊來增強目標檢測精度。第一類為提高精度但不增加推斷時間的模塊（Bag of Freebies，BoF），這其中包括Cutout 和Mosaic 數據增強等。第二類是犧牲一定時間提高精度的模塊（Bag of specials），這其中包括激活函數Mish，退火訓練等。這些模塊進一步提高了YOLOv4 的檢測精度[41]。

試驗平臺操作系統為Windows10，模型在NVIDIA GeForce RTX 2070 with Max-Q GPU 上進行訓練和測試，運行內存為16 GB，顯存容量為8 GB。本試驗采用YOLOv4 作為奶牛運動特征提取框架。將數據按8:1:1 的比例分為訓練集、驗證集和測試集。模型會將輸入圖像從原有的1 920×1 080 調整到416×416。模型選用Adam優化器，激活函數為Mish 函數，經過手動調整，初始批處理設置為32，訓練共包含150 個迭代（完成了一次前向計算和反向傳播的過程）。本文采用學習率機制，初始學習率為1×10-3，衰減速率為學習停滯時當前學習率的1/10。傳播次數達到100 次時，批處理設置為4，學習率隨模型迭代繼續衰減。

1.2.2 奶牛跛行檢測

為了對比2 種相機用于奶牛跛行檢測系統中的跛行檢測能力，本文利用2 種相機所采集的奶牛關鍵位置數據進行跛行檢測，并且由于深度學習特征提取效果優于傳統圖像處理方法[25]，因此選擇深度學習所提取的跛行特征。

檢測方法選擇計算機視覺奶牛跛行檢測研究中普遍使用的弓背檢測方法，因為跛行奶牛會出現弓背以補償負重和疼痛，即可以利用奶牛行走過程中的弓背曲率判斷是否跛行，并根據弓背程度對跛行等級進行分類[42]。通過肩部、背部和臀部3 個點可以計算擬合圓的半徑R，弓背曲率用k表示，為R的倒數，即k=1/R[43]。

首先利用人工標定的方法獲取奶牛的弓背曲率準確值k；利用boxcox 變換對弓背曲率數據進行處理并擬合成高斯曲線；最后，根據3 個跛行等級奶牛的弓背曲率高斯分布，設置置信度為0.95，利用深度學習所提取的特征，計算奶牛弓背曲率k進行異常檢測，實現跛行分類。

2 結果與分析

2.1 幀差法結果分析

本文利用核密度估計和三幀差法提取奶牛運動特征，分別在熱紅外（Infrared）、2D 白天（Daylight）和2D 夜晚（Night）3 種數據集上進行了測試。運動特征為奶牛頭部（Head）、蹄部（Hoof）、背部（Back）、臀部（Hip）和肩部（Shoulder），一共5 類。本文利用Precision Plot（精度測算）方法對幀差法結果進行評價。Precision Plot 測算方法以像素點為單位，計算每一個算法估計位置與人工標記點之間的歐氏距離，設定歐式距離閾值，結果為小于特定閾值的視頻幀百分比。3種數據集的精確度曲線如圖6所示。

在閾值為30 像素以內的平均精確率如表1 所示，基于核密度估計和三幀差的檢測方法在熱紅外數據集上的平均精確率為74.26%，高于可見光白天數據集19.95 個百分點，高于可見光夜晚數據集25.31 個百分點。并且，在熱紅外數據集下訓練的模型在一共5 類奶牛運動特征上的精確度值都高于可見光白天和夜晚的數據集。

表1 不同數據集下的平均精確率Table 1 mAP and average accuracy precision for different data sets%

通過分析可知，由于奶牛運動特征提取依賴于奶牛邊緣輪廓特征提取。夜晚缺乏光照，奶牛邊緣輪廓與背景十分相似，使前景與背景區分困難，精確度相較最低。白天可以提取到更多顏色與邊緣細節，但容易受到光照突變的影響，使奶牛邊緣輪廓更容易與背景混淆。熱紅外圖像通過溫差分割出目標與背景，邊緣輪廓不會受光照影響，奶牛圖像信息與背景差別明顯，故識別效果最好。

圖7 為算法檢測結果，圖7a 為奶牛熱紅外圖像檢測結果，圖7b 為白天的奶牛可見光圖像檢測結果，圖7c為夜晚的奶牛可見光圖像檢測結果。如表1 可知，基于熱紅外圖像的奶牛各部位檢測效果最好。夜晚光照不足使可見光圖像中奶牛邊緣輪廓和背景難以區分，奶牛蹄部、頭部和肩部檢測不完整，白天光照使奶牛邊緣輪廓擴大，蹄部、頭部和臀部檢測過多，導致奶牛運動特征提取誤差較大。

2.2 深度學習結果分析

本文以相同的YOLOv4 深度學習模型，在2D 白天（Daylight）、2D 夜晚（Night）和熱紅外（Infrared）3 種數據集上進行訓練和檢測。奶牛的運動特征設為奶牛頭部、蹄部、背部、臀部、肩部，一共5 類。置信度設為0.05，檢測閾值設為0.5，即設定預測框與人工標簽框的面積交并比（IOU, Intersection over Union）大于0.5 為預測準確，選取訓練過程中表現最優的模型在測試集上進行測試。

本文采用平均精確率（Average Precision, AP）和總體平均精確率（Mean Average Precision, mAP）作為衡量不同數據集下目標檢測模型提取奶牛運動特征的評價指標。此外，本文還使用精確率-召回率曲線（Precision-Recall, P-R curve），衡量模型在同一數據集下對奶牛各個特征的檢測性能。

由表2 可知，YOLOv4 目標檢測模型在熱紅外數據集上的總體平均精確率mAP 值為90.84%，高于白天數據集4.16 個百分點，高于夜晚數據集11.16 個百分點。并且，在熱紅外數據集下訓練的模型在一共5 類奶牛運動特征上的平均精確率AP 都高于白天和夜晚的數據集。

表2 不同數據集下測試集識別的平均精確率與總體平均精確率Table 2 mAP and average precision of test set by different data set%

分析可知奶牛運動特征提取對奶牛部位的輪廓與位置信息更敏感。輪廓信息為奶牛在圖像中的輪廓，位置信息是奶牛部位在奶牛全身的相對位置。夜晚缺乏光照，同時相機處于逆光處拍攝，致使奶牛輪廓與圖像均不清晰，很難與背景進行區分，進而精度相較最低。白天可以提取到更多顏色與圖像細節，但是這也讓奶牛輪廓更容易與背景混淆，反而對奶牛特征提取有副作用。熱紅外圖像通過溫差分割出目標與背景，輪廓與位置信息不會受光照和背景的影響，奶牛圖像信息與背景差別明顯，故識別效果最好。但是熱紅外圖像仍會受到欄桿等遮擋物的影響，使肩部和臀部檢測效果不佳。

圖8 為熱紅外、白天和夜晚3 種數據集對于奶牛運動特征檢測的P-R 曲線。頭部、蹄部、背部這3 種特征在3 種數據集中均基本覆蓋了整個坐標系，而臀部與肩部在3 個數據集上都沒有覆蓋全部坐標系。頭部、蹄部、背部這3 種特征部位在YOLOv4 深度學習模型下檢測效果總體優于臀部與肩部。其中，頭部在3 個數據集下都覆蓋了最大面積，是奶牛運動特征檢測效果最優的部位。

通過分析可知，奶牛頭部輪廓與位置特征明顯易辨，在黑夜中逆光檢測也可以獲得良好的效果。奶牛蹄部常于地面接觸，位置信息穩定，但是部位較小，輪廓信息依賴于地面與蹄部的色差。奶牛背部位置信息穩定，雖然背部部位很大，但是經常會被欄桿遮擋，使輪廓信息減少。奶牛臀部與肩部都是小部位，位置信息會受到奶牛體態影響，輪廓信息會受到奶牛體態和欄桿遮擋等多方面的影響，使得檢測精度降低。對于提高奶牛蹄部、肩部、臀部等小部位目標檢測的算法需要在未來進行進一步的討論研究與優化。

為了進一步驗證YOLOv4 模型對奶牛運動特征的提取性能，選用了前期研究中常用的深度學習目標檢測模型，包括YOLOv3，Fast-RCNN 和Efficientdet[37,44-45]在此次數據集上進行對比。這4 種模型在熱紅外數據集上進行統一訓練，通過熱紅外測試集的總體平均精確率（mAP）與每秒檢測幀數（fps，frame per second）來進行對比。由表3 可以看出YOLOv4 在奶牛跛行檢測精度是這4 個模型中最優秀的。從檢測速度上來說，YOLOv4與YOLOv3 在奶牛跛行檢測速度相較于Fast R-CNN 與Efficientdet 更快，說明這2 個模型都適用于奶牛跛行的實時檢測。其中，YOLOv3 識別速度相較于YOLOv4 會更快，分析其原因是YOLOv3 網絡深度更低。YOLOv4模型的檢測精度相較于YOLOv3 模型更高。因奶牛特征提取目前需要更精確地網絡模型，故最終選擇精度更高的YOLOv4。

表3 熱紅外數據集下不同模型在測試集上的總體平均精確率與每秒檢測幀數（fps）Table 3 mAP and frame per second (fps) of test set in infarred dataset by different models

圖9 為部分深度學習測試結果，橫向對比各類檢測結果可知，欄桿遮擋會影響奶牛圖像的提取。欄桿有可能會遮擋住肩部、背部和臀部，進而使深度學習模型無法進行識別，影響奶牛特征的提取。奶牛體態也會影響對于肩部、蹄部和背部的檢測。如圖9a，奶牛弓背狀態下更容易檢測到肩部。如圖9b，奶牛在轉彎扭動時，模型對于肩部、背部、蹄部和頭部的檢測會下降。對比可知，模型在奶牛低頭直行前進的時表現最好。

對比不同數據集的檢測結果，可知基于熱紅外數據訓練出來的模型在奶牛各部位的檢測結果置信度最高。對比夜晚圖9a中對于奶牛肩部與圖9c中對于奶牛蹄部檢測結果分析可知，晚間光照不足會影響模型對于奶牛運動特征的提取，從而導致檢測效果不理想。

2.3 跛行檢測結果分析

本文隨機選擇160 頭人工標定運動評分的奶牛用于建立高斯分布函數。弓背曲率通過boxcox 變換后進行高斯擬合結果如圖10 所示。

熱紅外 3 條擬合的高斯曲線平均相關系數為98.55%，可見光擬合的3 條高斯曲線擬合平均相關系數為98.82%，說明弓背曲率通過boxcox 變換后分布接近高斯分布。其中擬合最好的是奶牛處于跛行等級1 時，熱紅外和可見光的相關系數都大于99%，相比之下，跛行等級為2 和3 擬合效果一般。分析其原因在于大部分養殖場的奶牛處于健康狀態，患跛行的奶牛占少數，故跛行等級2 與跛行等級3 的奶牛數據集相對較少，后續研究需要采集更多跛行奶牛的數據。綜上，人工定位的弓背曲率通過boxcox 變換后近似視為高斯分布，作為后續判斷跛行等級的概率密度曲線。

本文通過boxcox 變換將弓背曲率集映射到高斯分布，建立了弓背曲率到跛行等級的映射關系。隨機選擇了3 個運動評分等級各20 頭奶牛的熱紅外和可見光數據，共60 頭標定了真實值的奶牛數據用于跛行檢測。奶牛行走過程中背部姿態變化較小，選擇每頭奶牛身體完全進入圖像后，處于三足支撐并且前蹄剛離開地面的一幀用于后續的弓背曲率提取。利用YOLOv4 深度學習模型獲取奶牛肩部、背部和臀部目標框，并利用目標框中心點代表該部位坐標，使用三點坐標計算擬合圓半徑與弓背曲率。將由弓背曲率推測出的跛行等級與真實跛行等級進行對比，根據3 個跛行等級奶牛的弓背曲率高斯分布，設置信度為0.95，即奶牛弓背曲率位于高斯函數95%分布區間，則將奶牛跛行程度分類為該跛行等級，得到跛行分類效果混淆矩陣如表4 所示。

表4 熱紅外和可見光跛行分類效果混淆矩陣Table 4 Classification effect confusion matrix of Lameness in Infrared and 2D

表4 是熱紅外和可見光的跛行分類效果，縱列表示人工標定的真實跛行等級，橫列表示推測的跛行等級，中間數字表示預測值對應真實值的個數，通過個數計算精度（Accuracy）、精確率（Precision）、召回率（Recall）和平衡分數Macro-F1 評價分類效果，其計算如式（6）～（10）所示。

式中TP 為正確檢測出該跛行等級奶牛的個數，TN 為正確檢測出非該跛行等級奶牛的個數，FP 為非該跛行等級奶牛被誤檢為該等級的個數，FN 為該跛行等級奶牛被誤檢為非該等級的個數。

熱紅外數據下Macro-F1為0.90，精度為90.0%。等級1 的F1-Score 為0.93，等級2 的F1-Score 為0.88，等級3 的F1-Score 為0.89。可以說明本文模型可以在熱紅外數據集下對所有奶牛的跛行進行檢測，其中對等級1的奶牛有相對良好的檢測效果。

可見光數據下Macro-F1為0.83，精度為83.3%。跛行等級1 的F1-Score 為0.88，等級2 的F1-Score 為0.84，等級3 的F1-Score 為0.77。其中同樣對跛行等級1 的奶牛有相對良好的檢測效果。熱紅外與可見光兩組數據集在等級1 使得表現都是其中最好的，等級2、3 效果相對一般。

對比熱紅外與可見光兩組數據下的分類效果，可知熱紅外Macro-F1高于可見光0.07，精度高于可見光約7個百分點。熱紅外3 類跛行等級中F1皆大于等于可見光中的F1。結果說明熱紅外視頻對于跛行檢測能力綜合優于可見光視頻。可見光受光照等環境影響大，豐富的色彩等細節信息在跛行檢測中重要程度不高。相比熱紅外受環境影響小，通過熱成像可以清晰表述重要的圖像輪廓信息，便于弓背曲率等跛行姿態指標的分析，進而擁有相對更加良好的效果。

3 結 論

為了解決計算機視覺奶牛跛行檢測系統易受光線、環境變化因素影響的問題，本文提出了一種基于熱紅外視頻的奶牛跛行運動特征獲取與檢測的方法，所取得的結論如下：

通過對比熱紅外視頻與可見光視頻在奶牛跛行檢測系統中的表現，本文發現算法對于熱紅外奶牛行走視頻有更好的檢測效果。在奶牛運動特征檢測的對比中，本文使用30 頭奶牛行走視頻的分幀圖像，包括熱紅外圖像、2D 白天圖像和2D 夜晚圖像各1 400 張用于特征提取對比，深度學習和傳統圖像處理方法對熱紅外數據集的檢測總體平均精確率達到90.84%和74.26%，遠超于可見光（白天）及可見光（夜晚）。相較于可見光相機，熱紅外相機在光照和環境變化的情況下對跛行特征提取效果更好；

在奶牛跛行檢測的對比試驗中，本文使用60 頭奶牛的弓背曲率進行跛行檢測，對熱紅外數據集的檢測精度達到90.0%，平衡分數Macro-F1達到0.90，對可見光數據集的檢測精度為83.3%，平衡分數Macro-F1為0.83。研究表明相較于可見光相機，熱紅外相機應用于計算機視覺奶牛跛行檢測系統可以更好的實現奶牛跛行運動特征獲取與跛行檢測，該研究結果可為計算機視覺奶牛跛行檢測研究提供新方法與思路。同時，通過奶牛運動特征檢測的研究也可以發現，由于奶牛的肩部和臀部面積較小、圖形特征不明顯并且存在欄桿遮擋，現有方法的檢測效果仍有待提高，尚需進一步深入研究。