基于知識蒸餾的疊層籠養(yǎng)蛋雞行為識別模型研究

方 鵬 郝宏運 王紅英

(中國農(nóng)業(yè)大學(xué)工學(xué)院， 北京 100083)

0 引言

動物行為直接反映動物機體對環(huán)境的適應(yīng)程度，不同的行為方式反映動物自身的不同狀態(tài)，是動物福利評估的重要指標(biāo)[1-2]，而畜禽生產(chǎn)中動物行為的突然改變往往是動物機體發(fā)出的預(yù)警信號[3]。因此，實現(xiàn)對動物行為的識別檢測對于評估動物福利及健康狀態(tài)具有重要意義。

相比于奶牛、豬等大體型動物，蛋雞養(yǎng)殖具有群體大、養(yǎng)殖密度高的特點，其個體行為的識別相對困難[4]。目前，人們主要基于機器視覺技術(shù)對蛋雞行為的識別、分類進行了研究。LEROY等[5]對蛋雞輪廓圖像進行橢圓擬合，建立點分布模型，可對單只蛋雞的站立、行走和抓撓行為進行識別。勞鳳丹等[2,6]針對雞只的RGB圖像和深度圖像，基于貝葉斯分類方法實現(xiàn)了對單只蛋雞行為的識別檢測，可對雞只的采食、運動、飲水等10種行為進行有效識別,大多數(shù)行為的識別準(zhǔn)確率在90%以上。MEHADIZADEH等[7]對雞只采食過程中的頭部位移、喙部張開速度及閉合速度、喙部張開加速度和閉合加速度等參數(shù)的自動檢測進行了研究，對雞只采食行為進行了深入的生物力學(xué)研究。上述基于機器學(xué)習(xí)技術(shù)的家禽行為識別技術(shù)雖然能達到較高的準(zhǔn)確率，但由于需人工提取圖像的特征參數(shù)，存在模型泛化性、魯棒性差，特征提取困難的缺點。

深層卷積神經(jīng)網(wǎng)絡(luò)的興起為動物行為的精確識別提供了新思路。由于深層卷積神經(jīng)網(wǎng)絡(luò)能夠通過大量樣本對數(shù)據(jù)特征進行自主學(xué)習(xí)，尤其對圖像具有極強的表征能力，可以自動提取圖像特征，在目標(biāo)檢測和分類領(lǐng)域均有優(yōu)異表現(xiàn)，在動物行為檢測方面也有相關(guān)研究。文獻[8-11]通過深層卷積神經(jīng)網(wǎng)絡(luò)對雞只的行為檢測和分類技術(shù)進行了研究并取得較高的檢測準(zhǔn)確率。然而，深層卷積神經(jīng)網(wǎng)絡(luò)的高準(zhǔn)確率是基于更深、更廣和更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)的，網(wǎng)絡(luò)性能不斷提升的同時網(wǎng)絡(luò)模型的復(fù)雜度和參數(shù)量呈幾何級數(shù)增加，復(fù)雜的模型對設(shè)備性能要求太高，模型的實時性無法保證，限制了深度學(xué)習(xí)技術(shù)在畜禽生產(chǎn)實際中的應(yīng)用，因此需在保證模型性能的前提下盡量減少模型參數(shù)，對模型進行壓縮。

HINTON等[12]提出的知識蒸餾理論表明，通過用一個或多個復(fù)雜、準(zhǔn)確的大型網(wǎng)絡(luò)來指導(dǎo)簡單、小型網(wǎng)絡(luò)訓(xùn)練的方式可以顯著提升小型網(wǎng)絡(luò)的性能。為實現(xiàn)疊層籠養(yǎng)環(huán)境下蛋雞行為的識別分類，本文以Faster R-CNN[13]深度學(xué)習(xí)模型為基礎(chǔ)，基于知識蒸餾理論，構(gòu)建一種基于多教師模型融合的知識蒸餾蛋雞行為識別模型，用較簡單的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)獲得較高的性能，降低網(wǎng)絡(luò)對設(shè)備性能的要求，為模型的在線實時部署應(yīng)用提供可能。

1 圖像采集與數(shù)據(jù)集建立

選擇北京德青源農(nóng)業(yè)科技股份有限公司的蛋雞養(yǎng)殖場作為圖像采集地點，該養(yǎng)殖場為全封閉的8層疊層籠養(yǎng)蛋雞舍，每籠飼養(yǎng)“京紅”蛋雞6只左右，每棟雞舍飼養(yǎng)11萬只蛋雞，蛋雞周齡為34周。

蛋雞圖像的采集由立式三腳架搭載彩色數(shù)字相機完成，相機型號為Sony XCG-240C，分辨率為1 920像素×1 200像素，匹配焦距6 mm的Ricoh FL-CC0614A-2M型定焦鏡頭，拍攝時相機曝光時間設(shè)置為100 ms。將工業(yè)相機正對籠門位置拍攝，攝像頭視野范圍正好覆蓋兩個籠位，對舍內(nèi)200個籠位的雞只進行圖像采集。采集的圖像如圖1所示。

圖像經(jīng)過隨機旋轉(zhuǎn)、顏色變換、添加高斯噪聲的方式增強后，人工挑選出1 000幅蛋雞圖像建立樣本集。隨后，在Labelme圖像標(biāo)注工具中用矩形工具將雞只標(biāo)注為“feeding(采食)”和“resting(休息)”兩類，制作成COCO(Common objects in context)格式的數(shù)據(jù)集。頭部伸入食槽或者有靠近食槽動作的雞只，標(biāo)注為“feeding”，頭部仰起呈站立姿態(tài)的雞只則標(biāo)注為“resting”。隨機選取70%樣本集圖像(700幅)作為訓(xùn)練集，用于模型的訓(xùn)練，選取20%(200幅)作為驗證集，用于模型參數(shù)調(diào)優(yōu)，選取10%(100幅)圖像作為測試集，用于評估最終模型的識別能力。在訓(xùn)練集圖像中，共有4 552個標(biāo)注樣本，其中雞只采食行為的標(biāo)注樣本為2 134個，雞只休息行為的標(biāo)注樣本為2 418個，二者之間比例接近1∶1，樣本分類較均衡。

2 基于Faster R-CNN的蛋雞行為識別網(wǎng)絡(luò)建立

本文選擇在Faster R-CNN框架上構(gòu)建蛋雞行為識別網(wǎng)絡(luò)，其結(jié)構(gòu)如圖2所示。Faster R-CNN網(wǎng)絡(luò)是目標(biāo)檢測領(lǐng)域運用最廣泛的模型之一，網(wǎng)絡(luò)由特征提取網(wǎng)絡(luò)、區(qū)域生成網(wǎng)絡(luò)及區(qū)域卷積神經(jīng)網(wǎng)絡(luò)3部分組成。特征提取網(wǎng)絡(luò)主要負(fù)責(zé)提取輸入圖像特征并共享給后續(xù)的區(qū)域生成網(wǎng)絡(luò)和區(qū)域卷積神經(jīng)網(wǎng)絡(luò)；區(qū)域生成網(wǎng)絡(luò)通過對特征提取網(wǎng)絡(luò)輸入的特征圖做進一步處理，輸出若干可能存在待檢測目標(biāo)的區(qū)域，并輸入后續(xù)的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)判定目標(biāo)類別，實現(xiàn)目標(biāo)的定位和分類。

知識蒸餾是模型壓縮的一種手段，其核心思想是利用一個或多個復(fù)雜、參數(shù)多、準(zhǔn)確的大型網(wǎng)絡(luò)來指導(dǎo)訓(xùn)練一個簡單、參數(shù)較少的小型網(wǎng)絡(luò)，將大型網(wǎng)絡(luò)學(xué)習(xí)到的“知識”傳遞給小型網(wǎng)絡(luò)[14-15]，其中復(fù)雜、參數(shù)多的大型網(wǎng)絡(luò)稱為教師網(wǎng)絡(luò)，精度高但參數(shù)量大，對設(shè)備性能要求高，很難在嵌入式小型設(shè)備中部署；簡單、參數(shù)較少的小型網(wǎng)絡(luò)稱為學(xué)生網(wǎng)絡(luò)，參數(shù)少，容易部署，但單獨訓(xùn)練時模型精確度不高，很難滿足實際應(yīng)用需求。通過知識蒸餾，可以顯著提升小型網(wǎng)絡(luò)的性能，在參數(shù)量較少的情況下使其擁有和復(fù)雜網(wǎng)絡(luò)相近或超越復(fù)雜網(wǎng)絡(luò)的性能。

以圖像分類任務(wù)為例，神經(jīng)網(wǎng)絡(luò)通常會在全連接層之后連接一個Softmax輸出層，將全連接層的輸出向量轉(zhuǎn)化為一個概率向量[16]，該概率向量表示當(dāng)前樣本分別屬于每一類的概率，每類的概率pi計算公式為

(1)

式中j——分類的總類別數(shù)

zj——全連接層輸出的每類的logit值

zi——當(dāng)前類的logit值

而知識蒸餾理論通過引入一個參數(shù)T，使Softmax層輸出一個更加平緩的概率分布，得到一個軟化后的概率向量q，每類的概率qi計算公式為

(2)

式中，T為溫度系數(shù)，T越大，對應(yīng)的概率分布越平緩，則意味著更多“暗知識”被蒸餾出來，當(dāng)T=1時，輸出的是沒有經(jīng)過軟化的概率分布。知識蒸餾通過引入軟標(biāo)簽(Soft label)，將數(shù)據(jù)集中離散的標(biāo)簽屬性轉(zhuǎn)換成連續(xù)的概率分布，提取教師網(wǎng)絡(luò)中的“暗知識”，并將其傳遞給學(xué)生網(wǎng)絡(luò)，從而提升學(xué)生網(wǎng)絡(luò)模型性能[17]。

3 多教師模型融合的知識蒸餾蛋雞行為識別模型構(gòu)建

本文對Faster R-CNN網(wǎng)絡(luò)的特征提取網(wǎng)絡(luò)利用知識蒸餾進行壓縮，利用教師網(wǎng)絡(luò)指導(dǎo)學(xué)生網(wǎng)絡(luò)訓(xùn)練，通過“暗知識”的傳遞，提升學(xué)生網(wǎng)絡(luò)性能。現(xiàn)有研究表明，采用多個教師模型誘導(dǎo)訓(xùn)練的方式可以更有效提升學(xué)生網(wǎng)絡(luò)性能，且當(dāng)教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)結(jié)構(gòu)較相似時，往往能使學(xué)生模型獲得較大的性能提升[18-20]。因此，本文以參數(shù)量大，較復(fù)雜的ResNeXt[21]、Res2Net[22]、HRNet[23]網(wǎng)絡(luò)為教師網(wǎng)絡(luò)，以結(jié)構(gòu)較簡單的ResNet 34為學(xué)生網(wǎng)絡(luò)，通過知識蒸餾訓(xùn)練蛋雞行為識別網(wǎng)絡(luò)。

首先對教師網(wǎng)絡(luò)進行訓(xùn)練。與普通神經(jīng)網(wǎng)絡(luò)訓(xùn)練方式相同，利用蛋雞行為數(shù)據(jù)樣本和相應(yīng)的樣本標(biāo)簽分別對3個教師網(wǎng)絡(luò)進行訓(xùn)練，得到3個性能強大的復(fù)雜模型。隨后，訓(xùn)練好的教師模型中的logits輸出后除以T并做Softmax計算，得到軟化后的預(yù)測概率，3個教師模型的軟化預(yù)測概率取平均值后作為最終的軟標(biāo)簽值。最后對學(xué)生網(wǎng)絡(luò)進行訓(xùn)練。學(xué)生網(wǎng)絡(luò)的訓(xùn)練分兩部分，一是采用正常的訓(xùn)練方式得到logits輸出，做Softmax計算后得到預(yù)測值，將此預(yù)測值與樣本真實標(biāo)簽比較，用交叉熵?fù)p失函數(shù)衡量二者之間的差異；二是將輸出的logits值除以T后做Softmax計算得到軟化的預(yù)測概率向量，將此預(yù)測概率向量與教師網(wǎng)絡(luò)輸出的軟標(biāo)簽值比較，采用相對熵?fù)p失函數(shù)衡量兩個概率分布的差異。因此，采用混合損失函數(shù)[16,24]來表征知識蒸餾過程中的損失，其計算公式為

L=λT2KL(n1,n2)+(1-λ)CE(m,gtrue)

(3)

式中 KL——相對熵函數(shù)

CE——交叉熵函數(shù)

n1——3個教師網(wǎng)絡(luò)經(jīng)過蒸餾后的平均輸出

n2——學(xué)生網(wǎng)絡(luò)蒸餾后的輸出

m——學(xué)生網(wǎng)絡(luò)未經(jīng)過蒸餾的輸出

gtrue——數(shù)據(jù)集的真實標(biāo)簽

λ——比例系數(shù)，當(dāng)λ為0時，相當(dāng)于網(wǎng)絡(luò)沒有經(jīng)過蒸餾

本文選擇T=2、λ=0.7作為知識蒸餾網(wǎng)絡(luò)的超參數(shù)配置。知識蒸餾訓(xùn)練架構(gòu)圖如圖3所示。圖中t為任意常數(shù)。

4 結(jié)果與分析

4.1 試驗條件及參數(shù)設(shè)置

試驗在Ubuntu 18.04系統(tǒng)中進行，試驗用計算機處理器為Intel(R) Core(TM) i7-9700K，主頻3.6 GHz，內(nèi)存16 GB，顯卡為NVIDIA GeForce RTX 2080(16 GB)，使用GPU加速計算，在Python語言環(huán)境中選擇Pytorch框架實現(xiàn)網(wǎng)絡(luò)模型的搭建、訓(xùn)練和調(diào)試，使用OpenMMLab開放的預(yù)訓(xùn)練模型作為初始輸入權(quán)重，按表1對模型參數(shù)進行初始化，采用隨機梯度下降法對蛋雞行為識別網(wǎng)絡(luò)進行訓(xùn)練。訓(xùn)練迭代120個周期，每10個周期保存一次權(quán)重參數(shù)，取精度最高的權(quán)重為最終模型。

表1 Faster R-CNN初始化訓(xùn)練參數(shù)Tab.1 Training parameters for Faster R-CNN

4.2 模型測試結(jié)果分析

采用不同的圖像特征提取網(wǎng)絡(luò)進行蛋雞行為檢測試驗，分別為3個教師網(wǎng)絡(luò)(ResNeXt、Res2Net、HRNet)、由3個教師網(wǎng)絡(luò)融合蒸餾的ResNet 34網(wǎng)絡(luò)(KD ResNet 34)及未經(jīng)知識蒸餾的ResNet 34網(wǎng)絡(luò)。模型訓(xùn)練完成后以準(zhǔn)確率、平均精確度、召回率、模型參數(shù)量、浮點運算次數(shù)及單幅圖像檢測耗時作為評價模型性能的指標(biāo)，對比結(jié)果如表2所示。結(jié)果表明，知識蒸餾顯著提升了蛋雞行為識別模型的性能。3個教師網(wǎng)絡(luò)具有相似的模型性能，模型平均準(zhǔn)確率為95.93%，平均精確度為89.2%，平均召回率為94.10%。未經(jīng)過知識蒸餾的ResNet 34模型準(zhǔn)確率(A)、平均精確度(P)和召回率(R)分別為93.6%、78.7%和86.2%，而KD ResNet 34模型的準(zhǔn)確率、平均精確度和召回率分別為96.6%、89.9%和94.6%，相較于未經(jīng)過蒸餾的網(wǎng)絡(luò)，3個指標(biāo)均有較大幅度的提高，尤其是平均精確度和召回率，分別提高了11.2、8.2個百分點。學(xué)生網(wǎng)絡(luò)經(jīng)過3個教師網(wǎng)絡(luò)的指導(dǎo)訓(xùn)練，學(xué)習(xí)到了教師網(wǎng)絡(luò)提取的“暗知識”，性能得到很大提升，學(xué)生網(wǎng)絡(luò)性能基本達到甚至超越了教師網(wǎng)絡(luò)的性能。

模型參數(shù)量、模型計算量衡量的是模型的復(fù)雜程度，模型越復(fù)雜，則其部署應(yīng)用的難度越大，所需的設(shè)備性能要求越高。由表2可知，3個教師網(wǎng)絡(luò)模型復(fù)雜程度相似，模型平均參數(shù)量為5.58×107，模型平均浮點運算次數(shù)達2.88×1011。KD ResNet 34模型性能基本達到了教師網(wǎng)絡(luò)的性能水平，而其模型復(fù)雜程度卻大大降低，模型參數(shù)量為3.816×107，模型浮點運算次數(shù)為1.916 9×1011，與教師網(wǎng)絡(luò)相比，分別降低了32%和33%。模型復(fù)雜程度降低意味著模型對設(shè)備性能的依賴程度降低，模型將有可能在一些小型的嵌入式設(shè)備中部署運用。同時，與教師網(wǎng)絡(luò)相比，由于學(xué)生網(wǎng)絡(luò)有更簡單的網(wǎng)絡(luò)結(jié)構(gòu)和更少的參數(shù)，模型的推理時間大大降低，在相同的測試環(huán)境中，經(jīng)過知識蒸餾的學(xué)生網(wǎng)絡(luò)單幅圖像的檢測耗時為0.068 s，顯著低于教師網(wǎng)絡(luò)，模型推理時間降低了66%。模型推理時間的降低增加了模型在邊緣設(shè)備在線實時部署的可能性。

表2 不同模型性能對比Tab.2 Performance comparison of different models

圖4為特征提取網(wǎng)絡(luò)經(jīng)過知識蒸餾和未經(jīng)過知識蒸餾的蛋雞行為識別模型對同一幅圖像的檢測結(jié)果對比。由圖可知，經(jīng)過知識蒸餾的蛋雞行為識別模型基本能對雞只行為作出準(zhǔn)確判斷，目標(biāo)定位和分類均較為準(zhǔn)確，而未經(jīng)過知識蒸餾的模型存在較多誤檢測、重復(fù)檢測及漏檢測的情況，模型的精度和泛化性均不如經(jīng)過知識蒸餾的模型。顯然，知識蒸餾顯著提升了檢測模型的性能。

網(wǎng)絡(luò)在訓(xùn)練過程中損失函數(shù)的變化情況可以在一定程度上反映訓(xùn)練完成的模型性能。圖5為經(jīng)過知識蒸餾和未經(jīng)過知識蒸餾網(wǎng)絡(luò)在訓(xùn)練過程中的損失值變化曲線。由圖5可知，兩個網(wǎng)絡(luò)損失值均在訓(xùn)練開始后很短時間內(nèi)下降到較低值。隨著訓(xùn)練的繼續(xù)，網(wǎng)絡(luò)損失持續(xù)降低，當(dāng)訓(xùn)練迭代到一定次數(shù)后，損失開始隨迭代次數(shù)的增加而緩慢下降，經(jīng)過16 000次左右的迭代后，損失值變化趨于平緩，幾乎不再下降，網(wǎng)絡(luò)實現(xiàn)收斂。可以看到，網(wǎng)絡(luò)收斂后，經(jīng)過知識蒸餾的識別模型最終損失值穩(wěn)定在0.3左右，而未經(jīng)過蒸餾的模型最終損失值在0.5左右，知識蒸餾降低了網(wǎng)絡(luò)的訓(xùn)練損失。

圖6為模型經(jīng)過測試后得到的P-R曲線圖。曲線與橫、縱坐標(biāo)圍成的區(qū)域越大，則說明網(wǎng)絡(luò)性能越好，由圖6可知，在不同交并比下，KD ResNet 34網(wǎng)絡(luò)的P-R曲線幾乎將ResNet 34網(wǎng)絡(luò)的P-R曲線完全包圍，說明經(jīng)過知識蒸餾的網(wǎng)絡(luò)的性能顯著優(yōu)于未經(jīng)過蒸餾的ResNet 34網(wǎng)絡(luò)。

4.3 類激活熱力圖可視化分析

GRAD-CAM算法[25]可以用來對網(wǎng)絡(luò)進行可視化分析，直觀展示網(wǎng)絡(luò)在進行預(yù)測時重點關(guān)注的圖像區(qū)域，從而對不同網(wǎng)絡(luò)的性能作出直觀判斷，更加清晰地展現(xiàn)知識蒸餾對模型性能帶來的提升。對Faster R-CNN的不同特征提取網(wǎng)絡(luò)的輸出進行可視化，本文研究中涉及的Res2Net、HRNet、ResNeXt及ResNet網(wǎng)絡(luò)均有4個階段的輸出特征圖進入后續(xù)FPN網(wǎng)絡(luò)進行融合，因此輸出了主干網(wǎng)絡(luò)4個階段的特征類激活熱力圖。

圖7為不同網(wǎng)絡(luò)4個階段輸出特征的熱力圖。圖中紅色、黃色覆蓋的區(qū)域即為卷積層提取特征時關(guān)注的重點區(qū)域，可以看出在網(wǎng)絡(luò)的第1階段和第2階段，網(wǎng)絡(luò)提取的特征沒有針對性，只是對整個圖像的全部特征進行提取，隨著卷積層的加深，網(wǎng)絡(luò)提取特征的重點開始傾向于雞只輪廓區(qū)域，尤其集中在雞頭部位，最后一個階段的特征熱力圖表明，網(wǎng)絡(luò)已經(jīng)基本實現(xiàn)了背景和目標(biāo)的區(qū)分，提取特征的重點幾乎全部集中在雞只頭部和頸部位置。對比不同的網(wǎng)絡(luò)特征熱力圖可以發(fā)現(xiàn)，經(jīng)過知識蒸餾的模型(KD ResNet 34)與3個教師網(wǎng)絡(luò)的特征檢測結(jié)果相似，提取的特征均能很好地覆蓋雞只輪廓部位，而未經(jīng)過蒸餾的網(wǎng)絡(luò)，熱力值高的區(qū)域均集中在圖像上、下部區(qū)域的食槽部位，說明網(wǎng)絡(luò)沒有很好地提取到雞只的特征，最終模型的識別效果較差。

5 結(jié)論

(1)為實現(xiàn)疊層籠養(yǎng)環(huán)境下蛋雞行為的識別分類，本文以Faster R-CNN深度學(xué)習(xí)模型為基礎(chǔ)，構(gòu)建了蛋雞行為識別模型。同時，針對模型參數(shù)量大、結(jié)構(gòu)復(fù)雜、對設(shè)備性能要求高、無法在線實時部署的缺陷，基于知識蒸餾理論，對模型進行了壓縮，構(gòu)建了一種基于多教師模型融合的知識蒸餾蛋雞行為識別模型。

(2)特征提取網(wǎng)絡(luò)(ResNet 34)經(jīng)過知識蒸餾后，基于Faster R-CNN框架的蛋雞行為識別模型性能得到顯著提升，模型準(zhǔn)確率、平均精確度、召回率分別為96.6%、89.9%、94.6%，與未經(jīng)過知識蒸餾的模型相比，分別提高了3.0、11.2、8.4個百分點。

(3)經(jīng)過知識蒸餾后，模型性能基本達到了教師模型的性能水平，而模型復(fù)雜程度卻大大降低，與教師模型相比，模型參數(shù)量和模型計算量分別降低了32%和33%，模型推理時間減少了66%。