基于遷移學習的多尺度特征融合牦牛臉部識別算法

摘要：牦牛個體身份標識是實現(xiàn)個體建檔、行為監(jiān)測、精準飼喂、疫病防控及食品溯源的前提。針對智慧畜牧智能化、信息化等養(yǎng)殖平臺中動物個體識別技術應用需求，本研究提出一種基于遷移學習的多尺度特征融合牦牛臉部識別算法（Transfer Learning-Multiscale Feature Fusion-VGG， T-M-VGG）。以預訓練的視覺幾何組網絡（Visual Geometry Group Network ，VGG）為骨干網絡構建基于遷移學習的卷積神經網絡模型，獲取其 Block3、Block4、Block5輸出的特征圖，分別用 F3、F4、F5表示，將 F3和 F5經過三個不同膨脹系數(shù)的空洞卷積組成的并行空洞卷積模塊增大感受野后，送入改進的特征金字塔進行多尺度特征融合;最后利用全局平均池化代替全連接層分類輸出。試驗結果表明，本研究提出的 T-M-VGG算法在194頭牦牛的38，800張數(shù)據(jù)集中識別準確率達到96.01%，模型大小為70.75 MB。隨機選取12張不同類別牦牛圖像進行面部遮擋測試，識別準確率為83.33%。本算法可以為牦牛臉部識別研究提供參考。

關鍵詞：牦牛;臉部識別;遷移學習;特征金字塔;T-M-VGG

中圖分類號：TP391;S823.8+5"""" 文獻標志碼：A"""""""" 文章編號：SA202201001

引用格式：陳占琦 ， 張玉安 ， 王文志 ， 李丹 ， 何杰 ， 宋仁德.基于遷移學習的多尺度特征融合牦牛臉部識別算法[J].智慧農業(yè)（中英文）， 2022， 4（2）：77-85.

CHEN Zhanqi， ZHANG Yu'an， WANG Wenzhi， LI Dan， HE Jie， SONG Rende. Multiscale feature fusion yak face recognition algorithm based on transfer learning[J]. Smart Agriculture， 2022， 4（2）：77-85.（in Chinese with Eng‐ lish abstract）

1引言

牦牛素有“高原之舟”之稱，能夠帶動青藏高原地區(qū)牧民脫貧致富。但目前藏區(qū)牦牛養(yǎng)殖仍處于傳統(tǒng)模式，缺乏信息化、智能化管理設備的廣泛應用。對于中小規(guī)模養(yǎng)殖戶來說，牲畜識別的主要方法是打耳標、顏色標記、熱鐵烙印等傳統(tǒng)方法。耳標通過穿孔的方式安裝在動物的耳朵上，會有細菌感染的風險，相互摩擦也會導致標簽丟失。傳統(tǒng)接觸式識別技術不能為識別過程提供持久的保障。

目前國內外研究人員利用卷積神經網絡（ Convolutional Neural Networks ， CNN ）在牛、羊、豬等動物個體識別和行為識別方面開展了大量研究，但是對牦牛識別研究較少。秦興和宋各方[1] 基于雙線性 CNN ，利用視覺幾何組網絡（Visual Geometry Group Network ，VGG ）作為特征提取器對200頭豬的2110張照片測試，面部識別準確率達到95.7%，試驗環(huán)境下運行時間為4d，模型體量較大，在實時性應用場景中存在一定局限性。何嶼彤等[2] 基于改進的 YOLOv3（ YouOnly Look Once）進行豬臉檢測識別，雖然提高了模型精度，但是仍存在小樣本檢測邊界定位問題。劉忠超和何東健[3] 參考手寫體字符識別 CNN （ LeNet-5）對奶牛發(fā)情行為識別，準確率為98.25%，漏檢率為5.8%，能夠實現(xiàn)奶牛發(fā)情爬跨的實時監(jiān)測。楊秋妹等[4]使用 GoogleNet對豬只頭、背、尾部分類識別進而判斷飲水行為是否發(fā)生，識別準確率為92.11%，有效地提高了養(yǎng)殖管理效率。張宏鳴等[5]提出了一種融合空間信息的注意力機制的羊臉識別模型，在開集驗證中識別率為88.06%。魏征[6]采用基于局部保持投影的2D 線性判別分析算法，研究全局和局部特征相結合的不完美牛眼虹膜圖像識別問題，但對牦牛來說虹膜采集實施過程存在不便性。何東健團隊[7，8] 利用 CNN 提取奶牛背部和軀干特征，但適用于身體特征明顯的牛只識別。陳爭濤等[9] 采用基于遷移學習的并行 CNN 牦牛臉識別算法，識別準確率達到91.2%，訓練時間為2 d，但并行的基于遷移學習 VGG16網絡會增加模型存儲成本。 Hansen 等[10] 和 Marsot 等[11] 使用 CNN 對豬只進行面部識別，識別準確率分別為96.7%和83.0%。Kumar等[12]研究基于深度學習的牛鼻紋識別，準確率為98.9%。Jung 等[13]利用 CNN 對牛進行聲音分類和行為分析，準確率為94.1%。 Salama 等[14] 采用貝葉斯（Bayesian）優(yōu)化尋找最佳 CNN 進行羊臉識別，準確率為98%。鑒于人臉識別和動物識別任務的相似性，已有研究將人臉檢測與識別技術遷移到動物檢測和識別的相關工作中。Wada 等[15] 利用特征臉（Eigenfaces）算法對10頭豬進行識別，準確率為77%。Rashid 等[16] 以遷移學習為基礎，訓練一個能夠找出人臉和動物面部特征相似性映射空間的網絡來實現(xiàn)檢測，由于牦牛面部毛發(fā)影響，給檢測和識別過程帶來挑戰(zhàn)。雖然虹膜、鼻紋以及聲音識別具有唯一性、穩(wěn)定性的特點，但設備安裝成本過高，且牦牛在采集虹膜和鼻紋過程中不易被控制，因此不適用于高原牧區(qū)的中小規(guī)模養(yǎng)殖場。牦牛體毛顏色特征差別很小，存在季節(jié)性退毛，因此很難對身體軀干部位展開識別研究。雖然以上研究中提出的非接觸生物特征識別技術實施起來存在一些困難，但是利用捕捉到的面部圖像進行識別具有一定優(yōu)勢。本研究參考以上文獻中的方法，結合遷移學習訓練速度快、VGG16提取特征能力強的優(yōu)勢，使用遷移學習結合特征金字塔來實現(xiàn)牦牛個體面部圖像識別。

2材料與方法

2.1數(shù)據(jù)集采集

數(shù)據(jù)采集地點為青海省玉樹藏族自治州，數(shù)據(jù)集中包含194頭牦牛臉部信息。在試驗過程中將每頭牦牛視為一個類別。用連續(xù)兩天的上午完成數(shù)據(jù)采集，對每一頭牦牛拍攝大約2 min時長的視頻，拍攝設備為 GoPro8，畫面分辨率為1920×1080，并將每一段視頻轉換成圖像幀。部分數(shù)據(jù)集如圖1所示。

2.2數(shù)據(jù)集處理

為避免視頻中連續(xù)幀之間相似性過高，使用結構相似性 （Structural" Similarity ， SSIM ）算法[17]進行處理。SSIM算法通過計算兩幅圖像之間的方差、協(xié)方差和平均強度來判斷兩幅圖像是否相似，從而篩選淘汰掉相似度較高的圖像。

為平衡各類別樣本間的分布，增強模型的魯棒性，對數(shù)據(jù)集中樣本數(shù)量較少的類別采用數(shù)據(jù)增強擴充策略。

首先，將處理過的數(shù)據(jù)利用 Python圖像處理工具裁剪出分辨率為512×512、320×320的圖片，將不同大小的圖片縮放成同一分辨率256×256。

其次，利用 OpenCV的相關函數(shù)隨機增強圖像數(shù)據(jù)：順時針旋轉角度為5°和10°，亮度降低參數(shù)設置為0.85、亮度增強參數(shù)設置為1.3，椒鹽噪聲和高斯噪聲系數(shù)分別設置為0.15和0.2。

最后，對于樣本數(shù)量明顯過多的類別，隨機剔除一部分樣本，驗證集的每一個類別數(shù)量保持相同。經過整理，數(shù)據(jù)集共計38，800張，對每個類別的樣本順序編號，其中訓練樣本31，040張，占比80%，每個類別訓練數(shù)量保持在170～210張;驗證樣本7760張，占比20%，每個類別的驗證數(shù)量保持在40張。其中訓練集和驗證集樣本 ID互斥。

2.3試驗條件

試驗配置環(huán)境如下： Ubuntu 18.04.5 LTS 64位系統(tǒng)，" GeForce" GTX 1080Ti 圖形處理器（Graphics Processing Unit ， GPU ）加速， CUDA 和 CUDNN 版本分別為10.0和7.4.1.5，編程語言為 Python3，基于 Tensorflow的 Keras深度學習框架完成試驗訓練及驗證。

2.4 T-M-VGG 網絡構建

基于 CNN 的遷移學習能夠把數(shù)據(jù)量充足的源域所學到知識遷移到數(shù)據(jù)體量較小的目標領域，提升目標領域任務的學習效果[18， 19]。本研究以 VGG16網絡的遷移學習為基本架構，在此基礎上增加并行的空洞卷積模塊和改進的特征金字塔結構完成試驗。

2.4.1 并行的空洞卷積

空洞卷積可以在不改變參數(shù)量大小的同時增加感受野?？斩淳矸e計算如公式（1） 所示。

其中，Input （ x，y）為輸入特征層; dr為空洞率;K （m，n）為核函數(shù);h和 w為特征圖的大小。

假設空洞卷積的卷積核大小為 k ，空洞率為dr ，則等效卷積核大小 k'如公式（2） 所示。

當前感受野大小如公式（3）所示。

其中，F(xiàn) （i +1）為當前感受野大小;F （i）為上一層感受野大小;L為不包括當前 F（i +1）層以外的前 i個層步長之間的乘積。

Liu 和 Huang [20]在 InceptionNet [21]加入空洞卷積，擴大感受野，增強網絡的提取特征能力。借鑒其思路，建立并行的空洞卷積模塊，稱其為 P_DConv （ Parallel Dilated Convolution ）。如圖2所示。

輸入的特征層通過1×1卷積降低通道數(shù)，經過3個不同空洞率的空洞卷積后將特征進行融合，組合 Shortcut結構輸出特征圖。

2.4.2特征金字塔

特征金字塔網絡通過提取不同層的特征圖，將高層與底層的信息融合形成多維度增強的特征。常見的特征金字塔結構如圖3所示。

參考文獻[22—24]提出的結構，構建本研究的特征金字塔結構如圖4所示。

F3至 F6為特征提取網絡輸出的特征層，藍色節(jié)點的執(zhí)行順序為 P65、 P54、 P43、 P53、P64、P 。實現(xiàn)細節(jié)參照文獻[24]，特征金字塔算法實現(xiàn)偽代碼如下。

將上述提出的并行空洞卷積和改進的特征金字塔結構與基于遷移學習的 VGG16網絡組合形成最終模型 T-M-VGG （Transfer Learning-Multi‐scale Feature Fusion-VGG ），如圖5所示。

首先獲取 VGG16網絡第三、第四和第五個卷積層輸出的特征圖 F3、F4、F5，將 F3、F5分別送入并行的空洞卷積模塊 P_DConv 中。其次將 P3、P4、P5、P6送入特征金字塔進行特征融合，P6由 P5最大池化生成。最后把融合后的特征送入分類器輸出結果。

2.5試驗參數(shù)設置

本研究的遷移學習實現(xiàn)方式為凍結預訓練模型的全部卷積層，只訓練自定義的全連接層，同時將全連接層更換為全局平均池化層。為更好地驗證所提結構的有效性，采取對比試驗形式，對比對象包括 CNN 結構[9-11，25]、VGG16[26]、Mo ‐ bileNetV3[27]" （Large 和 Small 兩個版本）、 Incep ‐ tionV3[28] 和人臉識別 FaceNet 結構（Inception‐ ResNetV2） 以及采用預訓練的基于遷移學習 VGG16方法，其中基于遷移學習的 VGG16記為 Tr-L-VGG16， MobileNetV3 （Large） 記為 Mb- Net-L ， MobileNetV3 （ Small ） 記為 Mb-Net-S。為防止模型訓練發(fā)生過擬合，試驗過程中所有方法采用早停機制，監(jiān)控器為驗證集的準確率 val_acc ;容忍因子 min_delta=0.001;容忍步長 patience=3。試驗采取控制變量的方法，比對各個網絡結構的性能，試驗參數(shù)設置如表1所示。

2.6試驗評價指標

采用適合評價多分類任務的 F1值（Macro_f1）和準確率（Accuracy）來評估模型的性能，各評價指標函數(shù)形式如下所示。

其中，N 為類別個數(shù)，個;f 1_scorei 為第 i個類別的f 1_score值。

其中，NumTREUE 為驗證集中所有類別預測正確的個數(shù)，個;NumTOTAL 為驗證集中所有樣本的個數(shù)，個。

3 結果與分析

3.1 VGG 系列算法結果與分析

早停機制使各個模型的訓練及驗證過程不同。圖6和圖7分別為不同試驗方案在驗證集生成的準確率和損失值結果。圖例中 T-M-VGG（train）表示經過訓練集產生的結果;T-M-VGG（val）表示經過驗證集產生的結果。

為使得模型評價角度多元化，將模型大小、可訓練參數(shù)量作為輔助評價指標，結果見表2所示。

從圖6和圖7可以看出本研究所使用的各個方法隨著迭代次數(shù)增加，準確率不斷地升高，損失值不斷地降低，達到一定次數(shù)后曲線趨于平緩。Tr-L-VGG16凍結卷積層后，自定義全局平均池化層參與訓練的參數(shù)量較少，損失值下降緩慢，準確率曲線上升平緩，識別效果很差; VGG16采用預訓練模型參數(shù)初始化后，準確率提升很快，迭代次數(shù)為7時達到收斂狀態(tài);損失值在 0.5 附近;從表 2 中可以了解，Tr-LVGG16 方法由于可訓練參數(shù)量最小，所以準確率最低。VGG16 經過訓練、驗證后模型大小為 502.48 MB，所有方法中數(shù)值最高，不僅影響加載速度還增加存儲開銷。文獻[9]模型大小為 166.33 MB，準確率為 88.03%，并行的遷移學習結構仍會增加模型大小。T-M-VGG 模型大小為 70.75MB，準確率為 96.01%，對比 VGG16、 Tr-L-VGG16 準確率分別提高近 3 個和 68 個百分點;對比文獻[9]，牦牛識別方法準確率提高近8個百分點，模型大小減少約96 MB ，這說明了并行空洞卷積和特征金字塔的有效性。

3.2其他算法結果與分析

從圖6可知，文獻[10]、文獻[11]和文獻[ 25]中的網絡結構在本研究超參數(shù)設定下走勢相近，收斂狀態(tài)時準確率保持在83%附近; FaceNet 結構和InceptionV3網絡收斂速度較快。從表2可以看出， T-M-VGG 模型相比于文獻[10]、文獻[11]和文獻[25]在準確率、可訓練參數(shù)量兩個方面保持著優(yōu)勢;對比 InceptionV3和 FaceNet結構，雖然準確率相差近1個百分點，但是模型占用空間分別減少了約100和348 MB。觀察Mb-Net-L （MobileNetV3-Large）和Mb-Net-S （ MobileNetV3-Small ）算法，雖然模型較小，但是準確率低于 T-M-VGG 近2個百分點，收斂速度較慢。

綜合上述分析，遷移學習方法能夠顯著地降低參數(shù)量，提升牦牛識別效果，特征金字塔結構能夠提取豐富的牦牛面部特征進而完成識別過程。

3.3識別效果可視化

為更好地檢驗所提模型的魯棒性，從數(shù)據(jù)集中隨機選取12張圖像，對其部分區(qū)域進行遮擋操作生成偽圖，將偽圖送入 T-M-VGG 模型預測得到效果圖，可視化結果如圖8所示。

從標簽號為1、42、49、76、83、161、168、172和192效果圖可知，在遮擋牦牛非面部區(qū)域（身體，耳標，背景）的情況下，只有標簽號76被預測為73，說明模型經過訓練學習到的主要是面部特征，而非環(huán)境特征;從標簽號為75和78效果圖了解到，即使遮擋少部分臉部區(qū)域（非重要特征區(qū)域），模型仍然能夠預測準確，但觀察標簽號為180的效果圖，由于改變其面部明顯特征，導致預測結果錯誤，這屬于模型的正常表現(xiàn)。在12個類別中共有10個類別被 T-M-VGG預測正確，準確率為83.33%。

4結論與展望

本研究先后建立了并行的空洞卷積模塊和改進的特征金字塔結構，結合遷移學習思想進行整合從而實現(xiàn)牦牛臉部識別算法，主要結論如下。

（1） 提出的 T-M-VGG 模型在194頭牦牛數(shù)據(jù)集中識別準確率為96.01%，模型大小為70.75 MB 。

（2） 在本研究構建數(shù)據(jù)集上通過和其他方法對比驗證，說明了多尺度融合和遷移學習結合在牦牛面部識別過程中的優(yōu)越性。

（3） 從準確率和模型大小等多個角度分析，采取輸入分辨率大小為256×256的模型結構 T-M-VGG 能夠在降低存儲要求的同時提升準確率，基本滿足實際的識別需求。

模型還存在不足之處，下一步工作將致力于以下幾個問題的研究：（1） 繼續(xù)增加牦牛類別數(shù)量，擴大分類樣本，對面部特征極為相似的牦牛識別進一步優(yōu)化，提升模型的性能;（2）探究牦牛生長周期中體征變化對識別的影響;（3）結合目標檢測算法完成實時識別。

參考文獻：

[1] 秦興， 宋各方.基于雙線性卷積神經網絡的豬臉識別算法[J].杭州電子科技大學學報（自然科學版）， 2019， 39（2）：12-17.

QIN X， SONG G. Pig face recognition algorithm based on bilinear" convolution neural network[J]. Journal" of Hangzhou Dianzi University （Natural Sciences）， 2019， 39（2）：12-17.

[2] 何嶼彤， 李斌， 張鋒， 等.基于改進 YOLOv3的豬臉識別[J].中國農業(yè)大學學報， 2021， 26（3）：53-62.

HE" Y，" LI" B，" ZHANG" F，" et" al. Pig" face" recognition based on improved YOLOv3[J]. Journal of China Agri‐ cultural University， 2021， 26（3）：53-62.

[3] 劉忠超， 何東健.基于卷積神經網絡的奶牛發(fā)情行為識別方法[J].農業(yè)機械學報， 2019， 50（7）：186-193.

LIU Z， HE D. Recognition method of cow estrus be‐ havior" based" on" convolutional" neural" network[J]. Transactions of the CSAM， 2019， 50（7）：186-193.

[4] 楊秋妹， 肖德琴， 張根興.豬只飲水行為機器視覺自動識別[J].農業(yè)機械學報， 2018， 49（6）：232-238.

YANG Q， XIAO D， ZHANG G. Automatic pig drink‐ ing behavior recognition with machine vision[J]. Trans‐ actions of the CSAM， 2018， 49（6）：232-238.

[5] 張宏鳴 ， 周利香 ， 李永恒 ， 等.基于改進 Mobile‐FaceNet的羊臉識別方法研究[J/OL].農業(yè)機械學報：1-10[2022-05-13].

ZHANG H， ZHOU L， LI Y， et al. Sheep face recogni‐ tion method based on improved mobilefacenet[J/OL]. Transactions of the CSAM， 1-10[2022-05-13]. http：// kns." cnki." net/kcms/detail/11.1964." S. 20220317.1251.014.html.

[6] 魏征.基于全局和局部特征相結合的不完美牛眼虹膜識別技術研究[D].南京：東南大學， 2017.

WEI Z. Research on iris recognition technology of im ‐ perfect bull's eye based on the combination of global and localfeatures[D]. Nanjing：SoutheastUniversity， 2017.

[7] 趙凱旋， 何東健.基于卷積神經網絡的奶牛個體身份識別方法[J].農業(yè)工程學報， 2015， 31（5）：181-187.

ZHAO K， HE D. Recognition of individual dairy cattle based" on" convolutional" neural" networks[J]. Transac‐tions of the CSAE， 2015， 31（5）：181-187.

[8] 何東健， 劉建敏， 熊虹婷， 等.基于改進 YOLOv3模型的擠奶奶牛個體識別方法[J].農業(yè)機械學報 ， 2020，51（4）：250-260.

HE D， LIU J， XIONG H， et al. Individual identificationof dairy cows based on improved YOLOv3[J]. Transac‐tions of the CSAM， 2020， 51（4）：250-260.

[9] 陳爭濤， 黃燦， 楊波， 等.基于遷移學習的并行卷積神經網絡牦牛臉識別算法[J].計算機應用， 2021， 41（5）：1332-1336.

CHEN Z， HUANG C， YANG B， et al. Parallel convolu‐tional" neural" network" yak" face" recognition" algorithmbased on transfer learning[J]. Journal of Computer Ap‐plications， 2020， 41（5）：1332-1336.

[10] HANSEN M F， SMITH M L， SMITH L N， et al. To‐wards on-farm pig face recognition using convolution‐al neural networks[J]. Computers in Industry， 2018， 98：145-152.

[11] MARSOT M， MEI J， SHAN X， et al. An adaptive pigface" recognition" approach" using" convolutional" neuralnetworks[J]. Computers and Electronics in Agriculture，2020， 173： ID 105386.

[12] KUMAR S， SINGH S K， SINGH R， et al. Deep learn‐ing framework for recognition of cattle using muzzlepoint image pattern[J]. Measurement， 2018， 116：1-17.

[13] JUNG D H， KIM N Y， MOON S H， et al. Deep" learn‐ing-based" cattle" vocal" classification" model" and" real-time" livestock" monitoring" system" with" noise" filter‐ing[J]. Animals， 2021， 11（2）： ID 357.

[14] SALAMA A，" HASSANIEN A E，" FAHMY A. Sheepidentification using a hybrid deep learning and Bayes‐ian" optimization" approach[J]. IEEE Access， 2019， 7：31681-31687.

[15] WADA N， SHINYA M， SHIRAISHI M. Pig face recog‐nition" using" eigenspace" method[J]. ITE" Transactionson" Media" Technology amp; Applications， 2013， 1（4）：328-332.

[16] RASHID M， GU X， LEE Y J. Interspecies knowledgetransfer" for" facial" keypoint" detection[C]// The" IEEEConference on Computer Vision and Pattern Recogni‐tion. Piscataway， USA： IEEE， 2017：1600-1609.

[17] WANG Z， BOVIK A C，" SHEIKN H R，" et" al. Imagequality" assessment： From" error visibility to" structuralsimilarity[J]. IEEE Transactions on Image Processing，2004， 13（4）：600-612.

[18]陳桂芬， 趙姍， 曹麗英， 等.基于遷移學習與卷積神經網絡的玉米植株病害識別[J].智慧農業(yè) ， 2019， 1（2）：34-44.

CHEN G， ZHAO S， CAO L， et al. Corn plant diseaserecognition based on migration learning and convolu‐tional" neural" network[J]. Smart" Agriculture， 2019， 1（2）：34-44.

[19]李淼 ， 王敬賢 ， 李華龍 ， 等.基于 CNN 和遷移學習的農作物病害識別方法研究[J].智慧農業(yè) ， 2019， 1（3）：46-55.

LI M， WANG" J， LI H，" et" al. Method" for identifyingcrop" disease" based" on" cnn" and" transfer" learning[J].Smart Agriculture， 2019， 1（3）：46-55.

[20] LIU S， HUANG D. Receptive field block net for accu‐rate and fast object detection[C]// The European Con‐ ference" on" Computer" Vision. Cham，" Switzerland： Springer， 2018：385-400.

[21] SZEGEDY" C，" WEI" L，" JIA" Y，" et" al. Going" deeperwith convolutions[C]// The IEEE Conference on Com ‐ puter" Vision" and" Pattern" Recognition. Piscataway， USA： IEEE， 2015：1-9.

[22] LIN T Y， DOLLAR P， GIRSHICK R， et al. Feature pyr‐amid networks for object detection[C]// The IEEE Con‐ ference on Computer Vision and Pattern Recognition. Piscataway， USA： IEEE， 2017：2117-2125.

[23] LIU S， QI L， QIN H， et al. Path aggregation networkfor" instance" segmentation[C]// The" IEEE" Conference on" Computer Vision" and Pattern Recognition. Piscat‐ away， USA： IEEE， 2018：8759-8768.

[24] TAN M， PANG R， LE Q V. Efficientdet： Scalable andefficient object detection[C]// The IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， USA： IEEE， 2020：10781-10790.

[25]樊湘鵬， 周建平， 許燕， 等.基于改進卷積神經網絡的復雜背景下玉米病害識別[J].農業(yè)機械學報 ， 2021，52（3）：210-217.

FAN X， ZHOU J， XU Y， et al. Corn disease recogni‐tion under complicated background based on improvedconvolutional" neural" network[J]. Transactions" of theCSAM， 2021， 52（3）：210-217.

[26] SIMONYAN K， ZISSERMAN A. Very deep convolu‐tional networks for large-scale image recognition[J/OL].arXiv：1409.1556.2014.

[27] HOWARD A， SANDLER M， CHEN B， et al. Search‐ing for Mobilenetv3[C]// The IEEE International Con‐ference on Computer Vision. Piscataway， USA： IEEE，2019：1314-1324.

[28] SZEGEDY C， VANHOUCKE V， IOFFE" S， et al. Re‐thinking" the" inception" architecture" for" computer" vi‐sion[C]// The" IEEE" Conference" on" Computer" Visionand" Pattern" Recognition. Piscataway，" USA： IEEE，2016：2818-2826.

Multiscale Feature Fusion Yak Face RecognitionAlgorithm Based on Transfer Learning

CHEN Zhanqi1 ， ZHANG Yu'an1* ， WANG Wenzhi1 ， LI Dan1 ， HE Jie1 ， SONG Rende2

（1. Department of Computer Technology and Application， Qinghai University， Xining 810016， China;2. Animal Disease Prevention and Control Center of Yushu Tibetan Autonomous Prefecture， Yushu 815000， China ）

Abstract： Identifying of yak is indispensable for individual documentation， behavior monitoring， precise feeding， disease preven‐ tion and control， food traceability， and individualized breeding. Aiming at the application requirements of animal individual identification technology in intelligent informatization animal breeding platforms， a yak face recognition algorithm based on transfer learning and multiscale feature fusion， i. e.， transfer learning-multiscale feature fusion-VGG（T-M-VGG） was proposed. The sample data set of yak facial images was produced by a camera named GoPro HERO8 BLACK. Then， a part of dataset was increased by the data enhancement ways that involved rotating， adjusting the brightness and adding noise to improve the robust‐ ness and accuracy of model. T-M-VGG， a kind of convolutional neural network based on pre-trained visual geometry group net‐ work and transfer learning was input with normalized dataset samples. The feature map of Block3， Block4 and Block5 were considered as F3， F4 and F5， respectively. What's more， F3 and F5 were taken by the structure that composed of three parallel dilated convolutions， the dilation rate were one， two and three， respectively， to dilate the receptive filed which was the map size of feature map. Further， the multiscale feature maps were fused by the improved feature pyramid which was in the shape of stacked hourglass structure. Finally， the fully connected layer was replaced by the global average pooling to classify and reduce a large number of parameters. To verify the effectiveness of the proposed model， a comparative experiment was conducted. The experimental results showed that recognition accuracy rate in 38， 800 data sets of 194 yaks reached 96.01%， but the storage size was 70.75 MB. Twelve images representing different yak categories from dataset were chosen randomly for occlusion test. The origin images were masked with different shape of occlusions. The accuracy of identifying yak individuals was 83.33% in the occlusion test， which showed that the model had mainly learned facial features. The proposed algorithm could provide a refer‐ ence for research of yak face recognition and would be the foundation for the establishment of smart management platform.

Key words： yak; face recognition; transfer learning; feature pyramid structure; T-M-VGG