基于Ghost-YOLOv3-2算法的2尺度豬目標檢測

孫東來 王繼超 陳科 孫士尉 劉昕彤 周聞天

摘要：為了提高養殖場豬目標檢測的檢出率和實時性，提出一種從特征提取骨干網絡和特征金字塔網絡這2個方面對YOLOv3算法進行改進的豬目標檢測算法（Ghost-YOLOv3-2），并與經典YOLOv3、Ghost-YOLOv3、YOLOv3-2 等3種算法進行對比研究。試驗結果表明，特征提取骨干網絡的殘差單元中引入影子塊，可以在保留原有信息容量的同時減少計算量，提高網絡速度;特征金字塔網絡融合低層細粒度信息與高層語義信息，將輸出層改為2尺度，可以進一步提高模型的表達能力與網絡的實時性;改進的Ghost-YOLOv3-2算法在豬目標檢測中平均精度（AP）達到88.03%，較YOLOv3算法提高5.2%;速度達到23.61 f/s，較YOLOv3算法提高34.6%，所提算法對豬檢測的檢出率和實時性有一定的提高。

關鍵詞：豬目標檢測;Ghost-YOLOv3-2;深度學習;特征提取;檢出率;實時性

中圖分類號： S126;TP18? 文獻標志碼： A

文章編號：1002-1302（2022）07-0189-07

收稿日期：2021-06-28

基金項目：國家自然科學基金（編號：61773242）;河北省教育廳青年基金（編號：QN2021228）;河北省滄州市重點研發計劃指導項目（編號：204102002）;河北水利電力學院基本科研業務費專項。

作者簡介：孫東來（1990—），男，河北滄州人，碩士，助教，研究方向為深度學習及目標檢測。E-mail：598333985@qq.com。

通信作者：王繼超，碩士，助教，研究方向為深度學習及智能優化算法。E-mail：491366271@qq.com。

隨著養殖業的規模化和人工智能的興起，實現養殖業的智能化與信息化已經成為目前的研究熱點，而豬養殖智能化是實現養殖業智能化最為關鍵的一步。在現階段大規模養殖場中，對于病豬的前期征兆和異常行為都是依靠人工觀察來完成的，不僅勞動強度大，而且檢測不及時[1]。實時、連續、準確地監測豬進食、飲水狀況，對預防豬疾病、提高養殖福利具有重要意義[2]。因此，建立智能養殖系統，對豬的日常行為進行觀察統計并對異常行為報警，可以極大提高檢測效率，降低勞動成本[3]。其中，豬的目標檢測十分關鍵，對后續的個體軌跡追蹤以及病態檢測等具有重要意義。目前，豬養殖系統最為成熟的是阿里云與特驅集團聯合建立的“AI+養殖業”項目，但此項目中對豬目標檢測設備要求較高，只適用超大規模的豬養殖場，對中小型豬養殖場沒有借鑒作用。

目標檢測是計算機視覺領域的主要研究內容，長期以來受到廣泛關注。傳統目標檢測領域使用的區域選擇策略時間復雜度高、冗余窗口多且效果差，得到的特征數據對于目標變化缺乏魯棒性，所以逐漸被基于深度學習的目標檢測算法所取代[4]。基于深度學習的目標檢測算法主要分為2類：第1類為通過分類區域建議來檢測目標算法，如區域卷積神經網絡[5]、快速區域卷積神經網絡[6]、更快速區域卷積神經網絡[7]。這類算法是將目標檢測分為2步，首先利用滑動窗法在圖片上獲得候選區域，然后提取候選區域的特征向量，利用分類器的評分結果判別候選區域的目標類別[8];第2類為基于回歸方法的一步式深度學習目標檢測算法，這類算法不需要進行候選區域提取，比較典型的代表是SSD[9]、YOLO[10-12]。其中，YOLOv3是在YOLOv2基礎上采用新的激活函數和多尺度訓練等方法，進一步提高了檢測速度[13]。Redmon等的研究表明，在標準數據集上，YOLOv3無論在檢測速度還是精度上都優于SSD算法[12]。但是，YOLOv3目標檢測算法還主要存在3個問題：一是由于卷積神經網絡的復雜性導致需要耗費較多的計算機資源才能實現實時檢測的需求;二是面對目標出現大幅度抖動、快速移動、消失等情況時，目標檢測算法的精確性和魯棒性面臨巨大的挑戰[14];三是在某些特定場景下，YOLOv3算法不能針對某一目標尺度進行調整，從而使檢測準確率下降，達不到特定的需求。宦海等提出了一種BR-YOLOv3目標檢測算法，解決了目標尺寸差異較大時檢測精度低、漏檢率高的問題[15];王一婷等提出一種在同一場景下大尺度目標的識別和定位方法[16]。

針對現階段豬智能養殖系統目標檢測對設備要求高、普適性差的問題，本研究對YOLOv3算法進行改進，提出了一種可以實時準確地進行中大尺度的豬目標檢測算法（Ghost-YOLOv3-2），同時易于在邊緣設備上部署，適用于中小型的豬養殖場。主要工作如下：（1）構建豬數據集，取材于3處中小型豬養殖場約500只豬，共計2 400張照片。（2）針對YOLOv3算法豬檢測實時性差的問題，參考2020年IEEE國際計算機視覺與模式識別會議（CVPR）中提出的GhostNet[17]，借鑒其核心思想對特征提取骨干網絡進行改進，即將影子塊引入Darknet-53網絡的殘差單元中，生成部分“影子”信息，代替原有算法中大量無用的計算，使計算量明顯減少，大幅提高網絡速度，得到Ghost-YOLOv3算法。（3）針對Ghost-YOLOv3算法檢測準確率低且存在較高漏檢率的問題，本研究對特征金字塔網絡進行改進，即去掉小目標尺寸，將低層細粒度信息與特征金字塔中信息進行融合得到中尺度特征，在進一步提速的同時確保算法準確率，最終得到 Ghost-YOLOv3-2算法。

1 YOLOv3網絡介紹

1.1 YOLOv3網絡結構

YOLOv3網絡主要包括特征提取模塊、特征金字塔模塊和分支預測模塊3個部分。特征提取模塊采用的是Darknet-53網絡，此網絡包含53個卷積層，并引入殘差結構，當輸入圖片像素尺寸為416×416時，輸出3個尺度的特征度，大小分別為13×13、26×26、52×52，將3個不同尺度的特征圖輸入FPN模塊，此模塊包含3個預測分支結構，依次為大尺寸、中等尺寸、小尺寸目標的檢測特征信息[18]。模塊通過自頂向下的特征流，將來自高層預測分支中包含強語義特征信息融入到淺層特征中，為淺層預測分支提供更強的語義特征信息。最終將多類信息進行融合，得到模型的3個輸出。

1.2 損失函數組成

YOLOv3網絡的損失函數（Loss）由3個部分組成，包括目標誤差（ L? box）、置信度的誤差（ L? conf）和類別誤差（ L? cls）。

Loss=L? box+ L? conf+ L? cis。（1）

其中：目標誤差損失使用均方誤差進行計算，首先計算各預測區域與對應真實區域間的交并比（IOU），公式如下：

IOU=Area（A）∩Area（B）Area（A）∪Area（B）。（2）

式中：Area（A）表示真實區域面積;Area（B） 表示預測區域面積。

通過預先設定好的IOU閾值對預測面積進行篩選，篩選出IOU值大于閾值的區域，計算篩選后的區域（ L? box）：

L? box= λ? coord∑ S2i=0∑Bj=01obj i，j[（x i-x^ i）2+（y i-y^ i）2+（w i-w^ i）2+（h i-h^ i）2]。（3）

式中：λ? coord表示目標誤差系數; S2表示輸出尺度，即13×13、26×26、52×52;B表示每個網格所預測的邊界框數，個;1obj i，j表示判斷邊界框里有無目標，有為1，無則為0;x i、y i、w i、h i分別表示預測框的中心點橫坐標、縱坐標、寬、高;x^ i、y^ i、w^ i、h^ i分別表示標注框的中心點橫坐標、縱坐標、寬、高。

置信度誤差（L? con）使用交叉熵進行計算，公式如下：

L? conf=-∑ S2i=0∑Bj =01obj? i，jc^ i（ ln ?c i）+（1-c^ i） ln （1-c i）-λ? noobj∑ S2i=0∑Bj =01noobj? i，jc^ i （ln ?c i）+（1-c^ i） ln （1-c i）。（4）

式中：λ? noobj表示懲罰權重系數;1noobj? i，j表示網格i的第j 個box和目標box的IOU值不是最大值; c i和 c^ i分別表示預測框和標注框的置信度。

類別誤差（L cis）同樣使用交叉熵進行計算，公式如下：

L cis=-∑S2i=0∑Bj=0{1obj i，jp^ i（c）[ ln ?p i（c）]}+[1-p^ i i（c）]{ ln [1-p i（c）]}。（5）

式中：p i（c）和p^ i（c）分別表示預測框概率和標注框概率。

2 Ghost-YOLOv3-2算法的構建

針對YOLOv3算法對中大尺度目標豬檢測存在的實時性有待提高和漏檢率高的問題，本研究從特征提取骨干網絡和特征金字塔網絡2個方面對YOLOv3算法進行改進，得到Ghost-YOLOv3-2算法，改進后網絡結構如圖1所示。

2.1 特征提取骨干網絡改進

YOLOv3使用Darknet-53作為特征提取骨干網絡，在網絡中引入23個殘差模塊，每個殘差模塊首先使用步長為1、大小為1×1的卷積核進行信息壓縮，輸出通道數為輸入通道數的一半，然后使用步長為1、大小為3×3的卷積核進行特征提取，最后將2次卷積后的特征與殘差單元輸入特征按位置相加，得到新的特征。雖然引入殘差模塊可以使網絡提取更深層次的特征并且避免了梯度離散和梯度爆炸的問題，但是模型的參數量也隨之急劇增大，對模型的實時性能有很大的影響。本研究通過分析殘差單元內的特征圖發現，使用感受野較大的 3×3 卷積核進行卷積操作后存在較多的信息冗余。如圖2所示，對Darknet-53第1個殘差單元第2次卷積后的特征圖進行可視化，可以看到在生成的特征圖中存在較多相似程度很高的特征圖對，其中1個特征圖可以看作是另外1個特征圖的影子，而使用一定尺寸的單通道濾波器對其中1個特征圖進行線性變換即可得到另外1個影子特征圖。因此，本研究將影子塊[17]引入Darknet-53的殘差單元中，用來生成影子特征圖，在保證原有特征信息量不變的基礎上降低網絡的參數量，提高網絡的實時性。

圖3為原版Darknet-53的殘差單元結構圖，其中包含2個卷積塊，每個卷積塊由卷積層、線性變換層和非飽和激活層組成，卷積塊中卷積層的參數量（ S? 1）計算公式為：

S 1=c×h′×w′×n×k×k。（6）

式中：c表示輸入特征圖通道數;h′、w′分別表示卷積操作輸出的特征圖高、寬;n表示輸出特征圖的通道數;k表示濾波器大小;k×k 表示濾波核大小。

如圖4所示，使用影子塊替換第2個卷積塊，影子塊首先進行普通卷積操作，然后使用深度可分離卷積對普通卷積得到的特征圖進行線性化操作，生成的特征圖與輸入特征圖進行堆疊得到最終特征圖，影子塊中卷積層的參數量（ S? 2）計算公式為：

S 2=c×h′×w′×n2×k×k+n2×h′×w′×k×k。 （7）

利用影子塊生成與普通卷積塊相同數量的特征圖，可以輕松地替換原有的殘差單元，以減少計算成本，帶來內存和計算量的收益。卷積塊參數壓縮比（ r c ）可以計算為：

r c=c×h′×w′×n×k×kc×h′×w′×n2×k×k+n2×h′×w′×k×k。（8）

由公式（8）可知，卷積塊參數壓縮比約為2。從特征提取骨干網絡浮點運算次數角度對模型進行空間復雜度對比，YOLOv3、Ghost-YOLOv3-2浮點運算次數（FLOPS）分別為81.7、30.9億。結果表明，在特征提取骨干網絡中引入影子塊可以有效減少浮點運算次數，提升模型運行的速度。

2.2 特征金字塔網絡改進

特征提取骨干網絡中既有淺層的細粒度信息又有深層的語義信息，YOLOv3采用特征金字塔網絡結構對淺層特征和深層特征進行信息融合，經過信息壓縮和信息提取操作得到13×13、26×26、52×52等3個尺度輸出，分別對應檢測大目標、中等目標和小目標。本研究檢測的養豬場豬普遍具有中等、大尺度的特點，因此去掉檢測小目標的尺度，只保留中等、大目標尺度。應用場景中的豬多為中等尺度目標，為了降低中等尺度目標的漏檢率，提高目標檢測性能，將低層細粒度信息與特征金字塔中信息進行融合得到中尺度特征。如圖5所示，卷積集合交替使用1×1和3×3大小的卷積核進行卷積操作，其中1×1卷積操作為信息壓縮，3×3卷積操作為信息提取。特征提取骨干網絡第23個殘差塊輸出的特征圖經過卷積集合后送入輸出層，得到13×13的大尺度輸出。第23個殘差塊的特征圖經過卷積集合后進行上采樣操作與第19個殘差塊的特征圖進行堆疊，卷積集合對堆疊的特征圖進行信息壓縮和信息提取后與第11個殘差塊輸出經下采樣后的特征圖進行堆疊，然后再次經過卷積集合后送入輸出層得到26×26的中等尺度輸出。改進后的特征金字塔網絡加入淺層細粒度信息，增加了信息的豐富程度，可以提高對中大目標的檢測能力。

3 試驗結果與分析

本研究試驗環境如下：Intel Core i5-10400F CPU，16 GB內存，NVIDIA GeForce RTX 2070 GPU，TensorFlow版本為2.1.0，TensorBoard版本為2.1.1，CUDA版本為10.2，CUDNN版本為7.6.5，試驗操作系統為Ubuntu 20.10，使用python作為程序設計語言。

3.1 試驗數據集及訓練模型

目前在豬目標檢測領域公開的數據集較少且質量較低，因此自行構建了豬樣本數據集，數據集取景于河北省海興縣趙毛陶鎮3處中小型養豬場，共包含2 400張豬樣本圖像。最后得到的豬數據集（圖6），使用LabelImg打標簽工具進行標注。本研究將樣本圖像按6 ∶3 ∶1比例劃分為訓練集、驗證集和測試集。在訓練階段，應用隨機梯度下降對模型參數進行調整，設置初始學習率為0.000 5，批量尺寸為8，試驗中迭代次數為150。

3.2 對比試驗

本研究分別對經典YOLOv3算法、2尺度YOLOv3算法YOLOv3-2、引入影子塊的3尺度YOLOv3算法Ghost-YOLOv3及本研究最終改進的Ghost-YOLOv3-2算法進行訓練，訓練過程中對算法的指標進行動態記錄，平均損失的變化趨勢如圖7 所示，引入影子塊的2尺度YOLOv3算法 Ghost-YOLOv3-2 在第50個epoch收斂，平均損失值為5.86，與其他2種算法相比，收斂速度最快且收斂后的平均損失為4種算法中最低。

試驗采用目標檢測3種常見指標即精確度（precision）、召回率（recall）和平均精確度（average precision，簡稱AP）作為算法性能定量評價標準。精確度是指所有檢測到的目標中正樣本的比例，其公式如下：

precision=TPTP+FP。（8）

式中：TP表示檢測出的正樣本數量;FP表示檢測出的負樣本數量;FN 表示沒有被檢出的正樣本數量。

召回率是指所有目標中被正確檢測出來的比例，其公式如下：

recall=TPTP+FN。 （9）

平均精確度（AP）是不同置信度評價標準下精確度對召回率的積分，其公式如下：

AP=∫1 0p（r） d r。（10）

式中： p表示精確度;r 表示召回率。

將4種檢測模型訓練完成后，將豬數據集中的測試集用于檢測，4種模型檢測結果繪制成為精確度-召回率（PR）曲線（圖8）。

在豬檢測數據集上對最終改進算法、原版YOLOv3算法及其他改進算法進行測試，性能測試結果如表1所示。在數據集與超參數相同的情況下，提出的改進算法Ghost-YOLOv3-2與YOLOv3算法相比，目標檢測平均精度提高5.2百分點，權重參數減少26.37%，實時性（幀率）由17.54 f/s變為23.61 f/s，提升了34.61%;與引入影子塊的3尺度Ghost-YOLOv3算法相比，平均精度提高6.0百分點，實時性提高3.2%;與2尺度YOLOv3算法（YOLOv3-2）相比，雖然平均精度下降0.17百分點，但實時性有了大幅度提高，達到17.8%。

3.3 檢測結果

如圖9-a、圖9-b所示，融合多層信息并改為2尺度的YOLOv3-2與經典YOLOv3算法相比，豬檢出數目由3只提升到4只，且對于YOLOv3算法未檢出的豬檢測準確度能達到99.40%。由圖9-c、圖9-d可以看出，只加了Ghost模塊的Ghost-YOLOv3算法漏檢率偏高，達到40%，而2尺度的Ghost-YOLOv3-2算法能檢測照片上的所有豬，且準確率較高。

4 結論與討論

本研究提出了一種改進YOLOv3的豬目標檢測算法，首先使用聚類算法對錨點尺寸進行優化，然后使用引入影子塊的特征提取骨干網絡進行特征提取，最后通過改進的特征金字塔網絡實現2尺度目標輸出。

利用普通卷積方法生成部分特征圖，然后利用深度可分離卷積對特征圖進行線性變換得到影子特征圖，可以在保留原有信息量的基礎上有效降低參數量，提高模型實時性;將淺層細粒度信息加入特征金字塔中，并將輸出改為2尺度，可以豐富特征圖信息量，降低模型漏檢率，提高目標檢測精度。在相同的條件下，宦海等提出的BR-YOLOv3算法平均檢測精度為88.82%[15]，與本研究的檢測結果相近，但其速度為16.68 f/s，低于本研究結果，原因是宦海等利用空洞卷積，構建多層并行的空洞視野感受模塊，提高了模型的表達能力，但是忽略了模型的運算速度。王一婷等提出的同一場景下超大目標尺度差異的目標檢測方法對于中大尺度豬目標檢測，平均檢測精度為85.24%，速度為 19.66 f/s[16]，均低于本研究結果，原因是王一婷等引入的動態IOU可以動態調整閾值，解決了樣本尺度不均衡的問題，但在固定場景下如養殖場，豬的目標檢測尺度相對固定為中大尺度，IOU的調整對檢測準確率提升效果不大，并且在檢測速度方面也并未改進。

本研究提出的Ghost-YOLOv3-2算法可以部署在嵌入式的邊緣檢測設備上，造價不高，適用于中小型智能豬養殖場，也可以為后續的豬軌跡追蹤及健康狀況評價提供有力的數據支撐。由于所提方法在對豬嚴重遮擋情況下檢測具有一定的漏檢率，下一步將結合輪廓檢測的方法進行深入研究。

參考文獻：

[1]黨亞男，王 芳，田建艷，等. 面向豬的姿態識別的特征優選方法研究[J]. 江蘇農業科學，2016，44（3）：448-451.

[2]薛佳俐，楊曙明. 生豬福利養殖系統的研究進展[J]. 農產品質量與安全，2020（2）：64-69.

[3]李菊霞，李艷文，牛 帆，等. 基于YOLOv4的豬只飲食行為檢測方法[J]. 農業機械學報，2021，52（3）：251-256.

[4]宋偉先. 基于深度學習的豬只目標檢測及狀態分析[D]. 哈爾濱：東北農業大學，2019.

[5]Girshick R，Donahue J，Darrell T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，Columbus，2014：580-587.

[6]Girshick R.Fast R-CNN[C]//Proceedings of IEEE International Conference on Computer Vision. Santiago，2015：1440-1448.

[7]Ren S，He K，Girshick R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[8]柳長源，王 琪， 畢曉君. 多目標小尺度車輛目標檢測方法的研究[J]. 控制與決策，2021，36（11）：1-6.

[9]Liu W，Anguelov D，Erhan D，et al. SSD：single shot multibox detector[C]//European Conference on Computer Vision. The Netherlands：Springer，2016：21-37.

[10]Redmon J，Divvala S，Girshick R，et al. You only look once：unified，real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1137-1149.

[11]Redmon J，Farhadi A.YOLO9000：better，faster，stronger[C]//IEEE Conference on Computer Vision & Pattern Recognition，2017：6517-6525.

[12]Redmon J，Farhadi A.YOLOv3：an incremental improvement[Z/OL]. （2018-04-08）[2021-06-16]. https：//arxiv.org/abs/1804.02767

[13]曾鏡源，洪添勝，楊 洲. 基于實例分割的柚子姿態識別與定位研究[J]. 河南農業大學學報，2021，55（2）：287-294.

[14]Howard A G，Zhu M，Chen B，et al. MobileNets：efficient convolutional neural networks for mobile vision applications[C]//IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，2017：1-9.

[15]宦 海，陳逸飛，張 琳，等. 一種改進的BR-YOLOv3目標檢測網絡[J]. 計算機工程，2021，47（10）：186-193.

[16]王一婷，張 柯，李 捷，等. 同一場景下超大尺度差異物體的識別和定位方法[J]. 計算機應用，2020，40（12）：3520-3525.

[17]Han K，Wang Y H，Tian Q，et al. GhostNet：more features from cheap operations[C]//2020 IEEE Conference on Computer Vision and Pattern Recognition. Seattle，2020.

[18]Lin T Y，Dollár P，Girshick R，et al. Feature pyramid networks for object detection[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，2017.