基于輕量級神經網絡MobileNetV3-Small的鱸魚攝食狀態分類

朱 明，張鎮府，黃 凰，陳燕燕，劉亞東，董 濤

基于輕量級神經網絡MobileNetV3-Small的鱸魚攝食狀態分類

朱 明1,3，張鎮府1,2，黃 凰1,2※，陳燕燕1，劉亞東1，董 濤1

（1. 華中農業大學工學院，武漢 430070；2. 農業農村部長江中下游農業裝備重點實驗室，武漢 430070；3. 長江經濟帶大宗水生生物產業綠色發展教育部工程研究中心，武漢 430070）

在集約化水產養殖過程中，飼料投喂是控制養殖成本，提高養殖效率的關鍵。室外環境復雜多變且難以控制，適用于此環境的移動設備計算能力較弱，通過識別魚類攝食狀態實現智能投喂仍存在困難。針對此種現象，該研究選取了輕量級神經網絡MobileNetV3-Small對鱸魚攝食狀態進行分類。通過水上攝像機采集水面鱸魚進食圖像，根據鱸魚進食規律選取每輪投喂后第80～110秒的圖片建立數據集，經訓練后的MobileNetV3-Small網絡模型在測試集的準確率達到99.60%，召回率為99.40%，精準率為99.80%，F1分數為99.60%。通過與ResNet-18, ShuffleNetV2和MobileNetV3-Large深度學習模型相比，MobileNetV3-Small模型的計算量最小為582 M，平均分類速率最大為39.21幀/s。與傳統機器學習模型KNN（K-Nearest Neighbors）、SVM（Support Vector Machine）、GBDT（Gradient Boosting Decision Tree）和Stacking相比，MobileNetV3-Small模型的綜合準確率高出12.74、23.85、3.60和2.78個百分點。為進一步驗證該模型有效性，在室外真實養殖環境進行投喂試驗。結果顯示，與人工投喂相比，基于該分類模型決策的鱸魚投喂方式的餌料系數為1.42，質量增加率為5.56%。在室外真實養殖環境下，MobileNetV3-Small模型對鱸魚攝食狀態有較好的分類效果，基于該分類模型決策的鱸魚投喂方式在一定程度上能夠代替養殖人員進行決策，為室外集約化養殖環境下的高效智能投喂提供了參考。

水產養殖；機器視覺；圖像識別；深度學習；神經網絡；鱸魚

0 引 言

在水產養殖過程中，飼料是水產養殖中最主要的可變成本，一般占養殖總投入的40%～80%，直接影響經濟效益[1]。目前中國淡水漁業養殖大部分采用人工投餌或機械投餌喂養，投喂量容易受到養殖人員的主觀經驗和意識的影響，沒有結合魚群攝食過程中的參數信息，難以做到合理投喂[2]。如果投喂過量則會造成餌料的浪費，增加了養殖的投入產出比，另外過多的剩余餌料會污染水質造成水體的富營養化[3]，投餌過少會減緩魚的生長速度，甚至引起魚與魚之間的攻擊行為。如何在魚類餌料投喂過程中做到適時適量，是當前投喂面臨的主要問題。

現有研究表明，魚群在攝食過程中會引起自身以及水面發生一系列變化，因此探索魚群攝食過程能夠為合理投喂提供理論指導。Papadakis等[4]開發了一個可以進行遠程監控魚群行為的計算機視覺系統，該系統可以快速對魚群特定行為進行分析。Pautsina等[5]利用近紅外成像技術估測了魚群的運動規律。喬峰等[6]結合實時圖像處理結果，利用得到的魚群攝食規律和投餌機的執行機構模型構建了智能投餌系統。郭俊[7]以魚群圖像特征參數和聲學特征參數作為輸入量，通過模糊處理和模糊邏輯推理，構建以投餌量和投餌速度作為輸出量的投餌策略，實現了精準投餌。Atoum等[8]基于SVM（Support Vector Machine）分類器開發了一套適用于高密度水產養殖池的全自動投喂系統。陳明等[9]通過Relief和XGBoost算法對魚群攝食圖像特征篩選和融合，實現了鏡鯉攝食強度評估。

隨著深度學習的發展，各類神經網絡在視頻圖像處理任務中的效果越來越好，在水產養殖中的應用也越來越多[10]。Chen等[11]選取水溫、溶解氧、平均魚的質量和魚的數量作為輸入，通過MEA（Mind Evolutionary Algorithm）優化BP（Back Propagation）神經網絡，建立了魚類攝取量與環境因素的映射關系。Adegboye等[12]對魚群活動向量進行離散傅里葉變換后得到傅立葉描述子，輸入到人工神經網絡中實現了魚群攝食量的預測。M?l?y等[13]采用雙流循環網絡（Dual-Stream Recurrent Network，DSRN）對鮭魚的攝食行為進行了預測。Villon等[14]通過卷積神經網絡對水下魚類進行了識別。趙德安等[15]采用優化的Retinex算法和YOLO V3模型對水下河蟹進行了識別。Zhang等[16]采用多列卷積神經網絡（Multi-column Convolution Neural Network，MCNN）作為前端和擴張卷積神經網絡（Dilated Convolution Neural Network，DCNN）作為后端的方式，建立了一種混合神經網絡以實現魚類種群自動計數。Tseng等[17]以卷積神經網絡為基礎，提出一種對魚類各個部位進行分類的模型。Zhou等[18]采用經典卷積神經網絡LeNet-5，通過攝食強度自動分級方法來評估羅非魚食欲。張佳林等[1]采用VAE-CNN網絡對魚群攝食行為視頻進行分類。VGGNet[19]卷積神經網絡的出現證明了增加網絡深度可以提升模型效果，但是加深網絡深度會使模型體積變大且更復雜，網絡訓練和預測需要更大的計算資源，對硬件設備的要求更高。

相較于傳統機器學習算法，基于深度學習的魚類攝食行為識別模型具有更高的識別精度和更好的魯棒性。目前已有的大量研究均為實驗室工況，室外集約化養殖環境下基于移動設備和嵌入式設備的魚類攝食行為研究較少。針對此種現象，為實現室外圈養鱸魚的精準投喂，本研究提出了基于MobileNetV3-Small輕量級神經網絡的鱸魚攝食狀態分類模型。

1 材料與方法

本研究于華中農業大學水產學院實踐教學基地（二）“零排放圈養系統”搭建了圈養鱸魚視頻采集平臺，將一臺海康威視攝像機（DS-2CD3T47DWD-L）安裝固定在距離圈養塘邊緣垂直高約2.5 m的位置進行拍攝（圖1）。通過調整攝像機角度使其能夠拍攝到圈養塘全部區域，為避免過強的陽光反射影響拍攝效果，攝像機鏡頭選擇盡量背對太陽光源的視線方向。視頻圖像數據通過攝像機經4G路由器傳輸到本地錄像機和廣域網。所用攝像機、路由器和視頻錄像機均已做防水防曬處理。攝像機采集的原始視頻圖像分辨率為2 560×1 440像素，幀率為25 幀/s。圖像處理語言為Python3，神經網絡模型的搭建通過Tensorflow2實現。

本研究中大口黑鱸（）品種為“優鱸1號”，已在該室外集約化環境下養殖超過10個月，可以認為已適應該環境下的飼料投喂。試驗用投喂飼料為浮性鱸魚膨化配合飼料，采購于荊門市五龍飼料有限公司，飼料規格為6#，直徑約6 mm，飼料密度小于水的密度。隨機取300粒飼料，分為3組，稱質量后取均值得飼料百粒質量23.2 g。圈養鱸魚采用單場多輪投喂，即每天投喂兩場，每場投喂若干輪，投喂輪數由魚群進食情況決定，每輪投喂量為500 g，投喂時間點為上午8:00和下午17:30。視頻采集期間由水產養殖人員負責飽食投喂。視頻圖像開始采集時鱸魚平均質量為238.57 g，養殖密度約為20.04 kg/m3。為使本研究更好地適應室外真實養殖環境，在視頻采集過程中，除暴雨、大風等惡劣天氣外，其他天氣情況的視頻均作為研究對象。

2 圈養鱸魚數據集制作

通過投喂預試驗發現，在每輪飼料投喂量為500 g的情況下，經觀察所投喂飼料均漂浮于水面，不會產生沉降且不破碎，在每輪進食初始階段鱸魚搶食較激烈，水面水花過多導致難以觀察飼料剩余情況，但在進食最后階段搶食不激烈，水面水花較少，能夠通過飼料剩余情況更清楚地觀察當前鱸魚進食情況。因此，本研究隨機統計的7 d內鱸魚每輪進食時間如表1所示。在每輪投喂中，將投喂動作結束至鱸魚進食完成所用時間記為每輪進食時間。在每輪投喂中，若鱸魚將飼料全部攝食，水面不存在或存在極少量（小于10 g）剩余飼料，則認為該輪進食已完成；此外，若水面存在部分剩余飼料且連續5 s內進食鱸魚數量小于5也認為該輪鱸魚進食完成。在同一場投喂過程中，每輪進食時間逐漸增加，說明鱸魚食欲呈現下降趨勢。通過計算得鱸魚平均進食時間為94 s，此時水面基本處于穩定狀態，相對于其他時段能夠更加清楚地觀察水面飼料剩余情況，分辨出鱸魚的攝食狀態，為下一輪投喂進行決策。因此選擇每輪投喂結束后第80～110秒的視頻圖像作為數據樣本。

本研究參考文獻[20-22]的魚群攝食強度標準和鱸魚在此試驗條件下水面進食和飼料情況，對鱸魚在第90秒左右的食欲程度進行劃分，劃分為“強”、“中”、“弱”、“無”4個等級。其中“強”即在該時間段內水面已看不到鱸魚和飼料，表明該輪鱸魚進食已經結束，鱸魚進食快，食欲強；“中”即通過觀察水面剩余飼料數量，結合飼料百粒質量估算出對應干燥狀態下剩余飼料的質量小于100 g，可視為鱸魚食欲有所下降；“弱”即水面所剩飼料質量約大于100 g，可視為鱸魚進食欲望不強烈；“無”即水面仍存在飼料，但是沒有鱸魚進食，表明鱸魚已經沒有食欲。鱸魚食欲等級劃分樣本如圖2所示。在實際投喂過程中，由于塘內鱸魚數量較多，其中個體較大、性情兇猛的鱸魚先進食，個體較小且膽小的鱸魚稍后進食。所以，存在投喂500g飼料后，鱸魚進食部分飼料后整體食欲等級由“中”（“饑餓”狀態）變為“弱”（“非饑餓”狀態），但此時仍有個體較小和膽小的鱸魚仍在進食，剩余飼料仍會被緩慢地攝食完畢。為了使食欲等級的劃分更有實際意義，根據食欲等級將“強”和“中”圖片劃分為“饑餓”，“弱”和“無”劃分為“非饑餓”數據集類別，基于攝食狀態的二分類結果更適用于實際養殖決策。

表1 鱸魚每輪進食時間和平均每輪進食時間

注：“-”表示該輪沒有投喂。

Note: “-” means that no feed was fed for that round.

將每輪投喂后第80～110秒的視頻每隔1 s提取一幀圖像，通過觀察魚群進食視頻圖像，選取能夠準確反映鱸魚進食和餌料狀況的主要區域并進行裁剪，裁剪后圖片分辨率為512×512像素，圖片格式為.png。從中隨機選取較具代表性的10 000張圖片作為原始圖片數據集，其中“饑餓”和“非饑餓”圖片各有5 000張。原始圖片數據集中訓練集、驗證集、測試集按照6:2:2比例隨機劃分。為了提高模型泛化能力，訓練集采用離線隨機數據增強的方式進行擴充，數據增強方式包括圖片隨機翻轉、隨機裁剪、添加高斯噪聲。高斯噪聲以均值為0，方差為0.001進行添加。此外，以晴天、陰天和小雨為例，對室外不同天氣情況進行了分析，發現魚塘視頻圖像主要差異是光照不同。為減小不同天氣對模型分類效果的影響，本研究選用圖片色彩抖動方法對訓練集數據進一步增強，使用的色彩抖動包括隨機調整圖片的飽和度、亮度和對比度。色彩抖動效果如圖3所示，圖片經色彩抖動增加了圖片在不同天氣中的情況，進一步提高模型的泛化能力。訓練集經過數據增強后共12 000張圖片，其中“饑餓”和“非饑餓”圖片各有6 000張，制作后的數據集如表2所示。

表2 鱸魚攝食狀態數據集的制作

3 基于機器視覺的鱸魚攝食狀態分類

3.1 基于MobileNetV3-Small的鱸魚攝食狀態分類

本研究選取MobileNetV3-Small作為鱸魚攝食狀態分類模型。MobileNetV3-Small是MobileNetV3[21]系列中的一款輕量級神經網絡，適用于低性能移動設備和嵌入式設備。本研究使用512×512×3圖片作為MobileNetV3-Small模型輸入。首先對輸入圖片進行標準卷積，卷積核大小為3×3，卷積核個數為16，激活函數為h-swish，步長為2。進一步將得到的256×256×16特征輸入到一系列block單元中，其中包括3個卷積核為3×3深度卷積的block單元和8個卷積核為5×5深度卷積的block單元，得到大小為16×16×96的特征。然后通過1×1卷積核對輸出的特征進行升維，得到16×16×576的特征。再通過全局平均池化[22]使特征變為一維向量特征。最后經2個1×1的標準卷積后得到2個類別的概率值。MobileNetV3-Small整體結構如表3所示。

表3 MobileNetV3-Small整體結構

注：“-”表示該層不能進行對應操作；“√”表示該層使用了注意力模塊（SE）；在操作（Operator）中，“Bneck”為MobileNetV3的block單元，“3×3”表示該層使用的卷積核大小，“NBN”表示該層卷積不使用批量歸一化（Batch Normalization）；升維維度（Exp size）表示每一個Bneck塊中第一層1×1 conv2d的卷積核的個數；激活函數（NL）表示每層所使用的非線性激活函數，其中“HS”表示h-swish函數，“RE”表示使用ReLU激活函數。

Notes: “-” denotes that the layer cannot perform the corresponding operation; “√” denotes that the layer uses the attention module (SE); in the operation (Operator), “Bneck” is the block unit of MobileNetV3, “3×3” denotes the size of the convolutional kernel used in the layer, “NBN” denotes that the layer does not use Batch Normalization for convolution; the ascending dimension (Exp size) denotes the number of convolution kernels in the first layer of 1×1 conv2d in each Bneck block; nonlinearity (NL) denotes the nonlinear activation function used in each layer, where “HS” is h-swish function and “RE” is ReLU activation function.

MobileNetV3-Small在基本block單元的設計上結合了MobileNetV1[23]中的深度可分離卷積、MobileNetV2[24]線性瓶頸的逆殘差結構和Squeeze and Excite[25]（SE）輕量級的注意力結構。在MobileNetV3-Small的block單元中，先通過一個1×1卷積層對輸入特征進行升維，將升維后的特征進行卷積核為3×3的深度卷積，然后將輸出特征輸入到SE模塊。在SE模塊中，首先對特征的每個通道進行全局平均池化，得到1×1的exp size向量，再將該向量通入第一層全連接層（Fully Connected layers，FC），激活函數為ReLU，得到輸出大小為1×1×（exp size/4）的張量。然后將輸出通入第二層FC，激活函數為h-swish，得到1×1×exp size的向量，將該向量中的每個元素乘以輸入到SE層特征的對應通道特征矩陣，得到經SE模塊加權之后的特征。最后采用1×1卷積對特征降維，輸出維度如表4輸出通道所示。MobileNetV3-Small基本block單元如圖4所示。

表4 各模型性能指標對比結果

注：“-”表示未對模型進行相應計算。FLOPs為計算量。

Note: “-” indicates that the corresponding calculation was not performed for the model. FLOPs is floating point operations.

MobileNetV3-Small在制作的鱸魚攝食狀態分類數據集上進行訓練。訓練選取批大小為16，學習率為0.000 1，迭代次數為50，最終得到訓練集和驗證集的損失值和準確率曲線如圖5所示。

由圖5可見迭代次數達到10次后，訓練集損失值曲線逐漸平緩，說明模型已經接近收斂，最終在驗證集上的準確率達到99.7%。訓練好的最終模型在測試集上的準確率達到99.60%，召回率為99.40%，精準率為99.80%，F1分數為99.60%。基于MobileNetV3-Small模型能夠有效地對圈養鱸魚攝食狀態進行分類，可以為鱸魚的高效投喂提供理論依據。

3.2 MobileNetV3-Small與其他分類模型對比

為驗證MobileNetV3-Small模型的分類效果，本研究選用傳統機器學習模型與其進行對比。傳統機器學習選用了KNN[26]、SVM[27]和GBDT[28]模型和基于3種模型的Stacking[29]集成學習模型。傳統機器學習中提取的圖片特征包括紋理、顏色和形狀共28組特征。紋理特征包括圖像的灰度圖像特征、不變矩特征和灰度共生矩陣特征共17組特征。顏色特征是將RGB圖片轉到HSV空間后，在HSV空間上的一階、二階和三階顏色矩的均值、方差和偏移量共9組特征。形狀特征是通過Canny算子得到圖像輪廓，然后計算輪廓面積和周長得到2組特征。為保證所提取特征的有效性，通過特征工程對特征進行篩選。首先采用皮爾森相關系數計算出各組特征與分類結果的相關性，得到對分類結果影響較大的13組特征。進一步通過皮爾遜相關系數計算出各組特征之間的相關性矩陣，剔除特征之間相關性較高的特征，最終得到6組特征。利用得到的6組特征對KNN、SVM、GBDT和Stacking集成學習模型進行訓練，其中KNN和SVM模型采用網格搜索的方式尋找最優參數。此外，為進一步驗證選取模型的合理性，通過MobileNetV3-Small與ResNet-18、輕量級網絡ShuffleNetV2和MobileNetV3-Large深度學習模型進行對比。

本研究通過準確率（Accuracy）、召回率（Recall）、精準率（Precision）、F1分數（F1）、模型計算量（Floating Point Operations，FLOPs）和平均分類速率6個指標對各個模型進行評估，其計算公式和定義如下：

式中TP為真陽性（True Positive），在本文中模型輸出類別為饑餓，數據集標簽也為饑餓；FP為假陽性（False Positive），即模型輸出類別為饑餓，數據集標注為非饑餓；TN為真陰性（True Negative），即模型輸出類別為非饑餓，數據集標注也為非饑餓；FN為假陰性（False Negative），即模型輸出類別為饑餓，數據集標注為非饑餓。模型計算量（Floating Point Operations，FLOPs）是模型浮點運算數，可以用來衡量模型的復雜度。平均分類速率是將1 000張圖片進行分類，得到的平均每秒分類圖片的數量。

為保證結果公平性，幾種模型均使用同一數據集。深度學習模型選取批大小為16，學習率為0.000 1，迭代次數為50，優化器為Adam優化器。試驗所用計算機運行環境為Win10 Inter(R)Core(TM)i7-10750H CPU @2.60 GHz，運行內存32 G。各個深度學習模型訓練在經過50個epochs后均已收斂，得到MobileNetV3-Small與其他模型對比結果如表4所示。

基于傳統機器學習模型的鱸魚攝食狀態分類在平均分類速率上與MobileNetV3-Small神經網絡模型相差不大。但MobileNetV3-Small神經網絡模型的準確率分別高出KNN、SVM、GBDT和Stacking模型12.74、23.85、3.60和2.78個百分點。可能因為室外環境視頻圖片噪聲干擾較多，人工提取和篩選特征比較困難。而基于神經網絡模型的自動特征提取能夠更有效地提取有用的特征，分類效果更好。

通過對比ResNet-18、ShuffleNetV2、MobileNetV3-Large和MobileNetV3-Small，結果表明，4種深度學習模型的準確率、召回率、精準率、F1分數指標較為相近，且高于傳統機器學習模型。上述4種深度學習模型均能實現鱸魚饑餓狀態分類。但在水產養殖中，嵌入式硬件設備計算能力的限制要求模型有更小的計算量和更快的分類速率。MobileNetV3-Small模型的計算量為582 M，平均分類速率為39.21幀/s。在其他3種模型中，計算量最優的ShuffleNetV2仍是MobileNetV3-Small模型的2.6倍；平均分類速率最優的ShuffleNetV2模型約為MobileNetV3-Small模型平均分類速率的3/4。結合模型計算量和平均分類速率，MobileNetV3-Small分類效果優于其他模型。綜上，本研究選取MobileNetV3-Small作為鱸魚攝食狀態分類模型。

4 圈養鱸魚投喂對比試驗

為驗證基于MobileNetV3-Small的鱸魚攝食狀態分類模型的實際效果，本研究設計了圈養鱸魚投喂對比試驗，試驗在華中農業大學水產學院教學實習基地（二）“零排放圈養模式”池塘進行，如圖6所示，3號圈養塘作為試驗組，6號圈養塘作為對照組，2個圈養塘處于同一養殖環境下。

試驗組魚塘采用MobileNetV3-Small神經網絡模型輸出結果進行決策投喂，對照組則通過水產養殖人員根據養殖經驗進行投喂。試驗采用單場多輪投喂方式，每輪飼料投喂量均為500 g，2個圈養塘除投喂決策方式不同外，其他條件保持一致。試驗組視頻獲取方式為Jupyter Nootbook通過本地直連攝像機的方式獲取實時視頻圖像，視頻圖像原始分辨率為2 560×1 440像素，截取同訓練集指定區域后圖像分辨率為512×512像素。試驗組投喂時，選取每輪投喂后第90秒、第92秒、第94秒、第96秒和第98秒的水面圖片，將5幀圖片作為鱸魚投喂決策模型的輸入，輸出結果為每張圖片對應的攝食狀態，并在該輪投喂結束后第100秒進行投喂決策。在5幀圖片輸出結果中，若預測為“饑餓”的次數占比不小于總數量的60%，則直接進行下一輪投喂；否則此輪不投喂，經50 s后重新采集圖片進行投喂決策，若決策結果仍為不投喂，則結束本場投喂。基于多張圖片決策減少了單張圖片分類錯誤導致決策錯誤的情況。試驗組投喂決策根據模型輸出結果進行投喂，投喂決策路線圖如圖7所示。

對比投喂試驗選用餌料系數（Feed Conversion Ratio，FCR）和質量增加率（Weight Gain Ratio，WGR）作為衡量兩組圈養塘鱸魚生長情況的指標。餌料系數能反映增加單位水產品產量所用的飼料量，餌料系數比值越小，表示增加單位水產品產量所用的飼料越少。質量增加率表示一段時間內水產品增加質量與初始質量的關系，能夠直觀地反應該段時間內鱸魚的質量增加情況。餌料系數和質量增加率計算公式如下：

式中S為該段時間內投喂的飼料總量，kg；0為投喂開始時鱸魚的總質量，kg；1為投喂結束時鱸魚的總質量，kg。本試驗開始到養殖結束期間，鱸魚已適應養殖環境，損失數量可以忽略不計，因此使用養殖結束時統計的鱸魚數量作為試驗期間鱸魚數量。鱸魚平均質量采用簡單隨機抽樣的方式進行統計，每次抽樣數量為30尾，計算平均質量。投喂14 d后，對比2組試驗結果如表5所示。

表5 鱸魚投喂對比試驗結果

試驗期間試驗組圈養塘水質參數pH值變化范圍在7.12～7.90，氨氮變化范圍在0.54～0.72 mg/L，參考國家漁業水質標準[30]，2個參數均處于合理范圍，說明試驗組圈養塘水質未發生明顯下降現象。由對比試驗結果得出，試驗組圈養塘餌料系數為1.44，對照組餌料系數為2.72，試驗組餌料系數為對照組的52.20%，該段時間內試驗組餌料利用率高于對照組。試驗組質量增加率為5.56%，對照組質量增加率為2.88%，試驗組質量增加率提高2.68個百分點，該段時間內試驗組鱸魚生長速率高于對照組。綜上，試驗組圈養塘的餌料系數和質量增加率均優于對照組，說明本試驗投餌模型能夠減少飼料浪費，節約養殖成本，提高養殖效率。基于MobileNetV3-Small模型的鱸魚攝食狀態分類有較好的應用效果，基于該模型的投喂決策在一定程度上能夠代替養殖人員投喂決策，為室外集約化水產養殖提供一種有效參考。

5 結 論

針對室外養殖環境復雜、鱸魚饑餓狀態難以辨別等特點，本研究提出了基于MobileNetV3-Small的圈養鱸魚攝食狀態分類模型，在真實室外養殖環境下達到了較好的分類投喂效果，為室外集約化養殖環境下的智能投餌提供了參考。

1）依據鱸魚食欲等級劃分了鱸魚攝食狀態數據集。MobileNetV3-Small網絡模型在該數據集上的準確率達到了99.60%，召回率為99.40%，精準率為99.80%，F1分數為99.60%。

2）通過與ResNet-18，ShuffleNetV2和MobileNetV3-Large深度學習模型相比，MobileNetV3-Small模型的計算量最小為582 M，平均分類速率最大為39.21幀/s。與KNN、SVM、GBDT和Stacking傳統機器學習模型相比，MobileNetV3-Small模型的綜合準確率高出12.74、23.85、3.60和2.78個百分點。

3）通過圈養鱸魚投喂試驗表明，基于該分類模型決策的投喂方式為人工投喂方式餌料系數的52.20%，質量增加率提高2.68個百分點。

[1] 張佳林，徐立鴻，劉世晶. 基于水下機器視覺的大西洋鮭攝食行為分類[J]. 農業工程學報，2020，36(13)：158-164.

Zhang Jialin, Xu Lihong, Liu Shijing. Classification of Atlantic salmon feeding behavior based on underwater machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 158-164. (in Chinese with English abstract)

[2] 郭強. 基于計算機視覺的循環水養殖鏡鯉的攝食狀態檢測方法研究[D]. 上海：上海海洋大學，2018.

Guo Qiang. Fish Feeding Behavior Detection Method Under Circulating Aquaculture Based on Computer Vision[D]. Shanghai: ShangHai Ocean University, 2018. (in Chinese with English abstract)

[3] Barraza-Guardado R H, Martínez-Córdova L R, Enríquez-Oca?a L F, et al. Effect of shrimp farm effluent on water and sediment quality parameters off the coast of Sonora, Mexico[J]. Ciencias Marinas, 2014, 40(4): 221-235.

[4] Papadakis V M, Papadakis I E, Lamprianidou F, et al. A computer-vision system and methodology for the analysis of fish behavior[J]. Aquacultural Engineering, 2012, 46: 53-59.

[5] Pautsina A, Císa? P, ?tys D, et al. Infrared reflection system for indoor 3D tracking of fish[J]. Aquacultural Engineering, 2015, 69: 7-17.

[6] 喬峰，鄭堤，胡利永，等. 基于機器視覺實時決策的智能投餌系統研究[J]. 工程設計學報，2015，22(6)：528-533.

Qiao Feng, Zheng Ti, Hu Liyong, et al. Research on smart bait casting machine based on machine vision technology[J]. Chinese Journal of Engineering Design, 2015, 22(6): 528-533. (in Chinese with English abstract)

[7] 郭俊. 基于圖像與聲音信息的養殖魚群攝食規律與投餌技術研究[D]. 寧波：寧波大學，2018.

Guo Jun. Research on Feeding Patterns and Bait Technology of Fish Culture Based on Information of Image and Sound[D]. Ningbo: Ningbo University, 2018. (in Chinese with English abstract)

[8] Atoum Y, Srivastava S, Liu X M. Automatic feeding control for dense aquaculture fish tanks[J]. IEEE Signal Processing Letters, 2014, 22(8): 1089-1093.

[9] 陳明，張重陽，馮國富，等. 基于特征加權融合的魚類攝食活動強度評估方法[J]. 農業機械學報，2020，51(2)：245-253.

Chen Ming, Zhang Chongyang, Feng Guofu, et al. Intensity assessment method of fish feeding activities based on feature weighted fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(2): 245-253. (in Chinese with English abstract)

[10] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[11] Chen L, Yang X T, Sun C H, et al. Feed intake prediction model for group fish using the MEA-BP neural network in intensive aquaculture[J]. Information Processing in Agriculture, 2020, 7(2): 261-271.

[12] Adegboye M A, Aibinu A M, Kolo J G, et al. Incorporating intelligence in fish feeding system for dispensing feed based on fish feeding intensity[J]. IEEE Access, 2020, 8: 91948-91960.

[13] M?l?y H, Aamodt A, Misimi E. A spatio-temporal recurrent network for salmon feeding action recognition from underwater videos in aquaculture[J]. Computers and Electronics in Agriculture, 2019, 167: 105087.

[14] Villon S, Mouillot D, Chaumont M, et al. A deep learning method for accurate and fast identification of coral reef fishes in underwater images[J]. Ecological Informatics, 2018, 48: 238-244.

[15] 趙德安，劉曉洋，孫月平，等. 基于機器視覺的水下河蟹識別方法[J]. 農業機械學報，2019，50(3)：151-158.

Zhao Dean, Liu Xiaoyang, Sun Yueping, et al. Detection of underwater crabs based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(3): 151-158. (in Chinese with English abstract)

[16] Zhang S, Yang X T, Wang Yi Z, et al. Automatic fish population counting by machine vision and a hybrid deep neural network model[J]. Animals, 2020, 10(2): 364.

[17] Tseng C H, Hsieh C L, Kuo Y F. Automatic measurement of the body length of harvested fish using convolutional neural networks[J]. Biosystems Engineering, 2020, 189: 36-47.

[18] Zhou C, Xu D M, Chen L, et al. Evaluation of fish feeding intensity in aquaculture using a convolutional neural network and machine vision[J]. Aquaculture, 2019, 507: 457-465.

[19] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C]//Proceedings of the IEEE International Conference on Learning Representations (ICLR). San Diego: IEEE, 2015.

[20] ?verli ?, S?rensen C, Nilsson G E. Behavioral indicators of stress-coping style in rainbow trout: do males and females react differently to novelty?[J]. Physiology & Behavior, 2006, 87(3): 506-512.

[21] Howard A, Sandler M, Chu G, et al. Searching for mobilenetv3[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Seoul: IEEE, 2019.

[22] Lin M, Chen Q, Yan S. Network in network[C]//Proceedings of the IEEE International Conference on Learning Representations (ICLR). Banff: IEEE, 2014.

[23] Howard A G, Zhu M, Chen B, et al. MobileNets efficient convolutional neural networks for mobile vision applications[C]//Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR). Honolulu: IEEE, 2017.

[24] Sandler M, Howard A, Zhu M, et al. Mobilenetv2: Inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR). Salt Lake: IEEE, 2018.

[25] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR). Salt Lake: IEEE, 2018.

[26] Abeywickrama T, Cheema M A, Taniar D. K-nearest neighbors on road networks: A journey in experimentation and in-memory implementation[J]. Proceedings of the VLDB Endowment, 2016, 9(6): 492-503.

[27] Hui Y, Mei X S, Jiang G D, et al. Milling tool wear state recognition by vibration signal using a stacked generalization ensemble model[J]. Shock and Vibration, 2019, 2019(3): 1-16.

[28] Friedman J H. Greedy function approximation: A gradient boosting machine[J]. The Annals of Statistics, 2001, 29(5): 1189-1232.

[29] 周志華. 機器學習[M]. 北京：清華大學出版社，2016：183-185.

[30] 國家環境保護局. 漁業水質標準：GB 11607-1989[S]. 北京：中國標準出版社，1990.

Classification of perch ingesting condition using lightweight neural network MobileNetV3-Small

Zhu Ming1,3, Zhang Zhenfu1,2, Huang Huang1,2※, Chen Yanyan1, Liu Yadong1, Dong Tao1

(1.,430070,; 2.,,430070,; 3.430070)

Intelligent feeding has widely been used to determine the amount of feed from a smart prediction about the hunger degree of fish, thereby effectively reducing the waste of feed in the modern aquaculture industry, especially for outdoor intensive fish breeding environments. However, redundant data collected by mobile monitoring devices has caused a huge calculation load for most control systems. An accurate classification of the hunger degree of fish still remains an unsolved problem. Taking the captive perch as the tested object, this work aims to design an image capture system for the perch feeding using MobileNetV3-Small of lightweight neural network. The system also consisted of 2 captive fonds, a camera, and a video recorder. In the test, 4202 perches were randomly fed with adequate or inadequate feed, where a camera was selected to record the water surface every day. 10 000 images were collected after 2-week monitoring to record the perch ingesting condition in the period of 80～110 seconds after per round feeding condition, where 50% belonged to “hungry” condition, and the rest was “non-hungry” condition. These initial images were then divided as training, validation, and testing set, according to a rate of 6:2:2. Four image processing operations were applied on the training set, containing random flipping, random cropping, adding Gaussian noise, and color dithering, thereby expanding the training set from 6 000 to 12 000 images. As such, the more generalized model greatly enhanced the image features and training samples. Next, a MobileNetV3-Small of lightweight Neural Network was selected to classify the ingesting condition of perches. The model was trained, tested, and established on the Tensorflow2 platform, where the images of the training set were selected as the input, whereas, the ingesting condition as the output. Finally, a 2-week feeding contrast test was carried out in the outdoor culture environment to verify the accuracy of the model. Two groups were set for 4202 perches in this test, 2096 of the test group and 2106 of the control group, where the amount of feed was determined according to the classification of model and conventional experience. Meanwhile, the total mass and quantity of the two groups were recorded at the beginning and end of the test, as well as the total amount of consumed feed. Correspondingly, it was found that the MobileNetV3-Small network model achieved a combined accuracy of 99.60% in the test set with an F1 score of 99.60%. The MobileNetV3-Small model presented the smallest Floating Point Operations of 582 M and the largest average classification rate of 39.21 frames/s, compared with ResNet-18, ShuffleNetV2, and MobileNetV3-Large deep learning models. Specifically, the combined accuracies of the MobileNetV3-Small model were 12.74, 23.85, 3.6, and 2.78 percentage points higher than that of the traditional machine learning models KNN, SVM, GBDT, and Stacking. Furthermore, the test group of perch was achieved a lower Feed Conversion Ratio of 1.42, and a higher Weight Gain Ratio of 5.56%, compared with the control group, indicating that the MobileNetV3-Small model performed a better classification on the ingesting condition in a real outdoor culture environment. Consequently, the classification of the ingesting condition can widely be expected for the efficient decision-making for the amount of fish feed, particularly suitable for the growth of fish. The finding can provide a further reference for efficient and intelligent feeding in an intensive cultural environment.

aquaculture; machine vision; image recognition; deep learning; neural network; perch

朱明，張鎮府，黃凰，等. 基于輕量級神經網絡MobileNetV3-Small的鱸魚攝食狀態分類[J]. 農業工程學報，2021，37(19)：165-172.doi：10.11975/j.issn.1002-6819.2021.19.019 http://www.tcsae.org

Zhu Ming, Zhang Zhenfu, Huang Huang, et al. Classification of perch ingesting condition using lightweight neural network MobileNetV3-Small[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(19): 165-172. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.19.019 http://www.tcsae.org

2021-06-11

2021-09-19

湖北省農業科技創新行動；中央高校基本科研業務費專項資金資助項目（107/11041910103）；中國工程院咨詢項目（2019-ZD-5）

朱明，研究員，博士生導師，研究方向為農業工程管理。Email：13801392760@163.com

黃凰，博士，講師，研究方向為農業機械化與農業智能化管理。Email：wmyhuang@qq.com

10.11975/j.issn.1002-6819.2021.19.019

S951.2

A

1002-6819(2021)-19-0165-08