基于遷移學習的PSO-ShuffleNet魚類識別方法

張溟晨,趙 倫,施 杰,林 森,王海波,Md Shafiqul Islam

(1 云南農業大學機電工程學院,云南 昆明 650201;2 深圳職業技術學院智能制造技術研究院,廣東 深圳 518055;3 瑞典布京理工大學機械工程學院,瑞典 卡爾斯克魯納 37179)

在中國魚類多樣性資源保護及現代漁業生產中,魚類種群信息采集技術相對落后,通過機器視覺采集種群信息可提升中國魚類生物多樣性保護能力,推動漁業現代化發展進程[1-2]。國外針對魚類識別問題的研究相對較早,技術較為成熟,Alsmadi等[3]采用BP神經網絡與決策樹算法構建了魚類識別模型,并將其運用于全球魚類信息系統的圖像識別中,達到了84%的準確率,解決了早期魚類識別研究中未將特征選擇、圖像分割和幾何參數相結合的問題,實現了監督學習在魚類識別中的應用。Schulein等[4]提出了一種基于神經網絡的三維積分成像水中目標識別方法,該方法解決了以往神經網絡僅能夠實現二維目標識別的問題,首次實現了水下全息三維物體識別。Salman等[5]采用CNN對層次特征組合進行設置,提高了無約束魚類識別網絡的性能,該網絡在LifeCLEF15數據集上的識別正確率高達90%。lqbal等[6]通過改變AlexNet網絡中的卷積層數和全連接層數,對原始網絡進行改進,并將其運用于魚類識別問題中,測試精度高達90.48%,解決了原AlexNet訓練過程中內存占用大,計算復雜的問題,實現了魚類識別網絡的輕量化。國內針對魚類識別問題的研究起步較晚,技術相對落后。杜偉東等[7]提出了基于SVM的決策融合魚類識別方法,該方法以魚類聲學散射數據作為研究樣本,利用小波變換和離散余弦變換對數據進行特征提取,通過SVM分類器輸出最終結果。李海濤等[8]提出了基于VGG-16的海水養殖病害診斷模型,針對對蝦的6種常見病害進行識別研究,網絡的平均準確率為90.66%。該診斷模型的提出解決了原VGG-16網絡在對蝦病害診斷過程中識別精度較低的問題,提高了網絡的魯棒性和泛化能力。張勝茂等[9]基于TensorFlow平臺采用SSD_MobileNet_v1模型開發了水族館魚類目標檢測APP,在華為MHA-AL00手機的平均檢測時間為40 ms,解決了魚類識別檢測模型在手機移動設備的部署問題,實現了手機移動端的實時魚類識別功能。楊文靜等[10]提出了一種面向渾濁水域的魚類識別方法,該方法采用改進Retinex算法對水下魚類圖像進行增強處理,利用YOLOv4網絡進行目標識別,網絡的mAP為89.59%,解決了常規魚類識別算法的識別效果受水域渾濁程度影響較大的問題,實現了圖像增強方法與魚類識別技術的融合應用。

近年來,國內外對魚類識別技術的研究較為廣泛,采用卷積神經網絡、無監督學習、圖像增強等多種方法從不同角度進行了試驗。雖然魚類識別技術有所提升,但模型訓練過程中的超參數均采用人為設定的方式,不具備自適應能力。為了解決上述問題,本研究針對算法訓練過程中超參數不能夠自適應確定的問題,并結合粒子群優化原理,提出了基于遷移學習的PSO-ShuffleNet魚類識別方法,實現了模型參數的自適應設定和較高的識別正確率。

1 ShuffleNet改進模型

1.1 ShuffleNet模型

ShuffleNet是一種輕量級卷積神經網絡,采用分組逐點卷積(Pointwise Group Convolution)與通道混洗(Channel Shuffle)結構,在保證識別正確率的同時減少了權重參數[11-14]。該模型通過打亂組卷積之間的輸出結果,以解決特征提取過程中缺乏信息融合的問題,提升了不同組卷積之間的關聯性。ShuffleNet相較與AlexNet、MobileNet等傳統模型提升了特征提取能力,在識別精度和速度上取得較好的平衡,因此本研究以ShuffleNet模型為基礎,研究魚類識別方法。

1.2 粒子群算法

粒子群算法(Particle Swarm Optimization,PSO)的尋優思想來自大自然鳥類等生物的覓食行為,通過模擬鳥類覓食中存在的競爭合作和信息共享等現象,實現對目標函數最優解的尋找[15-17],其更新過程如式(1)～(4)所示:

V′i=M+N

(1)

M=ω×Vi+c1×r×[pbest(i)-Xi]

(2)

N=c2×r×[gbest(i)-Xi]

(3)

X′i=Xi+V′i

(4)

式中:Xi表示第i個粒子;Vi表示速度;pbest(i)表示尋優過程中出現的最佳位置;gbest(i)為粒子最佳位置;X′i和V′i為更新后的結果;c1,c2為常量;r為0～1的隨機數;ω為慣性權值。

1.3 基于粒子群優化的ShuffleNet模型

卷積神經網絡訓練過程中,模型參數的選擇對于網絡性能有著重要影響,批處理大小影響模型梯度的下降過程,學習率影響模型的收斂性能[18-20]。由于ShuffleNet相較于AlexNet、MobileNet等具有特征提取部分信息融合能力更強,正向傳播過程復雜程度高的特點,因此對于批處理大小和學習率參數的選擇十分重要。針對ShuffleNet模型訓練過程中參數設定不具備自適應性的問題,采用粒子群算法對上述ShuffleNet模型進行改進。選擇交叉熵作為模型的損失函數,如式5所示:

(5)

PSO-ShuffleNet算法流程如圖1所示。

圖1 PSO-ShuffleNet算法流程Fig.1 PSO-ShuffleNet algorithm flow

將網絡訓練中的損失函數作為粒子群算法的適應度函數,以求得最小損失函數值為目標,對模型訓練過程中批處理大小和學習率兩個參數進行優化。首先,程序根據模型批處理大小和學習率的預設范圍隨機初始化粒子種群并設置速度和位置,并對ShuffleNet的交叉熵損失函數進行計算以獲得每個粒子對應的適應度函數值。然后,根據適應度函數的計算結果更新粒子歷史最優位置與全局最優位置,判斷是否滿足算法結束條件。若滿足則停止計算,輸出批處理大小和學習率的最優組合,若不滿足則循環上述粒子更新過程,直至算法收斂。最后,采用粒子群算法獲得的最佳參數組合對ShuffleNet進行訓練,得到最終模型。

2 PSO-ShuffleNet結合遷移學習

2.1 遷移學習

傳統深度學習總是采用特定訓練樣本,從原始階段開始學習,這種方法在訓練樣本足夠,計算資源充沛的前提下是可行的。但是當訓練樣本較少,計算資源匱乏時,傳統深度學習方法無法滿足分類識別的精度要求,為了解決這一問題,研究者提出了遷移學習的方法[21-22]。卷積神經網絡提取特征過程中,淺層卷積層主要用于提取表層局部信息,深層卷積層可提取整體抽象信息。由于淺層網絡所提取的特征信息具有一定共性,因此可利用其他相關數據集對原始模型進行預訓練,得到初始權重參數[23-25]。此時的模型已具備較強局部特征提取能力,保留預訓練模型參數作為新模型的初始權重,采用特定小樣本數據集對模型進行再訓練,從而能夠達到更佳的識別效果[26]。

2.2 基于遷移學習的PSO-ShuffleNet模型

在PSO-ShuffleNet模型基礎上,采用遷移學習的方式進行訓練,首先利用ImageNet全部數據集對原網絡進行預訓練,保留權重參數。然后,設定模型所需識別的類別數目,并將預訓練得到的權重載入至新模型中,使用特定數據集對其再訓練。最后,對模型進行微調處理,得到最終結果。

3 基于TL-PSO-ShuffleNet模型的魚類識別方法

將粒子群優化原理、遷移學習和ShuffleNet模型相結合以實現魚類種類識別。首先,采用粒子群算法對ShuffleNet的批處理大小和學習率進行尋優以獲取最佳超參數組合;然后,利用ImageNet全部數據集對模型進行預訓練,將訓練后的權重參數遷移至新模型中,采用魚類數據集對其進行再訓練,從而獲得最終識別模型。基于TL-PSO-ShuffleNet模型的魚類識別方法具體步驟如下:

1)采集魚類數據圖像。

2)將ShuffleNet模型的分類損失函數設定為粒子群算法的適應度函數,并以獲取最小損失函數值為尋優目標。設定模型批處理大小和學習率的超參數組合為粒子狀態信息。

3)粒子群算法參數設置:設置種群數量、慣性因子、加速度因子和種群迭代次數。

4)初始化粒子種群,進行適應度函數的計算。

5)更新粒子的最優位置,判斷是否滿足算法結束條件。

6)輸出最佳批處理大小和學習率的超參數組合,將其運用在后續模型訓練中。

7)采用ImageNet全部數據集對最佳超參數設定的ShuffleNet進行預訓練,并將權重參數遷移至新模型中。

8)采用魚類數據集對遷移后的模型進行再訓練以得到最終識別模型。

9)輸入測試魚類圖像,模型輸出識別結果。

4 魚類識別試驗

4.1 試驗平臺與試驗數據

研究采用ImageNet數據集中的20種魚類圖像作為試驗樣本,單個種類圖片1 300張,共26 000張圖片。隨機選取數據集的70%作為訓練樣本,其余30%作為測試樣本,圖2為部分魚類訓練樣本。

圖2 部分魚類訓練樣本Fig.2 Partial fish training samples

本試驗均采用的運行環境為Python 3.7、Miniconda 3、Pytorch1 9.0,采用PyCharm 2021.3.2(Community Edition)作為集成開發環境,計算機配置為Intel(R)Core(TM)i7-10875H CPU @ 2.30GHz,16.0 GB內存,NVIDIA GeForce RTX 2070 GPU,8.0 GB顯存,CUDA11.6。

4.2 基于TL-PSO-ShuffleNet模型的魚類識別試驗

TL-PSO-ShuffleNet魚類識別模型試驗首先采用粒子群算法對批處理大小、學習率進行尋優以得到最佳超參數組合。然后,利用ImageNet全部數據集對POS-ShuffleNet進行訓練,將權重參數遷移至新模型并采用魚類圖像樣本進行再訓練。根據文獻[27-28]提供的粒子群和ShuffleNet參數設定方法作為參考,本研究設置粒子群算法的種群大小為20,慣性權重為0.8,加速因數為0.5,種群迭代次數為50,神經網絡訓練的迭代次數為500。試驗將魚類訓練樣本剪裁成224×224大小,然后隨機翻轉,采用批量歸一化(Batch Normalization,BN)處理加快模型的收斂速度,提高網絡訓練的魯棒性。其計算過程如式(6)所示:

(6)

4.3 結果與分析

訓練TL-PSO-ShuffleNet網絡,并對該模型進行測試。粒子群算法進化過程如圖3所示。

圖3 粒子群算法進化過程Fig.3 Particle swarm algorithm evolution process

ShuffleNet網絡的訓練損失函數值在50次迭代過程中得到降低,說明采用粒子群算法對ShuffleNet的優化是有效的。網絡的最小損失函數值為0.298 7,對應的最佳批處理大小為57,最佳學習率為0.000 1。圖4為基于遷移學習的魚類識別PSO-ShuffleNet模型訓練過程,網絡在前20次迭代過程中快速收斂,最終正確率為0.90。

圖4 TL-PSO-ShuffleNet模型訓練過程Fig.4 TL-PSO-ShuffleNet model training process

該網絡模型的混淆矩陣如圖5所示。由該矩陣可以看出,每種魚類圖像測試樣本均為51,goldfish、lionfish和rock_beauty_fish的正確識別個數為51,正確率為1.0,gar_fish的正確識別個數為39,正確率為0.76。所有類別的平均檢測正確率為0.91。試驗表明,該模型對goldfish、lionfish和rock_beauty_fish的識別效果較好,對gar_fish的識別效果較差。

圖5 TL-PSO-ShuffleNet模型混淆矩陣Fig.5 TL-PSO-ShuffleNet model confusion matrix

表1為部分TL-PSO-ShuffleNet模型的測試結果,其反映了識別不同魚類的精確率、召回率和特異度。

表1 TL-PSO-ShuffleNet模型部分測試結果Tab.1 Partial test results of TL-PSO-ShuffleNet model

在所檢測的20種魚類別中,anemone_fish的精確率最高為1.0,hammerhead_fish的精確率最低為0.825,所有類別的平均精確率為0.91。goldfish、lionfish和rock_beauty的召回率最高為1.0,gar_fish的召回率最低為0.765,所有類別的平均召回率為0.91。anemone_fish的特異度最高為1.0,gar_fish的特異度最低為0.985,所有類別的平均特異度為0.990。由此可見,該模型泛化能力較強,對anemone_fish的識別精度較高,對hammerhead_fish的識別精度較低。

4.4 模型對比分析

為了驗證TL-PSO-ShuffleNet魚類識別方法的有效性,與AlexNet[29]、MobileNet[30]、ShuffleNet和PSO-ShuffleNet模型進行對比試驗,結果如圖6所示。

圖6 5種模型正確率對比Fig.6 Comparison of the five models' correct rates

AlexNet模型的正確率為0.57,MobileNet模型的正確率為0.69,ShuffleNet模型的正確率為0.73,PSO-ShuffleNet模型的正確率為0.81,TL-PSO-ShuffleNet模型的正確率為0.90。由此可見,利用粒子群算法對模型訓練中的超參數進行尋優可有效改善模型性能;采用遷移學習的方法能夠提高網絡的正確率和收斂性能。試驗表明,TL-PSO-ShuffleNet模型性能最佳。

5 結論

本研究針對ShuffleNet模型訓練過程中參數不能夠自適應確定的問題,采用粒子群算法將模型的損失函數作為適應度函數,對批處理大小和學習率兩個參數進行優化,建立了基于TL的PSO-ShuffleNet模型。研究表明,AlexNet的正確率為0.57,MobileNet的正確率為0.69,ShuffleNet的正確率為0.73,PSO-ShuffleNet的正確率為0.81,TL-PSO-ShuffleNet的正確率為0.90,該模型性能最優。研究表明,基于TL-PSO-ShuffleNet識別方法能夠實現較高準確率的魚類識別。