基于Se-ResNet101+KNN的魚(yú)類(lèi)分類(lèi)研究

張守棋，蘇海濤

（青島科技大學(xué)信息科學(xué)與技術(shù)學(xué)院，山東青島 266061)

0 引言

隨著現(xiàn)代海洋漁業(yè)不斷發(fā)展，許多識(shí)別技術(shù)和機(jī)制也在不斷更新迭代。其中海洋魚(yú)類(lèi)分類(lèi)就是一重要領(lǐng)域，傳統(tǒng)分類(lèi)一般以魚(yú)的體態(tài)特征為依據(jù)，如形狀、顏色等，雖然準(zhǔn)確率相對(duì)較高，但同時(shí)缺點(diǎn)也很明顯，如耗時(shí)長(zhǎng)、強(qiáng)度大，得到的結(jié)果極易受主觀因素影響等。

與此同時(shí)，機(jī)器學(xué)習(xí)技術(shù)在多個(gè)領(lǐng)域逐漸應(yīng)用，相關(guān)研究人員開(kāi)始將機(jī)器學(xué)習(xí)應(yīng)用于海洋魚(yú)類(lèi)的自動(dòng)識(shí)別并分類(lèi)。如王文成等人[1]通過(guò)提取不同種類(lèi)比目魚(yú)圖像的形狀和顏色等特征，構(gòu)建分類(lèi)器實(shí)現(xiàn)比目魚(yú)的自動(dòng)分類(lèi)，分類(lèi)精度達(dá)到92.8%。

Hu等人[2]通過(guò)人工對(duì)魚(yú)體圖像進(jìn)行錨點(diǎn)定位，并利用BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行魚(yú)體形態(tài)特征的提取，得到了84%的準(zhǔn)確率。但是，它的弊端也是顯而易見(jiàn)的。首先，機(jī)器學(xué)習(xí)對(duì)數(shù)據(jù)的依賴性非常強(qiáng)，若訓(xùn)練的數(shù)據(jù)質(zhì)量不高，就可能導(dǎo)致學(xué)到的模型不全面，從而造成錯(cuò)誤的分類(lèi)或被欺騙現(xiàn)象。其次，機(jī)器學(xué)習(xí)取決于學(xué)習(xí)模型的類(lèi)型，而模型的選取直接影響到機(jī)器學(xué)習(xí)系統(tǒng)的性能。最后，機(jī)器學(xué)習(xí)不能執(zhí)行特定多種任務(wù)，其并行度相對(duì)較低。

相比之下深度學(xué)習(xí)在分類(lèi)問(wèn)題上也有很好的表現(xiàn)，其能夠?qū)崿F(xiàn)自動(dòng)抽取圖像的特征，并直接提供預(yù)測(cè)結(jié)果，從而簡(jiǎn)化運(yùn)算過(guò)程，增強(qiáng)了泛化能力，因而逐漸在各個(gè)領(lǐng)域得到應(yīng)用。同時(shí)，對(duì)魚(yú)類(lèi)識(shí)別的研究也逐漸深入，如：提出了一種基于稀疏低序矩陣分解的方法，并采用深度結(jié)構(gòu)與線性SVN相結(jié)合的方法等對(duì)魚(yú)類(lèi)進(jìn)行分類(lèi)；利用形態(tài)學(xué)運(yùn)算、金字塔平移等[3]方法去除了背景噪聲，然后利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)。

雖然機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法在分類(lèi)中進(jìn)行了一些進(jìn)展，但針對(duì)海洋魚(yú)類(lèi)圖像信息特征的敏感性和結(jié)果的準(zhǔn)確率仍然有待進(jìn)一步提高。鑒于上述問(wèn)題，本文提出了一種基于KNN 和Se-ResNet101網(wǎng)絡(luò)組合的自動(dòng)魚(yú)類(lèi)識(shí)別方法，首先，執(zhí)行魚(yú)數(shù)據(jù)集的可視化分析和圖像預(yù)處理；其次，Se-ResNet101 模型被構(gòu)造為廣義特征提取器，并且遷移到目標(biāo)數(shù)據(jù)集；最后，在Fully connected layer 層的特征信息，對(duì)特征信息首先通過(guò)KNN分類(lèi)，得到一個(gè)由KNN處理后的結(jié)果，在對(duì)得到的結(jié)果進(jìn)行卷積上實(shí)現(xiàn)魚(yú)類(lèi)鑒定。本文的主要貢獻(xiàn)可以概括如下：

1) 所提出的KNN 和Se-ResNet101 相結(jié)合，可以提升小規(guī)模細(xì)粒度圖像分類(lèi)的效果。

2)基于KNN 和Se-ResNet101 網(wǎng)絡(luò)的自動(dòng)魚(yú)類(lèi)分類(lèi)方法在NOAA Fisheries 公共數(shù)據(jù)集上進(jìn)行了提出和測(cè)試，其準(zhǔn)確率優(yōu)于常用方法。

1 材料和方法

1.1 數(shù)據(jù)集

本實(shí)驗(yàn)的數(shù)據(jù)集由美國(guó)國(guó)家海洋漁業(yè)局(NOAA Fisheries)提供，該數(shù)據(jù)集由三個(gè)部分組成：訓(xùn)練、驗(yàn)證和測(cè)試圖像集，其中訓(xùn)練集和測(cè)試集附帶的注釋數(shù)據(jù)定義了圖像中每個(gè)標(biāo)記的魚(yú)目標(biāo)對(duì)象的位置和范圍，并使用.dat文件格式存儲(chǔ)數(shù)據(jù)。

訓(xùn)練和驗(yàn)證圖像集：訓(xùn)練集包含929 個(gè)圖像文件，總共包括4 172張圖像。其中包含1 005條帶有相關(guān)注釋的標(biāo)記魚(yú)（它們的標(biāo)記位置和邊界矩形），這些標(biāo)記定義了各種種類(lèi)、大小和范圍的魚(yú)，并包括不同背景組成的部分。147 張海底負(fù)片圖像是從野生訓(xùn)練和測(cè)試圖像集中的標(biāo)記魚(yú)類(lèi)中提取的（提取了不包含魚(yú)類(lèi)的區(qū)域）。其余3 020 張圖像可從OpenCV Haar-Training中獲得。

測(cè)試圖像集：包含在近海底魚(yú)類(lèi)調(diào)查期間使用ROV 的高清(HD；1080i)攝像機(jī)收集的圖像序列。用于檢測(cè)的測(cè)試圖像包括來(lái)自ROV 調(diào)查的視頻片段。共標(biāo)記了2 061個(gè)魚(yú)對(duì)象，樣本如圖1所示。

圖1 NOAA Fisheries圖像示例

1.2 數(shù)據(jù)分析和預(yù)處理

為了增強(qiáng)分類(lèi)性能并節(jié)省訓(xùn)練成本，有必要預(yù)處理實(shí)驗(yàn)數(shù)據(jù)。本研究中圖像數(shù)據(jù)的預(yù)處理主要包括圖像縮放和圖像增強(qiáng)。

1.2.1 圖像縮放

在實(shí)際數(shù)據(jù)集生產(chǎn)過(guò)程中，所獲取的圖像數(shù)據(jù)都是用高清相機(jī)在水下拍攝而成，由于設(shè)備、環(huán)境等因素的影響會(huì)導(dǎo)致分辨率偏低，直接使用未經(jīng)處理的圖片會(huì)增加訓(xùn)練時(shí)長(zhǎng)、消耗存儲(chǔ)等問(wèn)題。因此，在本研究中，在模型訓(xùn)練之前將數(shù)據(jù)集中的原始圖像進(jìn)行圖像縮放操作，通過(guò)雙線性插值重新計(jì)算縮放的圖像數(shù)據(jù)，并將每個(gè)圖像的分辨率調(diào)整為256×256像素。

1.2.2 圖像增強(qiáng)

圖像增強(qiáng)是指有限的數(shù)據(jù)產(chǎn)生相當(dāng)于更多數(shù)據(jù)的值，而不會(huì)放大數(shù)據(jù)集大小。考慮到不同網(wǎng)絡(luò)結(jié)構(gòu)的輸入尺寸是不同的，為了適應(yīng)不同網(wǎng)絡(luò)結(jié)構(gòu)的輸入并提升模型的泛化能力及其魯棒性，對(duì)原始數(shù)據(jù)執(zhí)行以下數(shù)據(jù)增強(qiáng)操作[4]：使用隨機(jī)圖像差異裁剪圖像以將其分辨率重置為224，將圖像矩陣標(biāo)準(zhǔn)化為[0-1]的范圍，并適度改變圖像的飽和度、對(duì)比度和亮度。

2 技術(shù)分析

2.1 KNN原理及概述

KNN 的分類(lèi)原理是比較不同特征值的間距來(lái)實(shí)現(xiàn)的。其基本思路是：一個(gè)樣本在特征空間中的K個(gè)最相似（特征空間中最鄰近）的樣本中的大多數(shù)屬于某一個(gè)類(lèi)別，則該待測(cè)樣本也屬于這個(gè)類(lèi)別，其中K通常是不大于20 的整數(shù)。在KNN 算法中，樣本選取的鄰域都是正確分類(lèi)后的對(duì)象。這種方法僅根據(jù)最接近的一個(gè)或多個(gè)樣品的類(lèi)型來(lái)確定待分類(lèi)的分類(lèi)。

在KNN中，各個(gè)對(duì)象之間的非相似性指標(biāo)是通過(guò)計(jì)算待測(cè)樣本和已分類(lèi)K 個(gè)樣本間距離來(lái)實(shí)現(xiàn)[5]，這種方式可以有效避免對(duì)象之間匹配不均的問(wèn)題，其中距離通常使用曼哈頓距離或歐氏距離，如公式(1)、(2)所示：

歐式距離公式：

曼哈頓距離公式：

其中，它們對(duì)向量之間差異的計(jì)算過(guò)程中，各個(gè)維度差異的權(quán)值不同，如：

向量A(1,2),向量B(5,10)，則它們的：

歐氏距離：L_o=8.9;

曼哈頓距離：L_m=12;

由此可見(jiàn)，向量各個(gè)屬性之間的差距越大，則曼哈頓距離越接近歐氏距離，且曼哈頓距離得到的樣本可擴(kuò)展性更強(qiáng)。本實(shí)驗(yàn)中樣本數(shù)據(jù)量相對(duì)較大，則數(shù)據(jù)屬性差異較大，所以本實(shí)驗(yàn)選擇曼哈頓距離。

2.2 Se-ResNet網(wǎng)絡(luò)結(jié)構(gòu)

2.2.1 Se-ResNet簡(jiǎn)介

深度殘差網(wǎng)絡(luò)(Deep Residual Networks) 是目前CNN 特征提取網(wǎng)絡(luò)中廣泛使用的特征抽取方法。它主要作用是在保證高精度的同時(shí)降低數(shù)據(jù)的冗余，并使其具有更深的網(wǎng)絡(luò)模型結(jié)構(gòu)。

相較于其他網(wǎng)絡(luò)存在隨著深度增加可能帶來(lái)退化問(wèn)題、梯度彌散或梯度爆炸[6]等問(wèn)題，殘差網(wǎng)絡(luò)是一種相對(duì)易于優(yōu)化的方法。它可以利用不同深度的網(wǎng)絡(luò)結(jié)構(gòu)得到不同層次的多樣特征，隨著層次的增長(zhǎng)，它的抽象層次和語(yǔ)義信息會(huì)越來(lái)越豐富，圖像識(shí)別的精度也會(huì)越來(lái)越高。但同時(shí)如果網(wǎng)絡(luò)層太深，則會(huì)占用更多內(nèi)存，需要更多的時(shí)間。

在本研究中選擇了ResNet-18、ResNet-34、ResNet-50、ResNet-101 等不同深度的ResNet 作為試驗(yàn)對(duì)象，其中ResNet 系列網(wǎng)絡(luò)中“-”后面的數(shù)字代表了層數(shù)，同時(shí)附加AlexNet、GoogleNet、ShuffleNet 模型作為參照。在選擇表現(xiàn)最佳的模型時(shí)，通常以模型的收斂速度、大小、效率、識(shí)別的均衡性作為衡量標(biāo)準(zhǔn)。

實(shí)驗(yàn)中使用一個(gè)與眾不同的網(wǎng)絡(luò)設(shè)計(jì)，考慮通道之間的關(guān)系，提出新的結(jié)構(gòu)單元Squeeze-and-Extraction(Se)模塊，通過(guò)顯式建模通道之間的關(guān)系來(lái)提升神經(jīng)網(wǎng)絡(luò)表示的質(zhì)量，Se 模塊的示意圖如圖1所示。

圖1 Se模塊的示意圖

輸入一個(gè)任意變換的Ftr，如卷積，將輸入X 映射到特征圖U，U 的大小為H×W×C，然后U 經(jīng)過(guò)一個(gè)squeeze 操作，通過(guò)聚合特征圖的空間維度(H×W)，得到通道特征響應(yīng)的全局分布embedding。之后通過(guò)excitation 操作（簡(jiǎn)單的Self-gating 機(jī)制），以上述embedding 作為輸入，輸出每個(gè)通道的modulation 權(quán)重，該權(quán)重被作用在特征圖U 上，得到Se 模塊的輸出，可以直接送到網(wǎng)絡(luò)的后續(xù)層中。

可以直接堆疊一系列Se 模塊得到SeNet，或者替換原有網(wǎng)絡(luò)結(jié)構(gòu)的模塊。同時(shí)，盡管構(gòu)建Se模塊的方法是通用的，但是在不同深度使用Se模塊的結(jié)果是不同的，如在底層使用，更多地融入與類(lèi)別無(wú)關(guān)的lowlevel表示，而在高層使用，更多信息與類(lèi)別高度相關(guān)。

目前，新的CNN 系統(tǒng)的設(shè)計(jì)是一個(gè)復(fù)雜的工程問(wèn)題，其中包括了超參量的選取以及網(wǎng)絡(luò)的組態(tài)。可以通過(guò)替代已存在的SOTA網(wǎng)絡(luò)架構(gòu)，Se模塊可直接使用，同時(shí)其計(jì)算輕量，輕微增加模型復(fù)雜度和計(jì)算負(fù)擔(dān)。

2.2.2 Se實(shí)現(xiàn)方式

一般卷積運(yùn)算對(duì)所有信道進(jìn)行累加運(yùn)算，并將信道相關(guān)隱含地編碼在卷積核內(nèi)，但與卷積核捕獲的空間關(guān)聯(lián)緊密相關(guān)。本文旨在明確地建立信道間的相互關(guān)系，加強(qiáng)卷積特性的學(xué)習(xí)，從而使網(wǎng)絡(luò)能夠更好地識(shí)別信息的特性，并被后續(xù)轉(zhuǎn)換所利用。

squeeze：

全局信息embedding該步驟由全局平均池化實(shí)現(xiàn)（這里可以使用更復(fù)雜的策略），如公式(3)所示：

全局平均池化公式：

Excitation：Adaptive Recalibration

該操作用于捕捉通道之間的相關(guān)性，需要具有靈活性（希望學(xué)習(xí)通道之間的非線性關(guān)系），需要學(xué)習(xí)anon-mutually-exclusive relationship（希望強(qiáng)調(diào)多個(gè)通道，而不是得到one-hot activation)，如公式(4)所示：

多通道相關(guān)性公式：

其中，δ指的是ReLU，W1和W2是兩個(gè)全連接層，最終以如下形式獲得輸出(s為excitation 得到scale 因子，u為H×W的特征圖）：

Se模塊輸出：

2.2.3 Se模塊實(shí)例化

Se 模塊能夠融入像VGG 的標(biāo)準(zhǔn)結(jié)構(gòu)，在每個(gè)卷積的非線性后使用。Se 模塊能夠在各種結(jié)構(gòu)中靈活使用，比如Inception和ResNet。

在Inception中，研究人員試圖暴力地提高網(wǎng)絡(luò)的層次，以提高識(shí)別精度，但在復(fù)雜問(wèn)題面前，過(guò)于淺顯的網(wǎng)絡(luò)難以取得預(yù)期的結(jié)果。因此，加深網(wǎng)絡(luò)依然是目前解決圖像分類(lèi)問(wèn)題最好方案[7]。但是增加網(wǎng)絡(luò)很容易造成overfiting，甚至是在訓(xùn)練集上其結(jié)果也不如淺層網(wǎng)絡(luò)，因此，如何有效提高網(wǎng)絡(luò)層數(shù)成為當(dāng)前深度學(xué)習(xí)領(lǐng)域的一個(gè)重要課題，Se-Inception結(jié)構(gòu)如圖2所示。

圖2 Se-Inception示意圖

為了解決這個(gè)問(wèn)題，研究者提出了一種新型的網(wǎng)絡(luò)結(jié)構(gòu)Se-Net，這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)可以對(duì)所有網(wǎng)絡(luò)進(jìn)行改進(jìn)，做到真正有效地增加層數(shù)，無(wú)論原網(wǎng)絡(luò)層數(shù)有多深，通過(guò)加入Se-Net，都能增加相當(dāng)數(shù)量的深度，有效提高實(shí)驗(yàn)效果，Se-ResNet結(jié)構(gòu)如圖3所示。

圖3 Se-ResNet示意圖

2.3 KNN和Se-ResNet組合

圖4 為Se-ResNet 整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)模型，首先是一個(gè)包含輸入、卷積、池化的多層結(jié)構(gòu)模型，每一層都會(huì)產(chǎn)生一個(gè)特征響應(yīng)，以及相應(yīng)的功能轉(zhuǎn)移到下一層結(jié)構(gòu)。完全連接利用多層卷積的方法，對(duì)所獲得的圖像進(jìn)行卷積處理圖像特征。該層結(jié)構(gòu)的特征信息是提取圖像的特征向量全連接層作為支持向量的參數(shù)輸入機(jī)器，整體結(jié)構(gòu)如圖4所示。

圖4 SeResNet-101+KNN組合圖

魚(yú)類(lèi)深層特征的處理是一個(gè)非線性分類(lèi)因此。KNN通過(guò)引入核函數(shù)對(duì)空間進(jìn)行變換，得到最優(yōu)分類(lèi)曲面，將非線性分類(lèi)問(wèn)題轉(zhuǎn)化為線性分類(lèi)問(wèn)題高維空間中的分類(lèi)問(wèn)題。其中在Fully connected layer層的特征信息，首先通過(guò)KNN分類(lèi)，得到一個(gè)由KNN處理后的結(jié)果，再對(duì)得到的結(jié)果進(jìn)行卷積。

3 Se-ResNet系列網(wǎng)絡(luò)設(shè)計(jì)與實(shí)現(xiàn)

3.1 ResNet系列網(wǎng)絡(luò)

3.1.1 ResNet基本網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)由于其精度會(huì)隨著網(wǎng)絡(luò)深度的增加，準(zhǔn)確率逐漸趨于飽和且快速遞減，導(dǎo)致其在一些復(fù)雜的任務(wù)中出現(xiàn)性能上的瓶頸，所以僅靠增加網(wǎng)絡(luò)層數(shù)來(lái)實(shí)現(xiàn)準(zhǔn)確率上升是不可行的。文獻(xiàn)[8]證實(shí)了這類(lèi)問(wèn)題并非過(guò)擬合導(dǎo)致的。He 等人[9]針對(duì)這一問(wèn)題，提出一種基于殘差結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò)。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)是用堆棧直接匹配所需要的底層映射，殘差網(wǎng)絡(luò)則利用“快速連接”的模塊來(lái)實(shí)現(xiàn)，如圖5所示。

圖5 殘差模塊示意圖

假設(shè)非線性的疊加層為F(x)，擬合目標(biāo)函數(shù)為H(x),傳統(tǒng)做法是使F(x) 無(wú)限逼近H(x),然而殘差結(jié)構(gòu)中采用F(x) 逼近H(x) -x的方式，此結(jié)構(gòu)的好處是深層網(wǎng)絡(luò)能夠等價(jià)接收到淺層特征，使淺層和深層得到有效交流。由于網(wǎng)絡(luò)的正向傳輸特性，使其在深層不易被忽視，而在逆向傳輸過(guò)程中，則可以將其傳遞到淺層，有效地克服了網(wǎng)絡(luò)的退化問(wèn)題[10]。這樣就可以根據(jù)實(shí)際情況，設(shè)計(jì)出更大深度的網(wǎng)絡(luò)結(jié)構(gòu)，以提高網(wǎng)絡(luò)的性能。對(duì)于圖5中的殘差模塊，其擁有兩層卷積層和一個(gè)快捷連接，如公式(6)。

式中：x、y為模塊的輸入與輸出，Wi為各層的權(quán)重，F(xiàn)(x,{Wi}) 是模塊需要擬合的映射。層與層之間的激活函數(shù)(activation function) 使用線性整流函數(shù)(ReLU)，如公式(7)所示：

3.1.2 ResNet系列網(wǎng)絡(luò)

圖6描述了ResNet 多個(gè)版本的具體結(jié)構(gòu)，所有的ResNet 都分為5 個(gè)stage。如ResNet101 所示，Stage 0的結(jié)構(gòu)比較簡(jiǎn)單，可以視其為對(duì)INPUT的預(yù)處理，后4個(gè)Stage 都由BN 組成，結(jié)構(gòu)較為相似。Stage 1 包含3個(gè)BN，剩下的3個(gè)stage分別包括4、23、3個(gè)BN。

圖6 ResNet結(jié)構(gòu)示意圖

Stage：

在Stage 0中，形狀為(3,224,224)的輸入先后經(jīng)過(guò)卷積層、BN 層、ReLU 激活函數(shù)、MaxPooling 層得到了形狀為(64,56,56)的輸出，其他stage同理。

BN(Bottleneck)：

在本圖最右側(cè)，介紹了2 種BN 的結(jié)構(gòu)。2 種BN分別對(duì)應(yīng)了2種情況：輸入與輸出通道數(shù)相同(BN2)、輸入與輸出通道數(shù)不同(BN1)，這一點(diǎn)可以結(jié)合改進(jìn)ResNet圖像分類(lèi)模型[11]。

BN1(Bottleneck1)：

BN1 有4 個(gè)可變的參數(shù)C、W、C1 和S。與BN2 相比，BN1多了1個(gè)右側(cè)的卷積層，

令其為函數(shù)。BN1 對(duì)應(yīng)了輸入與輸出通道數(shù)不同的情況，也正是這個(gè)添加的卷積層將起到匹配輸入與輸出維度差異的作用（和通道數(shù)相同），進(jìn)而可以進(jìn)行求和。

BN2(Bottleneck2)：

BN2 有2 個(gè)可變的參數(shù)C和W，即輸入的形狀(C,W,W)中的c和W。

令輸入的形狀為(C,W,W)，令BN2 左側(cè)的3 個(gè)卷積塊（以及相關(guān)BN和RELU)為函數(shù)，兩者相加后再經(jīng)過(guò)1個(gè)ReLU激活函數(shù)，就得到了BN2的輸出，該輸出的形狀仍為(C,W,W)，即上文所說(shuō)的BN2 對(duì)應(yīng)輸入與輸出通道數(shù)相同的情況。

3.2 實(shí)驗(yàn)設(shè)計(jì)與實(shí)現(xiàn)

3.2.1 模型設(shè)計(jì)

本文所提的基于Se-ResNet101 模型和KNN 組合的模式實(shí)現(xiàn)海洋魚(yú)類(lèi)的分類(lèi)，其中主要的模型設(shè)計(jì)步驟如下:

Step 1：導(dǎo)入模塊：將Se-ResNet101 基礎(chǔ)網(wǎng)絡(luò)和KNN模塊導(dǎo)入，并實(shí)例化對(duì)象。

Step 2：數(shù)據(jù)預(yù)處理：將圖像進(jìn)行縮放和增強(qiáng)，將每個(gè)圖像的分辨率調(diào)整為255×255 像素。使用隨機(jī)圖像差異裁剪圖像以將其分辨率重置為224，將圖像矩陣標(biāo)準(zhǔn)化為[0-1]的范圍，并隨機(jī)改變圖像的亮度，對(duì)比度和飽和度。

Step 3：KNN預(yù)分類(lèi)：將full connect layer層數(shù)據(jù)通過(guò)KNN進(jìn)行預(yù)處理進(jìn)行分類(lèi)。

Step 4：模型訓(xùn)練：將Step3 處理后的數(shù)據(jù)進(jìn)行激活、卷積、池化操作并將結(jié)果保存在Res數(shù)組變量中

Step 5：取最優(yōu)K值：將設(shè)置K值設(shè)置在1～10，并且重復(fù)Step3～Step4 步驟。對(duì)比數(shù)組Res 結(jié)果，取最大值作為最優(yōu)解。

3.2.2 K值選擇

在實(shí)驗(yàn)過(guò)程中KNN 本質(zhì)上起到了將特征信息預(yù)分類(lèi)的作用，結(jié)果如圖8所示。從圖中可看出，K值在1～11之間不斷變化，當(dāng)K值在1～7時(shí)，準(zhǔn)確率隨著K值的不斷增大而增大。當(dāng)K 在7～11 時(shí)，整體的收斂速度明顯下降，是1～7 區(qū)間的2 倍。當(dāng)K=7 時(shí)，各個(gè)網(wǎng)絡(luò)得到的準(zhǔn)確率最高，其中Se-ResNet101準(zhǔn)確率達(dá)到最高的98.83%，如圖7所示。

圖7 K-Rate折線圖

4 實(shí)驗(yàn)結(jié)果分析

4.1 模型訓(xùn)練

模型訓(xùn)練環(huán)境為centos7，CPU R5 3600X，GPU NVIDIA GTX2060s，32G RAM，2T SSD ROM。按照8：2的比例劃分為訓(xùn)練集和驗(yàn)證集，訓(xùn)練模型輸入600×600像素的圖片6 233張，迭代次數(shù)為101次。

4.2 結(jié)果分析

4.2.1 實(shí)驗(yàn)結(jié)果評(píng)判指標(biāo)

在實(shí)驗(yàn)中，通過(guò)Accuracy、Sensitivity、Specificity、FPR和F1Score評(píng)估每個(gè)分類(lèi)器性能。這些指標(biāo)在評(píng)估實(shí)驗(yàn)結(jié)果方面發(fā)揮了關(guān)鍵作用，如公式(8)所示：

(1)Accuracy是一種不計(jì)正例或負(fù)例的抽樣，即正確預(yù)測(cè)的樣本數(shù)占總預(yù)測(cè)樣本數(shù)的比值，如公式(9)所示。

(2)Sensitivity又叫真正例率，或者真陽(yáng)性率，它的意義是陽(yáng)性的那部分?jǐn)?shù)據(jù)被預(yù)測(cè)為陽(yáng)性。敏感性越高，結(jié)果的正確率越高。實(shí)際上就是預(yù)測(cè)正確的結(jié)果占真正的正確結(jié)果的百分比，如公式(10)所示：

(3)Specificity又叫真反例率，或者真陰性率，它的意義是陰性的那部分?jǐn)?shù)據(jù)被預(yù)測(cè)為陰性。特異性越高，確診概率越高。實(shí)際上就是預(yù)測(cè)不正確的結(jié)果占真正的不正確結(jié)果的百分比，如公式(11)所示：

(4) FPR(false Positive Rate) 預(yù)測(cè)錯(cuò)誤的正類(lèi)占實(shí)際負(fù)類(lèi)的比例，即給定數(shù)據(jù)集標(biāo)簽后，統(tǒng)計(jì)出負(fù)樣本個(gè)數(shù)即可作為分母，如公式(12)所示。

(5)F1 Score是Precision和Recall的調(diào)和平均，Recall 和Precision 任何一個(gè)數(shù)值減小，F(xiàn)-score 都會(huì)減小，反之，亦然。

其中，TP(True Positive)、TN(True Negative)、FP(False Positive)、FN(False Negative)，positive和negative表示預(yù)測(cè)得到的結(jié)果，預(yù)測(cè)為正類(lèi)則為positive，預(yù)測(cè)為負(fù)類(lèi)則為negative;true表示預(yù)測(cè)的結(jié)果和真實(shí)結(jié)果相同，false則表示不同。

4.2.2 實(shí)驗(yàn)結(jié)果分析

在該實(shí)驗(yàn)中，使用卷積神經(jīng)網(wǎng)絡(luò)作為提取模塊來(lái)選擇圖像特征信息。然后將每個(gè)神經(jīng)網(wǎng)絡(luò)的特征信息導(dǎo)入KNN 進(jìn)行分類(lèi)。特征信息從模型中的第1 層完全連接的圖層獲取。訓(xùn)練迭代在12次迭代后，大多數(shù)模型的收斂趨勢(shì)放緩。ResNet101+KNN 的收斂在迭代過(guò)程中最明顯，達(dá)到30次迭代后的最小觀察值。12型號(hào)的平均準(zhǔn)確性為97.76%。

如表1所示，Resnet101+SVM實(shí)現(xiàn)了最佳識(shí)別結(jié)果，識(shí)別精度為98.83%，F(xiàn)1core 為96.41%，靈敏度為96.38%，特異性為98.77%，F(xiàn)PR 為0.012 4。因?yàn)槟K在此模型中引入了殘差學(xué)習(xí)。Resnet 允許網(wǎng)絡(luò)模型層的數(shù)量深入而不會(huì)進(jìn)行性能下降。此外，當(dāng)提取魚(yú)類(lèi)的特征信息時(shí)，網(wǎng)絡(luò)層的增加導(dǎo)致增強(qiáng)提取圖像特征的能力。實(shí)驗(yàn)結(jié)果表明，Se-ResNet101+KNN模型在該實(shí)驗(yàn)中具有最好的識(shí)別效果。

表1 Models+KNN結(jié)果分析

5 總結(jié)

本文提出了一種基于ResNet 系列網(wǎng)絡(luò)與KNN 結(jié)合的海洋魚(yú)類(lèi)分類(lèi)方法，該網(wǎng)絡(luò)結(jié)構(gòu)在分類(lèi)效果中整體表現(xiàn)良好。單獨(dú)使用Se-ResNet101 網(wǎng)絡(luò)識(shí)別精度為93.03%，當(dāng)Se-ResNet101 和KNN 組合時(shí)的識(shí)別精度可以達(dá)到98.83%。因此，該方法提供了一種高精度的模型分類(lèi)策略，該方法將促進(jìn)高效分類(lèi)設(shè)備的開(kāi)發(fā)，并為將來(lái)提供可行的智能分類(lèi)方法的策略，具有相當(dāng)?shù)膶?shí)際實(shí)用價(jià)值。此外，該方法對(duì)其他海洋生物的分類(lèi)具有一定的參考意義。