基于改進(jìn)的更快的卷積神經(jīng)網(wǎng)絡(luò)特征區(qū)域的淡水魚魚鰓切口點(diǎn)定位

王紅君， 時(shí)揚(yáng)揚(yáng)*， 岳有軍, 趙 輝,2

(1.天津理工大學(xué)電氣電子工程學(xué)院， 天津市復(fù)雜控制理論與應(yīng)用重點(diǎn)實(shí)驗(yàn)室， 天津 300384； 2.天津農(nóng)學(xué)院工程技術(shù)學(xué)院， 天津 300392)

隨著水產(chǎn)養(yǎng)殖業(yè)的快速發(fā)展，對(duì)水產(chǎn)品加工產(chǎn)生迫切需求。在魚初級(jí)處理加工生產(chǎn)線中，為了保證魚肉品種的新鮮度，在去除魚頭尾之前，需要先進(jìn)行去除魚鰓的操作，其中魚鰓切口的準(zhǔn)確定位甚為關(guān)鍵[1-2]。在早期的魚鰓加工定位中，通常采用圖像處理和統(tǒng)計(jì)模式識(shí)別方法來(lái)定位鮭魚鰓切割器的位置。Gamage等[3]提出了使用多元回歸的參考點(diǎn)估計(jì)魚鰓切割機(jī)的參考位置；Jain等[4]提出了一種智能傳感器融合技術(shù)在鮭魚機(jī)械加工自動(dòng)化機(jī)器中實(shí)施；這些方法比較復(fù)雜，而且切割點(diǎn)定義不明確；Azarmdel等[5]根據(jù)鱒魚的體形特征提取鰭區(qū)域，然后將胸鰭的起點(diǎn)和尾鰭的終點(diǎn)分別作為鱒魚加工系統(tǒng)的頭部和腹部切割點(diǎn)，這種利用魚體外部輪廓提取特征的方法，容易受到魚體損傷程度的影響。

隨著圖像處理和深度學(xué)習(xí)技術(shù)的發(fā)展，采用機(jī)器視覺(jué)技術(shù)對(duì)淡水魚特定部位進(jìn)行識(shí)別和定位成為可能。Bondo等[6]在三文魚的自動(dòng)化生產(chǎn)線中使用3D攝像機(jī)掃描傳送帶，采用滑動(dòng)窗口的方法對(duì)三維圖像進(jìn)行分割，利用線性判別分析(linear discriminant analysis,LDA)分類器確定頭尾區(qū)域，沿著魚的縱向中心脊，以鼻點(diǎn)為起點(diǎn)，使用回歸公式定位切口點(diǎn)。在定位切口點(diǎn)的坐標(biāo)過(guò)程中，魚鰓的定位精度受魚頭標(biāo)注區(qū)域的影響，而且LDA在特征提取的過(guò)程中可能出現(xiàn)數(shù)據(jù)過(guò)擬合的現(xiàn)象；Issac等[7]提出采用基于計(jì)算機(jī)視覺(jué)的魚鰓自動(dòng)分割方法鑒定魚的新鮮度，對(duì)輸入圖像進(jìn)行顏色空間轉(zhuǎn)換。利用主動(dòng)輪廓法對(duì)魚類圖像中屬于鰓部的像素進(jìn)行分割，從顏色的空間飽和平面對(duì)鰓區(qū)域進(jìn)行統(tǒng)計(jì)分析；Arora等[8]采用K均值聚類的方法對(duì)鰓組織自動(dòng)分割，利用小波變換提取魚鰓特征，根據(jù)實(shí)驗(yàn)得到的判別特征，建立統(tǒng)計(jì)小波系數(shù)與貯藏魚鮮度之間的關(guān)系。這些方法都是通過(guò)對(duì)鰓部區(qū)域顏色的統(tǒng)計(jì)分析得到魚的新鮮度關(guān)系，無(wú)法輸出魚鰓的位置坐標(biāo)，不方便后續(xù)除鰓操作。參考其他目標(biāo)的檢測(cè)定位，任意平等[9]采用目標(biāo)檢測(cè)算法更快的卷積神經(jīng)網(wǎng)絡(luò)特征區(qū)域(faster convolutional neural network feature region，F(xiàn)aster RCNN)對(duì)圖像中的花蕊區(qū)域進(jìn)行定位，縮小了識(shí)別范圍，提高了圖片識(shí)別的準(zhǔn)確率；基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法在識(shí)別精度和檢測(cè)速度方面表現(xiàn)突出，其中基于候選區(qū)域的目標(biāo)檢測(cè)算法Faster RCNN不僅能夠輸出物體類別和對(duì)應(yīng)區(qū)域的目標(biāo)框，而且還能標(biāo)定物體質(zhì)心的坐標(biāo)。為了實(shí)現(xiàn)魚鰓切口的準(zhǔn)確檢測(cè)和定位，現(xiàn)采用改進(jìn)的Faster RCNN對(duì)魚鰓切口進(jìn)行檢測(cè)，在保證魚鰓切口獲得較高檢測(cè)準(zhǔn)確率的同時(shí)，輸出切口包圍框中心點(diǎn)的坐標(biāo)。

1 網(wǎng)絡(luò)介紹

1.1 Faster RCNN 網(wǎng)絡(luò)模型

模型RCNN和Fast RCNN在網(wǎng)絡(luò)性能方面逐漸發(fā)展穩(wěn)定，Ren等[10]通過(guò)引入一個(gè)區(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)，與檢測(cè)網(wǎng)絡(luò)共享完整的圖像卷積特征，進(jìn)一步將RPN和Fast R-CNN合并成一個(gè)單獨(dú)的網(wǎng)絡(luò)Faster RCNN。該網(wǎng)絡(luò)主要由卷積層，區(qū)域建議網(wǎng)絡(luò)，感興趣區(qū)域池化，分類回歸四部分組成，如圖1所示。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)經(jīng)過(guò)卷積運(yùn)算獲取輸入圖像的特征圖譜[11]，這些提取到的特征送入后續(xù)區(qū)域建議網(wǎng)絡(luò)RPN和全連接層。區(qū)域建議網(wǎng)絡(luò)RPN通過(guò)softmax損失函數(shù)分類錨點(diǎn)是前景或背景，使用邊界框回歸調(diào)整錨點(diǎn)獲得準(zhǔn)確的建議(proposals)，以產(chǎn)生區(qū)域候選圖像塊。然后感興趣區(qū)域池化集合輸入的特征圖和候選目標(biāo)區(qū)域信息，送入全連接層判斷輸出目標(biāo)類別。最后的全連接層通過(guò)目標(biāo)區(qū)域特征圖計(jì)算目標(biāo)區(qū)域類別過(guò)程中，使用邊界框回歸來(lái)確定檢測(cè)目標(biāo)的最后位置。

1.2 改進(jìn)的網(wǎng)絡(luò)Faster RCNN

1.2.1 加入批歸一化

特征圖在送入RPN之前需要經(jīng)過(guò)基礎(chǔ)的conv+relu+pooling層提取候選圖像的特征，比較典型的特征提取網(wǎng)絡(luò)如VGG16和ResNet101(殘差網(wǎng)絡(luò))。VGG16與ResNet101相比，模型計(jì)算參數(shù)量比較少，而且訓(xùn)練速度快。另外從數(shù)據(jù)集的角度考慮，本文使用的訓(xùn)練數(shù)據(jù)與ResNet模型預(yù)訓(xùn)練使用的數(shù)據(jù)集分布不同，可能導(dǎo)致訓(xùn)練出現(xiàn)數(shù)據(jù)過(guò)擬合的現(xiàn)象。綜合以上情況，選擇VGG16作為Faster RCNN模型的特征提取網(wǎng)絡(luò)。

VGG16網(wǎng)絡(luò)的結(jié)構(gòu)均使用了同樣大小的卷積核尺寸和最大池化，其中卷積層具有特征提取的作用。卷積核相當(dāng)于一個(gè)過(guò)濾器在特征圖上進(jìn)行滑動(dòng)，提取需要的特征。池化是收集卷積層提取的各個(gè)位置特征圖譜，使用這個(gè)區(qū)域的最大值和平均值作為區(qū)域特征代表，也稱為特征降維，用于壓縮數(shù)據(jù)和參數(shù)的數(shù)量。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，首先對(duì)輸入層數(shù)據(jù)進(jìn)行人為的歸一化處理，比如使用矩陣乘法或者進(jìn)行非線性運(yùn)算[12]。前面層帶來(lái)的訓(xùn)練參數(shù)的更新會(huì)引起后面層輸入數(shù)據(jù)分布發(fā)生變化，并且隨著網(wǎng)絡(luò)層數(shù)的增多，前面層的微小改變?cè)诤竺鎸拥倪\(yùn)算中會(huì)逐步累積放大。為了解決這個(gè)問(wèn)題，特引入批歸一化的方法，即在卷積神經(jīng)網(wǎng)絡(luò)的每一個(gè)卷積層之后，激活函數(shù)之前插入批量歸一化(batch normalization, BN)層，如圖2所示。

圖2 VGG16網(wǎng)絡(luò)結(jié)構(gòu)加入批歸一化Fig.2 VGG16 network structure added to the BN layer

經(jīng)過(guò)卷積運(yùn)算之后，每一層的激活值進(jìn)行歸一化映射到方差為1，均值為0的區(qū)域，從而也解決了梯度彌散。經(jīng)過(guò)BN層的訓(xùn)練數(shù)據(jù)具有相同的0～1范圍分布，也使得網(wǎng)絡(luò)在每次迭代時(shí)省去了適應(yīng)不同分布的時(shí)間，提高了網(wǎng)絡(luò)的訓(xùn)練速度。BN的算法原理如下。

輸入層數(shù)據(jù)為m個(gè)樣本：x1，x2，…，xm，輸入數(shù)據(jù)的均值μ的表達(dá)式為

(1)

輸入數(shù)據(jù)的方差可表示為

(2)

對(duì)樣本數(shù)據(jù)標(biāo)準(zhǔn)化處理，可表示為

(3)

引入可學(xué)習(xí)重構(gòu)參數(shù)，通過(guò)平移和縮放處理，使網(wǎng)絡(luò)可以學(xué)習(xí)恢復(fù)出原始網(wǎng)絡(luò)所要學(xué)習(xí)的特征分布，可表示為

yi=γixi+βi

(4)

(5)

βi=E[xi]

(6)

1.2.2 非極大值抑制算法的改進(jìn)

區(qū)域候選網(wǎng)絡(luò)RPN提取出的在相鄰位置上有很多相似但是位置不那么精確的候選框[13]，增加了檢測(cè)的誤檢率，所以使用非極大值抑制(non-maximum suppression，NMS)算法[14]消除多余的候選框。首先設(shè)定檢測(cè)框的置信度閾值，通過(guò)置信度對(duì)候選框降序排列列表。選取置信度最高的檢測(cè)框 添加到輸出列表，并將其從候選框列表中剔除。計(jì)算與候選框列表中所有框的 值，將超過(guò)閾值的候選框丟棄。經(jīng)過(guò)n次迭代，候選框列表的數(shù)據(jù)個(gè)數(shù)為零，此時(shí)返回輸出列表。假設(shè)M和N為RPN網(wǎng)絡(luò)生成的檢測(cè)框，通過(guò)計(jì)算相鄰邊框的重合度(IOU)，將IOU大于預(yù)先設(shè)定閾值的檢測(cè)框剔除，其計(jì)算公式為

(7)

從幾何區(qū)域的角度也可以看作是檢測(cè)框M、N重疊的面積占M、N并集的面積比例，可表示為

(8)

式(8)中：S∩為檢測(cè)框M、N的重疊區(qū)域面積；SM為檢測(cè)框M的面積；SN為檢測(cè)框N的面積。

NMS算法的分?jǐn)?shù)重置函數(shù)可表示為

(9)

式(9)中：Si為第i個(gè)檢測(cè)框的得分；X為得分最高的檢測(cè)框；Nt為自定義的置信度閾值。

根據(jù)邊框的置信度得分篩選掉一些相似的但是得分不高的邊框，增加檢測(cè)的效果。但是當(dāng)一個(gè)真實(shí)的物體由于重疊等原因的影響，導(dǎo)致與相鄰的邊框重合度較高，此時(shí)的IOU大于設(shè)定的閾值，即使它本身的檢測(cè)分?jǐn)?shù)也足夠高，也會(huì)被刪除，增加了漏檢率，如圖3所示。

圖3 NMS算法檢測(cè)Fig.3 NMS algorithm detection

圖3中兩條魚的檢測(cè)精度分別是0.95和0.80， 按照NMS算法，得分為0.80的檢測(cè)框置信度被置為0或0.4。所以在上面兩個(gè)檢測(cè)框的 大于設(shè)定的閾值情況下，導(dǎo)致只能輸出檢測(cè)框?yàn)?.95的魚，這樣魚目標(biāo)檢測(cè)的召回率就被大大降低了。為了解決這一問(wèn)題，使用Soft-NMS算法[15]替代NMS，對(duì)重疊程度超過(guò)重疊閾值Nt的重置函數(shù)進(jìn)行改進(jìn)，Soft-NMS的重置分?jǐn)?shù)表達(dá)式為

(10)

對(duì)于目標(biāo)框交叉部分，NMS算法將相鄰檢測(cè)框大小置為零，而Soft-NMS算法則利用衰減函數(shù)處理。即如果一個(gè)檢測(cè)框與X有大部分重疊，它就會(huì)有很低的分?jǐn)?shù)。而如果檢測(cè)框與X只有小部分重疊，那么它原有檢測(cè)分?jǐn)?shù)不會(huì)受太大影響。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)均在Unbantu 18.04的操作系統(tǒng)下進(jìn)行，使用Python3.5編碼語(yǔ)言開(kāi)發(fā)，基于tensorflow學(xué)習(xí)平臺(tái)，在訓(xùn)練和測(cè)試過(guò)程中使用CUDA和CUDNN加快模型計(jì)算速度。訓(xùn)練用的服務(wù)器配備64G運(yùn)行內(nèi)存、48個(gè)intel Xeon CPU、2張GeForce GTX 1080Ti 顯卡以及4塊2 T機(jī)械硬盤。

2.2 數(shù)據(jù)集準(zhǔn)備和處理

實(shí)驗(yàn)中，為了測(cè)試改進(jìn)的網(wǎng)絡(luò)對(duì)于魚鰓識(shí)別的多樣性和定位的準(zhǔn)確性，選取鯉魚、鯽魚，鰱魚、鳊魚、草魚等多種淡水魚作為研究對(duì)象，共收集不同種類和不同數(shù)量的淡水魚圖片2 000張，其中訓(xùn)練集圖片數(shù)量是1 600張，測(cè)試集和驗(yàn)證集均為200張。統(tǒng)一將數(shù)據(jù)集中的圖片分辨率設(shè)置為500像素×375像素，按照Pascal_VOC2007數(shù)據(jù)集的格式對(duì)獲取的訓(xùn)練樣本和測(cè)試樣本進(jìn)行相應(yīng)的轉(zhuǎn)換工作。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型進(jìn)行訓(xùn)練時(shí)，需要大量帶有標(biāo)注的樣本，為了提高Faster RCNN網(wǎng)絡(luò)對(duì)魚鰓位置定位的準(zhǔn)確性，采用labelImg圖像標(biāo)注軟件對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注和存儲(chǔ)。在訓(xùn)練樣本標(biāo)注過(guò)程中，矩形框?qū)蔷€的2/3部分始終經(jīng)過(guò)鰓切口位置，這樣就確保矩形的中心點(diǎn)不會(huì)超過(guò)魚鰓部分，提高了定位的準(zhǔn)確度。

2.3 參數(shù)設(shè)置

網(wǎng)絡(luò)在訓(xùn)練中，批處理數(shù)量設(shè)置為128，動(dòng)量因子為0.9，迭代次數(shù)20 000，設(shè)置初始學(xué)習(xí)率為0.001， 正則項(xiàng)系數(shù)為0.000 1，學(xué)習(xí)率衰減系數(shù)γ為0.1?；诩尤隑N層的VGG16基礎(chǔ)特征提取網(wǎng)絡(luò)，在后處理中用Soft-NMS算法替代NMS算法，最后輸出魚鰓切口的檢測(cè)框和其的坐標(biāo)。

2.4 實(shí)驗(yàn)仿真

2.4.1 模型評(píng)價(jià)指標(biāo)

為證明本文方法的優(yōu)勢(shì)，設(shè)置4組對(duì)照實(shí)驗(yàn)，分別是模型1：原始 Faster RCNN；模型2：?jiǎn)为?dú)加入批歸一化的 Faster RCNN；模型3：?jiǎn)为?dú)改進(jìn)非極大值抑制算法的 Faster RCNN；模型4：同時(shí)加入批歸一化和改進(jìn)非極大值抑制算法的 Faster RCNN。模型的評(píng)價(jià)指標(biāo)選擇目標(biāo)檢測(cè)中常用的準(zhǔn)確率(precision，P)、召回率(recall，R)和F1， 分別定義為

P=TP/(TP+FP)

(11)

R=TP/(TP+FN)

(12)

F1=(2PR)/(P+R)

(13)

式中：TP表示實(shí)際目標(biāo)為魚鰓切口，網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果也是魚鰓切口的樣本個(gè)數(shù)；FP表示實(shí)際為背景，卻被網(wǎng)絡(luò)模型預(yù)測(cè)為魚鰓切口的樣本；FN表示實(shí)際為魚鰓切口，但網(wǎng)絡(luò)沒(méi)有識(shí)別出來(lái)的樣本個(gè)數(shù)，實(shí)驗(yàn)結(jié)果如表1所示。

表1 不同模型檢測(cè)效果對(duì)比

從表1可以看出，在網(wǎng)絡(luò)迭代次數(shù)等條件相同的情況下，相對(duì)于原始網(wǎng)絡(luò)模型，單獨(dú)加入批歸一化的模型2明顯提高了魚鰓切口檢測(cè)的準(zhǔn)確率和F1值，證明了批歸一化的有效性。同樣，單獨(dú)改進(jìn)非極大值抑制算法的模型3，相較于原始網(wǎng)絡(luò)模型，也提升了切口檢測(cè)的準(zhǔn)確率和F1值。當(dāng)同時(shí)使用兩種方法時(shí)，相比于原始網(wǎng)絡(luò)模型和改進(jìn)方法單獨(dú)使用的模型，模型4顯著提高了切口檢測(cè)的準(zhǔn)確率和F1值，證明了相對(duì)于原始網(wǎng)絡(luò)模型改進(jìn)方法的有效性。

2.4.2 損失函數(shù)曲線

不同模型的損失函數(shù)變化曲線如圖4所示，經(jīng)過(guò)20 000次迭代訓(xùn)練，可以看出，模型1即原始的Faster RCNN網(wǎng)絡(luò)，在訓(xùn)練過(guò)程中出現(xiàn)損失函數(shù)發(fā)散的現(xiàn)象，曲線波動(dòng)較大。模型2中加入了批歸一化，增強(qiáng)了VGG16的特征提取能力，有效減少了數(shù)據(jù)的過(guò)擬合，所以損失函數(shù)曲線相對(duì)模型1平穩(wěn)。模型3改進(jìn)了非極大值抑制算法，提高了目標(biāo)檢測(cè)的準(zhǔn)確度，損失函數(shù)值小于模型1和模型2。而模型4與其他3個(gè)模型相比，同時(shí)使用兩種方法，損失函數(shù)波動(dòng)幅度較小，并且較早的達(dá)到平穩(wěn)狀態(tài)，說(shuō)明本文改進(jìn)方法有效提高了網(wǎng)絡(luò)性能。

圖4 不同模型損失函數(shù)曲線Fig.4 Different model loss function curves

2.4.3 改進(jìn)的網(wǎng)絡(luò)測(cè)試效果

為了更加直觀地展示本文方法的效果，選取了部分圖片分別送入4個(gè)網(wǎng)絡(luò)模型中測(cè)試。魚產(chǎn)品加工過(guò)程中，攝像機(jī)采集的圖像有兩種，一種是圖像中只包括單條魚，另一種是圖像中有多條魚。圖像中的紅色矩形框表示網(wǎng)絡(luò)檢測(cè)到的魚鰓切口區(qū)域，將檢測(cè)框的中心點(diǎn)作為魚鰓切口點(diǎn)，用“·”標(biāo)記，如圖5、圖6所示。

圖5 4種網(wǎng)絡(luò)模型對(duì)單條魚檢測(cè)效果對(duì)比Fig.5 Comparison of the detection effects of four network models on a single fish

圖6 4種網(wǎng)絡(luò)模型對(duì)多條魚檢測(cè)效果對(duì)比Fig.6 Comparison of the detection effects of four network models on multiple fish

從圖5可以看出，當(dāng)圖片中只有單條魚時(shí)，4個(gè)網(wǎng)絡(luò)模型都能識(shí)別魚鰓區(qū)域。但是原始的網(wǎng)絡(luò)模型1出現(xiàn)魚鰓切口誤檢的情況，單獨(dú)使用一種改進(jìn)方法的模型2和模型3的魚鰓檢測(cè)框中心點(diǎn)也偏離切口點(diǎn)。同時(shí)使用兩種改進(jìn)方法的模型4對(duì)魚鰓切口定位的準(zhǔn)確率最高，而且檢測(cè)框的中心點(diǎn)距離魚鰓切口最近，說(shuō)明改進(jìn)的網(wǎng)絡(luò)能較好地滿足魚鰓切口點(diǎn)精準(zhǔn)定位的要求。

從圖6可以看出，當(dāng)魚鰓切口比較密集時(shí)，與模型1和模型2相比，同時(shí)加入批歸一化層和改進(jìn)非極大值抑制算法的模型4可以全部檢測(cè)出圖中的魚鰓切口，與模型3相比提高了魚鰓切口檢測(cè)的準(zhǔn)確率。表明本文算法提高了Faster RCNN網(wǎng)絡(luò)檢測(cè)同一類物體的精度。

3 結(jié)論

為了提高魚鰓切口檢測(cè)和定位精度，在Faster RCNN網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn)。通過(guò)在VGG16特征提取網(wǎng)絡(luò)上添加歸一化層，提高了目標(biāo)識(shí)別的準(zhǔn)確度。采用Soft-NMS算法替代NMS算法，有效改善魚鰓切口漏檢的問(wèn)題。最后收集大量樣本進(jìn)行標(biāo)注，送入改進(jìn)后的檢測(cè)網(wǎng)絡(luò)自主提取目標(biāo)特征進(jìn)行訓(xùn)練，避免了魚體損傷和魚鰓外部輪廓遮擋帶來(lái)的影響。與未改進(jìn)的Faster RCNN網(wǎng)絡(luò)相比，目標(biāo)檢測(cè)和定位的準(zhǔn)確率提高了近6%。訓(xùn)練后的網(wǎng)絡(luò)不僅能輸出魚鰓切口檢測(cè)框，而且定位了切口點(diǎn)，為后續(xù)生產(chǎn)過(guò)程中使用機(jī)器人剔除魚鰓提供了位置信息。