基于深度學(xué)習(xí)的魚(yú)類攝食狀態(tài)識(shí)別算法

黃 平，鄭金存，龐 毅

（1.廣西大學(xué) 計(jì)算機(jī)與電子信息學(xué)院，廣西南寧 530004；2.玉林師范學(xué)院物理與電信工程學(xué)院智能信息與通信技術(shù)研究中心，廣西玉林 537000）

傳統(tǒng)利用機(jī)器視覺(jué)研究魚(yú)類攝食狀態(tài)的方法主要通過(guò)魚(yú)類的運(yùn)動(dòng)特征、圖像紋理特征等方式對(duì)攝食狀態(tài)進(jìn)行量化[1-7]。此類方法易受光照、水質(zhì)條件的限制，圖像特征提取過(guò)程繁瑣、識(shí)別效率低。神經(jīng)網(wǎng)絡(luò)模型通過(guò)自主學(xué)習(xí)實(shí)現(xiàn)了對(duì)圖像特征的自動(dòng)提取和識(shí)別，提高了識(shí)別的效率[8]，但其識(shí)別效果仍受到圖像預(yù)處理質(zhì)量的影響。為此，采用了結(jié)構(gòu)復(fù)雜的網(wǎng)絡(luò)模型[9-10]來(lái)提高模型識(shí)別精度，解決導(dǎo)致模型訓(xùn)練、部署困難的問(wèn)題。因此該文利用深度相機(jī)及基于距離特征的算法克服環(huán)境因素的影響，提高圖像預(yù)處理的質(zhì)量，簡(jiǎn)化了識(shí)別模型的結(jié)構(gòu)，解決了模型訓(xùn)練困難的問(wèn)題。

1 數(shù)據(jù)處理

1.1 基于距離特征的圖像預(yù)處理方法

采用微軟公司Azure Kinect DK 深度相機(jī)為前期圖像處理設(shè)備。相機(jī)基于光子時(shí)間飛躍（Time of Light，TOF）技術(shù)，通過(guò)測(cè)量調(diào)制光信號(hào)在相機(jī)和物體之間的飛行時(shí)間來(lái)測(cè)量距離信息[12]，其距離計(jì)算公式如式（1）：

式中，D是深度相機(jī)到被測(cè)物的距離，c為光在空氣中傳播速度，Δφ為發(fā)射光信號(hào)與接收信號(hào)的相位差，f為光的頻率。

將深度相機(jī)放置于養(yǎng)育池正上方中心并向下俯拍，調(diào)節(jié)深度相機(jī)與養(yǎng)育池的水面距離為50 cm，使得深度相機(jī)的視野范圍覆蓋整個(gè)養(yǎng)育池水面。游泳型魚(yú)類（如鯉魚(yú)）攝食區(qū)域通常為距離水面深度15 cm的區(qū)域[13]。故設(shè)置深度相機(jī)水下有效測(cè)量范圍為0～15 cm，僅聚集在魚(yú)群攝食區(qū)域，排除了其他未進(jìn)入攝食區(qū)域魚(yú)的干擾。鯉魚(yú)攝食階段的明顯特征是上浮水面搶食，使得魚(yú)群在水體表面深度圖的像素分布增大，水體表面的目標(biāo)分布可直觀反映魚(yú)類的攝食情況，通過(guò)編寫的C#程序?qū)Λ@取的深度圖像的像素點(diǎn)g(x,y)的取值作如下處理：

式中，z(x,y)表示深度圖中坐標(biāo)為(x,y)點(diǎn)的深度值，深度相機(jī)使用16 位二進(jìn)制形式表示深度圖中像素點(diǎn)的值，深度相機(jī)理論測(cè)量距離為0～65 535 mm，z(x,y)的取值范圍為深度相機(jī)有效測(cè)量范圍即500～3 860 mm。根據(jù)式（2），當(dāng)像素點(diǎn)的深度值在距離深度相機(jī)平面500～650 mm 范圍內(nèi)時(shí)，此像素點(diǎn)的值設(shè)為1，其灰度值為255（顏色為白色）；超出此范圍的像素點(diǎn)，其灰度值為0（顏色為黑色），因此深度圖可用黑白色圖來(lái)表示。故水面攝食魚(yú)群和飼料顆粒的深度圖計(jì)算如式（3）所示：

式中，g(x,y,t)表示t時(shí)刻深度圖中坐標(biāo)點(diǎn)（x,y）的像素值，其取值按式（2）處理，取0 或1，深度圖像大小為640×576，故坐標(biāo)點(diǎn)g(x,y,t)中x和y的取值分別為0～640 和0～576。通過(guò)C#程序設(shè)定循環(huán)累加求和，f(k,t) 的值即表示在t時(shí)刻水面活動(dòng)的魚(yú)群和飼料顆粒的像素點(diǎn)的總和，表征的是魚(yú)群的輪廓特征。

當(dāng)魚(yú)群在距離水面15 cm 范圍內(nèi)活動(dòng)時(shí)，魚(yú)群的攝食活動(dòng)被近紅外相機(jī)捕捉。由于近紅外成像不受照明光線的影響，即使在渾濁的水體、昏暗的光照環(huán)境，深度相機(jī)對(duì)于活動(dòng)于水體表面附近的魚(yú)群也可清晰成像。如圖1 中（a1）、（b1）、（c1）、（d1）分別為水質(zhì)較為清澈的條件、夜間無(wú)光條件、水質(zhì)較為渾濁的條件、水質(zhì)清澈條件獲取的RGB 圖，圖1 中（a2）、（b2）、（c2）、（d2）為其對(duì)應(yīng)的深度圖；通過(guò)對(duì)比這四種類型的深度圖與RGB 圖可知，深度圖不受拍攝光線和水質(zhì)渾濁度的影響，呈現(xiàn)攝食魚(yú)群白色特征輪廓與黑色背景的特點(diǎn)，而未進(jìn)入攝食區(qū)的魚(yú)群深度圖僅為黑色背景圖像，相比于RGB 圖更容易區(qū)別開(kāi)來(lái)，可排除更多的環(huán)境因素干擾。

圖1 不同環(huán)境條件下深度圖與RGB圖

1.2 深度信息與顏色轉(zhuǎn)換方法

深度圖中魚(yú)群圖像均包含深度信息，魚(yú)群在攝食區(qū)域的深度信息有助于提高對(duì)魚(yú)類攝食狀態(tài)的判斷準(zhǔn)確度，但其深度信息讀取不易。為了實(shí)現(xiàn)將魚(yú)群深度信息用顏色表示出來(lái)，將魚(yú)群的深度距離信息線性轉(zhuǎn)換為HSV 顏色模型的Hue 值，如下式：

式（4）中的z(x,y)表示按式（2）預(yù)處理后深度圖像素點(diǎn)的深度值，z0、z1分別為500 與650，γ是衰減因子，取值為0.67，則魚(yú)群在距離水面0～15 cm 的深度運(yùn)動(dòng)時(shí)，對(duì)應(yīng)的色調(diào)Hue 值的取值范圍是0～0.67；利用C#開(kāi)發(fā)平臺(tái)的顏色模型轉(zhuǎn)換函數(shù)將HSV 模型轉(zhuǎn)換為RGB 模型，其方法如下[14]：

式中，S、V的取值為1，因此得到基于距離信息的32 位偽彩色圖。其顏色按照藍(lán)綠紅三種顏色演變，藍(lán)色表示魚(yú)群目標(biāo)貼近水面，如圖2 中的A 所示；綠色表示較為接近于水面，如圖2 中的B；紅色表示魚(yú)在較深水體的運(yùn)動(dòng)，如圖2 中的C。偽彩色圖可反映魚(yú)群立體空間位置信息。

圖2 深度偽彩色圖

該次實(shí)驗(yàn)收集了452 組魚(yú)群攝食行為圖像，魚(yú)群攝食圖像標(biāo)注參考文獻(xiàn)[15]所提出的分類標(biāo)準(zhǔn)，分別為強(qiáng)攝食、中等攝食、弱攝食、無(wú)攝食。構(gòu)成了魚(yú)群攝食狀態(tài)數(shù)據(jù)集，訓(xùn)練集圖像44 964 張，驗(yàn)證集11 242張，測(cè)試集2 068 張。

2 魚(yú)類攝食圖像識(shí)別模型

2.1 SimpleCNN網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）在目標(biāo)檢測(cè)、圖像分類等領(lǐng)域得到廣泛應(yīng)用，針對(duì)不同領(lǐng)域開(kāi)發(fā)了多種網(wǎng)絡(luò)結(jié)構(gòu)的模型。使用CNN 對(duì)于魚(yú)類攝食行為圖像識(shí)別，模型的識(shí)別精度、輕量化、檢測(cè)速度成為關(guān)注的指標(biāo)。由于魚(yú)類攝食深度圖像的預(yù)處理效果較好，該文設(shè)計(jì)一簡(jiǎn)單CNN模型對(duì)魚(yú)類攝食數(shù)據(jù)集進(jìn)行訓(xùn)練和識(shí)別，其結(jié)構(gòu)如圖3 所示。

圖3 SimpleCNN模型結(jié)構(gòu)

其中，網(wǎng)絡(luò)輸入層為維度為3，大小為224×224的深度圖，輸入層后為三個(gè)隱藏層，其均使用大小為5×5，步長(zhǎng)為1 的二維卷積核，均采用Relu 激活函數(shù)，卷積核個(gè)數(shù)分別為32、64、128。每個(gè)卷積層后面均使用步長(zhǎng)為2 的MaxPooling 層進(jìn)行下采樣處理，其間使用丟棄率為0.2 的Dropout 層來(lái)防止網(wǎng)絡(luò)過(guò)擬合，最后使用一個(gè)平均全局池化層來(lái)降低計(jì)算參數(shù)量，并連接一個(gè)四分類的輸出層，其中，輸出層使用Softmax 分類函數(shù)預(yù)測(cè)類別概率，并使交叉熵?fù)p失函數(shù)優(yōu)化訓(xùn)練，其式如下所示：

式（6）中，Pi為類別i的最終預(yù)測(cè)概率，zi為分類模型對(duì)類別為i的原始預(yù)算輸出；zj為分類模型對(duì)類別為j的原始預(yù)算輸出，c為類別總數(shù)。式（7）中Loss 為交叉熵?fù)p失函數(shù)，yi為類別i對(duì)應(yīng)的標(biāo)簽。

2.2 模型評(píng)價(jià)指標(biāo)

該實(shí)驗(yàn)使用準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1 得分（F1 score）作為評(píng)價(jià)模型的指標(biāo)，如式（8）-（11）：

式中，TP 為真實(shí)值為正且預(yù)測(cè)也為正的樣本數(shù)量；FP 為真實(shí)值為負(fù)但預(yù)測(cè)為正的樣本數(shù)量；FN 為真實(shí)值為正但預(yù)測(cè)為負(fù)的樣本數(shù)量；TN 為真實(shí)值為負(fù)且預(yù)測(cè)也為負(fù)的樣本數(shù)量。

3 模型訓(xùn)練與結(jié)果分析

該實(shí)驗(yàn)使用VGG19、Resnet50、Mobilenet、Densenet201模型對(duì)魚(yú)群攝食數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)訓(xùn)練[16]，SimpleCNN 模型采用傳統(tǒng)重新學(xué)習(xí)的方式。上述各模型參數(shù)統(tǒng)一設(shè)置如下：使用隨機(jī)梯度下降優(yōu)化[17-19]方法；學(xué)習(xí)率為0.000 1；batch size 設(shè)置為2，進(jìn)行100輪次的訓(xùn)練。經(jīng)過(guò)100 輪次訓(xùn)練后各模型的準(zhǔn)確率曲線圖、損失值曲線圖如圖4 所示。

圖4 各模型的準(zhǔn)確率、損失值曲線

由圖4 可知，在模型收斂速度方面[20-21]，由于訓(xùn)練數(shù)據(jù)充足，復(fù)雜網(wǎng)絡(luò)模型使用遷移學(xué)習(xí)的方法可以加速模型的訓(xùn)練，在經(jīng)過(guò)40 輪次左右各模型接近收斂，SimpleCNN 模型在訓(xùn)練40 輪左右收斂，模型能較快地完成訓(xùn)練。經(jīng)過(guò)100 輪次的訓(xùn)練后，各模型的性能及參數(shù)如表1 所示。

表1 100輪次后各個(gè)模型性能及參數(shù)

由表1 可知，SimpleCNN 模型在訓(xùn)練集準(zhǔn)確率為99.78%，損失值為0.001，表現(xiàn)優(yōu)于其他模型。Simple CNN 模型使用三個(gè)隱藏層來(lái)減少模型的復(fù)雜度和參數(shù)量，使得模型的每輪訓(xùn)練用時(shí)最短、權(quán)重空間最小、網(wǎng)絡(luò)層數(shù)最小，可移植性好。

使用測(cè)試集測(cè)試的各模型識(shí)別效果如表2所示。

表2 不同模型的識(shí)別效果對(duì)比

由表2 可知，該研究提出的模型，在準(zhǔn)確率、精確率、召回率、F1 得分等各項(xiàng)評(píng)價(jià)指標(biāo)值均優(yōu)于文獻(xiàn)[8]方法，也優(yōu)于其他模型。其原因主要是深度圖預(yù)處理效果較好、特征提取容易，SimpleCNN 模型各個(gè)網(wǎng)絡(luò)層的結(jié)構(gòu)設(shè)置較為合理。其網(wǎng)絡(luò)第三卷積層特征提取的可視化結(jié)果如圖5 所示。

圖5 深度圖特征提取

由圖5 可知，模型的第三層網(wǎng)絡(luò)能很好提取圖像的特征，說(shuō)明模型針對(duì)此類數(shù)據(jù)集的特征提取效果較好。使用遷移學(xué)習(xí)方式訓(xùn)練的VGG19、Resnet50、Densenet201 模型對(duì)魚(yú)類的數(shù)據(jù)集識(shí)別效果表現(xiàn)不佳，其原因?yàn)樵摯昔~(yú)類分類任務(wù)的數(shù)據(jù)集與上述模型的源域訓(xùn)練數(shù)據(jù)集相似性不高、差異較大。其次遷移學(xué)習(xí)主要通過(guò)預(yù)訓(xùn)練的網(wǎng)絡(luò)來(lái)對(duì)新數(shù)據(jù)集進(jìn)行學(xué)習(xí)和訓(xùn)練，通常預(yù)訓(xùn)練的骨干網(wǎng)絡(luò)處于被凍結(jié)狀態(tài)，無(wú)法根據(jù)新數(shù)據(jù)集的特點(diǎn)進(jìn)行微調(diào)，導(dǎo)致模型的特征提取效果不理想。因此針對(duì)不同識(shí)別任務(wù)要求，設(shè)計(jì)結(jié)構(gòu)合理的識(shí)別模型方可達(dá)到最佳的識(shí)別效果。

4 結(jié)論

該文研究了一種基于距離特征的圖像預(yù)處理方法，該方法可克服復(fù)雜養(yǎng)殖環(huán)境中不良因素對(duì)圖像成像質(zhì)量的影響，為識(shí)別模型提供良好的訓(xùn)練素材。利用顏色表征魚(yú)類空間深度信息的方法，實(shí)現(xiàn)了對(duì)魚(yú)群空間深度位置的有效定位，獲得了一種二維圖像表征空間信息的方法，為研究魚(yú)類攝食狀態(tài)變化規(guī)律提供更多的技術(shù)支持。針對(duì)魚(yú)類攝食行為識(shí)別任務(wù)，設(shè)計(jì)一種結(jié)構(gòu)簡(jiǎn)單、高效的卷積神經(jīng)網(wǎng)絡(luò)模型，探索了輕量化網(wǎng)絡(luò)模型在魚(yú)類攝食行為識(shí)別中的應(yīng)用。