一種基于冗余裁剪的魚群密度估計算法*

李 婧 吳俊峰 于 紅 周弈志

（1.大連海洋大學(xué)信息工程學(xué)院 大連 116023）（2.設(shè)施漁業(yè)教育部重點實驗室 大連 116023）

1 引言

我國海洋資源雖然豐富，但相比于我國陸地開發(fā)利用程度，其開發(fā)利用的程度很低。以魚類為主體，地球上生物資源的80%分布在海洋里。然而目前對魚群領(lǐng)域技術(shù)還很匱乏，由于沒有對魚群密度、數(shù)量有一定的數(shù)據(jù)支撐，很難通過準確獲取魚群的分布、數(shù)量，去研究魚類的種群分布、群體組成等領(lǐng)域。通過獲取自然水域中的魚群數(shù)量或密度，可以有效地幫助漁業(yè)管理部門了解水域中海洋生物的真實情況，也可以幫助主管部門合理的制定漁業(yè)政策，也可以幫助漁民有計劃性的進行捕撈，以保護生態(tài)并促進魚類的繁衍生長。對魚類養(yǎng)殖企業(yè)來說，及時地獲取固定養(yǎng)殖水域中魚群的數(shù)量可以幫助企業(yè)實現(xiàn)餌料的精準投喂，有效地幫助企業(yè)節(jié)省餌料成本并保持水質(zhì)的潔凈。因此，魚群密度估計有著重要的實用價值，正逐漸引起產(chǎn)業(yè)界和眾多專家學(xué)者們的關(guān)注。

2 相關(guān)工作

傳統(tǒng)的計數(shù)方法主要是通過一些容器進行取樣，然后通過肉眼進行計數(shù)，不僅效率低，受到人工的限制，甚至在取樣時會造成魚類的損傷。李伯珩等［1］試驗和分析了單通道光電式魚苗計數(shù)器。易金根等［2］提出了多通道魚苗計數(shù)器，采用光/電/微機一體化設(shè)計原理及方法，并給出主要電路程序框圖。其中測魚管徑是影響計數(shù)誤差的關(guān)鍵因素，而且出口速度和壓頭則對魚的通過量影響較大，同時它們僅適用于數(shù)量較少的魚群，如果是海洋中數(shù)量較大自然魚群，將會顯得捉襟見肘。

隨著計算機視覺和圖像處理方面的發(fā)展，可應(yīng)用在此基礎(chǔ)上的魚群計數(shù)方法得到了廣泛應(yīng)用。王文靜等［3］為了在魚苗的飼養(yǎng)、運輸和銷售過程中對一定數(shù)量或批量的幼苗進行精確計數(shù)，提出了一種基于計算機視覺的魚苗自動計數(shù)系統(tǒng)。朱從容［4］對采集到的魚苗灰度圖像進行分析，通過數(shù)據(jù)擬合方法建立圖像中魚苗所占像素點數(shù)與魚苗數(shù)的關(guān)系，并由此對魚苗進行計數(shù)。王碩等［5］采用計算機視覺的方法，提出了一種基于曲線演化的圖像處理方法來解決魚苗圖像粘連問題，并完成對魚苗的準確計數(shù)。范嵩等［6］利用計算機視覺技術(shù)，對于在自然光下拍攝的魚苗圖像進行智能識別計數(shù)研究。以上方法雖然相比于傳統(tǒng)的魚群計數(shù)方法其精度有所提高，但由于真正水域下拍攝到的圖片會存在顏色失真，雜質(zhì)過多而導(dǎo)致圖片出現(xiàn)霧化現(xiàn)象等客觀因素，并不能很好地應(yīng)用于實際當(dāng)中，同時，它們僅適用于魚群數(shù)量較少的圖像，并不能很好地處理海洋魚群數(shù)量比較多的圖像。

2012年，AlexNet［7］在ImageNet競賽中獲得冠軍，其結(jié)果遠遠超出了當(dāng)時的工藝水平，給當(dāng)時的學(xué)術(shù)界和工業(yè)界帶來了巨大沖擊，由此基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法逐漸受到人們的重視，現(xiàn)如今已經(jīng)廣泛應(yīng)用到目標識別、檢測、跟蹤等領(lǐng)域［8～10］。Yingying Zhang等［11］提出了一種簡單但有效的多列卷積神經(jīng)網(wǎng)絡(luò)（MCNN）架構(gòu)，能夠準確地估計人群的數(shù)量及其分布。Yuhong Li等［12］提出的CSRNet網(wǎng)絡(luò)模型主要分為前端和后端網(wǎng)絡(luò)，能夠在保持分辨率的同時擴大接受域，生成質(zhì)量較高的人群分布密度圖。Xinkun Cao等［13］使用一系列的Inception結(jié)構(gòu)［14］提取不同尺度的特征，再使用反卷積生成高分辨率的密度圖。但以上方法因為其人頭的重疊和尺度的變化，成為其生成密度圖的難點。

為了能夠解決魚群計數(shù)方法的局限性，本文基于冗余裁剪和多列卷積網(wǎng)絡(luò)的魚群密度估計，提出了一種稱為FishCount的魚群計數(shù)方法，對高密度的魚群進行計數(shù)，結(jié)果表明，本文算法可以應(yīng)用在海洋魚群這類相對數(shù)量較大的群體，能夠有效地對魚群進行精確地計數(shù)和密度估計，并解決魚群的尺度透視嚴重的問題。

本文所做的主要工作有：

1）為了擴充數(shù)據(jù)集和最大程度的保留魚群圖片的細節(jié)特征，并提高算法的準確性，在算法執(zhí)行過程中，本文將待訓(xùn)練的圖片冗余裁剪為原始尺寸的1/4，并盡可能地保留魚群圖片的細節(jié)信息；

2）在最后一次聚合卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生的層上設(shè)計了一種密集連接的方法，并對所有裁剪后的圖片進行特征提取，以保證后續(xù)層能夠?qū)W習(xí)到前面所有層的核心信息。

3 FishCount模塊

如圖1所示，本文所提出的FishCount模型由三部分組成：1）OSA（One-Shot Aggregation）模塊；2）多列的卷積神經(jīng)網(wǎng)絡(luò)；3）SENet（Squeeze-and-Excitation）模塊。更具體地，首先將收集的DLOU2數(shù)據(jù)集圖片進行冗余裁剪，這是為了擴充該數(shù)據(jù)集和盡可能多地保留圖片的特征細節(jié)，這些數(shù)據(jù)集的圖片均是大小不一的魚群圖片，接下來將每張裁剪后的圖片喂入FishCount模型中；通過OSA模塊，圖片的一些基礎(chǔ)特征因為它的密集連接的原因，能夠?qū)W習(xí)到卷積神經(jīng)網(wǎng)絡(luò)產(chǎn)生的所有層的核心信息；生成的特征圖經(jīng)過這個多列的卷積神經(jīng)網(wǎng)絡(luò)［11］，可以分別處理大、中、小多尺度的魚圖像，得到了多尺度的上下文信息的特征圖；但由于每張圖片中尺度不同的魚類占比不同，為了能夠?qū)W習(xí)通道之間的相互性以及通道的注意力，將多列卷積網(wǎng)絡(luò)生成的特征圖喂入SENet模塊中；最后使用1×1的卷積核進行卷積，最后得到了原圖1/4的密度圖。

圖1 FishCount框架

3.1 冗余裁剪

考慮到DLOU2數(shù)據(jù)集過于密集，如果直接學(xué)習(xí)整張圖片，學(xué)習(xí)速度慢導(dǎo)致訓(xùn)練精度無法保證，所以對它們進行了裁剪。特別地，本文采用了一種特殊的裁剪方法（冗余裁剪）對數(shù)據(jù)集進行處理，裁剪后的圖片是原圖的1/4，具體做法是：從原圖左上角開始，為了敘述清楚，這里假設(shè)原圖大小為400×400，裁剪后的大小為200×200。左上角在坐標點O（0，0）的位置，如圖2所示。分別將坐標點的x，y軸上加上裁剪后的圖片的尺寸200，圖2（a）中小框就是裁剪后的圖片，接著將點O在x軸上以固定的步長s向后平移，（圖2中的步長為100，該數(shù)據(jù)集中設(shè)的步長為512）重復(fù)剛才的做法，得到了圖2（b）中小框內(nèi)的圖片，當(dāng)裁剪到圖2（c）的位置后，我們將圖2（d）的小框作為下一張裁剪的圖片，即O的x軸重新置為0，y值以固定的步長s向下平移，然后重復(fù)剛才在x軸裁剪的規(guī)律。最后，得到了2790張裁剪后的圖片。

圖2 冗余裁剪示意圖

3.2 OSA模塊

OSA（One-Shot Aggregation）模塊，該模塊是由Youngwan Lee等［15］提出來的，有研究表明，如果卷積網(wǎng)絡(luò)在接近輸入層和接近輸出層的層之間包含更短的連接，那么在訓(xùn)練時卷積網(wǎng)絡(luò)可以更深入、更準確、更高效。為此，DenseNet［16］提出了其核心模塊Dense Block，如圖3（a）所示，這種密集連接會聚合前面所有的層，由此引發(fā)其密集連接過重，同時由于每個層都會聚合前面層的特征而造成了特征的冗余，據(jù)此提出了OSA模塊，如圖3（b）所示，簡單來說，就是只在最后一次性聚合前面所有的層，這一改動將會解決DenseNet前面所述的問題，由此可將OSA模塊來用作很好的特征提取器。本文對OSA模塊進行了一系列的參數(shù)優(yōu)化，我們用3個3×3的卷積核構(gòu)成OSA模塊的主干，然后將它們生成特征圖進行聚合，最后采用一個2×2的最大池化層進行下采樣。

此外，食藥監(jiān)局還給出溫馨提示：每個國家的保健食品都是依據(jù)其本國人的體質(zhì)、營養(yǎng)狀況生產(chǎn)的。中國人擁有自己的體質(zhì)特點，一味迷信海外保健品并不可取，建議謹慎選購，最好是遵醫(yī)囑。

圖3 （a）DenseNet模塊（密集地連接）

圖3 （b）OSA模塊（一次連接）

3.3 SENet模塊

多列卷積神經(jīng)網(wǎng)絡(luò)模塊只是簡單地將三列全卷積網(wǎng)絡(luò)進行了融合，并沒有考慮到圖片中存在不同尺寸的魚群占比不同，將每個通道中的圖片特征同等處理，而忽略每一個通道內(nèi)的局部信息。SENet［17］（Squeeze-and-Excitation Networks）思 想 簡單，易于實現(xiàn)，并且很容易可以加載到現(xiàn)有的網(wǎng)絡(luò)模型框架中，網(wǎng)絡(luò)架構(gòu)如圖4所示。SENet可以顯式地建模通道之間的相互依賴關(guān)系，自適應(yīng)地重新校準通道的特征響應(yīng)，自適應(yīng)學(xué)習(xí)了通道之間的相關(guān)性，篩選出了各個通道的注意力，整個網(wǎng)絡(luò)增加的計算量非常有限，但是效果比較理想。

圖4 SENet模塊

3.4 自適應(yīng)的密度圖生成

由于需要訓(xùn)練卷積網(wǎng)絡(luò)將輸入圖像生成對應(yīng)的密度圖，其中密度圖的質(zhì)量很大程度上影響著本文網(wǎng)絡(luò)架構(gòu)的性能。一般地，將標記魚頭的圖像轉(zhuǎn)換成密度圖：

其中δ(x-xi)表示在像素xi處的一個魚頭。

而后使用高斯核Gσ對式（1）進行卷積，卷積函數(shù)為

此時已轉(zhuǎn)換為連續(xù)密度函數(shù)。然而，該密度函數(shù)的前提是這些是圖像平面中的獨立樣本，實際上，這些樣本是3D場景下拍攝的，并且由于透視失真的原因，不同的樣本對應(yīng)于場景中不同大小的區(qū)域。因此，在這里使用了一種叫自適應(yīng)的密度圖估計算法：

其中對于給定圖像中的每個魚頭xi，將其與k個最近相鄰魚頭的距離表示為，平均成比例的半徑區(qū)域與魚頭xi相關(guān)聯(lián)的像素大致對應(yīng)，因此，要估算像素周圍的魚群密度，需要將δ(x-xi)與高斯內(nèi)核Gσi(x)卷積，方差σi與dˉi成比例。實驗中β=0.3效果最優(yōu)。距離為=，與

3.5 損失函數(shù)

用歐幾里德距離測量估計密度圖和真實值之間的差異。損失函數(shù)定義如下：

4 實驗

為了驗證FishCount算法的有效性，我們將其和其他算法進行了對比。本文采用了DLOU2數(shù)據(jù)集進行了大量的仿真實驗以評估算法的有效性，并從MAE和MSE兩個方面對算法的性能作出結(jié)果分析。為了說明本文提出算法的有效性，本文又進一步分析了冗余裁剪、SENet模塊對算法的影響。本文所有的訓(xùn)練和測試部分均是基于NVIDIA K20 GPU下的Keras框架完成的。

4.1 評估標準

為評估算的性能，本文引進了平均絕對誤差（Mean Absolute Error，MAE）和均方誤差（Mean Square Error，MSE）。用MAE評估算法的準確性，MSE評估算法的穩(wěn)健性。其定義如下：

其中N是測試圖像的數(shù)量，zi是第i個圖像中的真實魚數(shù)，z?i是第i個圖像中的估計魚數(shù)。

4.2 DLOU2數(shù)據(jù)集

由于現(xiàn)有的數(shù)據(jù)集中的魚群密度較低，我們引入了一個名為DLOU2的新的魚群數(shù)據(jù)集，共計300張圖片，其中標記的魚頭數(shù)量多達70000條。如圖5所示是DLOU2數(shù)據(jù)集的魚頭數(shù)量統(tǒng)計圖。

圖5 DLOU2數(shù)據(jù)集的圖像數(shù)量分布（其中大部分圖片的魚群數(shù)量集中在500～1000條）

4.3 訓(xùn)練

訓(xùn)練中使用Adam算法對網(wǎng)絡(luò)進行優(yōu)化，學(xué)習(xí)率設(shè)置為10-4，動量設(shè)置為0.9。在DLOU2數(shù)據(jù)集上進行訓(xùn)練時，每個訓(xùn)練周期包含2000次迭代，共200個訓(xùn)練周期，每5個周期使用驗證集對網(wǎng)絡(luò)模型進行驗證。

4.4 單模塊之間的對比實驗

為了驗證本文網(wǎng)絡(luò)框架的有效性，本章節(jié)通過控制變量的方式對內(nèi)部模型之間設(shè)計了一系列的控制實驗。為了更直觀地觀察各個模塊對模型性能的貢獻，這些實驗全部使用DLOU2數(shù)據(jù)集，對比實驗的設(shè)置和結(jié)果分析如下。

4.4.1 冗余裁剪

為了驗證冗余裁剪的有效性，進行了兩次不同的裁剪，一種是和MCNN同樣裁剪方法的模型，即對每張圖片隨機裁剪9張，每張圖片的大小是原圖的1/4，另一種就是本文中介紹的冗余裁剪的方法，這兩種裁剪方式都是在多列卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上進行驗證的。如表1所示，當(dāng)使用的是冗余裁剪時，模型對DLOU2數(shù)據(jù)集的性能提高較大。這表明，冗余裁剪在擴充數(shù)據(jù)集的同時，也冗余地保留了圖片的一些特征細節(jié)，由于進行卷積神經(jīng)網(wǎng)絡(luò)時，這些細節(jié)特征會因為進行了多層卷積后丟失，又因為DLOU2數(shù)據(jù)集是高密度的魚群，會存在大量的特征細節(jié)，而這些特征細節(jié)決定了最終性能的高低，因此，在計數(shù)精度和魯棒性方面，使用冗余裁剪的效果優(yōu)于隨機裁剪，證明了冗余裁剪在對數(shù)據(jù)進行預(yù)處理時的有效性。

表1 冗余裁剪對性能的影響

4.4.2 SENet模塊的性能

為了驗證SENet模塊的有效性，本文在數(shù)據(jù)預(yù)處理是冗余裁剪的多列卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的基礎(chǔ)上添加了SENet模塊。如表2所示，由于DLOU2數(shù)據(jù)集中魚群圖片的拍攝角度問題，造成了一定的透視影響，同時因為魚群與攝像頭距離的不同，會有魚的個頭大小相差太過明顯的差異，這些大小差異明顯的魚群數(shù)量并不是均等的，加入SENet模塊后，通過自適應(yīng)地重新校準通道的特征響應(yīng)，篩選出了針對通道的注意力，可以更好地把圖片中不同尺度的魚群對象按照一定的比例進行學(xué)習(xí)，雖然整個網(wǎng)絡(luò)稍微增加了一點計算量，但是效果比較好。

表2 SENet模塊對性能的影響

4.5 不同模型之間的性能對比

將本文的方法與新發(fā)布的方法進行了比較，如表4所示。本文提出的方法在DLOU2數(shù)據(jù)集上表現(xiàn)優(yōu)于其他競爭方法。MCNN的多列卷積神經(jīng)網(wǎng)絡(luò)框架雖然可以將學(xué)習(xí)到不同尺度的魚群信息，但并沒有考慮學(xué)習(xí)不同尺度的通道占比。本文使用了一種冗余裁剪的方法以此來擴充數(shù)據(jù)集和得到更多的特征細節(jié)，同時使用了OSA模塊，通過一次密集連接，盡可能地保留由于卷積后丟失的部分特征，得到質(zhì)量較高的特征圖，并使用SENet模塊對多列卷積神經(jīng)網(wǎng)絡(luò)的通道按照一定比例學(xué)習(xí)。在訓(xùn)練集上，MAE和MSE分別提高了51.49和50.83。

表4 不同方法在DLOU2數(shù)據(jù)集上的性能影響

5 結(jié)語

本文提出了一種基于冗余裁剪的魚群密度估計算法。為了驗證算法的有效性，在DLOU2魚群數(shù)據(jù)集上進行了不同類型的仿真實驗，實驗結(jié)果表明本文提出的算法是有效的，但本文仍然存在一些不足的地方：在前期進行標注時，由于是人工進行標注，而且多數(shù)圖片的魚頭數(shù)量達到上千條，存在誤標現(xiàn)象；雖然本文在精度方面優(yōu)于目前的最新模型，但卻消耗了較大的顯存資源，一定程度上增加了較多的樣本訓(xùn)練的時間。因此，在未來的工作中將集中在數(shù)據(jù)集質(zhì)量的提高以及算法的優(yōu)化處理上。