基于大數據分析的水產養殖中魚類行為識別方法

程瑋,楊智玲

(1.廈門海洋職業技術學院 海洋機電學院,福建 廈門 361100;2.廈門市智慧漁業重點實驗室,福建 廈門 361100)

0 引言

隨著科學技術的進步,水產養殖技術也得到了快速發展,特別是計算機視覺技術在水產養殖領域得到了廣泛應用。在水產養殖規模迅速擴大的狀況下,為了更加精準地獲取養殖魚類的狀態信息,對魚類行為進行實時監測與識別變得尤為重要。由于水產養殖環境的復雜性和魚類行為的復雜性、多樣性等特征的共同影響[1-2],致使傳統視覺特征識別類方法在大范圍、高精度識別養殖魚類行為的過程中,出現識別偏差較大,局部識別成功率偏低的問題。因此,嘗試引入大數據分析技術,在傳統視覺識別方法的基礎上,對其特征圖像的識別參量加以優化,以實現提升識別效果的目的。通過與文獻[3]、文獻[4]中兩種不同的識別方法對各魚種行為進行識別試驗對比,可知本文方法對水產養殖魚類行為識別的準確度更高,應用效果更好。

1 識別優化參量的設定與計算

1.1 基于大數據的魚類行為圖像數據預處理

為了更好地分析水產養殖魚類的行為特征,需要對獲得的數據進行預處理。其中主要包括4個部分:

1)行為圖像采集。一般情況下,魚類行為數據需要通過多點位視頻采集設備進行獲取,保證圖像清晰度滿足數據分析要求,采集的魚類圖像如圖1所示。

圖1 采集的魚類圖像

2)采集圖像的初步篩選。為了更好地提取魚類行為特征數據,根據行為特征的復雜程度,采用大數據分析算法對采集到的圖像進行特征前景與背景像素劃分,進而根據不同前景特征所對應區域的面積完成子圖劃分。

3)基于大數據分析的魚類行為特征語義分割。 根據劃分子圖中有效行為特征數據對應的語義類別,建立語義分割模型,在模型中通過語義網絡連通相同行為特征數據,并通過式(1)篩選出魚身運動特征集中位置分布子圖。

4)行為特征語義的大數據解析。利用大數據強大的比對分析能力,根據不同形態分布位置對模型中子圖信息包含的魚頭、魚尾與魚身3個位置點的分布情況進行行為特征軌跡溯源、行進速度與運動變化系數計算。

(1)

式中Pn為行為特征語義分割模型中的子圖,D為子圖下包含行為特征信息的像素總量,Dt為背景像素總量。

為了進一步提升數據預處理效果,需對其像素點進行高斯混合處理,在大數據分析輔助下完成每一像素的高斯分布賦值[3-4],由此得到用k個高斯分布表示的行為特征圖像更新模型。在更新模型中,對于任意一個高斯混合像素的對應值為Xt,其對應時間點為t時的背景像素出現的概率P(Xt),由此可以得到:

(2)

(3)

(4)

ωi,t=(1-α)ωi,t-1+αMi,t,

(5)

式中:k為全局圖像的高斯分布總像素,根據歷史經驗[5-6],本方法中取值為4;ωi,t為大數據分析過程中第i個行為特征像素點在高斯分布作用下的加權系數;η(Xt,μi,t,Σ)為全局高斯分布概率的均值密度函數;μt為單位區域下行為特征像素的高斯分布均值;Σ為不同類別行為特征之間的協方差矩陣;n為Xt的維數;σk為行為特征像素的標準高斯分布系數;I為單位矩陣;α為大數據分析速率;若某一行為特征像素點滿足第i個高斯分布時,Mi,t=1,否則Mi,t=0。

此外,考慮到預處理過程中部分行為特征圖像的像素點不滿足第i個高斯分布要求[7-8],此時可按照式(6)～(7)完成σ與μ的高斯分布更新。若此時行為特征圖像的像素點與全局背景均不匹配,則可判定當前預處理的像素點為前景特征像素點,其位置分布在目標魚魚身構成像素中。將k個行為特征像素按照高斯分布效果進行ω/σ的從大到小排序,并選取前B個高斯分布的加權值聯合生成魚類行為特征預處理模型。

μt=(1-ρ)μt-1+ρXt,

(6)

(7)

ρ=αη(Xt|μk,σk),

(8)

(9)

式中ρ為σ與μ的大數據行為特征分析更新速率,T為預處理模型的加權系數。

1.2 基于大數據的魚類行為特征訓練模型

根據預處理模型所得數據,對其進行特征訓練模型構建。通過訓練模型將行為特征數據參量轉化為僅包含卷積核為3×3的卷積處理網絡[9-10]。在轉換的訓練網絡模型中,網絡構建基于大數據分析網絡,其中每一個卷積處理后都匹配一個NM特征量化。構建的訓練模型中,首先將每一個行為特征轉換卷積層與NM層融合,通過大數據分析將融合后的數量按照3×3的尺度進行卷積核劃分,最后根據所得訓練卷積結果,將多個卷積層進行合并,獲得最終的訓練模型(圖2)。

圖2 大數據分析下多卷積層合并訓練模型

根據前述訓練過程,可得到行為特征轉換卷積層與NM層融合過程中不包含偏置卷積[11-12],因此其計算公式可以表達為

Conv(x)=W(x),

(10)

式中W為行為特征轉換卷積核。

大數據分析所對應NM層的處理過程可以描述為

(11)

式中μ為單位區域下行為特征像素均值,σ為行為特征像素的標準差,γ、β為大數據分析過程中卷積核訓練的倍率與偏差。

經過進一步整合操作,得到式(10)與式(11)結合后的公式為

(12)

融合后每一個卷積處理過程均可以被看作一次行為特征訓練,訓練偏差直接對應卷積核W下的偏置b,其關系函數為

(13)

為了保證訓練尺度的統一,將每一個訓練卷積核的大小均調整為3×3。具體過程如圖2(b)所示,其中空白特征像素對應的卷積用白色圖塊表示。

1.3 基于大數據的魚類行為特征識別

根據前述訓練結果可知,空白特征像素所對應的像素值為0,由預處理過程中像素點分布位置判定可知,該像素點位置位于魚身組成像素中,因此在對魚身行為特征識別的計算中,為了便于大數據對特征信息的識別處理,將背景像素值統一調整為255px[13-14],在對其進行像素二值化形態運算,提取行為特征像素點的同時,需去除特征像素中的孤立像素點。

基于前述操作,可以獲得目標魚魚身行為特征像素所在坐標系位置為

(14)

(15)

式中N為構成行為特征的魚身像素總數,xc與yc為行為特征像素中心點坐標,xi與yi為任意時間點下第i個行為像素點的坐標。

通過大數據分析數據庫中魚類游動速度[15],可以計算得到兩個相鄰行為特征像素點在相同時間點下的位移坐標(圖3),計算公式:

圖3 兩個相鄰行為特征像素點位移

(16)

(17)

式中un與υn分別為tn時刻下目標魚所在x軸與y軸方向上的移動速度,(xn-1,yn-1)與(xn+1,yn+1)分別為tn-1和tn+1時刻目標魚動作構成像素的位置,Δt為行為特征像素識別的時間步長。

完成目標魚魚身行為特征識別后,將對其頭、尾行為特征進行識別(圖4),根據前述大數據分析識別方法,提取魚身以外的魚頭像素坐標C1(x1,y1)、魚尾像素坐標C2(x2,y2),根據魚身像素C特征點,關聯C1與C、C與C2;通過關聯分析獲得魚頭與魚尾構成像素的位移方向向量a1、a2,通過式(18)可以實現對魚頭、魚尾行為特征的識別(圖5)。

圖5 魚尾行為特征識別圖

(18)

式中:a1為關聯C1和C的魚頭像素位移方向向量;a2為關聯C和C2的魚尾像素位移方向向量;a為魚的行為特征像素位移距離;A為魚尾像素初始位置系數,A=1時魚尾像素向魚身右側位移,A=-1時魚尾像素向魚身左側位移,A=0時魚頭與魚尾處于同一直線上。

2 性能測試

考慮到在測試過程中魚類行為存在不確定性,為了降低測試樣本差異,確保測試結果的客觀性,試驗共設置3種識別方法。其中本文方法為驗證識別方法A+(簡稱方法A+),另外兩種方法為比對識別方法,基于魚體運動特征和圖像紋理特征的魚類攝食行為識別方法(文獻[3]方法)為比對識別方法A(簡稱方法A),基于PIT遙測技術的豎縫式魚道過魚效率及魚類行為識別方法(文獻[4]方法)為比對識別方法B(簡稱方法B)。在相同測試條件下,對比3種方法指標,得出測試結論。

2.1 設置測試條件

測試樣本抽取15類養殖魚,1 000組魚類活動圖像作為測試樣本圖像,通過仿真測試工具配合運動形態測試工具,共同完成測試。其中,仿真測試工具為MATLAB,該測試工具是一種用于圖像處理、特征提取等方面的仿真工具,使用MATLAB中的機器學習工具箱構建分類器,可對魚類行為進行分類和識別。運動形態測試工具為Biomimetics Toolkit,它提供了多種模型和算法,可以模擬各種魚類的運動行為,方便用戶進行更加復雜的仿真和分析。具體測試參量見表1。

表1 測試樣本配置

2.2 魚類行為識別準確度測試

在設定樣本中,抽取鳙、草魚、鰱、鳊樣本各30組,組成測試圖像樣本,分別由方法A+、方法A和方法B對其進行魚類行為識別操作,用仿真工具對其識別結果準確度進行記錄,經過統計整理后生成統計圖(圖6),并進行分析:

圖6 不同識別方法獲得的魚類行為識別率統計圖

1)在鳙樣本中,方法A的識別準確率為94%,誤差率為6%;方法B的識別準確率為95.7%,誤差率為4.3%;方法A+的識別準確率為99%,誤差率為1%。由此可以看出方法A+對鳙行為的識別效果最好,方法B的識別效果較好,方法A的識別效果偏差。

2)在草魚樣本中,方法A的識別準確率為97%,誤差率為3%;方法B的識別準確率為98%,誤差率為2%;方法A+的識別準確率為99%,誤差率為1%。由此可以看出方法A+在草魚行為識別性能表現上與其在鳙行為識別上的表現一致,根據數值大小可以判定方法A+的識別效果最好,方法B的識別效果較好,方法A的識別效果偏差。

3)在鰱樣本中,方法A的識別準確率為94.7%,誤差率為5.3%;方法B的識別準確率為95.2%,誤差率為4.8%;方法A+的識別準確率為98.3%,誤差率為1.7%。可以看出方法A+在鰱行為識別性能表現上指標略有下降,但仍優于方法A與方法B,因此,鰱行為識別結果為方法A+最好,方法B的識別效果較好,方法A的識別效果偏差。

4)在鳊樣本中,方法A的識別準確率為98%,誤差率為2%;方法B的識別準確率為96.7%,誤差率為3.3%;方法A+的識別準確率為99%,誤差率為1%。根據指標值可以看出方法A+在鳊行為識別性能表現上與其在鳙、草魚行為識別上的表現一致,與之前不同的是方法B在鳊行為識別的表現較方法A表現略差,根據數值大小可以判定方法A+的識別效果最好,方法A的識別效果較好,方法B的識別效果偏差。

綜合前述不同魚種行為識別結果,可以判定驗證比對方法A+在水產養殖魚類行為識別應用上的效果最好,識別準確率最高。

2.3 復雜場景下識別可信度測試

為了驗證本文方法在實際復雜場景中的識別可信度,在15種魚類測試樣本中,各自抽取20組樣本數據,無序混合后組成可信度測試樣本,共計300組。按照每30組樣本為1輪,實施3種不同識別方法,由仿真測試工具可信度評估模塊對其進行可信度評估,連續獲得10組可信度指標,見表2。根據指標值大小,對其加以分析并得出測試結論。

表2 不同魚類行為識別方法連續性壓力測試可信度指標統計

通過表2數據可知,3種方法的可信度指標差異并不大,根據可信度指標取值≥0.5,可以斷定對應識別方法所得結果可以滿足行為分析需求的標準時,得出3種識別方法均滿足測試要求。在此情況下,對比3種識別方法所得指標數值大小,數值越大,可信度越高。由此可以看出方法A+的數值最大,方法A與方法B的數值大小相同,僅分布位置與出現次數不同,為此,對其最大數值出現次數進行統計,最大數值出現次數多的為最佳。因此經過統計后,對比方法A優于比對方法B,故此可信度測試的最終結果為方法A+>方法A>方法B。

3 結語

通過引入大數據分析算法,對魚類行為信息特征進行訓練識別,達到了提升識別精準度,增強識別結果可信度的目的。但本文提出的方法并不完善,在識別條件上還存在局部限制,例如對識別目標魚最大密度的限制、最大水深的限制以及視頻光線反射區域目標魚行為缺失部分對識別效果的限制。為此,在日后的應用與研究中,需不斷積累識別特征信息,添加或借助數據庫模型,豐富大數據分析資源,優化自身數據特征樣本,以確保提出方法的穩定、高效和精準,使其分析結果時時處于最佳狀態。