一種海上養殖網箱的無人巡檢方法研究

呂新蕾，孟 娟，杜 海，趙云鵬，劉圣聰

(1.大連海洋大學 信息工程學院,遼寧 大連 116023；2.設施漁業教育部重點實驗室,遼寧 大連 116023；3.大連理工大學 海岸和近海工程國家重點實驗室,遼寧 大連 116024；4.大連天正實業有限公司,遼寧 大連 116011 )

0 引言

因自然資源量消耗逐年增大，為緩解生態環境、水土資源和發展空間等各方面壓力，深海養殖模式逐漸成為全球漁業的一個發展趨勢。在多種深海養殖方式中，網箱養殖投資收益快，飼養周期短、管理方便、起捕容易、適應性強且便于推廣，受到了廣大漁民的青睞[1]。

然而，海上養殖的狀態監測難度也因養殖網箱離岸距離的增加而增加。目前多數的海上養殖網箱仍采用最為傳統的觀測方式，即根據專家經驗對現場網箱或影像進行識別。盡管人工漁場觀測方式已經有了幾十年經驗的積累，然而人工的參與也必然引起主觀判斷和行為失誤的風險以及人員傷亡的問題。此外，采用純人工檢測的方式并不適用于較大的海上網箱養殖現場(養殖區域往往可達上千畝)，因其檢測效率并不十分理想，且海上人工檢測時間越長出現風險的可能性也越大[2-3]。隨著國內制造業和電子業的高速發展，一些先進的電子科技產品也在養殖中得到廣泛應用，這其中包括無人機的使用[4]。網箱檢測的現場工作人員可以通過控制無人機的飛行軌跡來獲取網箱影像，通過觀看影像信息來判斷養殖狀態是否正常。

為進一步提升海上養殖網箱檢測的自動化水平，同時也為了降低海上作業的風險，提高觀測結果的客觀準確程度，本文將無人機觀測技術[5-8]、卷積神經網絡以及傳統圖像處理技術的應用遷移到海上網箱養殖巡檢中，提出了一種新型的海上養殖網箱的無人機視覺巡檢方法。實驗結果表明，該方法在養殖網箱無人化檢測中表現良好，有著重要的現實意義，同時也為智慧海洋的發展提供了新思路。

1 卷積神經網絡的結構及原理

為提高整體工作的自適應性，選用深度學習中的卷積神經網絡HED(holistically-nested edge detection)對養殖網箱進行邊緣檢測。該網絡基于VGG(Very Deep Convolutional Networks for Large-Scale Image Recognition)網絡進行改進，將VGG-net最后的池化層與全連接層去掉，側輸出層(side-output layer)與每組卷積池化的最后一個卷積層相連，為更好地利用每個側輸出層的結果，引出6個損失函數同時訓練，并且在訓練過程中增加了一個“權重融合函數(Weight-fusion)”的學習,將學習結果融合得到最終邊緣檢測圖。網絡結構如圖1所示。

圖1 HED網絡結構圖

HED網絡充分利用了卷積神經網絡在提取特征方面的優勢以及深度學習方法的強大學習能力，該方法已在文獻[9]中被證實邊緣處理效果優于Canny算子。

2 海上養殖網箱養殖區域提取

2.1 圖像預處理

海上養殖網箱內部養殖區域的提取，是網箱內部魚群狀態檢測的基礎。為保證計算機準確提取到網箱養殖區，過濾背景環境對提取結果的影響，需要將數據圖像進行一系列的預處理。

邊緣檢測是整個預處理中的第一步，圖像邊緣包含豐富的特征信息，在特征提取的研究中有著舉足輕重的地位，也是圖像處理和計算機視覺中重要的研究基礎。傳統邊緣檢測技術多種多樣，但大多傳統邊緣檢測算子受指定閾值大小的影響，且對光照等噪聲敏感，在海上養殖網箱無人化檢測任務中自適應性較弱。不利于后續實際檢測應用[10-11]使用HED進行網箱邊緣檢測，可以有效地避免太陽光照及海面反光對檢測造成的影響，得到邊緣清晰、連貫的目標主體邊緣輪廓，更準確地提取有效網箱養殖區域。

首先將圖片作為原始數據輸入到訓練好的HED網絡模型，由于該網絡可以端到端進行檢測，故圖像通過整體嵌套的網絡模型后可直接得到最終的邊緣圖Ie，得到網箱邊緣圖后需要結合傳統數字圖像處理技術進行二值化處理[12-13]，為進一步提取網箱內部的養殖區域(興趣區域ROI)做準備。由于本文數據經過HED處理后得到的邊緣圖Ie，很好地抑制了背景圖以及太陽光照等干擾，為充分利用網箱框體邊緣圖，二值化過程中將閾值自定義為1，則二值圖幾乎保留Ie中所有邊緣像素點。從而使得二值圖更為連續。

2.2 連通域篩選

由于分析對象為網箱內部養殖區，而二值圖像的像素只有兩種狀態即黑(0)、白(255)，故將二值圖的像素值進行取反操作，得到白色塊為初始圖像連通域。因為后續方法的分析判斷中僅將完整顯示的養殖網箱內部區域作為有效區，因此剔除所有與邊界相連的連通域，處理后的圖像中仍會存在許多小面積區域，其中多數為網箱框體的空洞結構造成，這些區域在處理中被視作噪聲。為消除這些噪聲點，需要選取合適的閾值t，判斷閾值t與之面積大小篩選出的連通域即為提取的網箱養殖區。閾值t的定義如下：

假設圖像中的連通域目標集合表示為S={A1,A2,A(3,…)An}，其中Ai為第i個連通域目標的像素面積，則定義閾值t為式(1)：

(1)

最終所得養殖區域的連通域面積特征應滿足Ai>t。

3 紋理特征判斷

3.1 特征紋理分析

紋理特征反映了物體的自身屬性，可以通過對紋理特征異同分析，從而判斷不同物體或圖像。紋理由紋理基元排列組合而成，基元排列的疏密、周期性、方向性等的不同，能使圖像的外觀產生極大地改變。Tamura等人提出的紋理特征分析法將6個心理學角度對應于紋理特征中6種屬性，即粗糙度、對比度、方向度、線性度、規則度和粗略度。其中前3個指標對于圖像處理中的紋理判斷具有很高的價值[14]。本文引用Tamura紋理特征分析方法中的粗糙度分量，通過分析網箱內外的粗糙度數值變化，從而判斷養殖網箱內是否有魚群活動。

粗糙度是最基本的紋理特征，當兩種紋理特征模式基元尺寸不同時，具有較大基元尺寸的模式給人感覺更粗糙。其計算步驟為：

1)計算圖像中給定大小的活動窗口像素平均強度值；

2)對每個像素分別計算在水平和垂直方向上互不重疊的窗口之間的平均強度差；

3)計算整幅圖像中最佳尺寸的平均值得到該圖的粗糙度。

3.2 網箱紋理特征判斷

養殖網箱內的紅鰭東方鲀有日常到水面環游的現象，為自動判斷養殖區域是否有魚群游動，以網箱內的魚場圖像紋理特征作為檢測依據對養殖區域關鍵數據進行篩選。鑒于本文主要研究視覺輔助巡檢時漁場“粗狀態”的檢測，故本文主要采用Tamura紋理特征中最為基本、也最為重要的特征——粗糙度來進行河鲀水面游動的判斷。由于粗糙度僅在ROI區域中進行分析判斷，因此對文獻[15]中的Tamura紋理粗糙度計算公式進行了改進。

如公式(2)～(5)所示：

n=1,2,…,N,k=1,2,…,K

(2)

ROIn(|Ak(x,y-2k-1)-Ak(x,y+2k-1)| ))

(3)

(4)

Fn=∑(x,y∈ROIn)2(kt (x,y))/M(ROIn)

(5)

其中：I(i,j)為圖像I在點(i,j)處的像素值，k為分析窗口的尺度，K為設定的最大窗口值，ROIn(·)為圖像I中第n個興趣區域，M(ROIn )為ROIn區域內像素的個數，Fn為第n個興趣區域內的粗糙度值。從式(5)可以看出，粗糙度的計算完全依賴于區域內窗口顆粒尺寸的統計均值，因此粗糙度可以較好地反映紋理中的粒度，當兩種紋理模式只是基元尺寸不同時，具有較大尺寸或重復范元較少的模式更粗糙，而日常巡檢時魚在水面環游與其周圍海水波面紋理粒度是不同的，對比養殖網箱附近相同窗口大小的海面粗糙度數值，對所提區域給出狀態判斷。設G為網箱養殖區域粗糙度Fn與其相鄰海面粗糙度F′n差的絕對值，f為兩者中較小的值，即：

G=|Fn-F′n|

(6)

f=min(Fn,F′n)

(7)

4 實驗結果與分析

4.1 實驗區與數據獲取

本文所需數據來自于大連天正實業有限公司大李家紅鰭東方鲀養殖場。大李家紅鰭東方鲀養殖場占海域面積2 000余畝，人工巡檢任務量巨大，采用無人機巡檢技術后將大幅度提高現場檢測的效率。本文研究數據是使用無人機搭載像素為1 920*1 080的攝像機按照預先設定的路徑從養殖網箱的上空實時獲取養殖區域的視頻，如圖2所示。為保證數據的多樣性，在數據采集過程中無人機有明顯的高度、角度及距離的變化。為方便研究及降低數據的重復度，將拍攝到的視頻數據每間隔6幀取一幀保存為圖片形式，并將未進入養殖區的圖像刪除，剩余圖像作為后續算法驗證的實驗數據。

圖2 無人機采集數據

4.2 網箱養殖區域提取

為驗證方法的適用性及準確性，目標區域提取實驗使用本文第二節所介紹的方法對實驗數據進行處理，即，首先使用HED網絡提取網箱邊緣，再將網箱邊緣數據進行二值化及形態學濾波處理，經過對圖像取反操作并剔除與圖像邊界相連的不完整部分后，得到較多連通域，根據公式(1)進行目標面積篩選，得到網箱養殖區域連通域，將其內部原始信息還原，從而提取到網箱的養殖區域。

由于數據樣本較多，選取具有代表性的數據，給出實驗過程關鍵步的效果圖，如圖3～圖5所示，無人機飛行過程中由于拍照位置、海面區域特點的變化，使得海面背景圖像光照、灰度分布不均勻，經過深度網絡多級特征提取后，邊緣檢測的輸出結果完全突顯了網箱框架的輪廓，而影響識別的太陽倒影、水面顏色等也得到了很好的抑制。最終結果圖清楚地顯示了所提取的養殖區域。(說明：為了分析的方便性和處理效率，本文所設計的無人機巡檢時僅對圖像中完整的網箱區域進行識別與檢測)

圖3 數據樣本

圖4 邊緣檢測圖

圖5 網箱養殖區域提取

為驗證本文所提的網箱養殖區域提取方法的準確度，將實驗中每幀圖片自動提取完整區域的數量與人工判斷的數量(樣本數量)做對比統計，以人工判斷的完整網箱的數量為正確參考，從而計算得到該方法提取網箱的準確度。結果見表1。

表1 養殖區域提取數據統計表

4.3 紋理特征分析

紋理特征分析在提取出網箱養殖區域之后進行，實驗區有部分網箱內的河鲀已被打撈完畢，則該部分網箱內為無魚群游動的狀態，為驗證使用粗糙度判斷網箱內部狀態的有效性，選取了多個養殖區域圖像，根據公式(2)～(5)計算網箱區域內及周邊海面區域粗糙度，其數值對比如圖6～圖7所示。其中圖6為有效養殖區與其相鄰海面粗糙度數值的對比，圖7中的養殖區域無魚群游動，為無效養殖區與海面粗糙度數值的對比。

圖6 粗糙度數值對比圖

圖7 粗糙度數值對比圖

表2 養殖區粗糙度數據統計表

5 結束語

本文基于計算機視覺技術提出了一種海上養殖網箱無人機視覺巡檢的方法，用以解決海上網箱養殖時無人機巡檢過程中有效數據的提取和異常狀態的初步判斷問題。為助力海洋牧場的無人巡檢工作，本文所提方法從無人機海上巡航實際角度出發，以養殖觀測技術為支撐，融合當下發展迅速的深度學習及傳統的圖像處理方法，為海上網箱養殖的自動化監測提供了一個新的解決思路。實驗數據來源紅鰭東方鲀養殖場，但本文所提方法具有通用性，對于其他魚類養殖網箱的檢測亦具有重要的參考價值。研究過程中，緊密結合海上養殖經驗和無人機海上運行實際狀態特點，所提出的方法完全針對海上巡檢時圖像背景光度分布復雜、低對比度、有用信息占比小等實際問題，因此具有較好的現實意義。

通過對紅旗東方鲀網箱養殖現場圖像進行驗證與結果分析，得到完整網箱提取的準確度為97%，網箱初步狀態判斷的準確度為97.1%，表明該方法可以有效地用于養殖現場的初步判斷和數據選擇，從而完成海上養殖巡檢時有效信息采集，可為海上養殖積累高質量、有效的大數據提供技術參考，并為下一階段的網箱養殖健康狀態評測奠定堅實的技術基礎。