基于圖像處理的水下海參識別和定位方法

張韞峰, 李 娟, 黎 明

基于圖像處理的水下海參識別和定位方法

張韞峰1,2, 李 娟2, 黎 明1

(1. 中國海洋大學 工程學院, 山東 青島, 266100; 2. 青島農業大學 機電工程學院, 山東 青島, 266109)

為解決復雜環境下海參識別和定位的難題, 文章提出了一種基于圖像處理的海參識別和定位算法。首先, 在圖像預處理基礎上設計基于模糊增強的融合RGB海參刺和海參主干突出特征算法, 以突出海參目標特征, 通過改進的圖像分割方法提取海參輪廓, 利用鏈表法去偽邊緣和形態學輪廓優化實現海參目標的識別。對海參目標的定位分為2種情況: 對形狀規則的海參目標通過橢圓一次擬合來初步定位; 對形狀不規則的海參目標通過提取海參目標方向特征進而設計基于最小外接矩形方向橢圓二次擬合算法來定位。仿真結果表明該算法可以有效識別和定位海參目標, 判斷海參體積大小, 為海參可持續自動捕撈提供了一種有效方法。

海參; 圖像處理; 識別定位; 方向特征

0 引言

海參蛋白質含量高, 具有豐富的營養價值[1]。隨著生活水平的提高, 人們對于海參的需求量逐年遞增[2-3]。研究發現, 目前海參養殖主要依靠人工底播, 且待海參長大后通過人工水下作業來捕獲, 費時費力, 安全系數低。為改善目前的海參捕撈現狀, 研究水下海參捕撈機器人迫在眉睫, 其中海參識別和定位技術是實現海參自動捕撈的關鍵。隨著人們對海洋資源的關注和海洋技術的研發, 目前水下機器人已經廣泛應用于水下目標檢測、識別和定位等方面[4-5], 通過水下機器人來自動捕撈海參的方法是可行的。但由于海參生活環境復雜, 體積大小不一, 體色隨環境變化, 因此海參的識別和定位存在許多困難[6]。

海參識別主要基于圖像處理和深度學習2種方法。近幾年, 國內外學者在海參識別方面的研究取得了一些成果: 郭祥云等[7-8]通過深度殘差網絡和基于深度學習的非結構環境算法進行海參識別, 該試驗是以海參池中獲取的海參圖像作為訓練樣本, 缺乏真實環境樣本集; 吳春陽等[9]采用YOLO(you only look once)v2算法檢測海參目標, 試驗使用自制的海參目標檢測數據集, 雖然實現了目標檢測, 但缺乏真實環境檢驗; Li等[10]采用深度學習方法對海參行為軌跡進行分析, 為海參的準確識別提供判別條件; 崔尚等[11]利用改進的Sobel算子和形態學處理得到海參二值圖, 方法便捷但識別的海參輪廓比較模糊; 皮志鋒等[12]利用6組不變矩特征和反向傳播(back propagation, BP)神經網絡進行海參識別, 構建的不變矩特征必須具有不同程度的聚類能力才可以輸入BP神經網絡, 此外該方法需要大量的數據訓練且容易陷入局部極小; 喬曦等[13]采用基于支持向量機的方法進行海參識別, 識別效果較好, 但海參目標特征子集中的元素較多且過程復雜; 李娟等[14]對海參刺進行最小二乘橢圓擬合來識別海參, 解決了海參體色變化影響識別率的問題; Qiao等[15]采用限制對比度自適應直方圖均衡(contrast limited adaptive histogram equalization, CLAHE)增強算法與小波變換結合來進行海參識別, 通過圖像分割可以識別出整體輪廓, 但輪廓區域不完整, 影響海參定位; 郭傳鑫等[16]基于融合顯著圖與Grab Cut算法進行圖像分割, 改善了傳統Grab Cut算法邊緣缺陷的問題并在海參養殖環境中進行試驗。

海參目標跟蹤定位方法主要分為生成式跟蹤和判別式跟蹤算法。生成式跟蹤算法通過目標的形狀特征進行跟蹤, 判別式跟蹤算法通過深度學習的分類器確定目標位置, 典型的方法如相關濾波跟蹤算法。劉吉偉等[17]在已知海參形狀特征情況下采用核相關濾波(kernel correlation filter, KCF)算法追蹤海參頭部進而估計海參尺寸并定位; 彭丹妮[18]通過改進Mean-shift算法實現海參目標跟蹤, Mean-shift算法魯棒性較好, 但在實際環境中存在海參目標追蹤偏移的問題。

鑒于以上海參識別和定位方法的局限性, 文章在圖像預處理的基礎上提出了一種基于融合RGB(red, green, blue)海參刺與海參主干特征突出并增強的算法, 融合后的海參目標特征明顯, 并通過改進的圖像分割等方法提取海參輪廓實現海參目標識別; 采用基于方向特征的最小外接矩形橢圓二次擬合實現海參目標的定位, 提高了海參目標識別和定位的成功率。

1 系統設計

1.1 結構設計

文中設計的海參識別和定位系統主要由海參圖像預處理、圖像融合、分割與識別、方向特征提取和目標定位5個模塊組成。該系統以水下相機拍攝的海參圖像為檢測目標, 通過圖像預處理算法、圖像融合算法、圖像分割識別算法、方向特征提取算法和二次擬合定位算法來自動檢測水下海參目標, 軟件體系結構如圖1所示。

圖像預處理模塊主要實現對海參目標的載入、圖像灰度轉換、增強和濾波, 提高圖像質量; 圖像融合模塊主要實現海參目標特征的突出增強, 有利于目標識別; 圖像分割模塊主要用于提取海參輪廓; 方向特征提取模塊主要是為海參目標定位提供方向特征數據, 初步定位形狀規則的海參位置; 定位模塊中的二次擬合可以定位任意形狀的海參目標, 并可通過輪廓長短軸度值判斷海參體積大小。

圖1 系統軟件結構圖

1.2 界面設計

文中系統基于MATLAB R2017b軟件的圖形用戶界面(graphical user interface, GUI)開發平臺設計, 如圖2所示。界面功能清晰、按鍵豐富, 可實時觀察海參圖像處理的結果, 方便算法的測試與改進, 提高了系統的交互性和易用性。

圖2 系統界面設計

2 水下海參識別和定位方法

文中結合視覺圖像和海參特征, 通過圖像灰度轉換、模糊增強算法和基于相似度函數自適應匹配濾波(adaptive matched filter, AMF)算法進行圖像預處理, 得到清晰且噪聲少的海參目標; 然后利用基于模糊增強的融合RGB海參刺和海參主干突出特征算法來突出目標特征; 通過圖像分割和輪廓優化算法提取完整封閉的海參輪廓進而實現目標識別; 利用橢圓一次擬合提取方向特征并實現形狀規則海參的初步定位; 通過基于方向特征的最小外接矩形橢圓二次擬合算法實現任意形狀海參的精準定位, 并可根據海參輪廓的長短度值判斷體積大小, 最終可實現海參的可持續自動捕撈。

2.1 圖像預處理

文中的海參圖像數據樣本來自山東煙臺海洋牧場, 通過對圖像典型樣本分析可知, 海參圖像背景物復雜, 對比度低、噪聲高, 因此需對其進行預處理。圖像預處理過程主要由目標圖像載入、灰度轉換、圖像增強和圖像濾波4部分組成, 如圖3所示。

海參目標圖像是由RGB三通道組成的彩圖, 為了減少圖像處理計算量, 需對彩色圖像進行灰度化處理[13]:

對灰度圖進行直方圖均衡化(histogram equa- lization, HE)處理后發現, 海參圖像灰度值范圍擴大, 邊緣部分信息丟失, 因此, 采用模糊增強算法根據隸屬度函數值進行圖像增強。設灰度圖像, 模糊隸屬函數為, 廣義模糊集合為, 對灰度圖像進行線性廣義隸屬變換(linear generalized membership transform, LGMT), 即

此時, 隸屬函數表示為

模糊增強后的海參圖像仍具有噪聲, 采用基于相似度函數AMF算法進行濾波。

2.2 圖像融合與分割識別

海參圖像融合主要由圖像RGB空間分布與提取、海參刺與海參主干特征突出、特征突出增強和圖像融合4部分組成。海參圖像分割識別主要包括Canny邊緣檢測模糊優化和去偽邊緣2部分, 具體過程如圖4所示。

圖像預處理后的海參圖像目標特征模糊, 為此, 根據圖像RGB顏色空間分布規律, 通過多次試驗確定RGB組合運算的權重, 進而提出一種基于模糊增強的融合RGB海參刺和海參主干突出特征算法。

經過圖像融合后的海參目標特征明顯, 為準確提取圖像邊緣輪廓, 對傳統的Canny算法進行了如下改進。

1) 用模糊增強代替傳統Canny算法中的高斯濾噪。

圖5 Sobel算子模板

圖像梯度矩陣

圖像各點的梯度方向

3) 圖像梯度方向劃分:

2.3 圖像方向特征提取

海參圖像方向特征提取過程主要由輪廓優化、橢圓一次擬合定位和方向特征提取3部分組成, 特征提取過程如圖6所示。

圖6 海參圖像方向特征提取流程圖

2.4 目標定位

形狀規則的海參目標定位通過橢圓一次擬合實現; 形狀不規則的海參目標定位通過基于最小外接矩形方向橢圓二次擬合實現, 其過程主要由最小外接矩形標定、方向橢圓擬合及二次擬合定位3部分組成, 如圖7所示。

圖7 海參目標定位流程圖

圖8 海參輪廓方向橢圓擬合

根據橢圓擬合原理, 當選取海參邊緣輪廓的邊界點到擬合點距離的平方和最小時, 目標函數為

3 仿真結果與分析

3.1 圖像預處理結果分析

從采集的海參圖像數據集樣本[14]中選取部分目標圖像載入設計的系統, 如圖9所示。

文中以水下海參圖像1~4為樣本進行試驗, 結果如圖10~13。其中圖(a)為自然環境下采集的海參圖像, 圖(b)為灰度圖, 對應的直方圖為圖(f), 從中可以看出, 灰度圖模糊且噪聲較多。采用HE算法增強灰度圖如圖(c), 其對應的直方圖為圖(g), 從中可以看出, HE增強后的灰度變化范圍擴大, 圖像邊緣部分信息丟失, 背景銳化。采用模糊增強算法對灰度圖進行增強, 結果為圖(d), 并進行基于相似度函數AMF試驗, 結果為圖(e), 其對應的直方圖為圖(h)。根據結果可以看出文中方法更適合海參圖像的增強, 濾波后的圖像與原圖相似度較高, 圖像清晰, 邊緣信息完整, 提高了圖像對比度。

圖9 海參樣本載入

圖10 水下海參圖像1圖像預處理

圖11 水下海參圖像2圖像預處理

圖12 水下海參圖像3圖像預處理

圖13 水下海參圖像4圖像預處理

采用客觀圖像質量評價方法進一步證明文中圖像預處理算法的效果, 通過計算預處理圖像與原始灰度圖之間的均方誤差(mean-square error, MSE)、峰值信噪比(peak signal to noise ratio, PSNR)、平均絕對誤差(mean absolute error, MAE)和平均結構相似性(mean structural similarity, MSSIM)進行有效性對比, 結果如表1所示。與HE算法和模糊增強算法相比, 文中方法的MSE最小, PSNR最大, MAE最小, MSSIM值與原始灰度圖的差距最小, 表明通過該方法預處理后的圖像較好地保留了灰度圖的特征, 圖像清晰且噪聲較小。為了進一步評價文中圖像預處理算法的效果, 對表1中經過各自算法預處理后的圖像質量評價數據求均值, 結果如表2所示。根據表2數據同樣可以得出文中海參預處理方法的效果相對于HE算法和模糊增強算法效果更好。

表1 海參目標輸出圖像質量評價數據

表2 海參目標輸出圖像質量平均對比數據

3.2 海參輪廓提取結果分析

通過上文提出的海參圖像融合與分割識別方法, 得到其輪廓提取結果如圖14~17所示。從識別結果可以看出, 文中算法能夠對背景復雜、噪聲和光照不均的海參圖像實現比較完整的分割, 較好地保留了其邊緣輪廓信息。

圖14 海參圖像1輪廓識別與提取

圖15 海參圖像2輪廓識別與提取

圖16 海參圖像3輪廓識別與提取

圖17 海參圖像4輪廓識別與提取

將文中算法與Otsu算法、LOG算子分割算法、Sobel算法、直方圖閾值(150)分割算法和傳統Canny分割算法進行比較, 結果如圖18~21所示。從圖中可以看出, 相較于其他算法, 文中算法能較好地實現海參目標輪廓的提取, 目標分割邊緣較平滑, 保留了圖像大部分邊緣特征信息。

將選取的海參圖像樣本分別通過上述6種算法得出相關評價指標數據如表3所示。從表中可以看出, 文中算法的分割準確率和召回率分別為0.889 7和0.994 7, 遠高于其他算法, 運行時間適中, 識別輪廓效果最好, 保留了大部分邊緣細節信息, 符合圖像分割的要求。

3.3 海參方向特征提取結果分析

以海參圖像1為例, 采用文中提取方法進行方向特征提取試驗, 分別得到了海參的長、短軸和中心位置等信息, 結果如圖22所示。

圖18 海參圖像1不同方法識別結果

圖19 海參圖像2不同方法識別結果

圖20 海參圖像3不同方法識別結果

圖21 海參圖像4不同方法識別結果

表3 基于不同分割算法的海參圖像評價標準數據

圖22 海參圖像1方向特征提取

3.4 海參定位結果分析

圖23 海參圖像1~4目標定位

4 結束語

針對目前海參識別和定位方法的不足, 文章分別提出了基于模糊增強的融合RGB海參刺與海參主干突出特征算法將海參目標特征進行突出, 大大提高了海參圖像分割和識別的成功率; 基于最小外接矩形方向橢圓二次擬合算法, 不僅能夠實現對形狀規則海參的二次定位, 對形狀不規則海參的精準定位, 還可以通過海參輪廓長短度值判斷其體積大小, 實現海參捕撈的可持續化。文中算法相對深度學習過程比較簡單, 不需要訓練大量樣本; 相對目前的圖像處理方法, 不僅可以識別和定位任意形狀的海參目標, 判斷體積大小, 而且在圖像處理過程中實現了定位, 降低了定位復雜度。文章下一步將對海參立體定位方法進行研究, 從而完善水下海參識別和定位系統。

[1] 房英春, 張慧, 陳曦. 海參資源及生物學特征[J]. 北京水產, 2017, 2(5): 25-27.Fang Ying-chun, Zhang Hui, Chen Xi. Resources and Biological Characteristics of Sea Cucumber[J]. Beijing Aquatic Products, 2017, 2(5): 25-27.

[2] 王金龍. 海參市場總結報告[J]. 當代水產, 2017(1): 36-38.Wang Jin-long. Sea Cucumber Market Summary Report[J].Modern Fisheries, 2017(1): 36-38.

[3] 盧昆, 劉慧迪, 包利民. “十三五”期間山東省海參養殖產量預測與發展前瞻[J]. 海洋開發與管理, 2018, 7(1): 94-100.Lu Kun, Liu Hui-di, Bao Li-min. Prediction and Development of Sea Cucumber Production in Shandong Province During the 13th Five Years Plan[J]. Ocean Development and Management, 2018, 7(1): 94-100.

[4] 唐旭東, 龐永杰, 張赫, 等. 基于單目視覺的水下機器人管道檢測[J]. 機器人, 2010, 32(5): 592-600.Tang Xu-dong, Pang Yong-jie, Zhang He, et al. Underwater Pipeline Detection by AUV Based on Monocular Vision[J]. Robot, 2010, 32(5): 592-600.

[5] 曾文靜, 徐玉如, 萬磊, 等. 自主式水下機器人的光視覺管道探測跟蹤系統[J]. 上海交通大學學報, 2012, 46 (2): 178-183, 189.Zeng Wen-jing, Xu Yu-ru, Wan Lei, et al. Robotics Vision Based System of Autonomous Underwater Vehicle for an Underwater Pipeline Tracker[J]. Journal of Shanghai Jiao tong University, 2012, 46(2): 178-183, 189.

[6] Qiao X, Bao J H, Zhang H, et al. Underwater Image Quality Enhancement of Sea Cucumbers Based on Improved Histogram Equalization and Wavelet Transform[J]. Information Processing in Agriculture, 2017, 4(3): 206-213.

[7] 郭祥云, 王文勝, 劉亞輝, 等. 基于深度殘差網絡的水下海參自動識別研究[J]. 數學的實踐與認識, 2019, 49 (13): 203-212.Guo Xiang-yun, Wang Wen-sheng, Liu Ya-hui, et al. Automatic Identification of Underwater Sea Cucumber Based on Depth Residual Network[J]. Practice and Understanding of Mathematics, 2019, 49(13): 203-212.

[8] 郭祥云, 胡敏, 王文勝, 等. 基于深度學習的非結構環境下海參實時識別算法[J]. 北京信息科技大學學報(自然科學版), 2019, 34(3): 27-31.Guo Xiang-yun, Hu Min, Wang Wen-sheng, et al. Real Time Recognition Algorithm of Sea Cucumber in Unstructured Environment Based on Deep Learning[J]. Journal of Beijing University of Information Technology (Natural Science Edition), 2019, 34(3): 27-31.

[9] 吳春陽. 基于卷積神經網絡的水下海參目標檢測系統設計與實現[D]. 哈爾濱: 哈爾濱工程大學, 2018.

[10] Li J, Xu C, Jiang L, et al. Detection and Analysis of Behavior Trajectory for Sea Cucumbers Based on Deep Learning[J]. IEEE Access, 2020, 8: 18832-18840.

[11] 崔尚, 段志威, 李國平, 等. 基于Sobel改進算子的海參圖像識別研究[J]. 電腦知識與技術, 2018, 14(22): 145-146.Cui Shang, Duan Zhi-wei, Li Guo-ping, et al. Sea Cucumber Image Recognition Based on Sobel Improved Operator[J]. Computer Knowledge and Technology, 2018, 14(22): 145-146.

[12] 皮志鋒. 海參捕撈機器人技術研究[D]. 哈爾濱: 哈爾濱工程大學, 2017.

[13] 喬曦. 基于水下機器視覺的海參實時識別研究[D]. 北京: 中國農業大學, 2017.

[14] 李娟, 朱學巖, 葛鳳麗, 等. 基于計算機視覺的水下海參識別方法研究[J]. 中國農機化學報, 2020, 41(7): 171-177.Li Juan, Zhu Xue-yan, Ge Feng-li, et al. Direction Ellipse Fitting of Sea Cucumber Contour Recognition Method of Underwater Sea Cucumber Based on Computer Vision[J]. China Agricultural Machinery Chemical Journal, 2020, 41(7): 171-177.

[15] Qiao X, Bao J H, Zeng L H, et al. An Automatic Active Contour Method for Sea Cucumber Segmentation in Natural Underwater Environments[J]. Computers and Electronics in Agriculture, 2017(135): 134-142.

[16] 郭傳鑫, 李振波, 喬曦, 等. 基于融合顯著圖與Grab Cut算法的水下海參圖像分割[J]. 農業機械學報, 2015, 46(S1): 147-152.Guo Chuan-xin, Li Zhen-bo, Qiao Xi, et al. Image Segmentation of Underwater Sea Cucumber Using Grab Cut with Saliency Map[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(S1): 147-152.

[17] 劉吉偉, 魏鴻磊, 裴起潮, 等. 采用相關濾波的水下海參目標跟蹤[J]. 智能系統學報, 2019, 14(3): 525-532.Liu Ji-wei, Wei Hong-lei, Pei Qi-chao, et al. Underwater Sea Cucumber Target Tracking Using Correlation Filtering[J]. Journal of Intelligent Systems, 2019, 14(3): 525-532.

[18] 彭丹妮. 海參自動捕撈中的目標跟蹤技術研究[D]. 大連: 大連工業大學, 2017.

Underwater Sea Cucumber Identification and Localization Method Based on Image Processing

ZHANG Yun-feng1,2, LI Juan2, LI Ming1

(1. College of Engineering, Ocean University of China, Qingdao 266100, China; 2. College of Mechanical and Electrical Engineering, Qingdao Agricultural University, Qingdao 266109, China)

An image processing algorithm for sea cucumber identification and localization is proposed to solve the problem of sea cucumber identification and localization in complex environment. First, based on image preprocessing, a fuzzy enhanced fusion RGB sea cucumber thorn and sea cucumber trunk prominent feature algorithm is designed to highlight sea cucumber target features. The outline of a sea cucumber is extracted using an improved image segmentation method, andthe linked list method is used to remove false edges and morphological outline optimization, which is necessary to identify the sea cucumber target. The localization of sea cucumber target can be divided into two cases:a sea cucumber target with a regular shape that is located by one-time ellipse fitting, and a sea cucumber target with an irregular shape that is located by extracting the target direction feature of the sea cucumber and designing a quadratic fitting algorithm based on the least external rectangle direction ellipse. Simulation results reveal that the algorithm can effectively identify and locate sea cucumber target, determine the volume of sea cucumber, and ultimately provide an effective method for sustainable and automatic fishing of sea cucumbers.

sea cucumber; image processing; identification and localization; direction feature

TP391.41; S979

A

2096-3920(2021)01-0111-13

10.11993/j.issn.2096-3920.2021.01.016

張韞峰, 李娟, 黎明. 基于圖像處理的水下海參識別和定位方法[J]. 水下無人系統學報, 2021, 29(1): 111-123.

2020-01-07;

2020-04-24.

國家自然科學基金項目(32073029; 41674037); 山東省自然科學基金重點項目(ZR202010310016); 山東省研究生教育質量提升計劃項目(SDYJG19134); 山東省大數據驅動的復雜系統安全控制技術重點實驗室(籌)開放基金(SKDK 202002).

張韞峰(1996-), 男, 在讀碩士, 主要研究方向為智能檢測與智能控制.

(責任編輯: 陳 曦)