基于機器視覺技術的金鯧魚質量預測研究

單佳楠,鄭曉偉

(1 上海海洋大學工程學院,上海 201306;2 中國水產科學研究院漁業機械儀器研究所,上海 200092)

近年來,隨著金鯧魚(Trachinotusovatus)人工育苗與深水網箱養殖兩大關鍵技術的突破,推動了金鯧魚產業的蓬勃發展。早在2016年,金鯧魚就已成為國內五大海水養殖魚類之一,2020年中國金鯧魚年總產量達18萬t[1]。金鯧魚主要的加工產品種類有凍品、冰鮮以及少量的活鮮魚,前處理加工需按照不同的質量進行分級。目前,金鯧魚分級主要依賴人工稱重分級,這種分級方法效率低,且分選受人工主觀因素影響易產生誤差,難以滿足快速生產的要求。隨著計算機技術的發展,機器視覺技術也越來越多地應用到自動化行業當中[2],如物流、金屬加工、食品加工等。機器視覺技術不僅可以提高生產效率,還能提升產品質量[3],能夠無接觸、無干擾地獲取所需信息、并且在人眼無法達到的環境中應用。機器視覺技術代替人眼是未來發展的必然趨勢,國內外已有相關研究將機器視覺技術應用到生產加工當中,如多種淡水魚分類[4]、梭子蟹質量估計[5]、魚新鮮度檢測[6]、大黃魚弧菌病監測[7]等。

本研究利用機器視覺技術對金鯧魚圖像進行采集、預處理后,對預處理后圖像的有效特征逐一計算分析,建立多個金鯧魚質量預測模型,通過分析對比,選取預測誤差最小的預測模型,為后續金鯧魚自動化質量分級加工提供理論依據。

1 材料與方法

1.1 研究材料

本研究共購入產自海南昌江棋子灣深海海域的養殖冷凍金鯧魚100條,在解凍和去除表面水分后對其逐一稱重,測得其規格區間為302.3～507.8 g,并對每條金鯧進行編號,其中80條將作為本次研究的建模樣本,其余20條作為預測模型的檢驗樣本。

1.2 研究方案

為獲取金鯧魚圖像的特征參數,需構建金鯧魚圖像采集系統。該系統由硬件和軟件兩個部分組成,硬件部分主要包含攝像頭固定支架、LED光源、遮光棚、純色背景布、視覺相機、樹莓派計算機等[8]。研究方法流程如圖1所示。

圖1 研究方法流程圖Fig.1 Research method flow chart

軟件部分主要包含Python 3.9與OpenCV庫,建模過程主要使用Excel與SPSS軟件。采集過程相機始終為固定高度,便于后期標定。相機分辨率為1 920×1 080,230萬有效像素,采用USB3.0傳輸數據。樹莓派計算機采用Linux開源系統,該系統簡潔易上手,非常適合開發。預試驗中依據圖像直方圖對不同背景顏色的輪廓提取效果進行對比,結果顯示綠色背景布對于金鯧魚輪廓識別效果更好。本試驗主要使用Python語言進行編程,程序主要包含圖像采集與預處理,圖像特征提取兩個模塊[9]。

1.3 圖像采集系統

由于金鯧魚體態扁平,且質量主要分布在魚體中心部位,魚體厚度區分較小,因此采用投影圖像作為特征圖像,建立金鯧魚投影圖像特征和金鯧魚質量之間的關系。研究共采集100條金鯧魚圖像,2個長條形LED燈固定在遮光棚頂部,使用相機在遮光棚下靜態拍攝金鯧魚,采集金鯧魚的鏡頭到平面的距離均為35 cm,相機通過USB3.0與樹莓派計算機連接,拍攝后編號保存。圖像采集裝置示意圖及實物圖如圖2所示。

圖2 圖像采集裝置示意圖及實物圖Fig.2 Schematic diagram and physical map of the image acquisition device

1.4 圖像處理

1.4.1 圖像去噪

為減少圖像噪聲,將原圖像進行高斯濾波處理,高斯濾波去噪就是對整幅圖像像素值進行加權平均,針對每一個像素點的值,都由其本身值和鄰域內的其他像素值經過加權平均后得到[10]。

本試驗采用高斯濾波核為5×5,經高斯消噪后的圖像如圖3所示。

圖3 高斯濾波后的金鯧魚圖像Fig.3 Image of golden pomfret after gaussian filtering

1.4.2 閾值處理

閾值處理是通過去除圖像中像素值超出某一閾值或低于某一閾值的像素點[11]。其函數表達式為:

(1)

依據獲取的圖像直方圖和多次閾值分割嘗試,確定閾值maxVal為5分割效果較好,得到二值圖像,實現背景和前景的有效分離[12]。由于后續圖像特征處理需要基于二值化圖像,因此對灰度化后的圖像二值化處理。去除背景后圖像直方圖與未去除前圖像對比如圖4所示。

圖4 圖像直方圖Fig.4 Image histogram

1.4.3 圖像灰度與二值化處理

在灰度圖像中像素的顏色值被稱為灰度,也指黑白圖像中像素點的顏色深淺程度,點值的范圍從 0到255取整數,黑色為0,白色為255[13]。圖像灰度化是圖像預處理的重要步驟,可為后續圖像分割、識別與分析等操作服務。圖像灰度化處理有以下幾種方式:分量法、最大值法、平均值法、加權平均法[14]。

本次試驗采用加權平均法,將3個分量以不同的權值進行加權平均。由于人眼對綠色的敏感最高,對藍色敏感最低,對RGB三分量進行加權平均能得到較合理的灰度圖像。研究采用常用的經驗公式也被稱為心理學灰度公式[15]。

Gray=0.114B+0.587G+0.299R

(2)

在二值圖像中添加一些位于黑色與白色之間的顏色深度,就構成了灰度圖像。從最暗的黑色到最亮的白色可分為多個灰度級[16],當灰度級最低時便是二值圖像。

圖5所示為其于灰度化處理后的金鯧魚圖像。

圖5 灰度化處理后的金鯧魚圖像Fig.5 Image after grayscale processing

二值圖像的本質是只存在黑、白兩種顏色的圖像,而且像素僅有0、255兩種取值,其中0表示黑色,255表示白色。

圖6所示為基于不同maxVal值時的圖像。

圖6 不同閾值時的二值圖像Fig.6 Binary diagram of different thresholds

由圖6可得閾值為170時,無法準確分離前景與背景,當閾值為200時能較好地區分前景與背景,且比閾值為230時顯示更多的輪廓細節。依據公式(2)和多次試驗,得出設置閾值maxVal為200圖像處理效果最好。二值化處理后得到的金鯧魚圖像如圖7所示。

圖7 二值化處理后的圖像Fig.7 Image after binarization

1.4.4 形態學去噪

從二值處理后的圖像中觀察到,在圖像輪廓周圍存在白色干擾點。因此對圖像進行形態學操作來過濾圖像中存在的干擾點。形態學操作包含:腐蝕、膨脹、開運算、閉運算、梯度運算、黑帽運算、禮帽運算等操作[17]。

腐蝕操作能把位于圖像邊緣的像素點去除,使圖像沿輪廓邊緣向內收縮[18],也能消除小于特定大小的結構。腐蝕操作能使二值圖像中的前景輪廓更加明朗,從而實現消除噪聲、要素分割等功能。在腐蝕操作中,一般使用單個結構元(kernel)來逐一像素地遍歷將被腐蝕的圖像,并通過結構元與被腐蝕圖像的關系來確定處理結果[19]。腐蝕與膨脹操作都是逐個像素地來決定像素值,每次判定的點均為和結構元中心點對應的點[20]。

開、閉運算融合了前面兩種方法,在運算順序上有些不同。開運算操作是先將圖像腐蝕操作,再對腐蝕后的圖像進行膨脹[19]。因此,開運算可以實現去噪、計數等功能。閉運算首先進行的是膨脹運算,再進行腐蝕運算[21]。結合本次金鯧魚灰度圖像的特點和需求,基于上述原理本研究對金鯧魚二值像進行開運算操作,經過對比得出當結構元kernel=15時,既能保留原始圖像的輪廓特點,又能準確去除圖像周邊噪點。

如圖8所示,當開運算的kernel較小時,邊緣會產生影響結果的邊緣“氣泡”,當kernel=15時,輪廓細節得到了較好的保留,并且消除了“氣泡”,當kernel=20時,從圖像中看到圖像鋸齒狀更加明顯,且輪廓細節丟失較多。

圖8 kernel值不同時的邊緣輪廓圖Fig.8 Edge contour diagram with different kernel values

此外對于輪廓擬合曲線的選定不同kernel值也會有所影響,結果如圖9所示。綜上所述,因此形態學操作的kernel值選取為15。

圖9 kernel值不同時輪廓的擬合直線圖Fig.9 Fitting line graph of contour with different kernel values

1.5 特征提取

特征提取包含圖像面積、周長、長短軸、去魚鰭后圖像面積等參數,人工測量特征包括含魚鰭體寬與體長、不含魚鰭體寬與體長、魚眼直徑、頭鰭寬、魚尾部最窄處寬。

由于特征參數均由圖片信息獲取,所得的參數單位都以像素為單位,因此需要獲取實際物理尺寸和像素之間的換算關系,通過圖像標定的方法,建立相機成像的幾何模型[22]。

對標定圖像在相同條件下擺放位置不同的同一黑色正方形塊拍攝了3張圖像。

已知拍攝圖像為50 mm×50 mm的正方形,為減小誤差,對三張圖的計算結果取平均值,結果如表1所示,得到像素面積平均值為43 308.5,像素周長平均值為846.48,依據公式,可得比例系數ε1=846.48/200≈4.23,ε2=43 308.5/2 500=17.32。最終換算成實際尺寸數據部分如表2所示。

表1 圖像標定面積和周長測量表Tab.1 Image calibration area and perimeter measurement scale

表2 樣本數據平均值Tab.2 Average value of sample data

為了減小由于魚體輪廓邊緣陰影,魚體擺放并未完全水平等因素造成的投影面積誤差,研究對同一魚體背面和正面圖像均做了特征提取,并將平均值作為建模數據樣本。

2 結果與討論

2.1 預測模型建立

魚體參數與質量相關系數如表3所示。

表3 魚體參數與質量相關系數Tab.3 Correlation coefficient between body parameters and weight

決定系數R2計算方式如式(3)所示。

(3)

金鯧魚質量預測模型如表4所示。

2.2 模型建立結果

基于80組已記錄的數據,利用SPSS軟件建立了如表5所示的質量預測模型。

表5 金鯧魚質量預測模型Tab.5 Weight prediction model of golden promfret

由于金鯧魚質量和圖像面積之間存在較強的相關性,通過對模型分析,發現金鯧魚質量和圖像面積之間的膨脹因子VIF值大于10,因子間存在嚴重共線性,因此采用主成分分析法進行一元線性建模,其中主成分公式:

X=0.288S*+0.279L*+0.259D*+0.257d*

(4)

式中:上標*表示Z標準化后的數據[26]。

主成分一元線性建模的決定系數R2為0.875,線性建模方法無法很好地擬合質量預測曲線,因此考慮主成分曲線回歸的方法建模。由表6可得,主成分曲線回歸中二次和三次模型R2較高,為0.877,其中二次曲線回歸具有最小的標準估計的誤差,但對于模型擬合效果提升程度不大。

表6 主成分曲線模型Tab.6 Principal component curve model

試驗采集了樣本的魚鰭質量、去除魚鰭后的金鯧魚魚體面積,并且計算了魚鰭質量占比α1和去魚鰭后圖像投影面積占比α2。建立以α1、α2、S為因子的線性回歸模型,該模型絕對決定系數R2達到了0.919。該模型因子間不存在明顯共線性,因此該模型可用于質量預測,得到質量預測模型方程:

W=27.287α1×100+0.825α2×100+0.001456S-239.244

(5)

2.3 預測模型驗證與討論

利用一組20條金鯧魚檢驗樣本進行模型驗證,魚體質量預測值部分大于實際值。驗證結果如圖10所示。

預測結果平均相對誤差2.73%,優化后平均相對誤差為2.43%。平均絕對誤差10.81 g,優化后平均絕對誤差為9.62 g。均方根誤差RMSE為14.22 g,優化后均方根誤差RMSE為12.78 g。優化后的模型預測值和真實值線性回歸曲線,決定系數R2為0.944,高于優化前模型的決定系數(0.930)。

2.3.1 魚鰭面積對模型的影響

去魚鰭前后投影圖像如圖11所示。有研究表明[28],由于魚體各部位密度不同,對魚體各部位投影面積進行校正可提高模型預測精度。金鯧魚魚鰭成薄片狀,由圖11可知,魚鰭(含腹背鰭、尾鰭)占總面積比率較大,單位面積質量小。

依據試驗測量數據得:去魚鰭后面積占比最大值為85.41%,最小值為81.72%,平均值為83.3%。總體上,魚鰭面積隨魚個體增大而增大,去魚鰭后面積占比呈現相對穩定的趨勢。但去魚鰭后的圖像投影面積是采用后處理手段獲取的參數,圖像實時處理無法直接獲取,因此將80組數據去魚鰭后圖像投影面積占比取平均值,式(5)中α2取平均值作為預測模型方程常數項。

2.3.2 魚鰭質量對模型的影響

張志強等[29]的研究顯示魚體質量與魚體各部位區域質量具有較大關聯,通過魚體各部位質量比率對投影面積調整提升模型預測效果。華元渝[30]采用了多種方法建立魚體長、體周長、體高與魚質量間關系。由于魚腹背鰭、魚尾鰭占魚體質量較小,但在投影面積中占比較大。因此考慮計算金鯧魚魚鰭質量占總質量的比率因素對模型的影響。依據測量數據得:魚鰭質量占總質量最大值為1.40%,最小值為1.01%,平均值為1.21%。魚鰭質量隨魚體質量增大而增大,呈線性相關趨勢,魚鰭質量占比變化趨于穩定。因此式(5)中α1可選取平均數作為常數項。

2.3.3 試驗誤差對模型的影響

由試驗結果可知,預測模型能夠實現對金鯧魚質量的預測,但仍存在一定誤差,通過對試驗環節進行分析,可能存在以下問題:一是受試驗客觀條件限制,獲取圖像的背景存在水漬或污染,影響圖像的分割及參數值;二是試驗材料的影響,可能存在魚的批次不同,造成魚體個體形態有輕微差異,另外魚體實際質量稱重時只去除了魚體表面水分,魚體內水分含量存在個體差異,引起參數結果誤差;三是提出的預測模型數量有限,樣本數量有限,這些試驗誤差會對模型預測精度產生影響。為了提高模型精度,可以在提高精度的情況下增加樣本數量或建立更為復雜的預測模型。

3 結論

采用魚體投影圖像參數建立質量預測模型研究較多,但研究都未指出魚體正反投影圖像處理結果存在計算誤差。本研究針對采集的金鯧魚圖像,將其正反投影圖像參數取平均值,作為建模所需的因子,以此減小正反投影圖像差異對模型的影響。金鯧魚魚鰭面積、魚鰭質量與魚體質量呈線性相關,但魚鰭質量占比α1、去魚鰭面積占比α2在較小范圍內變化。因此本研究通過α1、α2對模型進行校正。結果表明,基于圖像面積S、魚鰭質量占比α1、去魚鰭面積占比α2的線性回歸模型具有較高的預測精度和較小的標準估計誤差,模型的決定系數為0.919,優于主成分回歸方法與一元線性回歸法。回歸模型預測值與真實值決定系數R2為0.944,平均相對誤差為2.43%,標準差為2.32%。由試驗結果知,通過本研究建立的金鯧魚質量預測模型能夠在無接觸的情況下預測出金鯧魚的質量,為后續金鯧魚自動化質量分級提供服務。