機器學習結合視觸多感知特征融合的鹽漬海參等級評定方法

朱鑫宇，康家銘，邵衛東，劉 陽，張 旭，楊繼新，王慧慧,*

（1.大連工業大學機械工程及自動化學院，遼寧 大連 116034；2.國家海洋食品工程技術研究中心，遼寧 大連 116034；3.大連工業大學食品交叉科學研究院，遼寧 大連 116034）

海參富含蛋白質、氨基酸，具有很高的營養和藥用價值[1]。但海參體內含有自溶酶，不易貯存與運輸[2-3]。通過鹽漬方式脫除海參體內的部分水分，可抑制微生物的生長，實現長期保存，是目前應用最廣泛的海參產品處理方法之一[4]。鹽漬海參易于復水、方便貯存和運輸，既可作為干海參、即食海參的原料，也可作為最終產品直接售賣，市場需求量較大。針對市售鹽漬海參等級，SC/T 3215—2014《鹽漬海參》[5]規定，海參一級品鹽分質量分數不高于20%，二級品鹽分質量分數不高于22%，合格品鹽分質量分數不高于25%。不同等級的鹽漬海參在顏色、形態和氣味上很難直接分辨，滋生出一些不法商家以不合格品作為優質品出售，以次充好，牟取暴利，損害消費者權益。

目前，對鹽漬海參等級的評定主要有實驗室檢測[6]和人工檢測[7]兩種方法。實驗室檢測通過測定鹽分與蛋白質含量，結合行業標準進行等級鑒定，通常采用直接滴定法、電位滴定法測定海參含鹽量[8]，凱氏定氮法、分光光度法和燃燒法測定蛋白質含量[9]，但實驗室檢測法耗時長，對檢測人員專業性要求較高，是一種有損檢測方法。海參富含膠原蛋白，隨著鹽離子濃度增加，蛋白質逐漸變性并降解，持水性下降，組織結構收縮，導致海參質地特性發生復雜改變[10-11]。鑒于上述質構特性在鹽漬過程中發生變化的特點，人工檢測成為目前海參鹽漬過程等級評定的主流方法。該方法是鑒評人員依據經驗，采用人工的方式對海參施加壓觸力，通過手指和眼睛感知海參動態回復過程力的變化和形態回復情況，判斷樣品硬度、彈性等質構特性，實現鹽漬海參等級鑒評[7]。人工檢測對檢驗人員的經驗要求很高，不適用于短時、大批量檢測。因此，亟需一種快速、非破壞性的檢測方法實現鹽漬海參的等級評定。近年來，隨著各類無損檢測技術的發展、傳感器控制功能的拓展與精度的提高、人工智能領域技術的進步，智能感知技術[12]在肉類表觀品質鑒評[13-14]、脂肪含量測定[15]、適口性預測[16]和摻假鑒偽[17]等方面取得了較好的效果。Wang Huihui等[10]通過工業相機跟蹤海參受力后回復過程的輪廓變化，利用海參輪廓二值圖提取海參紋理特征構建識別模型，實現了合格鹽漬海參與含鹽量超標海參的鑒別，但該方法僅采用了單一圖像特征；此外，人工檢測鹽漬海參等級是針對海參受壓觸后回復階段形狀動態變化的綜合感知，二值輪廓僅表征了特定時刻的靜態形狀信息，針對等級差異較小的合格品評定效果較差。力學特征能夠簡單直觀地反映食品的物理特性，已廣泛應用于肉類品質、水果自動評定等食品檢測領域[18-20]。海參受到壓觸后，在輪廓動態變化的同時，本身的力學特征也會發生復雜變化，鑒于此，如在采用單一圖像特征的基礎上融入多種力學特征，可能是實現鹽漬海參等級智能評定更為可靠的方法。閆朋濤等[21]嘗試將下壓力做功值和壓觸后海參偏心率、細度比進行融合，實現了超標鹽漬海參的識別，但該方法通過視覺感知的特征僅為壓觸前后的靜態輪廓，對于差異較小的合格品等級評定仍不適用。輪廓動態變化特征的提取是開展上述研究的關鍵。動態能量圖是一種根據被測物運動的步幅、步態周期反映樣本動態變化信息的圖像[22]，具有多角度、高適應性等特點[23-24]，目前在運動個體身份識別[25]、生物特征檢測[26]、安防監控領域[27]、智能家居領域應用廣泛[28]，同時根據動態能量圖提供的輪廓動態特征，在肌音信號分類、早期疾病的識別和風險預警方面[29-30]也取得了一定的進展，可為表征海參輪廓的動態變化提供思路。

為了更客觀、快速、準確地評價鹽漬海參等級，本研究以不同等級鹽漬海參為研究對象，針對鹽漬海參受力后動態回復情況，獲取輪廓動態變化和力學檢測數據，通過構建動態能量圖，提取圖像紋理特征以及基于統計分析的力學特征，利用單因素方差分析、主成分分析（principal component analysis，PCA）法進行特征降維與融合，基于視觸多感知融合特征，結合支持向量機（support vector machine，SVM）實現合格鹽漬海參等級評定。由于SVM的分類精度和泛化能力依賴懲罰因子c和核函數參數g的選取，在此基礎上根據融合數據特點采用遺傳算法優化SVM。在種群進化過程中優化參數，能夠隨著迭代次數的增加平衡適應度函數收斂速度，提高全局收斂性，實現對鹽漬海參等級的評定。

1 材料與方法

1.1 材料

海參購自大連長興水產市場，將鮮活海參置于帶冰保鮮盒內運至實驗室，貯存在4 ℃冰箱中備用。

1.2 儀器與設備

JSM-6460LV掃描電子顯微鏡購自日本JEOL公司。

獲取海參輪廓變化圖像與力學信息的設備為鹽漬海參等級評定系統由實驗室自行研發，如圖1所示，該系統主要組成包括質構儀、載物臺、矩形探頭、工業相機和控制模塊。根據海參形狀和大小，將實施壓觸力的探頭設計為矩形，規格為90 mm×160 mm，探頭運動分為4個階段：向下空載運動階段（P1）、加載壓力至目標力階段（P2）、靜止并保持目標力階段（P3）、迅速恢復至原點階段（P4）。系統參數設置：圖像位深24 bit、圖像分辨率1 280×720、幀頻30 fps、探頭空載速率60 mm/min、觸發力0.2 N、探頭加載速率30 mm/min、目標力60 N、探頭復位速率990 mm/min、回程時間3 s。

圖1 鹽漬海參等級評定系統示意圖Fig. 1 Schematic diagram of the grade evaluation system for salted sea cucumber

1.3 方法

1.3.1 海參樣品制備

將備用海參分成3 組，每組100個，經去內臟、清洗、煮制后，分別置于質量分數為19%、21%和23%氯化鈉溶液中，腌漬6 d，每24 h更換一次氯化鈉溶液，腌漬結束后用吸水紙除去樣品表面水分待用。在進行圖像和力學數據采集后，根據SC/T 3011—2001《水產品中鹽分的測定》[8]采用直接滴定法測定鹽分質量分數。根據SC/T 3215—2014分級方法，將鹽漬海參樣品分為一等品（G1）、二等品（G2）和合格品（G3）。

1.3.2 圖像與力學數據采集

取3種等級鹽漬海參，通過鹽漬海參等級評定系統進行圖像與力學數據采集。測試開始前，設置系統參數。測試時，將樣品置于載物臺中央，利用矩形探頭對被測海參實施壓觸力，工業相機在P4階段采集海參回復過程輪廓變化圖像，同時通過質構儀獲取海參的力學信息。測試結束對載物臺、探頭進行1 次快速清洗。每種等級的鹽漬海參制備100個樣本，3個等級的鹽漬海參最終獲得300 組圖像數據、300 組力學數據。

1.3.3 顯微組織觀察

為了探究鹽分變化對海參微觀組織結構的復雜變化，證明本實驗方法的可行性，利用JSM-6460LV掃描電子顯微鏡對不同等級鹽漬海參的顯微組織進行觀察。取海參樣品體壁中部0.5 cm×0.5 cm×0.5 cm的切片，放入體積分數2.5%戊二醛溶液中浸泡10 min。利用乙醇溶液（50%、70%、90%、100%）對樣品進行梯度脫水，二氧化碳臨界點干燥，液氮冷凍并脆斷，采用離子濺射鍍膜法噴金后觀察[31]。

1.4 數據處理與分析

采用SPSS 17.0軟件處理統計數據；采用Matalb 2020軟件進行圖像預處理。

2 結果與分析

2.1 海參鹽分測定結果

如表1所示，一等品（G1）海參鹽分質量分數在18.53%～19.62%之間，二等品（G2）海參鹽分質量分數在20.56%～21.48%之間，合格品（G3）海參鹽分質量分數在28.64%～23.58%之間。3個等級的鹽漬海參均遵循SC/T 3215—2014的鹽分質量分數標準分級。

表1 部分樣品鹽分質量分數統計數據Table 1 Statistical data of salt content of selected samples

2.2 圖像預處理及關鍵幀選取

由于鹽漬海參等級評定系統采集的圖像受儀器噪音、實驗環境等因素的影響，為保證精確提取與海參輪廓變化相關的圖像特征，根據Wang Huihui等[10]的方法對P4階段采集的第1～90幀圖像進行預處理，獲取標準化后的海參二值圖，如圖2所示，主要流程包括灰度化、去噪、圖像分割、形態學處理、標準化。

圖2 圖像預處理流程Fig. 2 Flow chart of image preprocessing

為了盡可能減少圖像的數量和精確描述回復過程，提取海參從開始回復到結束過程中面積變化明顯部分對應的幀序列圖像作為表述海參回復過程的關鍵幀。幀面積計算如式（1）所示。

式中：A為樣本圖像回復過程所有幀序列的面積；i、j分別表示圖像的橫、縱坐標；Pij表示對應坐標像素值；N為幀數。

由于此處為二值圖像，所以只對像素值為1的像素塊進行累加，根據公式（1）計算樣本圖像回復過程所有序列的面積，最終取面積變化趨勢最明顯的50 幀序列圖像作為關鍵幀用于后續研究（圖3）。

圖3 圖像面積Fig. 3 Image area

2.3 動態能量圖的構建和顯微結構分析

能量圖通過計算圖像中像素點的強度，可完整地表現被測物在一個形態變化周期中能量的累積。關鍵幀經預處理后的每一幀圖像即是某一時刻形態能量的反映，能量圖中較高灰度值的像素點表示該點在一個形態變化周期出現的次數較多[32]。本實驗選取P4階段作為一個完整的形態變化周期，在此周期內，獲得每一時刻海參樣品輪廓，即每幀關鍵幀圖像的海參二值輪廓，能量圖計算如式（2）所示。

式中：E（x，y）表示能量圖；N表示一個形態變化周期內的關鍵幀圖像數（本研究中N＝50）；It表示第t幀關鍵幀圖像；（x，y）表示像素點坐標。

圖4 動態能量圖與組織微觀結構Fig. 4 Dynamic energy diagram and microscopic structure

如圖4所示，在G1（圖4A1）、G2（圖4A2）和G3（圖4A3）樣品最內側輪廓內部灰度值最高均為50，表明該區域在一個周期內出現的次數較多，由于該區域不包含受壓觸作用下輪廓動態變化信息，將其定義為能量圖的靜態區域。通過閾值分割將靜態區域予以剔除，去除靜態區域對輪廓動態變化特征的干擾，并將該圖像定義為動態能量圖。在P4階段，動態能量圖中海參輪廓的像素值在整個序列中構成一個動態信號[33]，表征鹽漬海參輪廓的時變特征。動態能量圖中P4階段初始時刻的輪廓變化最大，P4階段結束時刻輪廓變化最小。由于相同等級的海參質構特性相似，受壓觸變形、撤力回復的輪廓變化也近似；而不同等級海參彈性、硬度等質構特性差異較大，因此其受壓觸后最大變形程度不同，撤力回復的速度也不同，在同一時間段（P4階段）內，由于輪廓變化的速度不同，動態能量圖差異明顯。動態能量圖的構建過程如式（3）所示。

式中：T表示一個步態周期內的靜態區域灰度值（本研究中T＝50）；E（x，y）表示能量圖；CE（x，y）表示動態能量圖。

通過剔除能量圖中靜態區域，獲得G1（圖4B1）、G2（圖4B2）和G3（圖4B3）樣品的動態能量圖，圖中最外層輪廓為P4階段采集的第1幀海參輪廓，最內層為采集的第50幀海參輪廓。Nejib等[34]對鹽漬處理鯊魚肉品質影響的研究結果表明，鹽分含量增加會導致鯊魚肉的硬度增加、彈性下降、黏聚性增加。動態能量圖中，在相同的目標力作用下，P4階段的3 組樣品變形量依次為G1樣品＞G2樣品＞G3樣品，質構儀撤力后輪廓變化速率依次為G1樣品＜G2樣品＜G3樣品，這可能是鹽漬海參鹽含量增加，進而硬度增加、彈性下降導致。海參鹽漬過程中，硬度、彈性變化的同時，組織微觀結構也會發生改變，如圖4C1所示，G1組樣品體壁中膠原纖維呈薄片狀，有大量蜂窩狀網孔且分布均勻，具有一定方向性。隨鹽含量增加，G2樣品（圖4C2）體壁出現絲狀膠原纖維，在纖維斷面出現片狀單元結構且容易斷裂，呈絲狀和薄片狀的組織互相交織成雜亂網孔結構，孔隙大小不均勻。這可能是海參膠原纖維和凝膠結構在鹽漬作用下發生降解，膠原蛋白被破壞所致。G3樣品（圖4C3）孔隙較G2樣品（圖4C2）更為致密，這可能是鹽漬溶液濃度越高，水分與鹽分的交換速度越快，海參體壁中水分大量流失，膠原纖維絲快速凝集、收縮導致。綜上所述，隨著鹽含量的增加，不同等級鹽漬海參的組織結構發生復雜變化，輪廓變形程度、回復速度均存在差異，通過動態能量圖可以看出，由于回復速度的不同導致相同時間點對應的輪廓圖像不同，反映在動態能量圖中即輪廓線的紋理特性存在差異，回復速度越快，輪廓線紋理越密，回復速度越慢，輪廓線紋理越稀疏，證明通過建立圖像紋理特征與鹽漬海參等級的關系，可實現不同等級鹽漬海參的識別。

2.4 特征提取

針對上述步驟中獲得的動態能量圖和質構分析獲得的力學數據進行特征提取，用于建立鹽漬海參等級評定模型。本實驗選用直方圖和灰度共生矩陣兩種方法對動態能量圖進行紋理特征提取，對力學變化數據進行統計計算，以此表征海參樣品受壓觸作用后回復過程輪廓和力學的時變特性[35-36]。

2.4.1 紋理特征提取

紋理是圖像固有特征之一，可以被定義為紋理基元的局部統計特征[37]。通過對海參回復過程中形變圖像的紋理變化進行分析研究可知，不同等級的海參輪廓變化不同，圖像表征過程中紋理差異很大?；谥狈綀D的紋理特征包括平均值（m），表示紋理平均亮度；標準差（σ），表示紋理的平均對比度；平滑度（R），表示紋理的平均平滑度；三階矩陣（μ），表示直方圖的偏斜性；一致性（U），表示灰度值間的差異；熵（e），表示紋理的隨機性。本實驗面向動態能量圖的0°（水平）、45°（主對角線）、90°（垂直）、135°（次對角線）4個方向分別提取基于灰度共生矩陣的如下紋理特征：對比度（C），表示灰度反差度；相關性（Cor），表示紋理一致性；能量（E），表示紋理均勻性；同質性（H），表示紋理局部變化度；最大概率（Pmax），表示紋理偏移性；熵（En），表示圖像紋理粗細度。圖像紋理特征提取過程如式（4）～（16）所示[38-40]。

式中：zi表示灰度值i的像素數；p（zi）表示灰度值i在圖中出現的概率；N表示圖像像素總個數；L表示灰度級數；Pij表示相隔距離1 Px的一對像素分別具有灰度值i和j出現的概率；K表示圖像階數（本研究中K＝2）；mr和mc分別表示灰度共生矩陣行、列平均值；σr和σc分別表示灰度共生矩陣的行、列標準差。

2.4.2 力學特征提取

Hao Mengzhen等[11]研究發現不同等級鹽漬海參的硬度、彈性等力學性能存在顯著差異，導致海參受力過程發生復雜變化。采集P4階段的力學信息，計算平均值、幾何平均數（G）、標準差（SD）、中位數（Me）、一階范數（||x||1）、二階范數（||x||2）、下壓做功（W1）、回復做功（W2），以此作為用于鹽漬海參等級評定的力學特征進行建模，計算公式如式（17）～（22）所示。

式中：Ai表示i時刻對應力的大小；n表示采集的力學數據個數；F表示下壓和回復過程海參所受的力；s表示位移量；h表示海參最終的位移量。

為消除量綱的影響，使各個特征屬性在數量級上保持一致，力學特征和紋理特征采用均方差標準化處理[41]。

2.5 特征降維

本實驗主要利用圖像紋理和力學特征進行后續建模，因數據量較大，其中的冗余信息對模型精度和速度影響較大。為實現初步降維，剔除對等級影響不顯著的冗余信息，在0.05的顯著水平下，對圖像和力學原始特征數據進行單因素方差分析[39-40]。結果表明，特征m、s、R、μ、U、e、C（45°、135°）、H（45°、135°）、Cor（0°、45°、90°和135°）、e（0°、45°、90°和135°）、Pmax（0°、45°、90°和135°）、En（0°、45°、90°和135°）、SD、Me、||x||1、||x||2、W1和W2與鹽漬海參等級呈顯著正相關。經單因素方差分析后，繼續采用PCA法剔除顯著特征中的冗余信息，同時實現圖像紋理特征和力學特征的融合。前5個主成分的紋理特征、力學特征方差累計貢獻率已達到99.99%，說明上述5個主成分可以代替特征99.99%的數據信息，因此選取前5個主成分進行后續建模。

2.6 鹽漬海參等級評定模型

2.6.1 SVM模型

SVM在解決非線性、小樣本及高維數據識別中優勢明顯，通過建立一個超平面作為決策曲面，對不同類別的樣本進行分割，分割原則為間隔最大化[40]；本實驗基于PCA的融合特征構建SVM模型，模型定義為PCASVM。用于建模的訓練集為T210＝（?×Y）m，驗證集V90＝（ρ×Y）n，其中，m為訓練集樣本個數（m＝210），n為驗證集樣本個數（n＝90），輸入矩陣?由210個樣品（G1樣品＝70、G2樣品＝70、G3樣品＝70）的融合特征組成，輸入矩陣ρ由90個樣品（G1樣品＝30、G2樣品＝30、G3樣品＝30）的融合特征組成，輸出Y為樣本對應的類別標簽，G1樣品對應標簽為1，G2樣品對應標簽為2，G3樣品對應標簽為3。模型分割超平面如式（23）所示。

式中：w表示分割超平面法向量；b表示超平面偏置；T表示矩陣轉置。

2.6.2 基于遺傳算法對SVM模型優化

使用SVM處理離散的融合特征和引入RBF中需要確定懲罰因子c和核函數參數g，兩者的選擇直接影響了SVM的分類精度和泛化能力[42]。遺傳算法是一種全局優化概率搜索算法[43]，因其具有魯棒性強、適用性廣、操作簡單等優點而得到廣泛的應用。本實驗采用遺傳算法來搜索最優參數。其主要思路是選擇合適的適應度函數，先產生初始種群，通過編碼產生染色體，仿照自然界的淘汰機制對個體進行選擇、交叉和變異等操作，最后由滿足條件的個體進行反編碼得到最優解。

本算法首先對訓練集T210和驗證集V90進行均方差標準化處理，消除量綱差異。設定c和g的搜索范圍、步長、終止代數和種群最大數量分別為2～210、10、200和20。隨機生成初始化種群。計算個體適應度，即代表每代個體的優劣程度。為提高SVM分類性能，用樣本辨識度表征適應度[44]，如式（24）所示。

式中：Ff表示樣本辨識度/%；δj表示樣本j的類別標簽；Fj表示樣本j的預測標簽；m為訓練集樣本個數（本研究中m＝210）。

為避免過擬合和欠擬合，模型采用5折交叉驗證，對種群進行選擇、交叉、變異，直至滿足遺傳算法終止條件（種群最佳適應度最高），得到優化參數。將得到的優化參數應用到SVM分類器中并在驗證集V90中進行測試，判斷是否符合期望精度，若未達到，則繼續尋優。圖5所示為SVM模型參數優化過程的適應度曲線。遺傳算法中橙色圓圈和紅色點分別代表每次迭代的平均適應度和最佳適應度。當滿足遺傳算法終止條件時，即當驗證集的交叉驗證準確率（CVAccuracy）最高時確定PCA-SVM模型c和g。本實驗CVAccuracy的最大值為100%，此時PCA-SVM模型c和g分別為0.441 9和10.382 9。鹽漬海參等級評定模型結果如表2所示，所有等級的鹽漬海參都能準確識別。

圖5 SVM模型參數優化的適應度曲線Fig. 5 Fitness curve for optimization of parameters in SVM model

表2 模型混淆矩陣結果Table 2 Results of model confusion matrix

2.6.3 模型評價

依照Wang Qian等[45]的方法，基于混淆矩陣，通過準確度（Accuracy）、精確率（Precision）、召回率（Recall）和綜合評價指標（F1-Score）對模型進行評價。其中，Accuracy表示模型對G1、G2和G3等級的整體判別能力，Precision表示模型判別正確的可信度，Recall表示鹽漬海參中實際和預測結果一致的比例，F1-Score表示模型的綜合得分，Accuracy、Precision、Recall和F1-Score越大，說明模型性能越好。Accuracy＞80%，說明該方法可以用于實際應用；Accuracy＞95%說明該方法具有優秀的鹽漬海參等級評定能力；Precision和Recall大于90%，說明該方法評定準確且可信度高，F1-Score≥0.95，說明模型整體泛化能力強，模型穩定[46]。評價參數計算過程如式（25）～（28）所示。

式中：TP表示正確識別出鹽漬海參的類別數量；TN表示未正確識別出鹽漬海參的類別數量；FP表示非該類別的鹽漬海參被識別為該類別的數量；FN表示該類別的鹽漬海參被識別為非該類別的數量。

模型性能表現如表3所示，利用視觸多感知融合特征構建PCA-SVM模型可實現鹽漬海參等級評定的實際應用。模型的Accuracy、Precision、Recall和F1-Score均為1，說明將紋理特征同力學特征相融合，結合SVM模型，在不同等級（G1、G2和G3）的評定過程中均具有優秀的性能。

表3 基于SVM的鹽漬海參等級評定模型性能Table 3 Performance of SVM model for quality evaluation of salted sea cucumber

3 結 論

在鹽漬海參等級評定系統施加的壓觸力作用下，本研究通過將海參輪廓圖像紋理和海參壓觸力特征融合，結合機器學習，提出了一種實現合格鹽漬海參等級評定的新方法。建立鹽漬海參輪廓動態能量圖，提取6種直方圖紋理特征和24種灰度共生矩陣紋理特征，同時采集壓觸作用下的海參力學信息，獲取基于統計分析的8種力學特征，通過單因素方差分析剔除對等級評定影響不顯著的特征，利用PCA法對紋理、力學特征進行降維與融合，在保證鹽漬海參等級特征信息完全的基礎上，盡可能消除提取特征中的冗余信息，提取主成分作為融合特征，采用遺傳算法優化SVM建立鹽漬海參等級評定模型。模型結果表明，PCA-SVM模型檢測效果優異，其Accuracy＝1、Precision＝1、Recall＝1、F1-Score＝1。綜上，將海參回復過程中輪廓變化圖像與海參受力的力學信息進行融合，結合SVM模型，可實現客觀、快速、無損的鹽漬海參等級評定。