基于氣流脈沖和結構光成像的牛肉嫩度檢測方法

盧 偉 胡慶迎 代德建 張澄宇 DENG Yiming

(1.南京農業大學人工智能學院， 南京 210031； 2.密歇根州立大學工程學院， 東蘭辛 48824)

0 引言

牛肉蛋白質、維生素及礦物質含量高且脂肪含量低，是人們日常生活中的重要肉品，我國牛肉年消耗超8×106t[1]。牛肉嫩度可反映牛肉肌肉中蛋白質結構特性、結締組織結構含量及分布、肌纖維直徑和牛肉大理石結構等，是評價牛肉食用品質的重要指標，直接決定其品質和市場價值[2]。

傳統牛肉嫩度檢測方法為感官評價法和剪切力測試法。感官評價法主要由專業評審員根據個人經驗，借助視覺和味覺對肉的品質特性進行評價[3]，其評審結果易受個人主觀因素影響，且效率較低。剪切力法是把牛肉加熱到一定溫度再用刀具切斷，根據切斷力來判斷肉的嫩度，其操作過程較為繁瑣[4]。以上兩種方法采取抽樣測量的方式，難以實現生鮮牛肉嫩度的大批量在線檢測。隨著光譜技術和計算機技術的發展，近紅外光譜(NIR)、高光譜(HI)和機器視覺等方法逐漸應用于牛肉嫩度的無損檢測。文獻[5]采用近紅外光譜，在750～1 098 nm范圍內建立了牛肉背最長肌的嫩度模型；文獻[6]在4 000～10 000 cm-1光譜范圍內對牛肉進行掃描，并采用多元線性回歸法得出其分級準確度為84.21%；文獻[7]應用高光譜成像技術，在900～1 700 nm范圍內對牛肉嫩度進行了預測；文獻[8]基于機器視覺和圖像處理方法對牛肉紋理信息進行分析，并采用Stepwise多元線性回歸對肉嫩度進行預測分級，預測準確率為88.57%。以上方法能夠獲得較為全面的牛肉表面光學信息，但易受到外界環境光及牛個體生理差異等因素影響，檢測精度和泛化能力難以進一步提高[9]。

牛肉嫩度是反映牛肉品質的綜合指標，受到多種因素影響，其中，牛肉的粘彈性是預測質地的重要物性指標，與嫩度密切相關[10]。基于此特性，文獻[11]將氣流脈沖結合激光測距技術應用于雞胸肉，并將建立的彈性模型與剪切力進行對比，為禽肉嫩度快速檢測提供了依據。文獻[12]將恒定氣流作用于牛肉上，并采用激光測距儀實時捕獲牛肉表面凹陷深度，基于此建立六元粘彈性模型，用于牛肉新鮮度檢測，但現有氣流沖擊法通過凹陷區域的深度檢測肉嫩度易受牛肉紋理等因素影響，且牛肉顏色容易吸收部分激光而導致測量誤差產生。

本文利用氣流脈沖對牛肉表面施加沖擊力，同時采用結構光3D成像技術及點云處理手段獲取牛肉表面形變的信息，建立牛肉樣本剪切力預測模型和牛肉嫩度分級模型，并進行實驗驗證，以實現對牛肉嫩度的快速、無損測量。

1 材料與方法

1.1 樣本采集

牛肉樣本購自南京市浦口區南京蘇食肉品直銷中心，為魯西黃牛肉，選取里脊、牛肩、后腿。樣品采購后放入有冰袋的貯存箱中運輸至實驗室。按照文獻[13]將牛肉切成適當形狀，尺寸(長×寬×高)不小于6 cm×3 cm×3 cm，且剔除表面筋膜。剪切處理后獲得72個新鮮牛肉樣本，將樣本按順序編號，并置于4℃冰箱中冷藏。

1.2 牛肉嫩度標定

目前，剪切力測定法仍然是與感官評定結果最相吻合的一種牛肉嫩度評價法，也是目前普遍采用的牛肉嫩度測定方法。因此本研究參照文獻[13]進行實驗，獲得牛肉樣本剪切力參考值。采用TMS-PRO型質構儀(美國FTC公司)、DT-612型熱電偶測溫儀(探頭直徑小于2 mm, 深圳華盛昌機械實業有限公司)、HH-1型數顯恒溫水浴鍋(金壇市城東超韻實驗儀器廠)、M30-H2型圓形鉆孔取樣器(直徑1.5 cm,哈爾濱量具刃具集團有限公司)等儀器對氣流脈沖結構光成像系統檢測后的牛肉樣本進行處理。每塊樣本選取6個采樣孔，選取最大剪切力的平均值作為樣本的剪切力[13]。

1.3 檢測系統

本文采用的基于氣流脈沖和結構光成像的檢測系統如圖1所示，主要由800W-8L型空氣壓縮機(臺州市奧突斯工貿有限公司)、ITV2050型SMC比例閥、VX220AAXB型SMC氣動電磁閥噴頭、DLP數字投影儀、USB高清攝像頭(1 920像素×1 080像素，30幀/s)和計算機(Intel Core i5-7300HQ CPU 2.50 GHz)組成。

圖1 氣流脈沖和結構光檢測系統Fig.1 Air-puff and structural light system1.小型空氣壓縮機 2.儲氣罐 3.SMC比例閥 4.氣動電磁閥5.通氣管道及噴頭 6.DLP數字投影儀 7.攝像頭 8.便攜式計算機

沖擊脈沖氣流由空氣壓縮機產生，經儲氣罐緩存穩壓，通過比例閥和電磁閥控制脈沖氣流壓力。噴頭內口徑為3 mm，氣壓優選為50 kPa。結構光成像系統由投影儀、USB高清攝像頭和計算機組成。為使結構光成像與氣流沖擊位置一致，出口噴嘴、DLP數字投影儀和USB高清攝像頭三者共面，且緊湊安裝。為保證氣流的沖擊效果且不遮擋牛肉表面投影光柵，進行多次實驗，標定獲得氣管傾斜角為45°。

1.4 基于格雷碼編碼結構光的點云獲取

牛肉表面的受力形變信息由結構光3D重建技術獲得。本實驗采用單目格雷碼編碼結構光法[14]對牛肉表面進行重建，采用圖像處理技術實現格雷碼的編碼與解碼[15]。結構光成像流程如圖2所示。

圖2 牛肉表面信息采集系統Fig.2 Beef surface information acquisition system

(1)相機、投影儀及系統的標定

為通過三角測量從捕獲的圖像中恢復三維坐標，需對攝像頭、投影儀分別進行標定[16]，獲得相機內參數矩陣KL和投影儀的內參數矩陣KR以及外參數矩陣R、T。固定好相機和投影儀的位置后，將制作好的10×10棋盤格標定板放置于相機和投影儀的共同視角范圍，標定板距離相機40 cm。投影儀投射格雷碼編碼光柵圖案后啟動攝像頭采集圖像，并旋轉、平移棋盤格，從不同角度采集棋盤格圖案。使用Harris角點檢測法從圖像中提取角點，確定標定板位姿信息，然后使用奇異值分解(SVD)計算投影儀和相機的內參數及外參數[17]。角點檢測和標定均采用Matlab 2016b標定工具箱(Matlab calibration toolbox，單目標定)。

(2)捕獲調制后的編碼結構光圖像

格雷碼編碼采用黑白兩種顏色對圖像的每一個像素點進行編碼，黑色標記為0、白色標記為1。設編碼位數為n，因此，最多可對2n個區域進行編碼。實驗中，投影儀分辨率為1 024像素×768像素，當設置n為10進行編碼時，每個區域對應單個像素點。

(3)RGB圖像轉換為灰度圖像

采集的圖像為RGB圖像，為增強圖像信息中的圖像特征，首先將RGB圖像轉換為灰度圖像。由于相機捕獲的視角范圍較廣，結構光在工作過程中除了捕獲到投影區域外，還捕獲到死角區域。可通過投影全黑和全白兩幅圖像來區分投影區域和死角區域。首先投影全黑圖像，轉換為灰度圖像后記為Img1，然后投影全白圖像，轉換為灰度圖像后記為Img2。令Img0=Img2-Img1，設定灰度閾值為threshold，Img0小于threshold的區域即為死角區域。

(4)灰度圖像的邊緣提取

采用Canny算子對灰度圖進行處理，識別出黑白條紋的邊界。條紋邊緣提取有助于提高變形條紋邊界的辨識精度和格雷碼的解碼準確度。

(5)基于自適應閾值的圖像二值化

由于環境光的影響，一幅圖像中像素的灰度不均勻。因此需要采用自適應閾值法進行圖像二值化。分別投射格雷碼編碼及其反碼圖案，則原來為黑(0)的區域變為白(1)，原來白(1)的區域變為黑(0)。通過比較像素間灰度可完成圖像二值化[18]。利用正反編碼圖案可提高二值化和格雷碼解碼精確度。

(6)解碼及保存點云數據

通過格雷碼解碼確定了相機坐標系中的格雷碼編碼。根據三角測距原理和小孔成像原理可得出每個像素點的空間坐標，即為相機視線和投影儀視線交線點的坐標。因此，可通過建立物體坐標系、投影儀坐標系和相機坐標系之間的關系來確定像素點的空間坐標。設三維空間中的物體在相機和投影儀的成像位置分別為Pc(uc,vc)和Pp(up,vp)，且設世界坐標系的原點與相機坐標系的原點重合。則相機的外參數矩陣Rc和Tc(相機和世界坐標系的轉換矩陣)分別為

(1)

標定所得外參數矩陣R、T即為投影儀的外參數矩陣Rp和Tp(投影儀和世界坐標系的轉換矩陣)

(2)

利用小孔成像原理可得

(3)

(4)

式中Kc——相機內參數矩陣

Kp——投影儀內參數矩陣

Sc——相機坐標系中尺度因子

Sp——投影儀坐標系中尺度因子

聯立上述方程組，可解出Sc、Sp以及空間點的三維坐標(X，Y，Z)，解法如下：

設矩陣Mc為空間點在相機坐標系中的坐標矩陣，矩陣Mp為空間點在投影儀坐標系中的坐標矩陣，表示為

(5)

(6)

則結構光3D成像系統每個像素點的三維解為

(7)

1.5 檢測系統校準

由于待測牛肉表面受氣體沖擊形變后為近似球冠，因此，通過3D打印機制作標準半球，標定獲得結構光有效成像視角及空間點距如圖3所示。

圖3 掃描系統的標定Fig.3 Calibration of scan system

經過標準塊的標定，結構光3D掃描系統的空間點距為0.22 mm，有效誤差不大于2.5%，最大重建角θ為123°，重建點云精準度為99.2%。因此，所研制的檢測系統可滿足牛肉表面精確重建的要求。

1.6 牛肉表面形變區域特征參數提取

采用格雷碼編碼結構光法獲得的三維點云數據中包含牛肉及檢測平臺的信息。為提取代表牛肉嫩度的凹陷區域特征，分別進行點云去噪、區域生長、點云分割、點云映射、點云三角化、網格劃分、最小包圍盒處理等處理，獲得形變區域的深度、映射面積、表面積、體積4個特征參數。點云處理示意圖及流程圖如圖4、5所示。

圖4 牛肉點云處理效果Fig.4 Effect of beef point cloud processing

圖5 牛肉表面信息處理流程Fig.5 Flow chart of beef surface information processing

1.6.1預處理

首先，基于K-近鄰算法(KNN)剔除離群點。假設Pi={p1,p2,…,pn}為點云曲面S上的點云集合，S中與Pi距離最近的k個點稱為Pi的K-近鄰，記為N(Pi)。搜索點云中任意點Pi的K-近鄰點，并計算當前點Pj與其K鄰域內各點之間的距離，取其平均值Dmid(Pi)，即

(8)

計算距離的平均值、樣本方差和樣本標準差。閾值為平均距離加上標準差的倍數。若Dmid(Pi)大于閾值，判為噪聲并從數據中剔除[20]。

去噪后進行點云分割處理提取牛肉樣本區域。本文基于區域生長算法[21]，采用MLESAC算法[22]選取種子點與相似點，共同組成生長區域。采用此方法選取背景板中一點作為種子點，標定法向量為參考標準，通過設定偏離角閾值和點間距最小值將背景板平面與牛肉分離。

1.6.2剖面分析

為尋找形變區域，分別將點云切片投影到YOZ平面和XOZ平面。切片間隔根據點云密度確定，設為點云密度的2/3。切片所得圖像為牛肉表面點集，通過計算高程差獲得切片處的表面形變深度變化，遍歷以獲得高程差最大處的坐標值，記為形變中心。

1.6.3形變域提取

由于凹陷處俯視觀察時橫截面近似為圓形，通過上述剖面分析獲得凹陷的直徑和最深凹陷處的橫縱坐標(x0,y0)。以(x0,y0)為圓心，以凹陷直徑為直徑得到圓柱形區域，獲得牛肉表面形變區域的點云信息。

1.6.4形變域參數提取

形變域參數提取主要包括降采樣處理[23]、K-近鄰算法、貪婪投影三角化算法[24]、Delaunay三角剖分算法[25]和包圍盒(OBB)算法等[26]，并通過點云投影、曲面擬合等手段獲得深度、映射面積、表面積和體積信息。

(1)凹陷區域映射面積

將分割獲得的牛肉凹陷點云進行降采樣處理，并投影至XOY平面。采用Delaunay三角剖分算法對X平面點云進行包絡處理，將單個點劃分至三角形中，建立三角面片索引，遍歷累加計算投影底面積S1。其中，單個投影三角形的面積Si利用海倫凱勒公式獲得，即

(9)

(10)

式中i——面片索引號

hi——面片三角化周長的1/2

ai、bi、ci——三角形各邊長

q——總面片數

(2)凹陷區域體積

對凹陷點云投影至XOY平面，三次樣條插值處理對平面點進行網格劃分。計算每個網格面積及原始點云高程參數差Hi，遍歷累加獲得形變區域的體積V，即

(11)

(3)凹陷區域表面積

獲得凹陷點云進行曲面插值擬合，并剔除離散點。采用貪婪投影三角化對凹陷點云進行三角面片處理。選取一個樣本三角化面片作為空間區域增長點并向四周延伸形成完整三角網格曲面，每個面片包含對原始點云的索引，遍歷獲得空間牛肉點云面積S2。

(4)凹陷區域深度

采用包圍盒算法，以底面為基準獲得主法向量方向的包圍盒，包圍盒高度即為點云最低點到點云擬合底面的距離，即點云深度。計算包圍盒垂直方向距離獲得形變區域的深度H，公式為

(12)

式中x1、y1、z1——法向量方向z值較大點的坐標

x2、y2、z2——法向量方向z值較小點的坐標

2 結果與討論

2.1 牛肉剪切力統計分析及等級評價

采用氣流脈沖結合結構光成像法無損提取牛肉特征參數后，對牛肉進行剪切力實測，獲得樣本的剪切力。

由5位受過專門訓練并積累一定經驗的評審人員對72個樣本進行主觀評價。將實驗所測得的剪切力與主觀評價實驗中評審員的嫩度分級相對照，結合樣本差異性得出對照表(表1)。剪切力小于63.5 N嫩度等級為1(嫩)；剪切力大于90.5 N嫩度等級為3(老)；剪切力介于63.5～90.5 N之間的牛肉嫩度等級為2(中等)[6]。

表1 牛肉剪切力與嫩度分級對照Tab.1 Beef shear force value and tenderness grading

2.2 基于結構光成像的生鮮牛肉剪切力預測模型

通過本文方法獲取72份牛肉樣品的特征參數(牛肉凹陷的深度H、映射面積S1、凹陷面積S2和凹陷體積V)。樣本隨機分成3份，2份為訓練集，1份為預測集。因為數據集不大，CNN等深度神經網絡不適宜，因此比較最小二乘支持向量機回歸(LS-SVR)、BP神經網絡和廣義回歸神經網絡(GRNN)[27-28]建立的牛肉剪切力預測模型，結果如圖6所示。

圖6 牛肉剪切力預測模型Fig.6 Prediction models of beef shear force

(1) LS-SVR

采用LS-SVR進行建模，首先對數據進行歸一化處理。LS-SVR模型各參數設置如下：核函數類型選擇徑向基核(RBF)，用網絡搜索法確定此次剪切力模型的最佳懲罰系數c=6.8和最佳RBF核函數參數g=2.4。

(2) BP神經網絡

采用BP神經網絡建模，首先進行數據歸一化處理；因為所建模型為MISO結構，因此網絡結構輸入層節點數為4，隱藏層節點數為10，輸出層節點數為1，各層之間全連接，同層之間無連接，激活函數為Sigmoid函數。網絡最大訓練次數為100，期望誤差為4×10-5，學習速率為0.2，計算過程采用梯度下降法計算權重系數。

(3) GRNN

GRNN基于徑向基函數網絡，結構4層，分別為輸入層、模式層、求和層和輸出層。首先對數據進行歸一化處理，然后利用K-fold交叉驗證法對神經網絡訓練(K取10), 并根據最小均方誤差結合循環判別法尋找出GRNN光滑因子spread的最優值(最優值為0.3), 同時獲得目標識別訓練樣本的最優輸入輸出值。

不同模型的訓練集與測試集的相關系數Rc、校準集均方根誤差、預測集相關系數Rp、預測集均方根誤差等如表2所示。

表2 特征參數建模結果Tab.2 Modeling results of feature parameters

可見，基于LS-SVR神經網絡訓練效果最佳，訓練集相關系數為0.974，均方根誤差為5.324 N；基于GRNN的預測效果最佳，預測集相關系數為0.975，均方根誤差為5.307 N。

2.3 基于剪切力的生鮮牛肉嫩度分級

在獲得特征參數值和牛肉剪切力后，對照牛肉嫩度等級表進行嫩度劃分，并采用基于K-fold交叉驗證的GRNN對嫩度等級進行預測，預測結果如圖7所示。

圖7 牛肉樣本嫩度等級預測結果Fig.7 Prediction results of tenderness grade of beef samples

其中，采用交叉驗證的GRNN對牛肉嫩度等級進行預測時，對等級1(嫩)和等級2(中等)的預測效果較好，為100%；對等級3(老)的預測效果稍差，為91.3%?？梢姡斉Ｈ鈽颖緮递^少時，GRNN模型最優，可對牛肉的剪切力等級進行精確預測。

3 結論

(1)提出一種基于氣流脈沖結合結構光3D成像的牛肉嫩度無損檢測方法。采用脈沖氣流沖擊牛肉樣品表面，利用格雷碼編碼結構光3D成像技術獲得點云信息，采用去噪、分割、剖面分析、變形區域提取等系列算法處理三維點云數據，提取牛肉凹陷區域的深度、映射面積、表面積和體積信息，并以此作為特征參數對牛肉剪切力和嫩度等級進行預測。

(2)在氣流脈沖和結構光檢測后，通過質構儀剪切牛肉實驗獲取了牛肉的實測剪切力，分別與基于LS-SVR、BP神經網絡、GRNN的牛肉剪切力預測模型進行對比，結果表明，GRNN預測模型最佳，預測集相關系數為0.975，均方根誤差為5.307 N。從嫩度等級預測結果看，較嫩的牛肉預測效果優于較老牛肉。