基于FLIR ONE的番茄機械損傷檢測

徐義鑫， 王建春*， 彭 凱， 張雪飛， 杜彥芳

(1.天津市農業科學院 信息研究所，天津 300192； 2.河北工業大學 機械工程學院，天津 300130)

番茄是世界上重要的蔬菜作物之一，在各國的蔬菜栽培中均占有很大比例[1]。番茄果實營養豐富，富含多種維生素、碳水化合物、礦物鹽及有機酸等，其用途廣泛，可生食、炒食，加工制成番茄醬、番茄汁或整果罐頭等[2]。番茄果實采后呼吸作用旺盛，常溫下很快軟化，極易受到機械損傷和病原菌侵染而腐爛變質，使果實失去商品性，從而限制果實的流通[3]，影響經濟效益。因此，番茄機械損傷的檢測具有重要意義。

傳統的果蔬機械損傷檢測往往依靠人工用肉眼判別，結果易受人的主觀因素影響，且存在精度低、視覺易疲勞、速度慢等問題[4]。隨著計算機圖像處理技術的不斷進步，通過果實的可見光成像對其進行表面缺陷檢測的技術逐漸發展起來。王樹文等[5]對番茄圖像進行處理，綜合運用計算機視覺、BP人工神經網絡技術實現番茄損傷的自動檢測與分類。丁竹青等[6]基于LabVIEW軟件，采用IMAQ Vision的視覺處理函數對番茄圖像進行處理，進而檢測出霉斑缺陷部分。相比人工檢測，基于圖像處理技術的方法有較大優勢，但此類方法在檢測番茄等顏色較深的果實表面機械損傷時，對圖像的細節要求較高，通常只能識別較明顯的損傷。

果蔬機械損傷發生后，其熱特性發生變化，在一定條件下，會增大果實正常與損傷部分的溫度差異。這一特性為熱成像檢測果蔬機械損傷[7-10]提供了條件。LINDEN等[11]采用熱成像技術，利用1℃冷卻90 min、70℃烘箱加熱1～2 min、微波加熱7～15 s等3種不同熱激勵方式對番茄機械損傷的檢測效果表明，微波加熱15 s后可有效區分出番茄細微機械損傷，但微波會對番茄造成一定破壞。劉娟娟[12]提出了一種基于紅外和可見光圖像融合的水果無損檢測方法，融合圖像很好地保留了蘋果缺陷在紅外圖像中所體現的特征，且有效地消除了可見光圖像表面色彩對于缺陷識別的影響。周建民等[13]利用主動熱成像技術檢測紅富士蘋果早期機械損傷，并對環境因素對檢測影響程度進行了定性分析。通過熱成像技術將果實溫度差異用不同顏色顯示出來，可以直觀地發現果實缺陷，較好地解決可見光圖像中不明顯損傷難識別的問題。但上述方法通常需要使用配套計算機，且所用熱成像儀一般價格較為昂貴，不適合推廣；另一方面，熱成像在損傷的定量檢測方面尚待更多研究[14]。

FLIR ONE是一款應用于智能手機的熱成像攝像頭，因其價格相對便宜，使用方便，逐漸受到重視。目前在醫學領域應用較多[15-17]，主要用于傷員傷情檢測；在果蔬檢測方面處于起步階段，如NAIK[18]等將FLIR ONE用于芒果分級。該方法基于Android手機，將FLIR ONE用于番茄果實機械損傷檢測，通過對番茄熱成像的處理與番茄表面溫度矩陣的計算，獲得番茄表面機械損傷參數。

1 檢測原理與方法

1.1 檢測原理

所有溫度在絕對零度以上的物體，都會不停地發出熱紅外線。熱成像技術就是通過接收目標物各部位發射出的紅外線，經過紅外信息轉換與處理技術，最終以圖像形式顯示目標物各個部位發射的紅外線強度[19]，即把溫度矩陣轉換成可視圖像。番茄機械損傷發生后，熱量在果實中的吸收和傳播發生變化，引起熱特性參數發生變化，從而導致正常和損傷部分之間產生一定的溫度差異[14]。利用安裝于手機的FLIR ONE獲取番茄熱成像，可識別出可見光成像下不易發現的番茄機械損傷，通過開發的APP對番茄溫度矩陣進行計算得到機械損傷缺陷參數。

1.2 檢測方法

1.2.1 檢測流程 檢測方法主要流程如圖1所示。首先，用FLIR ONE拍照獲取番茄熱成像，同時獲取溫度數組；其次，對熱成像進行圖像處理，并標記出損傷部分；最后，基于圖像處理結果對溫度數組進行計算，得到損傷參數。

圖1 番茄熱成像檢測流程

Fig.1 The Process of thermal imaging detection of tomoto

1.2.2 獲取番茄熱成像及溫度數組 通過2個100 W的紅外燈主動熱激勵，番茄損傷與正常部分溫差增大，進而便于檢測。整個熱激勵裝置如圖2所示，2個紅外燈成90°擺放，距離番茄20 cm，加熱150 s后停止。在停止后60 s內拍照，調色板選擇鐵紅色的熱成像效果最好。由于FLIR ONE無調焦功能，因此拍照距離需根據番茄實際大小進行調整，使番茄盡可能充滿圖像以便獲得更多細節。拍照功能基于FLIR ONE 官方SDK進行編程，拍照后獲得熱成像和包括每個像素點溫度的數組。

圖2 用于獲取番茄熱成像及溫度數組的熱激勵裝置

Fig.2 The excitation-device of obtain thermal imaging and temperature arrays of tomoto

1.2.3 圖像處理及損傷計算 算法流程主要包括對熱成像的圖像處理與基于溫度數組進行損傷參數計算兩部分，其中白色框表示圖像處理步驟，黑色框表示損傷計算步驟(圖3)。

圖3 圖像處理及損傷計算的算法流程

Fig.3 The Process of image and damage calculation

1) 圖像處理。圖像處理的目的一是找出損傷部位，二是為計算損傷參數做準備。圖像處理算法主要基于OpenCV4Android 3.4.3，保證了處理的實時性，主要包括預處理、求輪廓與找損傷3個步驟。

預處理:預處理是為了將番茄從圖像中分割出來，先將圖像灰度化，然后進行中值濾波消除噪聲。由于在熱成像中熱激勵后的番茄與背景有明顯差異，用OTSU法對圖像二值化即可將番茄分離。

求輪廓:對預處理后的圖像進行Canny邊緣檢測，利用邊緣檢測結果求出番茄輪廓，進而求出番茄正外接矩形作為ROI。

找損傷:首先，通過番茄輪廓與正外接矩形得到番茄部分點的灰度數組tomatoArray，獲取番茄部分點的灰度偽碼：

//初始化番茄灰度數組

tomatoArray [];

//遍歷正外接矩形tomatoRect中每一個點

for each Point(x,y) in tomatoRect

//點在番茄輪廓contourPoints內部

if(pointPolygonTest(contourPoints,Point(x,y),false) > 0)

{

//將該點灰度值加入到tomatoArray中

tomatoArray.add(grayMat.get(y,x)[0]);

//累加番茄每一點的溫度

Tsumtomato+= thermalPixels[y*width+x];

}

end for

此方法只遍歷ROI的數據，避免了遍歷整個圖像，減少了計算量。其次，對圖像進行二值化分離損傷。在通過試驗比較若干種二值化算法后，發現Reny熵法[20]效果最好。利用tomatoArray計算番茄部分灰度直方圖，以此為輸入通過Reny熵法進行二值化。最后，依次進行中值濾波去除噪聲、Canny邊緣檢測，最終求出所有輪廓。方法：設原番茄輪廓面積為St，周長為Pt，對求出的輪廓做進一步篩選，主要剔除4種輪廓。一是面積接近的St輪廓，由于熱成像中番茄邊緣顏色可能相對較暗，在Reny熵法二值化時邊緣部分會被視為背景，進而會產生面積稍小于St的番茄輪廓；二是周長接近或大于Pt的輪廓，這種輪廓為與面積接近St的輪廓的類似，但未將番茄包圍，而是形成一個條形輪廓，因此周長較大，如圖4中②所示；三是原番茄輪廓因二值化被分割成的若干條形輪廓；四是面積過小的輪廓，這種輪廓通常為噪聲，如圖4中④所指。剔除后得到番茄機械損傷輪廓，并在原熱成像中作出標記，完成圖像處理。

2) 損傷計算。計算番茄部分溫度數據：在獲取tomatoArray的同時，累加得到番茄所有點的溫度和Tsumtomato(表1)。計算損傷參數：累加每個損傷輪廓包含點的個數得到損傷部分點的總數Cdamage，同時累加每個損傷點的溫度得到損傷部分的溫度Tsumdamage。設Ctomato為番茄部分包含點的總數，則損傷參數的計算公式分別為損傷占比(Pdamage)、損傷部分平均溫度(Tdamage)、正常部分平均溫度(Tsound)和正常部分與損傷部分平均溫度差(Tdiff)。

圖4 番茄損傷輪廓待篩選結果

Fig.4 The awaiting screening results of injury contour of tomoto

Tdiff=Tsound-Tdamage

整個算法最后得到一幅標記出番茄及其損傷的圖像及4個損傷參數(圖5)。

圖5 番茄損傷熱成像處理效果及損傷參數

Fig.5 Damage thermal imaging treatment effect and parameter of tomoto

2 方法驗證

2.1 針刺損傷

針刺損傷試驗用于檢測番茄是否有機械損傷。用直徑0.8 mm的針在櫻桃番茄表面刺1個3 mm深的孔，靜置1 h并擦干流出的汁液，對50個果實進行機械損傷檢測。所用手機為Android 6.0.1系統的CAT S60，內置的FLIR ONE熱成像分辨率為80×60像素、視覺分辨率為640×480像素。對櫻桃番茄的拍照距離為10 cm，處理一幅圖像的時間為4 s左右。測定結果表明，50個果實中檢測到損傷數量為45個，正常數量為5個，損傷果實的識別正確率為90%。由于針刺孔較小及噪聲干擾，致使部分損傷未在熱成像中呈現，因此出現了將損傷果實識別為正常果實的情況。

2.2 劃傷

劃傷試驗用于檢測損傷部位溫度數據。在番茄表面用直徑0.8 mm的針劃一道2 mm深、1～2 cm長的劃痕，靜置1 h并擦干流出的汁液，對10個果實進行損傷檢測，主要測定溫度數據。所用手機為Android 9.0系統的Google Pixel 2，FLIR ONE 型號為Pro，熱成像分辨率為160×120像素，視覺分辨率為1 440×1 080像素。對番茄的拍照距離為20 cm，每幅圖像的處理時間為2 s左右。在獲取熱成像的同時(熱激勵后60 s內)對番茄溫度進行測量，正常部分實際溫度值通過測量其中5個點的溫度并計算平均值得到，損傷部分實際溫度值通過測量劃傷的2個端點及中點共3個點的溫度并計算平均值得到。測量工具為Extech IR400紅外測溫儀，選擇該測溫儀基于兩點原因：番茄的發射率為0.90～0.95[21]，而該測溫儀的發射率為0.95，二者匹配；該測溫儀可以快速、準確的獲取溫度，滿足在60 s內獲取多個點溫度的要求。

由表1可知，番茄正常部分與損傷部分的溫度差在0.42～1.08℃，平均溫差0.78℃，略高于IR400所測得的溫度差(0.45℃)，對損傷部分的區分性更好。另外，測得溫度與IR400所測結果誤差均在±5%以內，較為準確。

表1 番茄劃傷檢測的正常與損傷部位溫度

3 小結

研究提出了一種基于FILR ONE熱成像攝像頭、用Android手機進行番茄機械損傷檢測的方法。方法適用于不同型號的FLIR ONE及支持FLIR ONE的Android手機，在番茄機械損傷檢測方面準確性較高，圖像處理耗時滿足實時性要求。測定方法成本低，操作簡便，易于在農業科技工作者與農戶中推廣。方法不僅可用于番茄機械損傷定性檢測，也可對溫度進行定量檢測。隨著進一步的研究，未來可嘗試推廣到其他果蔬的機械損傷檢測上。