基于圖像處理的番茄重量預測

何婷婷 李志偉 張 馨 張鐘莉莉 肖雪朋 董 靜

目前，中國番茄的質量分級以人工分級為主，存在主觀性過強、效率低和易碰損等問題[1]。機器視覺技術的發展為無接觸獲取物體質量估算提供了新途徑。王業琴[2]使用閾值分割與形態學方法分割出鴨蛋前景圖像，然后統計分割后鴨蛋圖像的像素點，建立鴨蛋投影面積與質量的多項式質量擬合模型，證明物體重量與其投影面積關系密切。郝敏[3]、孔彥龍等[4]和王紅軍等[5]采集了多角度的馬鈴薯圖像，分別提取投影面積與周長作為參數建立線性回歸模型，實現了對馬鈴薯質量的準確預測；Huynh等[6]以胡蘿卜和黃瓜為對象，捕捉其頂視圖計算投影面積與長、短軸進行質量預測，準確率分別為95%和96.7%；張展碩等[7]采集了娃娃菜不同側面圖像，提取娃娃菜側面投影面積并建立了側面投影面積與重量真實值間的線性關系，可以較準確地預測娃娃菜的重量。利用果蔬的投影區域面積和周長建立的重量檢測模型可以相對準確地檢測果蔬質量，基本滿足生產檢測的要求。但多角度的果蔬投影圖會發生形變，潛在增加了質量估計誤差[8]。因此需要提取其他與重量相關性更高的形狀特征以提高重量預測的精度。Ashtiani等[9]和Demir等[10]提取物體長度、寬度、厚度、算術平均直徑、投影面積、形狀指數和長寬比等多個物理特征，分別使用多元線性回歸(MLR)模型和神經網絡模型對杏仁和核桃進行無損質量估計，結果表明，以物理特征為開發參數的徑向基神經網絡結構可以準確地估計質量。

目前關于重量預測的研究主要以形狀規則且軸對稱的果蔬為對象，如馬鈴薯、蘋果、芒果等。而番茄果實類型多，不同品種果實內部結構(心室數和果肉百分比)差異顯著[11]，表面易發生鏡面反射，不易于提取特征等特點。何微等[12]建立了番茄果重與其水平投影面積、周長、等效直徑的多元線性回歸模型，模型預測的單果最大相對誤差為1.91%。Susovan等[13]分別采集了番茄、馬鈴薯、柑橘3種果蔬的非規則形狀下的單視圖，將單視圖拆分為兩個單獨形狀并分別提取其邊界輪廓進行多項式擬合計算體積，建立了體積與質量的線性模型。Lee等[14]使用DCNN實現對多目標番茄的語義分割，并測量番茄的橫、縱徑建立了質量預測絕對百分比誤差為7.09的回歸模型。單視圖得到的面積、周長、體積無法準確反映番茄的實際形狀，使用DCNN模型語義分割的訓練需要花費大量的時間且訓練樣本需求量大，為了解決這些問題，研究擬提出一種基于圖像處理的番茄重量預測方法，搭建圖像采集平臺獲取番茄多視角的二維圖像，提取番茄投影面積、周長、橫徑、縱徑、最小外接圓半徑與最大內接圓半徑等幾何特征，建立番茄重量預測模型，以期實現番茄重量的實時、快速、無損檢測。

1 材料與方法

機器視覺技術進行番茄重量檢測的工作流程如圖1所示。

圖1 番茄重量檢測系統流程Figure 1 Flow chart of tomato weight detection system

1.1 材料準備

1.1.1 樣本收集 試驗所用番茄樣本來自北京市大興區宏福農業科技有限公司的連棟溫室內，品種為Cappricia，中型果。成熟度對番茄果重有一定影響[15]，因此試驗選擇了成熟度接近的70個番茄(50個番茄用于建模，20個用于驗證)進行圖像采集與單果重測量。所有番茄圖像在同一條件下拍攝，每個番茄均拍攝6張圖像(正、反面各一張，角度間隔90°的側面圖像4張)，共采集到480張番茄圖像(300張圖像作為測試集，180張作為驗證集)。

1.1.2 成像裝置與圖像采集 番茄圖像采集裝置如圖2所示。采集設備由一個500萬像素、分辨率為2 592×1 944 的大恒MER-500-14U3-L彩色相機和一個焦距為12 mm的OPT-C1214-2M定焦鏡頭組成，相機數據接口方式為USB 3.0，工作電壓+5 V。最后，采集到的番茄圖像通過USB 3.0數據線傳輸至計算機中以“.jpg”格式保存。該裝置采集到的番茄圖像如圖3所示。

1.2 圖像處理

圖像處理流程與每個處理步驟生成的圖像如圖4所示。由于LED燈板安裝在攝影棚頂部，側面相機拍攝的番茄圖像的底部較暗，特征不明顯且圖像噪聲較多[圖4(a)]，使用伽馬變換增強圖像對比度[圖4(b)]；使用中值濾波算法降低圖像的噪聲，結果如圖4(c)。將預處理后的番茄RBG圖像轉換到Lab顏色空間[圖4(d)]；分離L、a、b通道，提取a通道圖像進行OSTU閾值分割[圖4(e)]；閾值分割后的圖像在形態濾波中進行開運算操作，除去背景中的孤立的封閉區域和邊界干擾，形態學處理后的圖像顯示在圖4(f)中；在光照條件下，番茄表面出現的小面積高亮區域被誤分割為背景，為了解決這個問題，使用泛洪填充算法填充圖像內部的空洞[圖4(g)]；最后，通過原始圖像與圖4(g)的按位與操作，得到從背景中分離的番茄果實[圖4(h)]。

1. 背景框架 2. 光源 3. 相機支架 4. 相機與鏡頭 5. 番茄樣本 6. 計算機圖2 圖像采集裝置Figure 2 Image acquisition device

圖3 不同位置相機拍攝的番茄圖像Figure 3 Tomato images taken by cameras at different positions

圖4 圖像處理流程Figure 4 Image processing flow

1.3 果形特征提取

表1列出了試驗提取的特征參數以及各參數的提取方法，表中所有特征均基于番茄二值圖像提取。此前，使用機器視覺技術進行質量預測的研究已經證明，僅利用單一角度的物體投影面積與周長建立的質量預測模型，其預測結果誤差較大，多角度的多元預測模型能夠更準確地測量物體的質量[16-17]。因此，分別計算了番茄俯拍圖像的投影面積和周長與任意兩張拍攝角度相差90°的側拍圖像的投影面積和周長。而最小外接圓半徑(Rmin)與最大內接圓半徑(Rmax)是在番茄正面圖像的基礎上得到的。最終從番茄正面圖像提取了投影面積(A1)、周長(C1)、最小外接圓半徑(Rmin)與最大內接圓半徑(Rmax)4個特征；從番茄側視圖中提取了番茄側面投影面積(A2、A3)、周長(C2、C3)以及橫徑(W)、縱徑(H)特征。

番茄側面輪廓的最小外接矩形寬和高設為番茄的橫徑(W)與縱徑(H)。該方法測得的番茄橫、縱徑的單位為像素，而非實際的長度(mm)單位，需要使用圖像標定方法將像素單位轉換為長度(mm)單位。試驗選擇2015年的一元錢硬幣作為圖像標定的參考物體，其直徑為25 mm。在測量番茄橫、縱徑時，每張番茄圖像都需要進行圖像標定，因此將硬幣圖片人為混合在番茄圖片上(圖5)，硬幣圖像與番茄圖像均在同一條件下獲得。圖5中的虛線框為番茄的最小外接矩形，矩形的長、寬即為待測番茄的縱徑與橫徑，經標定轉換后得到圖中番茄的實際橫徑長度為 74.766 mm，實際縱徑長度為 58.411 mm。測量番茄橫、縱徑時，側方相機拍攝的4張番茄圖像均被使用，取4次測量值的平均值作為最終測量結果。

表1 特征參數及其提取方法Table 1 Characteristic parameters and their extraction methods

為了驗證最小外接矩形法對番茄橫、縱徑檢測結果的準確性，使用精度為0.02 mm的游標卡尺測量番茄果實最寬處的尺寸作為橫徑；游標卡尺平行于果軸(果臍與果蒂的連線)時，測量番茄上部輪廓邊緣與下部輪廓邊緣的距離作為縱徑。每個樣本在不同角度下測量3次，取3次測量值的平均值作為番茄的實際橫徑和縱徑。

朱曉林等[18]的研究證明了果形指數與番茄單果質量的相關系數達到極顯著相關水平；劉忠超等[19]提取蘋果的橫、縱徑，建立了果徑平均值與蘋果重量預測的回歸模型，因此果形指數和果徑平均值可以作為番茄單果質量篩選的評價指標。

圖5 橫、縱徑測量結果Figure 5 Measurement results of transverse and longitudinal diameters

1.4 建立預測模型

使用機器視覺技術預測番茄重量，首先需要明確番茄果重與特征參數的相關關系。對特征與番茄重量進行相關性分析，皮爾遜相關系數的大小即代表相關性強弱。試驗分別對番茄正面圖像和側面圖像進行了特征提取操作，根據模型輸入參數的所屬圖像角度不同，分別建立了正面特征模型(M1)、側面特征模型(M2)以及正面和側面特征的組合模型(M3)3種重量預測模型。

1.5 工作平臺

試驗工作平臺由計算機硬件和開發平臺兩部分組成。計算機配置為英特爾酷睿 i5-11400H CPU處理器，內存為16.0 GB，RTX 3050顯卡。開發平臺為Windows 11(64位)操作系統， 圖像處理與特征提取過程基于OpenCV 3.4.2.16開源軟件庫實現，編程語言為 Python。提取的特征數據和質量數據在SPSS 26 中進行統計分析，最后利用SPSS軟件中的回歸分析功能獲得質量預測的回歸模型。

2 結果與分析

2.1 果形參數

表2為計算機測量的番茄橫、縱徑與人工測量的數據。表2結果顯示，計算機測量的橫徑、縱徑的平均絕對誤差分別為0.760 mm和0.888 mm，且橫、縱徑的測量值與真實值的絕對誤差的標準差均小于0.5 mm，誤差在可接受范圍內，表明機器視覺測量橫、縱徑的方法能夠較為準確地反應出番茄的實際特征，而個別番茄的橫徑與縱徑測量誤差較大(相對誤差為2.750%)可能是由于個別番茄果實畸形較嚴重。

2.2 特征與質量的相關分析

由圖6可知，除果形指數外，其他特征參數與實測重量(m)基本呈線性相關，且從正面圖像中提取的投影面積(A1)與輪廓周長(C1)特征與重量的線性相關性強；在相關性熱力圖中，果形指數與果重沒有表現出明顯的相關關系，出現這種情況的原因是試驗在測量番茄橫、縱徑時分別對其4個角度的側面圖像進行測量，以它們的平均值計算果形指數，這種計算果形指數的方法考慮了番茄的整體形狀，在果形畸形情況較嚴重時，果形指數計算值與其實際值差異較大，導致最終分析得到果形指數與番茄果重沒有線性關系的結論。此外，4個正面特征相互之間的相關性很高，相關系數在0.95以上，即存在很強的多重共線性。在進行模型構建時同時使用這4個參數可能會導致過擬合。由圖6可知，番茄正面特征與質量之間的相關性達到極顯著水平，相關系數大于0.90；側面特征與質量顯著相關，但相關性比正面特征低。線性相關性由強到弱排列為：正面圖像投影面積(0.954)>正面圖像周長(0.943)=最大內接圓半徑(0.943)>最小外接圓半徑(0.937)>角度1的側面圖像投影面積(0.857)>番茄橫徑(0.854)>角度1的側面圖像周長(0.850)>角度2的側面圖像投影面積(0.802)>(橫徑+縱徑)/2(0.79)>角度2的側面圖像周長(0.785)>番茄縱徑(0.602)>縱徑/橫徑(-0.19)。最后選擇與果重相關系數高于0.85的特征作為開發參數進行建模。

表2 計算機測量的番茄橫、縱徑與人工測量的數據Table 2 Transverse and longitudinal diameter of tomato measured by computer and manual measurement data

圖6 特征相關性熱力圖Figure 6 Characteristic correlation thermodynamic diagram

2.3 模型性能評估

根據特征與質量的相關性分析結果，最終確定了用于建模的參數為正面圖像投影面積與周長、最小外接圓半徑、最大內接圓半徑、角度1的側面圖像投影面積與周長、番茄橫徑。M1中包括一元線性回歸模型M11、M12、M13、M14(分別以正面投影面積、周長、最小外接圓半徑、最大內接圓半徑為輸入)和二元線性回歸模型M15、M16、M17(輸入參數分別為正面投影面積與周長、最小外接圓半徑、最大內接圓半徑的組合)。M2、M3中均為多元線性模型。

通過回歸分析得到各模型的相關系數結果見表3。與所有其他模型相比，M2模型的預測準確度最低(平均回歸系數為0.802)。在M1中，輸入中含投影面積的二元線性回歸模型的回歸系數(R2>0.910)均大于其對應輸入的一元線性回歸模型。M2中，側面周長與番茄橫徑的組合輸入得到了最高的回歸系數(0.853)，表明番茄橫徑更能反映番茄側面的信息。最后，在M3所有模型中，正面周長—側面周長與正面周長—橫徑建立的模型得到了最低的回歸系數，分別為0.889和0.893；其他模型的輸入參數中均包括正面投影面積，回歸系數在0.910以上；M37和M38的模型回歸系數相等，即在以混合特征建立模型時側面周長對模型性能的影響極小，可忽略不計。最終以番茄正面投影面積與周長、側面投影面積和番茄橫徑為參數的多元線性回歸模型獲得最高的準確性(R2=0.962)。

表3 模型性能評價表Table 3 Model performance evaluation

為了驗證模型在實際測量中的準確性，使用所有模型對驗證集中的20個番茄進行重量預測。圖7為模型測量誤差箱型圖。由圖7可知，M2中的模型的測量相對誤差與絕對誤差值波動范圍較大，對形狀正常的番茄測量結果較準確(絕對誤差小于10 g)；對于果形有缺陷的番茄測量誤差較大(圖中異常值)，且隨著果形缺陷程度的增大，模型測量誤差越大(最大絕對誤差為108.702 g)。M1中的模型測量準確率有所提升(平均絕對誤差低于15 g，平均相對誤差控制在9%以內)，但仍然存在對畸形番茄測量誤差較大的情況(最大絕對誤差為33.511 g)。M1與M3模型的測量平均相對誤差值相近，但在不同果形情況下，M3的測量適用性更好。隨著輸入參數中投影面積角度個數的增加，預測模型的準確度逐漸提高。以番茄正面投影面積與周長、一個角度的側面投影面積和番茄橫徑為輸入的多元線性回歸模型在驗證集上表現出最高的測量準確性(平均絕對誤差為3.892 g，平均相對誤差為2.356%)，有效降低了多角度番茄投影面積發生形變和番茄形狀畸形引起的質量預測誤差。

圖7 模型預測誤差箱型圖Figure 7 Box diagram of model prediction error

3 結論

基于機器視覺技術，提出了一種基于圖像處理的番茄質量預測方法，能夠實現番茄重量的準確測量。通過圖像處理，提取番茄的幾何特征參數，分別使用正面特征、側面特征和正面與側面特征的組合建立一元線性與多元線性回歸模型對番茄果重進行預測。以番茄正面投影面積與周長、一個角度的側面投影面積和番茄橫徑為輸入建立的多元線性回歸模型的精度最高，模型相關系數為0.962，模型預測的重量與實測重量的相對誤差均值為2.356%，絕對誤差均值為3.892 g。試驗結果表明，對于番茄等類球形或軸對稱形狀的果蔬來說，僅依靠其俯視角度與單個側視角度的幾何特征如投影面積、周長、橫徑等就可以實現較準確的質量預測，而不需要過多角度的投影面積、周長等幾何特征。

以果蔬的二維圖像為基礎的質量預測方法具有較好的泛化性，在一定程度上降低了質量預測模型對物體本身密度或材料的依賴，適用于番茄、蘋果等類球形和軸對稱形狀的果蔬的質量預測。后續研究應該使用該方法對其他具有類似特征的果蔬進行驗證。