基于高光譜成像的蘋果損傷檢測方法研究

王 凡，孟翔宇，陳龍躍，段丹丹,3，錢英軍

（1.北京市農林科學院信息技術研究中心，北京 100097；2.嶺南現代農業科學與技術廣東省實驗室河源分中心，廣東 河源 517000；3.清遠市智慧農業農村研究院，廣東 清遠 511500；4.廣東科貿職業技術學院，廣東 清遠 511500）

【研究意義】近年來，高品質蘋果在市場上表現出一定競爭力。一般來說，外觀可以直觀反映蘋果質量，損傷作為影響水果品質的主要指標之一，對保證蘋果品質和利潤具有重要意義［1-2]。蘋果在采摘或運輸過程極易因外力作用使其表皮受到機械損傷，僅使用肉眼難于覺察。傳統的水果損傷檢測主要靠人工進行分類識別，這種方法耗時費力、主觀性強，無法滿足批量水果的快速實時檢測，且不能對輕微損傷加以檢測［3-4］。【前人研究進展】伴隨科技的發展與進步，無損檢測技術開始應用于水果品質檢測中。使用較多的檢測技術有高光譜成像（HSI）、近紅外光譜、紅外熱成像、核磁共振等［5-8］。光譜分析和機器學習方法對于處理疾病檢測中的HSI 數據至關重要，可提取和利用高維數據中包含的有效信息［9-10］。張晉寶等［11］對蘋果內外部品質檢測方法進行研究，利用高光譜技術對外部損傷進行檢測，優選出10 個特征波段做PCA 進行處理識別，最終達到90%的損傷識別率。韓浩然等［12］分別使用PCA、波段比算法、監督分類法等進行模型建立，對鴨梨模型進行識別，PCA 檢測正確率達到95%，驗證了利用光譜技術可以很好地完成對水果輕微損傷的無損檢測。Ding 等［13］以蘋果的早期損傷為研究目標，利用高光譜成像技術檢測得到400～1 000 nm 光譜范圍數據。通過選取特征波長并逐步判別分析，較好地區別1 h 以上的損傷與正常蘋果。Dan 等［14］以3 種蘋果為研究目標，對其蘋果表面缺陷進行檢測，識別準確率分別為76%、85%和 95%。【本研究切入點】目前國內外許多研究進行了水果內外部品質檢測［15-18］，但多屬于蘋果內含物質品質檢測和破壞性的檢測方式，對于無損檢測輕微損傷的研究較少。本文利用高光譜成像技術檢測蘋果的輕微損傷，并使用圖譜融合的方法進行處理分析，可為產品在線檢測提供一定參考。【擬解決的關鍵問題】本文應用高光譜成像技術，研究無損檢測蘋果表面損傷的可能性，通過比值光譜分析損傷與正常區域的光譜響應特性，構建最能準確辨別水果表面損傷的特征光譜指數，基于指數增強圖像實現蘋果表面損傷的快速無損識別，為高光譜圖像技術對水果損傷的在線檢測提供依據。

1 材料與方法

1.1 試驗材料

2022 年11 月上旬，在北京平谷蘋果產區，選擇大面積種植的具有代表性的蘋果樣本，共收集163 個，涵蓋3 個品種（紅富士、王林、國光）。為避免蘋果表面的灰塵雜質等對數據采集造成影響，采集高光譜圖像前將蘋果清洗，并用75%酒精對其表面進行消毒去污，置于常溫室內備用。

1.2 高光譜圖像采集

蘋果放置室內12 h 后，采集樣本的高光譜圖像。高光譜圖像采集系統由1 個暗箱、1 個升降平臺、2 個75W 鹵鎢燈、2 臺風扇、1 個高光譜成像儀和1 臺計算機組成，高光譜成像系統示意圖如圖1 所示。高光譜相機可以檢測176 個波長，在395.9～998.1 nm 范圍內均勻分布，分辨率為4 nm。蘋果樣本和相機鏡頭之間的距離為500 mm，鏡頭直徑為25 mm。圖像的空間分辨率為1 000×1 000，所有圖像均通過水果的輻射率與白色參考面板的輻射率校準獲取絕對反射率。

圖1 高光譜成像儀器Fig.1 Hyperspectral imaging instrumentation

1.3 數據分析

1.3.1 高光譜圖像ROI 選擇 在研究蘋果表面損傷的光譜特征時，選擇感興趣區域（ROI）進行光譜信息提取。ROI 從訓練集中的每個圖像中選取，分別位于正常和損傷區域的中心，避免光譜變化較大的區域，如蘋果邊緣莖干。在每個水果樣品中，對正常和損傷區域兩個ROI 的所有像素進行平均，獲得代表ROI 的光譜，共獲得120 條損傷區域光譜120 條正常區域光譜。

1.3.2 高光譜預處理 基于白色參考的校準只能校正陽光強度和儀器響應的差異。光的空間分布和蘋果幾何形狀的影響必須進一步糾正。在空間不同的照明條件下，基于光譜尺度（例如相對光譜）的校正可能是一種有效策略。研究表明，通過光譜歸一化可有效抑制照明差異，歸一化反射光譜根據以下公式計算：

式中，Rλ為第λ波長處的相對反射率，n為波長總數。

1.3.3 光譜指數構建 高光譜圖像所包含的光譜信息數據量龐大，含有較大的冗余以及非光譜信息。因此選擇合理的數據處理方法、尋找最能表征蘋果輕微損傷的特征波長的圖像非常重要。光譜指數（SI）將兩個或兩個以上波段的地物反射率或輻射值進行組合運算，以增強目標的某一特性或細節［19-20］。本研究選擇常用的兩波段光譜指數，通過蘋果正常與損傷區域的比值光譜特征分析，構建新型兩波段光譜指數，以便更好利用波長包含的信息。構建形式主要有歸一化光譜指數（NDSI）、比值光譜指數（RSI）和差值光譜指數（DSI），光譜指數構建的計算公式如下：

式中，Rλ1為高光譜波長為的波段λ1的光譜反射率，Rλ2為高光譜波長為λ2的光譜反射率。

1.3.4 圖像處理 根據式（2）～式（4）計算ROI的各特征光譜指數，在ENVI 遙感圖像處理軟件環境下，基于“波段運算”，獲得3 種光譜指數增強圖像，統計像素特征值。選取對損傷區域特征具有較強表征能力的指數圖像，用于蘋果損傷區域的分類識別。

1.3.5 無監督分類 將迭代自組織數據分析算法（ISODATA）作為損傷檢測的核心聚類方法。作為一種無監督分類方法，ISODATA 算法的優點是不需要了解聚類的數量，與k 均值聚類方法類似，根據到聚類中心的最短距離將像素分配給聚類，該算法通過迭代合并和拆分實現自適應聚類［21］。

設置ISODATA 無監督分類最小（最大）類數為2（5）個，根據所選特征對每個樣品的高光譜圖像進行分類。訓練后，ISODATA 自動給出最合適的類號。該方法使用最小光譜距離將每個像素分到一類。首先從給定圖像提取任意類均值，通過反復分類和重新計算新的類統計信息，然后將其用于下一次迭代，最多持續100 次迭代或直到收斂閾值達到99%［22］。與一些經典的監督統計方法（如判別分析法、回歸分析法）不同，該訓練過程不定義特定的模型，而只是確定最佳閾值，其簡單性可以提高其在損傷檢測中的通用性。

1.3.6 準確性評估 為驗證分類結果準確性，對高光譜葉圖像進行目視解釋，并手動提取異常區域的ROI 作為參考。將所提出的方法與參考ROI 進行比較，以確定正確分類和錯誤分類樣本的數量，基于總體準確度進行準確度評估。利用ENVI 5.3 和MATLAB 2018b 軟件（MathWorks Inc.，Natick，馬薩諸塞州，美國）進行統計分析和建模。

2 結果與分析

2.1 光譜特性分析

從圖2 可以看出，3 種蘋果的正常與損傷區域光譜曲線特征基本相同且無明顯差異。圖3 為損傷區域與正常區域在390～1 000 nm 范圍的平均光譜反射率曲線和光譜比值曲線。從圖3 可以看出，正常區域與損傷區域光譜曲線的大體趨勢相同，但蘋果受到損傷后，在可見光區域（400～760 nm）有顯著差異，隨著損傷程度上升，光譜反射率值降低，呈明顯負相關。這是因為遭受損傷后，蘋果表面組織結構破壞導致色素沉著，水分和活性降低，導致可見光區域光譜反射率降低。

圖2 不同品種蘋果正常區域與損傷區域的光譜曲線Fig.2 Spectral profiles of normal and damaged areas of different apple varieties

圖3 蘋果正常區域和損傷區域的光譜曲線Fig.3 Spectral profiles of damaged and normal areas of apples

光譜比值處理能夠將作為除數的正常區域光譜特征作為背景壓制，而突出其他組分對于混合光譜的影響，通過觀察比值光譜曲線可以發現，輕微損傷區域與正常區域的比值光譜曲線在藍邊（490～530 nm）和紅邊（670～720 nm）區域存在兩個峰，且分別在528、676 nm 處達到峰值。對兩處光譜反射率進行ANOVA 方差分析結果如表1 所示。損傷區域與正常區域的兩處光譜反射率差異均達到0.05 顯著水平，光譜反射率有顯著差異，說明528、676 nm 處光譜在區分正常區域和損傷區域方面具有一定敏感性。因此，在后期數據處理過程中選取528、676 nm 作為針對輕微損傷區域的特征波段，進行光譜指數的構建。

表1 蘋果正常區域與損傷區域光譜反射率顯著性差異Table 1 Analysis of significant differences in spectral reflectance between normal and damaged areas of apples

2.2 圖像處理結果

圖4 分別為3 種特征光譜指數的蘋果灰度圖像，可以明顯觀察到正常區域和異常區域的灰度值存在較大差異。通過統計各ROI 損傷區域與正常區域的NDSI、RSI、DSI 的像素值，獲取光譜指數的統計特征值（表2）。正常區域的光譜指數特征的平均值與標準差分別為0.72、0.05；而損傷區域的光譜指數特征的平均值與標準差分別為0.14、0.02，兩類圖像特征在NDSI 增強圖像中的像素值具有較大差異。類似地，兩類圖像特征在RSI 及DSI 增強圖像中的像素值平均值與標準差分別為0.42 和0.06，0.08 和0.03 以及0.49 和0.07，0.11 和0.03。由表2、圖4 可知，損傷區域與正常區域特征在各SI 增強圖像中區分明顯：正常區域特征在各增強圖像中均具有較高的像素值，其色調表現明亮；相反，損傷區域特征在上述SI 增強圖像中均具有較低的像素值，其色調表現灰暗。不同區域建立的NDSI 增強圖像像素值的平均值具有較大差異，兩類圖像特征的NDSI平均值相差0.58。另一方面，建立的NDSI 對損傷區域與正常區域特征具有較強的區分能力。雖然RSI 與DSI 具有類似的性質，但損傷區域特征的RSI 平均值小于NDSI 平均值，表明其提取損傷區域的能力較弱。另外，DSI 提取損傷特征的能力介于NDSI 與RSI 之間，其提取損傷區域的能力相對較弱。

表2 蘋果正常區域與損傷區域在NDSI、RSI、DSI 增強圖像中的統計特征值Table 2 Statistical eigenvalue of damaged and normal areas of apples in NDSI,RSI and DSI-enhanced images

圖4 NDSI、RSI、DSI 光譜指數增強下的蘋果高光譜灰度圖像Fig.4 Hyperspectral grey-scale image of apple under enhanced spectral indexes of NDSI,RSI and DSI

2.3 損傷檢測結果

基于最優光譜指數特征圖像，采用無監督分類ISODATA 方法生成分類圖像。為便于直觀地評估檢測結果，圖5 展示了ISODATA 可區分樣品的二元分類圖像。可以看出，蘋果樣本的損傷區域與正常區域整體上有良好區分。其中，綠色區域表示蘋果表面的損傷區域，紅色區域為正常健康區域，表明該方法可有效區分蘋果表面正常與損傷區域。然而，雖然大多數受損區域被識別和分類，但一些不完美的識別區域出現在蘋果外部輪廓周圍（藍色與黃色區域），分類的區域出現錯誤，可能是由于蘋果作為球體表面光照不均勻導致。

圖5 基于最優光譜指數特征的蘋果表面損傷高光譜圖像分類結果Fig.5 Classification results of apple surface damage hyperspectral images based on optimal spectral index features

2.4 蘋果損傷判別模型

為進一步驗證本研究檢測蘋果損傷的方法，按照以上步驟對額外80 個蘋果樣本進行損傷區域檢測，其中包含正常蘋果40 個、損傷蘋果40 個，檢測結果如表3 所示。可以看出，40 個損傷的蘋果樣本中有37 個被正確檢測出來，檢測正確率為92.50%。40 個正常蘋果樣本中有40 個被正確檢測出來，正確率為100%。

表3 蘋果正常區域與損傷區域的驗證檢測結果Table 3 Verification results of normal and damaged areas of apples

3 討論

本研究對利用高光譜圖像快速檢測蘋果損傷區域的可行性進行初步探索。為盡量減少外部因素和散射效應引起的變異性，將光譜反射率轉換并組合成光譜指數，包括歸一化光譜指數（NDSI），比值光譜指數（RSI）和差值光譜指數（DSI）等。其中，NDSI 得到廣泛應用，通過結合不同波長如歸一化差分植被指數（NDVI）、歸一化差水指數（NDWI）和歸一化色素葉綠素指數（NPCI）。本文的結果證明了光譜指數在進行圖像分割方面的巨大潛力，這與前人的研究結果一致［19，23］。圖像識別的傳統過程必須與機器學習算法相結合，由于這些模型的復雜性和背景的差異，導致這些模型對于不同的品種通常不穩定。以往研究多根據圖像閾值分割結合形態學操作方法實現損傷區域的提取識別，分割閾值的確定往往是有效識別損傷區域的關鍵，需要人工選取最佳的閾值，且在較大光照差異影響下往往會造成誤分割。本研究利用高光譜圖像數據中包含的豐富光譜和成像信息，提出的方法使提取目標偏差小，邊界光滑，可以區分嚴重的光照不均勻區域，避免因光照不均勻導致的損傷區域誤判。一般來說，該方法可以擴展到具有明確光譜響應特征的水果損傷、疾病的自動識別和診斷。

本研究僅使用兩波段光譜信息，數據量小、計算速度快，對損傷區檢測也比較準確。此外，將圖像分析和無監督機器學習方法結合起來，構建自適應算法，只需通過訓練確定特征選擇和分類閾值，無需復雜的訓練建模，在檢測水果表面機械損傷的無損檢測領域有較好的發展前途。此外，還可以考慮為相機定制波段，從實際角度來看，有助于開發低成本儀器。

同時，鑒于損傷類型的多樣性，未來可能需要識別不同類型的損傷，對于檢測方法的特異性也是一種考驗。此外，由于高光譜圖像獲取燈光與傳感器的觀察方向之間存在角度，蘋果作為一個球體表面光照不均勻，平面參考板或許不是理想的漫反射器，完全去除光照的影響幾乎是不可能的。因此，后續研究可考慮使用參考球代替傳統的參考板。

4 結論

本研究利用高光譜圖像技術檢測蘋果損傷進行研究，對所獲得的高光譜圖像數據進行比值光譜分析，優選特征敏感波長（528 nm 和676 nm），利用該兩波段組合光譜特征指數增強下的圖像，通過ISODATA 無監督分類圖像處理技術可以有效檢測蘋果表面的損傷區域。本研究結果表明，基于528、676 nm 的光譜反射率建立的NDSI 對損傷區域及正常區域特征具有較強的區分能力。ISODATA 方法的蘋果損傷識別正確率為92.50%，該方法為現實復雜情景下檢測蘋果表面損傷提供了有效的解決方案，在水果生產和檢測的高通量表型分析中具有巨大潛力。