基于X-ray和RGB圖像融合的實蠅侵染柑橘無損檢測

李善軍 宋竹平 梁千月 孟 亮 余勇華 陳耀暉

(1.華中農業大學工學院， 武漢 430070； 2.農業農村部長江中下游農業裝備重點實驗室， 武漢 430070)

0 引言

實蠅是全球植物檢疫性有害生物，也是我國很多柑橘產區危害最嚴重的害蟲[1]，每年造成的損失占我國柑橘產業總產值的10%～20%，嚴重時可達50%[2]，在柑橘采后早期分選階段準確地識別實蠅侵染柑橘是降低貯藏風險的關鍵。傳統的實蠅侵染柑橘檢測方法為有損操作，需要人工將柑橘剖開后進行判斷[3]，過程繁瑣且耗時較長，檢測結果的準確性也難以保證。無損檢測技術是指在無損狀態下，通過檢測與水果品質相關性較高的理化指標，對水果的病變[4]、風味[5]等內部特性進行篩選與分級。同時，現代柑橘商品化處理生產線將柑橘鮮果的防腐、清洗、打蠟、分級等環節集成到了一條自動化流水線中，與傳統的人工處理相比，大幅度降低了人力成本并提高了生產效率，是全球柑橘產業采后處理的發展趨勢[6]。所以，研發適配于柑橘生產線的實蠅侵染果在線無損檢測方法，對于增強柑橘生產的自動化程度、提高鮮果的品質等級以及降低產業的經濟風險有重要意義。

針對實蠅侵染柑橘，國內外學者已經嘗試了多種無損檢測技術進行檢測。實蠅侵染柑橘的過程可以大致分為兩個階段：在侵染早期，蟲卵被實蠅產入柑橘內部后逐漸孵化；而在侵染晚期，幼蟲會破壞柑橘表皮形成明顯的病斑。利用機器視覺技術，研究者們開發了基于顏色特征的機器學習算法[7]、基于灰度閾值的蟲害部位分割策略[8]以及基于大數據的深度學習方法[9]，對侵染晚期的柑橘實現了較高的檢測精度。但是，由于侵染早期柑橘的表皮在可見光下沒有明顯特征，圖像技術不再適用。文獻[10-11]開發了基于金屬氧化物傳感器的電子鼻，能夠對實蠅侵染柑橘釋放的氣體產生差別較明顯的電信號，然而該方法采樣效率較低，難以實現快速檢測。近紅外光譜[12]和高光譜[13]技術因其較高的檢測效率，已經被廣泛應用于蔬果品質在線無損檢測中。文獻[14-15]分別對基于近紅外光譜和高光譜的蟲害侵染水果檢測研究進行了總結，發現這些方法的檢測準確率往往不高，其原因是光譜技術通常只會提取水果某一部分的光譜信息，而對蟲害侵染果的準確篩查需要檢測水果的全部內部結構。基于X-ray的DR(Digital radiography)成像技術和CT(Computed tomography)成像技術可以完全穿透柑橘類水果，為蟲害侵染水果檢測提供新的方案。文獻[16]探討了DR成像用于水果檢測的可能性，發現X-ray在穿透水果的過程中會發生衰減，因此衰減形成的對比度差異反映了水果內部結構特征，同時該技術的采樣與成像速度均較快。但是，DR技術的圖像精度較低，且每幅圖像采集的信息量比較有限，因此準確識別水果內部的微小蟲害侵染部位非常困難。文獻[17-18]分別研究了不同蟲齡米象侵染粒內微觀結構變化過程、儲糧米象生長階段檢測。文獻[19]基于濾波反投影法等算法將2D-X-ray圖像重建為3D-CT圖像，精度可達 2.60 μm， 能夠實現更精準的蟲害侵染水果檢測。文獻[20]利用CT技術可視化了蟲害侵染水果的過程，但該技術的重建過程耗時較長，難以應用于柑橘生產線中進行在線檢測。

上述蟲害侵染水果檢測研究中，研究者們僅使用單模態數據對水果進行無損檢測，無法同時保障高采樣效率與高檢測精度。實蠅侵染柑橘的內部、外部病變特征復雜，具有高采樣效率的單源數據難以準確描述其侵染部位特征信息，極易導致檢測模型漏檢誤檢。多模態數據融合方法可將不同模態的數據按照某特定標準處理，充分挖掘更多的數據信息，且該方法目前已廣泛應用于農產品檢測領域[21]，可使識別率總體提高2%～5%[22]。因此，本文提出一種基于RGB和X-ray序列多模態數據融合的實蠅侵染柑橘檢測策略，模擬柑橘生產線檢測的實際情況，融合多角度實蠅侵染柑橘的內外部信息并結合深度學習技術，在保障高采樣效率的同時，實現對處于不同侵染時期柑橘的高精度無損檢測。

1 材料與方法

1.1 試驗材料及設備

研究中使用的試驗材料為受實蠅侵染的溫州蜜柑，如圖1所示，采于湖北省宜昌市夷陵區溫州蜜柑產區，采摘后的柑橘樣本運送至華中農業大學柑橘X射線成像實驗室。

圖1 樣本和X-ray系統組成示意圖Fig.1 Citrus sample and schematic of X-ray system1.實蠅侵染柑橘X-ray圖像 2.X-ray射線源 3.旋轉臺 4.探測器

1.2 總體思路

在實際柑橘采后分選過程中，如圖2所示，柑橘被放置在傳送帶上運輸，傳送帶上的旋轉滾輪與柑橘果實摩擦帶動柑橘果實發生旋轉，無損檢測裝置的圖像采集單元可對不同旋轉角度的柑橘進行數據采集，數據處理單元綜合考慮不同角度的柑橘特征信息對柑橘是否有侵染缺陷進行判斷，由分選機構在生產線末端對實蠅侵染柑橘剔除。以實蠅侵染柑橘為研究對象，模擬柑橘商品化生產線上搭載農業X光機的檢測柑橘過程，構建滿足柑橘生產線實際要求的在線無損檢測方法，柑橘滾動通過農業X光機時會旋轉360°，在此過程中采得6幅實蠅侵染柑橘的DR和RGB時序圖像。

圖2 柑橘生產線無損檢測數據采樣過程Fig.2 Non-destructive data sampling process for citrus production line1.X光射線源 2、4.CCD相機 3.射線源 5.蟲眼界面 6.探測器 7.傳送帶 8.健康界面

1.3 數據采集及預處理

1.3.1數據集采集

柑橘X射線成像實驗室的室內溫度為26℃、相對濕度為50%，成像前2 h送入室內以平衡外部環境對樣本的干擾。將實蠅侵染柑橘放置在載物臺處的低密度聚苯乙烯泡沫支架上，支架在掃描過程起

到穩定作用，使柑橘果軸大致與旋轉軸重合，防止柑橘旋轉過程中轉出成像區域引起圖像缺失。實蠅侵染柑橘X-ray數據由微焦點計算機斷層掃描儀(Nano Voxe2000型，天津三英公司)采得，RGB數據由網絡攝像頭(GuceeHD98型，谷客公司)采得，在X-ray射線源曝光的同時進行CCD相機曝光，同時使用20 W的環形LED燈在數據采集空間內增強和平衡照明條件。圖3展示了數據采集過程。對于每個樣本，掃描的角度步長為60°，樣品繞旋轉臺中心軸定軸旋轉360°，可獲得6幅沿射線源發射方向的X-ray DR和RGB時序圖像。

圖3 數據采集過程Fig.3 Data collection process1.RGB相機 2.X-ray射線源 3.旋轉臺 4.柑橘樣本

每個柑橘的真實感染程度由3位接受過培訓的人員分別在顯微鏡(VHX-6000型，日本基恩士公司)下剖開觀察后進行判斷。基于顯微鏡觀察結果，將未發現任何內部結構損傷的柑橘標記為健康柑橘，存在幼蟲對內部結構破壞但外表皮完整的柑橘標記為侵染早期感染，果皮外表面已經有明顯損害的柑橘標記為侵染晚期柑橘，從大量樣本中篩得健康柑橘300個，早期侵染柑橘321個，晚期侵染柑橘283個。圖4展示了健康和實蠅侵染柑橘RGB和X-ray圖像。按照6∶2∶2的比例將這些柑橘的X-ray DR和RGB時序圖像劃分為訓練集、驗證集與測試集。

圖4 實蠅侵染柑橘RGB和X-ray圖像Fig.4 Citrus infested by Bactrocera dorsalis RGB and X-ray image

1.3.2數據集預處理

在實際生產線檢測過程中，柑橘在生產線承載果杯上旋轉，圖像采集受光線、角度等因素影響。為擴增數據集的樣本量提高網絡模型的魯棒性和泛化性，本研究使用旋轉、錯切、移位、亮度、銳度5種數據增強操作，對訓練集中的時序圖像進行增強，數據增強效果如圖5所示。

圖5 數據增強效果Fig.5 Effects of data augmentation

1.4 多模態數據融合

1.4.1多模態融合策略

針對實蠅侵染柑橘，RGB圖像可從外部描述其表皮病變特征，X-ray圖像可從內部描述其橘瓣缺失特征，采用內外結合的多模態數據融合策略，可有效彌補單模態數據特征信息不足的缺陷。早期實蠅侵染柑橘表皮上蟲孔不明顯，判別結果易受到其它病灶點和污漬影響，如炭疽病、黃斑病等，同時X-ray圖像中的內部結構損傷也比較輕微，兩種數據相互補充可以獲得更加完整的實蠅侵染特征表達；晚期實蠅侵染柑橘表皮蟲孔處已表現出較為明顯的水漬斑，在X-ray圖像上也呈現出因橘瓣結構性破壞而產生的異變區域，兩種數據互相驗證能夠獲得更高精度的檢測效果。另外，RGB圖像上蟲孔的位置和X-ray圖像上的啃噬區域呈高度相關性，多模態數據融合策略可將實蠅侵染柑橘的RGB和X-ray數據信息進行互補重構，利用不同模態數據的關聯性挖掘更復雜更精確的特征信息。選擇早期融合中的圖像融合和特征融合方法開展基于多模態數據融合的實蠅侵染柑橘檢測方法研究。

1.4.2圖像融合方法

對CNN網絡進行修改，使網絡可以同時接受6通道的多模態實蠅侵染柑橘序列圖像，如圖6所示。CNN-LSTM(Convolutional neural networks-long short-term memory)網絡可按照特定編號形式，同時輸入尺寸為224×224×3且角度配準后的RGB和X-ray時序圖像，經由CNN對同一角度的實蠅侵染柑橘RGB圖像和X-ray圖像同時進行特征提取，由LSTM單元綜合運算所有角度的深度特征信息并輸出檢測結果。試驗時將預訓練參數導入改進后的模型，并將RGB通道參數進行加權處理賦予X-ray 通道，可提升網絡收斂速度，避免陷入局部最小值。

圖6 圖像融合Fig.6 Image fusion

1.4.3特征融合方法

改進后的特征融合網絡仍用CNN作為特征提取網絡，將尺寸為224×224×3且成像角度相同的RGB和X-ray圖像作為輸入，并分別分配一個CNN網絡以提取RGB圖像特征和X-ray圖像特征，提取后的深度特征在最后一層卷積層上并聯以實現特征融合，如圖7所示。融合后的特征圖將被送入該角度對應的LSTM單元進行運算，上一角度LSTM單元也會將運算結果傳入本單元，以實現實蠅侵染柑橘的全面無損檢測。

1.5 檢測模型與評價指標

1.5.1實蠅侵染柑橘檢測模型

本研究構建的CNN-LSTM模型結構如圖8所示。CNN對輸入的圖像序列進行特征提取，以CNN提取的特征作為LSTM的輸入，構建CNN-LSTM模型。該方法以6幅X-ray和RGB圖像為輸入，每幅圖像間隔60°，相當于柑橘滾動60°拍攝一幅圖像，對于每幅圖像都會分配一個CNN模型進行特征提取，ResNet18最后一層輸出的1 000個深度特征，最終獲取6×1 000的二維矩陣信息。隨后6×1 000的矩陣將被同時送入LSTM模型中，LSTM模型先對0°圖像特征進行計算，隨后將0°圖像過濾后的特征傳入下一個LSTM單元，此時60°圖像特征將會結合0°圖像特征信息進行LSTM單元運算，輸出信息繼續送往下一個LSTM單元，最終LSTM將會考慮 0°～360° 之間的6幅圖像信息輸出分類結果。以序列圖像作為模型的輸入可以解決由于柑橘本身厚度引起的X射線衰減而導致的圖像差異和單幅實蠅侵染柑橘RGB圖像的侵染特征遺漏問題。即某一幀圖像中出現蟲孔特征和實蠅啃噬特征，CNN-LSTM模型將會識別出該特征，從而實現整個柑橘的實蠅侵染檢測。

圖8 實蠅侵染柑橘檢測模型Fig.8 Detection model of citrus infested by Bactrocera dorsalis

1.5.2損失函數

在神經網絡訓練過程中，為了獲得最優的模型輸出結果，應使得網絡輸出的預測值不斷逼近真實值，交叉熵用于衡量預測值和真實值概率分布之間的距離，該距離可被當作網絡模型的損失函數。本研究模型訓練時所使用的損失函數為交叉熵損失函數[23](CrossEntropy loss function)，該損失函數常被用于神經網絡分類問題[24-26]。

1.5.3評價指標

本研究采用準確率作為模型檢測精度的評價指標。準確率被定義為

(1)

式中n——柑橘樣本數據集數量

I——模型檢測精度

x——輸入的柑橘X-ray圖像

f(xi)——檢測模型輸出的柑橘類別

yi——柑橘果實序列中的真實類別

柑橘果實序列x為輸入經過的視覺模型預測結果f(xi)，將f(xi)與真實類別yi進行對比，如果相同記為1，不同記為0，最后對n個樣本求平均得到檢測準確率。

1.5.4模型訓練

初始學習率設置為1×10-5，batch_size設置為4，lstm_hidden_size設置為128，lstm_layers設置為2，dropout_rate設置為0.2，循環次數(Epoch)設置為200。訓練過程中，優化器使用Adam算法。

1.5.5試驗平臺

本研究試驗基于Windows 10操作系統，GPU為GeForce RTX 3080Ti(8 GB顯存)，處理器為AMD Ryzen 7 5800H CPU 3.20 GHz，運行內存為32 GB。模型的搭建與訓練驗證通過Python語言實現，基于PyTorch深度學習框架，并行計算框架使用CUDA 11.0。

2 結果與分析

由于實時檢測中對檢測效率的要求較高，本研究選擇ResNet、GoogleNet、SqueezeNet、MobileNet輕量化卷積神經網絡作為特征提取網絡，構建CNN-LSTM實蠅侵染柑橘檢測模型。為驗證本文提出的實蠅侵染柑橘檢測模型性能和多模態數據融合方法的有效性，不同的網絡在相同數據集和試驗環境下進行測試，根據檢測后的結果對模型的準確率、參數量、浮點運算量和檢測時間進行計算，試驗結果如表1所示。

從表1可知，針對每個CNN特征提取網絡，多模態數據融合模型的檢測準確率高于單模態X-ray和RGB數據模型的檢測準確率，在實蠅侵染柑橘序列數據集上的檢測準確率均在90%以上。基于圖像融合方法構建的檢測模型中，ResNet18-LSTM的檢測準確率、模型參數量和浮點運算量均高于其它3種模型，該模型具有更大的參數量和模型復雜度，使其具有更優異的特征提取能力，準確率達到97.3%，檢測時間為2.662 s。相較于單模態檢測方法，圖像融合方法在第1個卷積層對通道疊加后的蟲橘圖像做卷積處理，在第1個卷積層上添加了另一模態的三通道參數，該操作導致了模型參數量和浮點運算量的提升，輸入共12幅X-ray和RGB時序圖像數據導致了網絡模型的檢測時間延長。基于特征融合構建的檢測模型中，各模型檢測準確率同樣優于單模態檢測方法，但是低于圖像融合檢測方法，同時需要花費更多的檢測時間，GoogleNet-LSTM檢測時間達到4.187 s。這是由于特征融合方法中對RGB圖像和X-ray圖像分別分配一個CNN網絡以提取圖像特征，使模型的浮點運算量提升至單模態方法的兩倍，需要更多GPU存儲空間和算力，同時雙CNN的結構易使得網絡在訓練過程中過擬合而導致檢測準確率下降。在針對單模態方法的消融試驗中，分別以6幅224×224×3實蠅侵染X-ray序列圖像和6幅RGB序列圖像作為輸入進行對比。不同輸入的單模態方法模型參數量和浮點運算量相同，檢測時間也均在0.797～0.887 s 之間。因此，相較于僅使用單模態X-ray和RGB數據的方法，本研究所提的多模態數據融合的實蠅侵染柑橘檢測方法在檢測準確率方面有明顯提升，同時由于檢測模型參數量與浮點運算量更大，需要更多的運算時間。

表1 不同卷積神經網絡模型性能對比Tab.1 Performance comparison of different convolutional neural network models

為了進一步驗證多模態方法對特征的提取與結合的合理性，本研究采用Grad-CAM(Class activation mapping，CAM)對網絡模型進行可視化分析。以檢測精度最高的ResNet18-LSTM網絡為例，將ResNet18特征提取網絡最后一次卷積后提取到的特征進行可視化，更加直觀地展示多模態數據融合方法的關鍵判別特征。圖9所示熱力圖反映了不同位置像素點對輸出結果的影響程度，橙紅色的高亮區域表示該區域的像素點對最終分類結果影響更大，在網絡的決策分類中占有更高權重。從實蠅侵染柑橘RGB和X-ray圖像的熱力圖中可以看出，檢測模型可以憑借實蠅侵染關鍵特征識別柑橘受否侵染。實蠅侵染柑橘RGB類激活可視化熱力圖上高亮區域主要集中在蟲孔附近位置，這表明網絡更加關注蟲孔附近的區域，蟲孔是網絡檢測的關鍵特征；實蠅侵染柑橘X-ray類激活可視化熱力圖上高亮區域主要集中在內部實蠅啃噬區域，這表明實蠅啃噬區域在網絡分類決策時占有較高權重，網絡也關注到了實蠅啃噬區域這一關鍵特征。因此，實蠅侵染柑橘RGB上呈現出的蟲孔和X-ray上呈現出的實蠅侵染區域可作為網絡模型檢測的關鍵判別特征，多模態數據融合策略可將實蠅侵染柑橘的RGB和X-ray數據信息進行互補，利用不同模態數據的關聯性挖掘更復雜更精確的特征信息，有效提升網絡模型的檢測性能。

圖9 實蠅侵染柑橘類激活可視化分析Fig.9 Class activation heatmaps of citrus infestation by Bactrocera dorsalis

在本研究中多模態數據融合方法使得網絡模型的檢測準確率提升8個百分點，該方法融合了12幅實蠅侵染柑橘RGB和X-ray序列圖像，綜合了實蠅侵染柑橘全角度的內外部特征信息對柑橘進行侵染診斷，但多幅圖像的輸入導致多模態融合后的檢測時間增加，使得模型有更高的GPU存儲空間和算力要求。針對該問題，本課題組擬在后續的研究中進行進一步的探索，在侵染檢測計算方面，設置并行計算模式提高運算單元硬件配置，以滿足同時檢測多個柑橘樣本的運算需求。從農業X光機無損檢測裝備方面進行結構優化，設置多通道的柑橘傳輸軌道，增大RGB相機和X-ray射線源照射角，延長數據采集時的曝光距離，使得單幅圖像中能包含更多的柑橘樣本圖像，如圖10所示。

圖10 檢測裝置布置示意圖Fig.10 Schematic layout of detection device

3 結論

(1)構建CNN-LSTM實蠅侵染柑橘檢測模型，以實蠅侵染柑橘RGB和X-ray序列圖像作為檢測模型的輸入，可模擬柑橘在生產線檢測的條件下對實蠅侵染柑橘進行全面準確識別。

(2)提出的多模態數據融合實蠅侵染柑橘方法比單模態檢測方法檢測性能更加優異，準確率提升8個百分點，表明利用多模態信息之間的互補性可獲取更全面的特征表達，彌補了單模態特征信息不足的問題，使檢測模型能提取到足量的實蠅侵染關鍵判別特征，提升實蠅侵染柑橘檢測模型的檢測能力，對全面篩查實蠅侵染問題數據融合很有必要。ResNet18-LSTM檢測準確率最高，多模態的圖像融合和特征融合方法檢測準確率分別達到97.3%和95.7%，但模型復雜度高；而MobileNetV2-LSTM的檢測準確率為95.4%，其參數量和浮點運算量約為ResNet18-LSTM的1/3、1/6，有望應用在存儲量、運算能力不足的終端檢測設備上，為柑橘生產線檢測系統搭建提供了可能性。

(3)深度學習方法進行實蠅侵染柑橘檢測是可行的，通過可視化進一步驗證了RGB圖像上的實蠅侵染孔部位，以及X-ray圖像上像素點灰度較低的特征區域是模型檢測實蠅侵染的關鍵判別特征。

(4)傳統的檢測實蠅侵染主要依賴人工檢測，不僅檢測效率低下、無法重復且屬于有損檢測方式。本研究使用實蠅侵染柑橘X-ray和RGB圖像判別可實現實蠅侵染柑橘快速無損檢測。