融合高光譜圖像技術與MS-3DCNN的小麥種子品種識別模型

黃 敏，夏 超，朱啟兵，馬洪娟

融合高光譜圖像技術與MS-3DCNN的小麥種子品種識別模型

黃 敏1，夏 超1，朱啟兵1，馬洪娟2

（1. 江南大學輕工過程先進控制教育部重點實驗室，無錫 214122；2. 中化現代農業有限公司，北京 100045）

小麥品種的純度和小麥產量密切相關，為了實現小麥種子品種的快速識別，該研究利用高光譜圖像技術結合多尺度三維卷積神經網絡（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）提出了一種小麥種子的品種識別模型。首先，利用連續投影算法（Successive Projections Algorithm，SPA）對原始高光譜圖像進行波段選擇，以減少MS-3DCNN模型的輸入圖像通道數量，降低網絡訓練參數規模；其次，利用多尺度三維卷積模塊提取特征圖的圖像特征和不同特征圖之間的耦合特征；最后，以6個品種小麥共6 000粒種子的高光譜圖像（400～1 000 nm）為研究對象，基于SPA算法選擇了22個波段高光譜數據，利用MS-3DCNN、支持向量機（Support Vector Machine，SVM）分別構建了識別模型。試驗結果表明，MS-3DCNN模型取得了96.72%的測試集識別準確率，相較于光譜特征SVM識別模型和融合特征SVM識別模型分別提高了15.38%和9.50%。進一步比較了MS-3DCNN與基于二維卷積核、三維卷積核、多尺度二維卷積核構建的多個識別模型性能，結果表明多尺度三維卷積核能提取多種尺度的信息，其識別模型的準確率提高了1.34%～2.70%，可為小麥種子高光譜圖像品種識別提供一種可行的技術途徑。

小麥；種子識別；多尺度三維神經網絡；高光譜圖像

0 引 言

小麥是重要的糧食作物，在世界范圍內廣泛種植。隨著中國經濟持續高水平發展，對小麥種植環境的適應性以及品質需求有了進一步要求。為了滿足用戶的多樣化品質需求和不同氣候環境的種植需要，育種專家培育了數量眾多的小麥品種[1]。這些品種在滿足市場需求的同時，也帶來了潛在的種子混雜風險。種子品種的準確鑒別對于減少種子混雜，提高種子純度、保證市場流通秩序具有重要作用。傳統基于理化分析的種子純度檢測方法存在鑒定時間長、對種子具有破壞性的特點，已難以滿足現代農業需要。開發快速、無損的小麥種子品種識別方法對提高小麥生產效率有著極其重要的作用。

高光譜圖像技術具有快速、無損檢測樣品的內部結構及化學成分的特性，已在農業工程領域得到廣泛的研究[2-4]。在種子檢測領域，許多學者開發了基于高光譜圖像技術的種子品種識別方法[5-7]。這些種子高光譜圖像識別方法多采用特征學習和分類器設計相分離的策略[8-10]。即首先依賴專家的先驗知識提取種子高光譜圖像數據的光譜、紋理或形態等原始特征，并利用特征選擇（如無信息變量消除[11]、連續投影算法[12]等）或特征抽取（如主成分分析[13]）技術對原始特征進行選擇或變換，獲得不同品種種子的特征表示；然后基于獲得的特征來訓練一個分類器模型（如偏最小二乘線性鑒別分析[14]、支持向量機[15]等）。由于圖像特征學習和分類器學習相分離，這類傳統機器學習模式存在以下缺陷：1）特征生成依賴于人工經驗，容易導致生成的特征不能有效抽取用于種子分類的圖像信息；2）特征壓縮與后續分類器的學習準則難以統一（例如主成分分析的學習準則是特征的相關性，而分類器的學習準則是識別精度），壓縮后的特征往往無法保證后續分類器的識別精度。

自2016年以來，具有模型參數“端到端”學習的卷積神經網絡被應用到高光譜圖像識別領域[16-18]。例如：Ma等[19]使用近紅外高光譜圖像結合深度卷積神經網絡構建了種子活力的識別模型，取得了比傳統機器學習模式更高的識別精度；師蕓等[20]采用流形學習方法對高光譜圖像進行降維處理，并使用卷積神經網絡對降維后的高光譜圖像數據進行分類，提高了高光譜影像的分類精度，減少了分類時間。但這些基于卷積神經網絡的高光譜圖像識別方法多采用手動提取的光譜或圖像特征（如光譜、紋理等）作為模型輸入，其識別精度仍然依賴于手動提取特征的充分性。并且，這些基于卷積神經網絡的方法多使用二維卷積進行分類特征的提取與壓縮，難以兼顧高光譜圖像數據光譜維度與圖像維度，導致深度學習模型難以充分挖掘分類所需特征。

綜上，為了克服手動提取特征對人員經驗的依賴性，充分挖掘有效的分類特征，從而進一步提高分類模型的識別精度，本研究提出一種融合高光譜圖像技術與多尺度三維卷積神經網絡（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）的小麥種子品種識別模型。該模型利用連續投影算法（Successive Projections Algorithm，SPA）對原始高光譜圖像進行波段選擇，以減少MS-3DCNN的輸入圖像通道數量，降低網絡訓練參數規模。在此基礎上，引入多尺度三維卷積模塊，以充分提取每個特征圖上的圖像特征和不同特征圖之間的耦合特征，提高種子品種識別模型的準確率，擬為小麥種子高光譜圖像品種識別提供一種可行的技術途徑。

1 材料與方法

1.1 試驗材料

試驗用小麥種子由中化現代農業有限公司（中國）提供，共包含百農矮抗、濟麥、師欒、偉隆、新麥、周麥6個品種（表1）。這6類種子分別來自河南、山東、河北、安徽4個不同產地，均生產于2019年。試驗前，所有種子樣品由密封袋密封，并放置于玻璃干燥器內，以防止環境水分對試驗樣品的影響。

表1 小麥品種信息

1.2 高光譜圖像采集系統

利用實驗室自主開發的高光譜圖像采集系統（圖1）采集小麥種子的高光譜圖像。采集系統的主要部件：光譜范圍為400～1 000 nm（光譜分辨率2 nm，共300個波段）的快掃式高光譜相機（microHSI 410，康寧，康寧公司，美國）、光源（2個150 W鹵素燈）和可編程邏輯控制器控制的黑色傳送帶（移動速度為1 mm/s）。相機與小麥樣品的距離為30 cm，曝光時間為0.11 s。在采集圖像時，為了避免傳送帶運動帶來的麥粒晃動，將小麥放置于黑色塑料數粒板的凹槽內（凹槽尺寸為9 mm×4 mm× 2 mm，每個凹槽容納1粒小麥種子，共100個凹槽）。試驗共采集6個品種小麥種子的60幅高光譜圖像（每個品種10幅圖像，每幅圖像包含100粒種子，共6 000粒）。由于光源強度分布及不均勻暗電流噪聲的存在，為了提高獲取圖像的信噪比需要對樣本進行黑白標定。每采集4幅小麥種子高光譜圖像，采集1次全黑、白板（反射率約為100%）圖像（蓋上相機鏡頭，獲得反射率約為0的全黑標定圖像；放置白板，獲得全白標定圖像）。其黑白標定后的圖像的相對反射率的計算為

式中為全白標定圖像的反射光強度，為全黑標定圖像的反射光強度，0為小麥種子高光譜圖像的反射光強度。

1.3 高光譜圖像數據預處理

該試驗共采集60幅高光譜圖像，每幅高光譜圖像含有100粒小麥種子高光譜信息。在將圖像輸入至分類模型前需預處理原始高光譜圖像，該處理過程依次為提取感興趣區域，計算感興趣區域的均值光譜、選擇特征波段和重組高光譜圖像。

5）選擇步驟4中種子品種分類精度最高的波段組合作為SPA算法選擇的最優波段組合。

本研究通過上述試驗驗證了由22個最優波段組成新的高光譜圖像對小麥種子品種分類準確率最高。

重組高光譜圖像：從原始圖像中抽取22個最優波段下的圖像并重組，以降低高光譜圖像的維度。由于通過自適應閾值分割算法獲得的單個小麥種子圖像的空間尺寸大小不一致，對降維后的高光譜圖像進行空間補零操作，最后得到70×40像素×22波段的小麥種子高光譜圖像。

1.4 多尺度三維卷積神經網絡模型的構建

卷積神經網絡是一種由卷積層、池化層和全連接層構成的前饋神經網絡。由于其使用卷積層的局部感受野，權重共享和池化層的思想，以結構重組的方式將特征抽取功能融合到多層感知器中，可省略傳統分類器手動抽取圖像特征的過程[23-24]，并大幅度減少網絡中的參數。但傳統的卷積神經網絡多采用二維卷積操作，難以充分挖掘高光譜圖像數據中不同波段之間的特征耦合關系[25]，進而難以獲得高分類精度的卷積網絡。為了解決上述問題，本研究引入了三維卷積模塊以充分提取不同特征通道上的特征關系。三維卷積模塊最早被用于人類行為識別[26-28]，其可以同時提取空間和時間維度上的特征，較之于二維卷積模塊，具有更好的識別效果。第-1層特征通過三維卷積操作轉換到第層特征圖的數學表達式如式（2）所示[29]。

此外，卷積核的大小對卷積神經網絡的性能有著重要影響。傳統的卷積神經網絡卷積核設計多采用在不同卷積層使用尺寸大小不同的卷積核形式，以實現特征感受域的調節。本研究借助于Inception卷積模型思想[30]，在同一卷積層采用了尺寸大小不同的多個卷積核，分別提取輸入圖像數據中多個尺度的卷積特征，再將這些特征在通道維度上進行融合（即將不同尺度卷積核得到的特征圖在通道方向上進行拼接，增加特征圖通道的維度）。多尺度特征的提取和融合使模型能更好地獲取高光譜圖像數據的卷積特征。多尺度卷積模塊總計個卷積核，包含了/4個尺寸為5×5×5的卷積核、/4個尺寸為3×3×3的卷積核、/4個尺寸為5×5×3的卷積核和/4個尺寸為3×3×5的卷積核。由于卷積核的尺寸不同，在實施卷積操作時需要調節各維度上的步長和補零操作，以保證特征圖各維度大小一致。最后，將這些特征在通道維度上進行融合。

另外，在三維卷積操作后接一個批次規則化層（Batch Normalization，BN），以減少模型的過擬合，加快網絡收斂速度。三維卷積模塊中的激活函數使用LeaKy_ReLU，以防止輸入為負值時神經元無效，并經過池化層來壓縮數據和參數的量，減小過擬合。本研究設計的用于種子高光譜圖像識別的多尺度三維卷積模型如圖2所示。該模型利用3個多尺度三維卷積層抽取輸入高光譜圖像的卷積特征，經過1個全連接層和1個輸出層輸出，輸出層采用Softmax激活函數。

1.5 運行環境

本研究利用端到端的開源機器學習平臺（TensorFlow）構建MS-3DCNN模型，使用NVIDIA GeForce GTX 1080Ti顯卡進行訓練和測試。在訓練MS-3DCNN模型時，為了防止模型過擬合，基于隨機丟棄（dropout）策略設置全連接層，即全連接層中的節點以50%的概率置為0。使用Adam動量優化算法，采用批量訓練的方法，設置批大小為40。學習率設為0.001，采用指數衰減學習率，使得模型訓練后期更加穩定。網絡迭代150次后，趨于穩定。模型訓練時的收斂曲線如圖3所示，在前30次迭代內，損失值快速下降；經過60次迭代后，模型的損失值平穩地趨近于0，表現出了良好的性能和穩定性。

1.6 驗證與評價

為了減少訓練樣本隨機性對分類模型性能的影響，本研究按“訓練集∶測試集 = 7∶3”的原則隨機將數據集劃分為5組訓練集和測試集；隨后，獨立使用每一組數據的訓練集訓練模型，將相應的測試集輸入分類模型，根據分類器輸出的正確識別的樣本數量（N）和錯誤識別的樣本數量（N），利用式（3）計算準確率以評價模型[31]；最后，利用5次試驗所得準確率的平均值評價分類算法性能。

1.7 其他分類模型

為了驗證MS-3DCNN的性能，本研究將傳統機器學習和深度學習方法設置為對比方法。

傳統機器學習：支持向量機（Support Vector Machine，SVM）是一種典型的傳統機器學習方法。在本研究中，SVM協同使用手工特征和徑向基核函數（懲罰系數和徑向基寬度采用梯度優化結合5折交叉驗證方法獲得）訓練得到小麥種子品種分類模型。手工特征包括：44維光譜特征（感興趣區域在22個波段下的均值光譜及光譜方差）；242維紋理特征（每個波段下有3個一階特征和8個二階統計量特征[2]）和12維形態學特征（面積、長寬比、圓度、穩度、圓形度、離心率、矩形度、內切圓半徑、離散度、緊湊度、長軸、短軸）。根據使用的特征種類不同，本研究設置了光譜特征SVM識別模型和融合特征SVM識別模型。其中，光譜特征SVM識別模型以光譜特征為輸入，融合特征SVM識別模型則以三類特征為輸入。由于光譜、形態學和紋理特征的數值存在較大差異，這會導致數值較大的特征在模型訓練的過程中占據支配地位，弱化數值小的輸入特征的作用。因而，在特征融合前，對所有樣本的每個維度進行均值為0、方差為1的標準化處理，使得所有特征在數量級上保持一致。

深度學習：在MS-3DCNN模型的結構基礎上，分別用二維卷積核、三維卷積核、多尺度二維卷積核代替多尺度三維卷積核，構建二維卷積神經網絡（2D Convolutional Neural Network，2DCNN）模型、三維卷積神經網絡（3D Convolutional Neural Network，3DCNN）模型和多尺度二維卷積神經網絡（Multi-Scale 2D Convolutional Neural Network，MS-2DCNN）模型。2DCNN模型、3DCNN模型和MS-2DCNN模型的網絡層數、迭代次數與MS-3DCNN模型相同。3DCNN模型使用的三維卷積核尺寸為3×3×3，且每個卷積層的卷積核數量與MS-3DCNN模型相同。2DCNN模型的卷積核尺寸為3×3，MS-2DCNN模型使用的多尺度二維卷積模塊仿照多尺度三維卷積模塊設計（即每個模塊包含/4個5×5卷積核、/4個3×3卷積核、/4個5×3卷積核和/4個3×5卷積核，為卷積層的卷積核數量）。需要說明的是，2DCNN模型與MS-2DCNN模型每層卷積核數量是MS-3DCNN的2倍，以保證各個模型訓練參數數量相近。

2 結果與討論

2.1 光譜特征及波段選擇

6種小麥種子在400～1 000 nm波段范圍內的均值光譜曲線如圖4所示。曲線的總體趨勢相似，光譜曲線在500～700 nm的波段范圍內呈現明顯的上升，在700～900 nm的波段范圍內趨于平緩。另外，所有種子的若干吸收峰存在于相同的波長區間內。在400～500 nm處，均值光譜存在一個光譜吸收峰，該吸收峰與小麥種子的蛋白質含量相關[2]。在950～980 nm處存在一個由水、蛋白質和碳水化合物共同作用產生的吸收峰[2，32]。從不同小麥品種的相對反射率可以看出，偉隆169和濟麥22品種相對反射率較高，與其他品種的差異明顯，周麥33和百農矮抗58的相對反射率相近，師欒02-1與新麥26的兩個品種的相對反射率較低，這些差異是由于不同品種小麥的蛋白質、淀粉、水等成分含量不同所導致。

通過SPA算法選擇的22個最優波段如圖5所示。從圖中可以看出，除了反應蛋白質含量的1 000 nm附近的波段被選擇外，其余所選的波段較為均勻地分布在500～850 nm波長范圍內。500～850 nm波段范圍包含了大量的反映小麥中淀粉、蛋白質、油脂等物質成分的C-H、N-H和O-H鍵的高頻和合頻吸收帶信息。分析最優波段的選擇結果可知：通過SPA算法選擇的波段對應了可用于判定小麥種子品種種類的關鍵物質。針對小麥種子品種分類任務，SPA算法適用于降低原始高光譜圖像的維度。

2.2 分類識別

本研究所提出的MS-3DCNN分類模型和兩類SVM分類模型對訓練集和測試集的識別結果如表2所示。對于傳統方法而言，基于融合特征的分類模型性能遠高于基于光譜特征的分類模型性能。這是因為圖像特征（包括紋理特征和形態特征）中包含大量對品種分類有利的信息，使用圖像特征作為輸入能有效提升分類模型的性能。然而，圖像特征與光譜特征均是基于人工經驗進行提取的，難以充分挖掘對分類有利的信息。MS-3DCNN模型測試準確率相較于兩類SVM模型分別提高了15.38%和9.50%，說明相比于手動提取的特征，使用三維卷積操作自動提取的特征包含了對分類任務更有效、更充分的信息，實現對分類特征的充分挖掘。

表2 多尺度三維卷積神經網絡模型和傳統分類模型識別結果

MS-3DCNN模型對測試集樣本的分類混淆矩陣如表 3所示。分析混淆矩陣可知，MS-3DCNN模型對于6個品種種子的識別準確率均超過了90%。偉隆169的識別準確率最高（99.67％）。原因為偉隆169與其他品種在產地，親緣關系上均無交集（表1），其特征與其它品種存在較大差異，因此易于識別。MS-3DCNN模型對百農矮抗58和周麥33識別較差，其識別準確率僅為92.00%和94.33%，且兩者之間存在較多的錯誤識別樣本。原因為百農矮抗58與周麥33不僅產地相同，且親緣關系較近（周麥33是由百農矮抗58與鄭麥366雜交獲得）。

表3 測試集中多尺度三維卷積神經網絡模型的分類混淆矩陣

2.3 多尺度三維卷積模塊的作用

為了驗證多尺度卷積和三維卷積的作用，本研究分別建立了MS-3DCNN、MS-2DCNN、3DCNN、2DCNN模型。4個模型在訓練集上的分類準確率都達到了100%，但各模型對測試樣本的分類準確率各有不同（圖6）。隨著迭代次數的增加，各模型的分類準確率都逐漸上升并趨于穩定。相比于3DCNN模型和MS-3DCNN模型，2DCNN模型和MS-2DCNN模型測試集準確率在迭代前期上升較快，但隨著迭代次數的增加，2個模型的分類準確率提升有限。3DCNN模型分類準確率變化幅度較大，不如其他模型穩定。這是由于三維卷積提取的信息雖然豐富，但都是單一尺度的信息，信息冗余度較高，易使模型過擬合；多尺度三維卷積模塊比之于三維卷積模塊，含有不同尺度提取的信息，信息量更豐富，不僅能顯著提高模型準確率，還擁有更好的泛化性能。

經過150代訓練后，模型的精度已基本穩定，此時得到的MS-3DCNN、MS-2DCNN、3DCNN、2DCNN模型的最終分類準確率分別為96.72%、95.44%、95.17%和94.17%。相比于2DCNN模型，3DCNN模型分類準確率提升了1.06%；相比于MS-2DCNN模型，MS-3DCNN模型分類準確率提升了1.34%。試驗結果驗證了三維卷積核的引入改善了模型，提高了分類準確率。這是因為高光譜圖像之間具有較強的波段相關性，三維卷積核通過在不同特征圖上的滑動卷積操作，可以更好地提取出各特征圖上的圖像特征，有助于提高分類模型的準確率。MS-3DCNN模型相比于3DCNN模型分類準確率提升了1.63%，MS-2DCNN模型相比于2DCNN模型，分類準確率提升了1.35%，這是因為多尺度卷積核改善了單尺度卷積核難以充分提取物體的尺度變化信息的缺陷，有助于提高模型的分類準確率。

3 結 論

本研究提出了一種融合高光譜圖像技術與多尺度三維卷積神經網絡的小麥種子品種識別模型。采用連續投影算法（Successive Projections Algorithm，SPA）選擇了最優波段，降低了原始波段的冗余性；在此基礎上，構造了融合多尺度和三維卷積操作策略的多尺度三維卷積神經網絡（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）種子品種分類模型。分析試驗結果得出以下主要結論：

1）通過SPA算法可選擇反應種子在淀粉、油脂與蛋白質含量上差異的波段。表明SPA算法適于高光譜圖像數據的降維。

2）MS-3DCNN綜合使用光譜信息、紋理信息和形態信息訓練小麥種子品種分類模型。結果表明：識別模型對6個品種種子的分類準確率均超過了90%。相較于光譜特征SVM識別模型和融合特征SVM識別模型，MS-3DCNN模型對識別小麥種子品種的分類準確率提高了15.38%和9.50%；同時，MS-3DCNN模型的性能優于二維卷積神經網絡模型、三維卷積神經網絡模型和多尺度二維卷積神經網絡模型。分析試驗結果可知，MS-3DCNN模型能夠充分提取高光譜圖像數據中的信息，取得了96.72%的測試集識別準確率，可為小麥品種的準確快速識別提供一個可行的技術途徑。

本研究僅利用MS-3DCNN模型對單一年份的6個品種小麥種子進行識別。根據機器學習理論，當待檢測樣本來自與訓練樣本不同的開放環境（如年份、產地等）時，模型的泛化能力存在退化的風險。近年來，一些利用遷移學習技術來改善深度神經網絡模型泛化能力的方法被提出。然而，這些技術在基于深度卷積神經網絡的種子品種識別領域的效果仍待檢驗，這也是本課題今后需要研究的重點問題。

[1] 張婷婷，趙賓，楊麗明，等. 基于高光譜成像技術結合SPA和GA算法測定甜玉米種子電導率[J]. 光譜學與光譜分析，2019，39(8)：2608-2613.

Zhang Tingting, Zhao Bin, Yang Liming, et al. Determination of conductivity in sweet corn seeds with algorithm of SPA and GA based on hyperspectral imaging technique[J]. Spectroscopy and Spectral Analysis, 2019, 39(8): 2608-2613. (in Chinese with English abstract)

[2] Huang M, He C J, Zhu Q B, et al. Maize seed variety classification using the integration of spectral and image features combined with feature transformation based on hyperspectral imaging[J/OL]. Applied Sciences, 2016, 6(6), 183.

[3] 張婷婷，向瑩瑩，楊麗明，等. 高光譜技術無損檢測單粒小麥種子生活力的特征波段篩選方法研究[J]. 光譜學與光譜分析，2019，39(5)：1556-1562.

Zhang Tingting, Xiang Yingying, Yang Liming, et al. Wavelength variable selection methods for non-destructive detection of the viability of single wheat kernel based on hyperspectral imaging[J]. Spectroscopy and Spectral Analysis, 2019, 39(5): 1556-1562. (in Chinese with English abstract)

[4] Ambrose A, Kandpal L M, Kim M S, et al. High speed measurement of corn seed viability using hyperspectral imaging[J]. Infrared Physics & Technology, 2016, 75: 173-179.

[5] 張航. 基于高光譜圖像技術的小麥種子分類研究[D]. 鄭州：河南農業大學，2019.

Zhang Hang. Research on Wheat Seed Classification Based on Hyperspectral Imaging[D]. Zhengzhou: Henan Agricultural University, 2019. (in Chinese with English abstract)

[6] 杭盈盈，李亞婷，孫妙君. 基于高光譜圖像技術結合深度學習算法的蘿卜種子品種鑒別[J]. 農業工程，2020，10(5)：29-33.

Hang Yingying, Li Yating, Sun Miaojun. Classification of radish seeds using hyperspectral imaging and deep learning method[J]. Agricultural Engineering, 2020, 10(5): 29-33. (in Chinese with English abstract)

[7] 賈良權，祁亨年，胡文軍，等. 采用TDLAS技術的玉米種子活力快速無損分級檢測[J]. 中國激光，2019，46(9)：289-297.

Jia Liangquan, Qi Hengnian, Hu Wenjun, et al. Rapid nondestructive grading detection of maize seed vigor using TDLAS technique[J]. Chinese Journal of Lasers, 2019, 46(9): 289-297. (in Chinese with English abstract)

[8] Wei Y L, Li X F, Pan X, et al. Nondestructive classification of soybean seed varieties by hyperspectral imaging and ensemble machine learning algorithms[J]. Sensors, 2020, 20(23): 6980.

[9] Zhang T T, Wei W S, Zhao B, et al. A reliable methodology for determining seed viability by using hyperspectral data from two sides of wheat seeds[J]. Sensors, 2018, 18(3): 813.

[10] Huang M, Tang J Y, Yang B, et al. Classification of maize seeds of different years based on hyperspectral imaging and model updating[J]. Computers Electronics in Agriculture, 2016, 122: 139-145.

[11] Xia C, Yang S, Huang M, et al. Maize seed classification using hyperspectral image coupled with multi-linear discriminant analysis[J]. Infrared Physics & Technology, 2019, 103, 103077.

[12] Liu S, Tan X, Liu C Y, et al. Recognition of fusarium head blight wheat grain based on hyperspectral data processing algorithm[J]. Spectroscopy and Spectral Analysis, 2019, 39(11): 3540-3546.

[13] 楊小玲. 高光譜圖像技術檢測玉米種子品質研究[D]. 杭州：浙江大學，2016.

Yang Xiaoling. Detection of Maize Seed Quality Using Hyperspectral Imaging[D]. Hangzhou: Zhejiang University, 2016. (in Chinese with English abstract)

[14] Gao P, Zhang C, Liu X, et al. Visual identification of slight-damaged cotton seeds based on near infrared hyperspectral imaging[J]. Spectroscopy and Spectral Analysis, 2018, 38(6): 1712-1718.

[15] 彭麗君. 水稻種子鑒別的近紅外光譜快速無損分析[D]. 廣州：暨南大學，2018.

Peng Lijun. Rapid and Nondestructive Analysis for the Identification of Rice Seeds with Near Infrared Spectroscopy[D]. Guangzhou: Jinan University, 2018. (in Chinese with English abstract)

[16] 楊思成，舒在習，曹陽. 基于高光譜成像技術的稻谷品種鑒別研究[J]. 光譜學與光譜分析，2019，39(10)：3273-3280.

Yang Sicheng, Shu Zaixi, Cao Yang. Identification of rice varieties based on hyperspectral image[J]. Spectroscopy and Spectral Analysis, 2019, 39(10): 3273-3280. (in Chinese with English abstract)

[17] 謝忠紅，徐煥良，黃秋桂，等. 基于高光譜圖像和深度學習的菠菜新鮮度檢測[J]. 農業工程學報，2019，35(13)：277-284.

Xie Zhonghong, Xu Huanliang, Huang Qiugui, et al. Spinach freshness detection based on hyperspectral image and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 277-284. (in Chinese with English abstract)

[18] 黃雙萍，孫超，齊龍，等. 基于深度卷積神經網絡的水稻穗瘟病檢測方法[J]. 農業工程學報，2017，33(20)：169-176.

Huang Shuangping, Sun Chao, Qi Long, et al. Rice panicle blast identification method based on deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(20): 169-176. (in Chinese with English abstract)

[19] Ma T, Tsuchikawa S, Inagaki T. Rapid and non-destructive seed viability prediction using near-infrared hyperspectral imaging coupled with a deep learning approach[J]. Computers and Electronics in Agriculture, 2020, 177: 105683.

[20] 師蕓，馬東暉，呂杰，等. 基于流形光譜降維和深度學習的高光譜影像分類[J]. 農業工程學報，2020，36(6)：151-160.

Shi Yun, Ma Donghui, Lv Jie, et al. Hyperspectral image classification based on manifold spectral dimensionality reduction and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(6): 151-160. (in Chinese with English abstract)

[21] Christov I I. Real time electrocardiogram QRS detection using combined adaptive threshold[J]. Biomedical Engineering Online, 2004, 3(1): 1-9.

[22] Yang X, Hong H, You Z, et al. Spectral and image integrated analysis of hyperspectral data for waxy corn seed variety classification[J]. Sensors, 2015, 15(7): 15578-15594.

[23] Wu N, Zhang C, Bai X L, et al. Discrimination ofvarieties using hyperspectral imaging combined with a deep convolutional neural network[J]. Molecules, 2018, 23(11): 2831.

[24] 劉帥，張旭含，李笑迎，等. 基于雙分支卷積網絡的高光譜與多光譜圖像協同土地利用分類[J]. 農業工程學報，2020，36(14)：252-262.

Liu Shuai, Zhang Xuhan, Li Xiaoying, et al. Cooperative land use classification of hyperspectral and multispectral imagery based on dual branch convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 252-262. (in Chinese with English abstract)

[25] Gao H M, Yao D, Yang Y, et al. Multiscale 3-D-CNN based on spatial-spectral joint feature extraction for hyperspectral remote sensing images classification[J]. Journal of Electronic Imaging, 2020, 29(1): 013007.

[26] Tran D, Bourdev L, Fergus R, et al. Learning spatiotemporal features with 3D convolutional networks[C]// Proceedings of the IEEE International Conference on Computer Vision, Santiago: IEEE, 2015.

[27] Stroud J, Ross D, Sun C, et al. D3D: Distilled 3D networks for video action recognition[C]//The IEEE Winter Conference on Applications of Computer Vision, Snowmass Village: IEEE, 2020.

[28] Zhou Y Z, Sun X Y, Zha Z J, et al. MiCT: Mixed 3D/2D convolutional tube for human action recognition[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Salt Lake City: IEEE, 2018.

[29] Li Y, Zhang H, Shen Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67.

[30] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston: IEEE, 2015.

[31] Bao Y D, Mi C X, Wu N, et al. Rapid classification of wheat grain varieties using hyperspectral imaging and chemometrics[J]. Applied Sciences-Basel, 2019, 9(19): 4119.

[32] Wang Y Q, Lv Y J, Liu H, et al. Identification of maize haploid kernels based on hyperspectral imaging technology[J]. Computers and Electronics in Agriculture, 2018, 153: 188-195.

Recognizing wheat seed varieties using hyperspectral imaging technology combined with multi-scale 3D convolution neural network

Huang Min1, Xia Chao1, Zhu Qibing1, Ma Hongjuan2

(1.,,,214122,; 2.100045,)

A hyperspectral image classification model was proposed to detect wheat seeds using a Multi-Scale 3D Convolution Neural Network (MS-3DCNN) in this study, in order to identify wheat seed varieties quickly and accurately. A multi-scale 3D convolution module was used to learn the characteristics of wheat seed from hyperspectral images. A deep learning model was then established to predict wheat varieties. 3D Convolutional Neural Network (3DCNN) was utilized to simultaneously extract the spatial and spectral dimension features of hyperspectral images, compared with the traditional 2D Convolutional Neural Network (2DCNN). The kernel sizes of convolution were set as 5×5×5, 3×3×3, 5×5×3, and 3×3×5, respectively, considering that the characteristics of spectral dimension occupied a higher position in the application of hyperspectral image data. A Batch Normalization (BN) layer was added after each convolution layer to reduce the over-fitting of the model. The LeaKy_ReLU was adopted in the activation function to prevent neurons from being ineffective when the input was negative. A pooling layer and a fully connected layer were stacked on the last multi-scale convolution module. Finally, the Softmax activation function was used to predict the wheat varieties in the output layer. Dropout was introduced into the fully connected layer to reduce the risk of model overfitting. As such, a total of 6 000 samples were collected for 6 varieties of seeds (1 000 seeds per variety). Specifically, 700 seeds of each variety (4 200 seeds of the 6 varieties) were randomly selected as the training set, and the remaining 1 800 seeds were used as the test set during the specific training. 6 wheat varieties were also selected with certain connections in origin and genetic relationship to evaluate the influence of these factors on the classification model. Nevertheless, there was a relatively large amount of original hyperspectral image data, and a high data redundancy between adjacent hyperspectral bands. Successive Projections (SPA) were selected to combine with the average spectral characteristics of wheat seeds for the less data dimension. Subsequently, 22 optimal bands were selected from 300 bands, where the hyperspectral image data corresponding to the optimal bands was extracted to form a new hyperspectral image space. The reduced dimension data was input into the classification model of MS-3DCNN. The traditional hyperspectral classification model using Support Vector Machine (SVM), 2DCNN, 3DCNN, and Multi-Scale 2D Convolutional Neural Network (MS-2DCNN) were selected to compare the influence of 3D convolution and multi-scale convolution on model. The experimental results showed that the classification performed a higher classification accuracy using the MS-3DCNN model. SVM model using feature fusion, 2DCNN, 3DCNN, and MS-2DCNN models for the test sets achieved the accuracies of 88.33%, 94.17%, 95.17%, and 95.44%, respectively. Particularly, the MS-3DCNN model presented a relatively higher accuracy of 96.72%. Consequently, the improved model can be applied to identify and classify wheat seeds in modern intelligent agriculture.

wheat; seed recognition; multi-scale 3D convolutional neural network; hyperspectral image

黃敏，夏超，朱啟兵，等. 融合高光譜圖像技術與MS-3DCNN的小麥種子品種識別模型[J]. 農業工程學報，2021，37(18)：153-160.doi：10.11975/j.issn.1002-6819.2021.18.018 http://www.tcsae.org

Huang Min, Xia Chao, Zhu Qibing, et al. Recognizing wheat seed varieties using hyperspectral imaging technology combined with multi-scale 3D convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 153-160. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.018 http://www.tcsae.org

2020-12-31

2021-07-09

國家自然科學基金面上項目（61772240，61775086）

黃敏，博士，教授，博士生導師，研究方向為先進光學檢測技術、復雜工業過程建模與智能控制等。Email：huangmzqb@163.com

10.11975/j.issn.1002-6819.2021.18.018

TP391.4

A

1002-6819(2021)-18-0153-08