機器視覺在農作物種子檢測中的研究進展

王 昊，祝玉華，李智慧，甄 彤

1.糧食信息處理與控制教育部重點實驗室（河南工業大學），鄭州450001

2.河南工業大學 信息科學與工程學院，鄭州450001

隨著農業生產技術的不斷提高和種子市場的不斷擴大，種子檢測變得越來越重要。農作物種子檢測不僅可以保障農作物的良種繁育，提高農作物品種的質量和產量，還可以防止種子攜帶病毒、病菌和雜草等有害因子傳播，從而保證作物的生長健康和安全。

農作物種子檢測常用的方法有人工檢測、機器視覺技術等。機器視覺是人工智能一個快速發展的分支，利用計算機模擬人的視覺功能獲得圖像后傳送給專用的圖像處理系統，實現目標的檢測，主要分為傳統機器學習及深度學習技術兩大類。目前，機器視覺技術在農業中廣泛應用于作物病害識別[1]、農產品分級[2]、糧蟲識別[3]、糧庫去霧去噪[4]等領域。

在農作物種子的檢測中，傳統的機器學習技術分為圖像采集、圖像預處理、特征提取、識別檢測4 個步驟。而深度學習技術則是利用卷積神經網絡自動提取特征并輸入模型進行訓練，最終根據訓練得到的模型完成檢測。

傳統的機器學習中，對于預處理和特征提取部分主要使用圖像處理技術，如濾波、去噪以及圖像增強技術對圖像進行預處理，再提取農作物種子的輪廓、紋理等特征。最終將提取的特征人工進行特征融合，用于訓練網絡，完成農作物種子的檢測任務。而深度學習技術通過卷積層、激活層、歸一化層和池化層的不斷疊加，可以自動提取出農作物種子的特征并進行訓練。隨著深度學習技術的不斷發展和應用，目前基于圖像處理的農作物種子檢測研究已經成為糧食行業研究的熱點。

1 機器視覺技術在農作物種子檢測中的應用

農作物種子的檢測方式大多是采用人工手動挑選識別的方式，費時費力，效率低，并帶有很多人為主觀性。在機器學習未曾興起的年代，李學富[5]為了克服檢測環境光線暗的問題，研制了一種帶有輔助光源的糧食不完善粒檢測板，其利用前光和背光原理構成，曾極大程度上方便了檢測人員的工作。于永華等[6]也利用鏡面反射，通過在一個木框內插入一個平面鏡來反射玉米背面，從而減少了對農作物種子翻面的步驟，提升了檢測效率。

而之后機器學習興起，由于其準確率和實時性高的優點，已經逐漸代替了人工識別檢測。

1.1 圖像采集

在圖像采集的方式上，主流的分為光譜技術和線性CCD（charge-coupled device）拍攝兩種。而光譜技術的使用又大致分為兩個階段，近紅外光譜技術和高光譜檢測技術。

楊琳等[7]通過近紅外光譜技術采集并提取了玉米種子的7個主要光譜特征，利用集成學習技術成功預測了玉米種子含水率，實現玉米種子含水率快速、無損、穩定的檢測。近紅外光譜技術雖然可以對各種形態的種子樣本進行完整成分分析，但是目前缺少對種子樣本檢測和形態等因素處理的方式，導致會對最終的結果產生一定的誤差。而高光譜技術可以最大程度地獲取籽粒的形態信息、光譜信息及紋理信息，解決了近紅外光譜的誤差問題。吳靜珠等[8]對玉米種胚朝上和種胚朝下分別進行了高光譜反射圖像的采集，并針對現有光譜檢測模型單一、識別精度易受采集圖像質量影響等缺點，將高光譜檢測技術與集成學習相結合，建立了預測精度高、穩健性好的單粒玉米種子水分檢測模型。而高光譜設備面臨著價格昂貴、操作不易等缺點，因此沒有大面積推廣到實際應用中。

在未來的農作物種子檢測上，為減少訓練成本以及廣泛使用機器學習技術，出現了另一種較為方便快捷的采集圖像方式，就是利用掃描儀或者CMOS（complementary metal oxide semiconductor）工業相機來拍攝種子圖像，如圖1所示。

圖1 圖像采集設備Fig.1 Image acquisition equipment

馮曉等[9]利用手機，并手動對玉米籽粒翻面，拍攝了玉米籽粒的兩面圖像，通過綜合籽粒兩面的特征，有效避免了誤差的可能，最終提升了識別率。但手動擺放種子拍照的方式，無法進行實際應用。權龍哲等[10]設計了一種基于電磁振動的裝置來擺放和拍攝玉米粒。將玉米粒群拆分成單個玉米籽粒流之后進入CMOS拍照區域進行圖像采集。但是其分粒裝置不僅搭建復雜，成本高，且效率過低。Ni等[11]設計了一種具有兩級糧食分配器的裝置，利用兩個正交的電機，使得兩個攝像頭可以同時對種子內核的兩側進行采樣，滿足了玉米種子拍攝雙面的需求。但在實際應用時，這樣的設備搭建方式無法滿足多數檢測場景的需求。Gao等[12]搭建的圖像采集平臺，包括工業相機支架、電磁測振儀、托盤、光源、工業相機，將CMOS 相機、光源固定立于底盤上方，成本低，易于搭建，是現如今常用的方法。

故通過工業相機拍攝實現檢測的智能化、高效化，同時成本低、精度高的圖像采集方式，完美貼合了實際需要，是今后應用的主流。本文會圍繞該方法詳細敘述農作物種子的檢測。

1.2 圖像預處理

圖像預處理目的是為提取農作物種子的特征做準備。按照國家規定的糧油檢測標準[13]，人工檢測前會通過手篩或電動篩選器對檢測樣本進行初步篩選，進而按照檢測對象進行稱重以及后續一系列檢測。但其耗費大量人力物力，效率低。之后出現了機器視覺技術，才開始將農作物種子圖像應用到檢測中。

近外光譜技術采集的圖像在輸入網絡前通常會進行特征篩選。利用多元散射校正算法（mark and sweep with compacting，MSC）對光譜圖像進行初始處理，然后結合種子內部有機物質的近紅外光譜的敏感波段和樣本近紅外光譜吸收峰挑選優選區間，最終借用主成分分析和因子判別分析算法挑選幾個最適合檢測目標的光譜特征成分建立判別模型，避免計算量過大以及無關因素的影響。孟繁佳等[14]利用CA（cyanidin accumulation）、SPA（single photon absorption）、CARS（coherent anti-stokes raman scattering）3 種特征波長分別提取了玉米光譜圖像最優波長，輸入支持向量機（support vector machine，SVM）后，使用網格搜索法結合十折交叉驗證法對模型參數進行優化，最終對玉米種子穗腐病達到了90%的識別率。

之后出現的高光譜圖像能同時捕捉到被測樣品的光譜信息和圖像信息，預處理過程中會首先采取閾值分割算法獲取樣本像素級標簽后再對樣本全部像素的高維光譜信息進行主成分分析（principal component analysis，PCA）光譜降維，挑選出主成分光譜特征后輸入網絡進行訓練，避免了使用近紅外光譜圖像進行檢測導致的誤差。王立國等[15]獲取了不同品種玉米種子在400～1000 nm 范圍內的高光譜圖像和提取了樣本全部像素的203 維光譜信息，對其使用PCA 算法提取出了玉米種子的8 維光譜特征信息后，借用卷積神經網絡（convolutional neural networks，CNN）進行訓練，對玉米種子樣本的識別精度最終達到了100%。

利用光譜信息進行農作物種子檢測雖然取得了一定成效，但是對光譜信息的處理太過繁瑣，專業性較強，并且高光譜設備價格昂貴，因此無法大面積普及使用。故退而使用成本低、方便、快捷的CCD 相機拍攝圖像，并在預處理過程中運用圖像處理OpenCV（open source computer vision library）庫對圖像進行分割等各種處理以滿足后續的檢測。

基于OpenCV 的分割方法通常有基于邊緣、閾值、區域、圖論、能量泛函、形態學、像素聚類7種方法。

目前對于玉米種子的分割主要是利用基于數學形態學的方法、基于閾值的分割法、基于區域的分割法這三種方法，但更多的是對以上方法的結合使用。如圖2，首先利用基于閾值的方法，通過設置閾值完成玉米種子與背景圖的分離，然后采用形態學處理的方法進行開并運算，去除玉米種子二值區域內的冗余信息，最終定位到玉米種子的輪廓區域完成玉米種子的分割[16]。也有通過基于閾值的方法獲取玉米種子的二值區域后，通過形態學處理和距離變換算法得到種子邊緣區域，最終創建掩碼圖像結合計算得到種子的邊緣區域完成分割[17]。但是這兩種方法基本的思路都是一樣的。

圖2 玉米籽粒分割流程Fig.2 Corn kernel segmentation process

深度學習的快速發展，更多的人利用深度學習網絡進行圖像分割，如U-Net[18]網絡，但其依賴于大量的訓練樣本，如何高效率低成本地實現農作物種子的準確分割識別仍是當下的熱點問題。目前，農作物種子檢測主流方式以及后續的發展還是通過工業相機來拍攝圖像，進而預處理后用于網絡訓練。

1.3 傳統機器學習在農作物種子識別上的應用

傳統機器學習的初期，大多數學者只是利用圖像處理技術對農作物種子圖像進行簡單的處理完成識別。張俊雄等[19]搭建了一個基于種子反射光的圖像采集平臺，成功去除了種子表面裂紋檢測中的頭部偽裂紋邊緣干擾。通過圖像處理技術對玉米籽粒圖像進行邊緣提取，再利用籽粒的形態學特征實現裂紋的自動提取和測量，最終以兩個玉米品種為實驗對象，達到90%以上的裂紋識別率，證明了通過圖像形態特征進行識別的可能性。張楠楠等[20]也將拍攝的玉米粒圖像轉換到HSV（hue，saturation，value）空間中，利用V分量的閾值識別出了霉變玉米顆粒，又通過H、V分量的閾值區分了輕度和嚴重霉變顆粒，最終對正常玉米顆粒、輕度霉變玉米顆粒、嚴重霉變玉米顆粒的識別正確率分別達到了93.7%、80%、92.9%以上，有效地檢測了玉米霉變狀況。之后閆彬等[21]將基于模糊集和浮雕算法的圖像增強方法與基于小波變換模極大值的邊緣檢測算法進行結合，成功凸顯了玉米種子的裂紋區域。最后將原始圖像與處理后的圖像相乘，并經過形態學處理去除了種子輪廓區域的噪聲后，成功完成了對玉米種子內部裂紋的識別，平均準確率達到了90.6%。為實現裂紋玉米種子的自動化識別提供了新方法，證明了機器視覺技術用于農作物種子裂紋檢測的有效性。

之后隨著神經網絡的普及使用，越來越多的學者開始使用該方法進行農作物種子圖像分析。Wang等[22]將玉米粒的形態、顏色與水分含量聯系在一起。在12%到32%的不同水分含量下，通過獲取4 個玉米品種的184個單獨籽粒的彩色圖像和重量，篩選提取出了關聯玉米種子水分聯系程度最大的23個形態特征和24個顏色特征。然后對每個玉米品種，使用4 個特征集（形態、顏色、形態顏色和重量形態顏色）線性回歸擬合水分含量，揭示了結合圖像特征和重量來快速測量玉米粒水分含量的可能性。采用線性回歸的方法進行關系擬合，簡單直觀，易于理解和實現，但其對數據的要求較高，且一般事物不會保持絕對線性，故會出現較大誤差。之后崔亮[23]設計了一種結合計算機視覺、圖像處理以及模式識別的農作物種子自動計數系統，并使用改進的模糊聚類算法（fuzzy C-means algorithm，FCM）和SVM 分類器對不同粘連程度的情況采用不同的方法分割，達到了比較好的檢測效果。但其缺點是利用SVM人工選取參數會造成一定的誤差。

鑒于SVM 等神經網絡結構比較簡單，導致識別精度易受人工選取特征的影響，故后續的學者開始使用隨機森林（random Forest，RF）[24]等較復雜的神經網絡進行訓練。吳靜珠等[8]使用高光譜設備對玉米種胚朝上朝下兩種圖像進行了采集，并在拍攝時使用多元散射校正法消除了噪聲干擾，最終使用改進的RF 集成模型對玉米種子水分含量進行了預測，驗證了高光譜檢測技術結合集成學習算法的可能性。建立的玉米種子水分檢測模型預測精度高，穩健性好，證明了通過高光譜技術快速無損檢測單粒玉米種子水分實際應用的可行性。但RF需要構建多個決策樹，因此計算量較大。王超鵬[25]使用I-Relief（iterative relief feature elimination）算法對預處理過后的玉米種子霉變RGB圖像進行了特征變量的篩選，選取有效特征變量后，結合機器學習算法訓練合適的分類器完成了對霉變或破損種子的識別。汪勇[26]在對玉米粒圖像進行預處理后，提取了玉米種子的8個特征參數，最終利用人工神經網絡的方式對“鄭單958”“農大108”“魯單981”“京科25”“京豐8號”共5個品種玉米種子進行識別，分別達到了92%、90%、92%、94%、94%的識別率。至此機器學習開始大量應用于農作物種子檢測上。

綜上，證明了傳統機器學習在農作物種子識別上的成功應用，在具有高精度的基礎上，實現了檢測的自動化、智能化，已經逐漸代替了人工檢測。但傳統機器學習是一種基于特征提取和手工設計特征的機器學習方法，通常采用淺層模型，如支持向量機（support vector machine，SVM）、決策樹和隨機森林等。但是SVM缺點是依賴于人工特征提取，即需要人工對數據進行分析和特征選擇，決策樹和隨機森林等也存在著計算量大、成本高等問題。而深度學習是一種基于多層神經網絡的機器學習方法，可以自動地從原始數據中學習特征，并通過深層次的非線性變換實現高級特征提取，可以自動學習數據中的特征，不需要手工設計特征。故未來農作物種子應用的主流還是深度學習技術。

1.4 深度學習在農作物種子識別上的應用

深度學習依托深度神經網絡，自動提取農作物種子的各種特征，并利用特征自動訓練分類器。對于農作物種子的檢測，主要有圖像分類和目標檢測兩大方向。

圖像分類是使用卷積神經網絡自動提取圖像特征，并通過分類器不斷優化參數和權重的訓練過程，以完成對圖像的分類任務。訓練好的模型可以對輸入的圖片進行分類，給出圖片中物體所屬的種類以及概率。圖像分類網絡主要由輸入層、特征提取網絡、Softmax分類器和輸出層組成。在該網絡中，特征提取網絡通過卷積和池化等操作提取圖像中的特征，Softmax 分類器則根據特征向量輸出各類別的概率，并最終通過輸出層進行分類結果的輸出。

在起初卷積神經網絡與傳統機器學習的過渡階段，也出現了LSTM 等神經網絡。Yang 等[27]針對現有小麥水分檢測方法要么耗時，對環境敏感，要么成本較高的缺點，提出了基于深度LSTM網絡的多類別小麥水分檢測系統DeepWMD。通過收集Wi-Fi 設備的CSI 振幅和相位差數據進行小麥水分含量檢測，并使用5 GHz頻段的普通Wi-Fi 設備設計了DeepWMD 系統，包括收集CSI 數據的數據預處理、離線訓練和在線測試等功能。實驗結果驗證了DeepWMD 系統以及LSTM 網絡用于小麥水分檢測的有效性。但是LSTM 網絡的缺點是計算成本很高，因為需要處理大量的參數和計算量。此外，LSTM網絡的訓練時間也很長。

隨著深度學習網絡CNN 的普及，針對傳統的基于計算機視覺和簡單特征提取的方法無法保證較高的分類精度以及LSTM 等網絡訓練成本過高的問題。Javanmardi等[28]提出了一種利用深度卷積神經網絡作為通用特征提取器的新方法，并通過人工神經網絡（artificial neural network，ANN）進行訓練。在與SVM、K近鄰算法（K-nearest neighbors，KNN）、增強樹算法進行對比實驗中，CNN-ANN 分類器的性能最好，并實現了98%的準確度。證明了利用深度學習網絡進行特征提取的有效性。Khaki 等[29]也提出了一種基于滑動窗口的核檢測和計數方法，應用非極大值抑制算法（non maximum suppression，NMS）去除重疊檢測，使用CNN 進行核檢測。最后，分類為內核的窗口被傳遞到另一個CNN 回歸模型，以找到內核圖像塊中心的(x,y)坐標。所提出的方法成功地檢測出玉米粒，并且檢測誤差很小，甚至能夠在一批不同角度的玉米穗上檢測到玉米粒，成功將CNN應用于玉米粒檢測。但深度學習網絡的高精度需要大量的高質量圖片數據集進行訓練以及網絡結構的適配，因此農作物種子分類的重點應該放在后續網絡結構的改進以及數據集的擴增和增強上。

在同時期，除了使用圖片數據集進行訓練，也有一些學者使用光譜圖像數據進行深度學習訓練，成功識別出了農作物種子。Pang等[30]使用支持向量機、極限學習機和一維卷積神經網絡（1DCNN）對玉米粒光譜數據集進行建模，比較了多維散射校正和主成分分析的效果。分析發現，相比于SVM、極限學習機（extreme learning machines，ELM）模型，1DCNN 在原始光譜數據上表現最好，準確率達到90.11%，而基于圖像的二維卷積神經網絡（2DCNN）模型具有較快的收斂速度，在準確率上也達到了99.96%。實驗證明，通過區分光譜和圖像信息，各種CNN模型可以實現對目標準確的檢測和預測，為推進種子萌發研究提供了研究框架。但是該方法前提是需要建立更全面的種子光譜圖像和完整的數據庫，需要巨大的成本。同時黃敏等[31]利用高光譜圖像技術結合MS-3DCNN模型提出了一種小麥種子的品種識別模型，也通過獲取不同品種小麥種子在400～1 000 nm范圍內的高光譜圖像，并基于SPA算法選擇獲取了小麥種子的22 個波段高光譜數據，最終輸入MS-3DCNN 模型訓練取得了96.72%的測試集識別準確率，相較于光譜特征SVM 識別模型和融合特征SVM 識別模型分別提高了15.38%和9.50%。但是該方法同樣面臨的問題是光譜數據難以采集，數據量、運算成本大，故光譜數據分類農作物種子勢必將被淘汰。

隨著越來越多的學者開始研究分類網絡，出現了VGG[32]、ResNet[33]、GoogLeNet[34]、MobileNet[35]、DenseNet[36]、ResNext[37]等高性能網絡。為了提高深度學習網絡的分類精度，呂夢棋等[38]對ResNet 網絡進行改進，加入了跳躍連接，在卷積層之后加上了歸一化操作和ReLU激活函數，并在每個模塊結束后加入了Dropout，以此構建了新的網絡，如圖3。同時，通過使用pairwise confusion loss損失函數，為網絡訓練提供了更加有效的懲罰目標函數，提升了識別率。

圖3 改進后的殘差單元Fig.3 Improved residual unit

Xu等[39]也提出了一種改進的模型P-ResNet，引入遷移學習的方法，如圖4，并與AlexNet、VGGNet、GoogLeNet、MobileNet、DenseNet、ShuffleNet 和EfficientNet 模型進行了比較。結果表明，P-ResNet模型以無損、快速、高效的方式對玉米種子進行分類，獲得了最佳精度。這些結果突出了使用少量訓練樣本進行深度學習時，遷移學習的優勢和潛力。

圖4 玉米種子遷移學習和分類過程Fig.4 Process of transfer learning and classification of maize seeds

機器學習和計算機視覺的自動分類技術提供了快速和高吞吐量的解決方案。但分類在品種層面仍然是一個復雜的過程，主要挑戰是不同類別種子之間的微小差異。Khatri 等[40]在對小麥種子進行分類的過程中，依據小麥面積、周長、密實度、籽粒長度、籽粒寬度、不對稱系數、籽粒槽長度7個物理特征進行訓練。最后利用集成學習完成了95%的最高準確度。故今后農作物種子識別分類算法應當偏向于多種網絡分類結果的融合。

在分類網絡獨占鰲頭的同時，Transformer[41]以及注意力機制[42]的出現打破了這樣的局面。Bi 等[43]設計了一種基于注意力機制和多尺度特征融合的玉米種子品種識別模型MFSwin Transformer。該模型將深層特征和淺層特征結合起來，使模型能夠提取更豐富的種子特征。同時，為了避免參數過多造成的過擬合，在主干網絡中切斷了stage 4，降低模型的參數數量和計算復雜度，如圖5。最終提出的網絡可以準確、高效地對玉米種子進行分類。另外，將Transformer 引入農作物種子檢測，為農作物種子分類提供了新的思路。但是該方法還存在一些亟待解決的問題。通過實驗發現，該模型在高度相似種子之間的分類能力還有待提高。未來的研究應該繼續優化該模型，使其能夠在更復雜的數據集中提供更高的精度，形成能夠識別多個相似種子的在線實時識別系統。

雖然Transformer 的出現打破了分類網絡通過堆積深度和寬度網絡以達到高精度的局面。但Transformer網絡訓練時間長，對不平衡數據處理困難，且不適用于小規模數據，因此對于農作物種子的適配性不強。

目標檢測主要是需要對待檢測的圖片進行目標定位并分類，常見的目標檢測模型有Faster R-CNN[44]、RFCN、YOLO[45]、SSD[46]等。與圖像分類僅對圖像中的物體進行分類不同，目標檢測技術基于目標的幾何和統計特征對圖像進行分割，將目標的分割和識別合二為一，因此具有非常好的準確性和實時性。在實際應用中，如農作物種子檢測，拍攝到的圖片中可能包含多種物體，如糧蟲、雜質等。如果僅使用分類技術來檢測農作物種子，精度和實時性很難得到保障。因此，使用目標檢測技術可以更準確地檢測出農作物種子和位置。

Zhao等[47]利用電磁振動平臺實現籽粒批量排列，在深入研究Faster R-CNN 的基礎上，針對玉米籽粒質量檢測問題，提出了一種可以直接以彩色圖像作為輸入的玉米籽粒選擇模型，并通過對比不同的epoch參數進行訓練，達到了較好的識別效果。但Faster R-CNN 是通過RPN 網絡生成候選框，然后再對這些候選框進行分類和回歸。這種方法雖然可以提高準確性，但是速度較慢且訓練成本高，會消耗大量的訓練資源，故需要建立更小更輕量的網絡模型。

為了解決上述Faster R-CNN 的問題，并針對玉米種子在外觀品質檢測中需要快速識別與定位的需求，范曉飛等[48]提出了一種基于改進YOLOv4的目標檢測模型，將特征提取網絡替換為輕量級網絡MobileNetV1，并在模型中增加兩個SPP（spatial pyramid pooling）結構。該模型的綜合評價指標，平均F1和均值平均精度（mean average precision，MAP）分別達到了93.09%和98.02%。該模型具有魯棒性強、實時性好和輕量化的優點，為實現種子的質量檢測和優選分級提供了有力參考。同樣，在YOLOv5出現后，Liu等[49]也利用同樣的方式將YOLOv5s骨干網絡的focus element替換為Denseblock，簡化了骨干網絡層的模塊數量，減少了冗余信息，提高了網絡的特征提取能力。

但不一樣的是，在SPP Pooling 層之后增加協同注意力（coordinate attention network，CA）[50]機制模塊，這是一種即插即用的模塊，如圖6。王劍哲等[51]也曾針對圖像中的噪音問題，用坐標注意力模塊，增大顯著性區域權重的同時，抑制了背景噪聲，提高了檢測精度。同樣，李斌等[52]也通過加入混合注意力模塊，提高了網絡特征提取能力，證明了注意力機制在識別小目標物體時發揮的功效。

圖6 CA模塊Fig.6 Coordinate attention block

最終，通過加入CA 后，減少了一個大目標檢測層，引導網絡更加關注小目標的位置、通道、維度信息，提高了對農作物種子小目標識別的精度，并在頸部特征融合層使用GhostConv 代替常規卷積層，減少了浮點計算量，加快了模型推理速度。另外，采用CIoU損失函數[53]作為邊界回歸損失函數，提高了網絡特征提取能力，加強了小目標特征信息的訓練。

A和B分別代表先驗預測幀和真實預測幀。AB的交集是分子，AB的并集是分母。當A和B沒有交集時，IoU 的值為0，如式（1）。其無法映射出先驗預測框和真實預測框之間的真實距離，梯度為0，無法優化。因此，在YOLOv5 中引入GIoU 損失函數作為邊界預測回歸損失函數，如式（2）所示：

改進后的網絡模型的準確率、召回率和MAP 值分別達到了92.4%、91.7%和98.1%，圖像識別的FPS（frames per second）值達到了97 FPS。在提高識別效率的基礎上，提升了準確度。改進后的模型更有利于嵌入式設備的部署，為今后將算法集成進檢測設備，并實時檢測農作物種子提供了技術支持。

后來，為了解決同種種子之間具有相似特征的問題，Shi 等[54]采用了一種有效的數據增強方法來減少過度擬合，并最大限度地提高了模型的性能和準確性，在調整網絡的超參數并分析和擴充iPhone 圖像拍攝的數據集后，取得了最高性能，如圖7。使用改進的YOLOv5x6算法，將數據增強后的數據集與僅使用原始多麥種子數據集進行訓練對比，精度提高了39.5%，召回率提高了27.1%，MAP 提高了40.1%。檢測結果顯示出該模型的高性能、高魯棒性，證明了數據增強用于目標檢測的有效性，并為后續農作物種子目標檢測提供了前進方向。未來的研究應該集中在模型輕量化、高精度，以及更重要的能夠部署在智能移動設備上，以真正達到普及使用。

圖7 數據集訓練全過程Fig.7 Whole process of dataset training

農作物種子的檢測涉及方方面面，未來的檢測技術仍將以深度學習為主。但關鍵點應該放在如何提升模型檢測精度、輕量化，以及如何部署在自動化機器等一些便捷設備上。如何將各種檢測模型結合，并將農作物種子檢測的各種需求設計成一臺綜合自動化檢測設備，才能夠真正落實到實際，實現真正的價值。表1顯示了目前機器視覺在農作物種子識別上的應用。

表1 機器視覺在農作物種子識別上的應用Table 1 Application of machine vision in crop seed identification

2 機器視覺技術在玉米不完善粒檢測中的研究

通過以上內容可以發現，機器視覺在農作物種子計數、水分、內部裂紋、霉變、品種檢測上都具有了一定的研究進展，但是在玉米不完善粒上還缺乏深入研究。玉米不完善粒，是指受到損傷但是還具有一定使用價值的玉米顆粒，包括蟲蝕粒、病斑粒、破損粒、生芽粒、生霉粒、熱損傷粒[13]。在玉米收購和市場流通中，采用容重作為玉米的定級指標，以不完善粒作為品質的限制指標，并作為增減扣依據。糧食收購最低標準應是當年生產且符合三等及以上等級，四級及以下市場化收購。綜上所述，玉米不完善粒的檢測對玉米品質的評定有重要意義。

目前常見的玉米不完善粒檢測方法是人工檢測，通過目測和測量玉米粒的質量、容重，來分選玉米不完善粒的種類。如觀察到霉狀物就定位為霉變粒，觀察到玉米粒有胚芽隆起或者凸出種皮就為發芽粒，玉米粒外觀良好但存在破損就為破損粒[55]。唐文富[56]通過隨機抓一把玉米，目測其飽滿度、雜質、飽滿的比例，初步判斷質量。然后再測量其容重來分選霉變粒、不飽滿粒、雜質等成分。但是這種方式費時費力，且受檢測人員主觀性影響，存在一定的誤差。之后開始采取傳統機器學習和深度學習的方式檢測不完善粒。但與人工檢測不同，應用機器視覺技術對玉米不完善粒檢測首先會使用算法模型進行分類，然后采用公式計算出不完善粒含量，而不同于人工檢測的挑選出直接稱量。評價一個多分類算法模型的好壞，通常有下列幾個指標。

（1）混淆矩陣（confusion matrix）：用于顯示每個類別的真實標簽和預測標簽的對應關系，可以直觀地反映模型的分類效果和誤判情況。

（2）準確率（Accuracy）：指模型正確預測的樣本數占總樣本數的比例，如式（3）：

若一個實例是正類，并且被預測為正類，即為真正類（true positive，TP）。

若一個實例是正類，但是被預測為負類，即為假負類（false negative，FN）。

若一個實例是負類，但是被預測為正類，即為假正類（false positive，FP）。

若一個實例是負類，并且被預測為負類，即為真負類（true negative，TN）。

（3）精確率（Precision）：指模型正確預測為正例的樣本數占預測為正例的樣本數的比例，如式（4）：

（4）召回率（Recall）：指模型正確預測為正例的樣本數占真實為正例的樣本數的比例，如式（5）：

（5）F1 分數（F1-score）：指精確率和召回率的調和平均數，用于綜合評價精確率和召回率，如式（6）：

（6）ROC曲線（receiver operating characteristic curve）：用于顯示不同閾值下模型的真正例率（TPR）和假正例率（FPR）的變化情況，其中TPR 是召回率，FPR 計算公式是式（7）：

（7）AUC 值（area under curve）：指ROC 曲線下的面積，用于衡量模型在不同閾值下區分正負樣本的能力，越接近1越好。

2.1 基于傳統機器學習的玉米不完善粒檢測方法

為解決采用傳統人工檢測種子外觀品質和種子純度費時費工、成本高昂的問題，為種子質量的實時檢測提供技術支持，機器視覺方法開始應用于不完善粒檢測。初期王應彪等[57]采取圖像處理技術，選用鄭單958、浚單20 和中科11 三種玉米種子，并人工將其分為優質、一般和外觀顏色較差三個等級來進行實驗。首先將玉米粒圖像轉換到HSV 空間，在V 空間中對玉米種子的形狀特征參數進行計算后，通過設定閾值完成了對長、大、小三類玉米粒的分類，并通過對不同缺陷類型種子的HSV 顏色空間進行分析，將種子分成了優質、一般、劣質三類，但是并沒有實現檢測的智能化。之后Kiratiratanapruk[58]設計了一種能夠容納大容量種子樣本的圖像采集機器。該設備不僅能夠操作控制減少種子樣品上出現光的不確定性水平反射和陰影，從而獲得高質量的圖像，并且可以完成種子圖像拍攝、分割一體化，縮短了檢測時間。在圖像分類部分，將基于RGB和HSV顏色空間的顏色直方圖和基于GLCM（gray-level co-occurrence matrix）和LBP（local binary patterns）的紋理特征結合作為輸入，并通過SVM 完成了對玉米種子的分類。將機器學習技術引入到不完善粒檢測任務。但是鑒于受選取特征的影響，SVM 精度并不高。故之后學者開始用神經網絡的方式進行特征提取。張玉榮等[16]通過工業相機獲取了同一品種的七種不同質量的玉米籽粒圖像，并利用主成分分析的方法提取了玉米粒的7個主特征，最后建立了7-15-7的三層BP神經網絡（backpropagation neural network），對完善粒、蟲蝕粒、病斑粒、破損粒、生芽粒、熱損傷粒和生霉粒的正確識別率達到了95.00%、90.00%、91.67%、98.33%、93.33%、95.00%和96.67%。在采用神經網絡的方式進行檢測后，不完善粒的準確率得到了提升，但不可避免地還需要人工挑選特征，直至深度學習的出現，打破了這一困境。

2.2 基于深度學習的玉米不完善粒檢測方法

傳統的機器學習方法通常需要人工提取特征，往往不夠全面，識別準確率有限。因此采用基于深度學習的檢測方式解決這一問題。同樣，深度學習在玉米不完善粒上的發展也分為分類和目標檢測兩個大類。

Huang等[59]將卷積神經網絡與遷移學習應用到種子的分類中，并與傳統機器學習進行比較，實驗結果準確率分別達到了95%（GoogLeNet）和79.2%（SURF（speededup robust features）+SVM），證明了深度學習算法在玉米籽粒分類上明顯優于機器學習算法。王林柏等[17]也利用分水嶺算法對玉米粒群圖像進行分割后輸入改進后的InceptionV3 模型，并與VGG、ResNet 網絡進行對比。實驗發現，改進后的InceptionV3模型效果優于其他兩個網絡，并達到了94.18%的準確率。但是雖然都取得了高準確度，但是兩者都存在一個問題，就是在拍攝玉米不完善粒數據集時都是只拍攝了一面，造成檢測誤差。

Ni 等[11]為了克服現有機器只能拍攝單面玉米種子圖像的缺點，設計了一種新的自動檢測機。該機器能夠同時拍攝玉米粒雙面圖像，通過在機器中嵌入CNN 網絡模型來檢測玉米粒類別，實現了玉米籽粒拍攝檢測一體化，并達到了98.2%的測試準確率。

同期，一部分學者認為不完善粒的大多數研究都是基于RGB 成像技術，而不是使用四通道多光譜技術譜圖像，數據集質量達不到要求會影響檢測精度。故李興旺[60]使用VideometerLab搭建了一個多光譜成像拍攝平臺，對玉米種子進行拍攝，然后采用1D-CNN算法和2DCNN 算法對玉米種子數據和多光譜圖像進行分析，最終玉米種子分類達到了95%的準確率。但該多光譜成像處理軟件是在Matlab中進行研發的，目前還停留在科研階段，并不能在市場中大規模使用，且存在高光譜設備成本高的問題，實際落地存在困難。之后Wang 等[61]開發了一種基于分水嶺算法結合雙通路卷積神經網絡模型的缺陷檢測方法。采用多光譜相機獲取RGB和近紅外圖像（near-infrared，NIR）對模型進行訓練，證明該模型能有效識別有缺陷的種子和無缺陷的種子，平均準確率達到了95.63%。但是光譜設備訓練成本高的問題卻一直沒有避免，故后續玉米不完善粒分類研究方向應該還是放在RGB圖像上。通過總結上述深度學習對農作物種子的分類研究，可以利用數據增強等方式對檢測算法進行改進。

因為玉米不完善粒的檢測主要存在于糧庫入糧的階段，所以如何動態地識別出不完善粒的類型、數量、位置十分重要。

付傳廣[62]使用空洞卷積、轉置卷積、擠壓和SE模塊對Fast R-CNN 模型進行改進，在不額外增加參數和計算量的基礎上，提高了對玉米粒的檢測率。但是網絡模型不夠輕量化，無法融入進嵌入式設備中。Li等[63]為實現快速、便攜的玉米粒檢測，設計了一種基于YOLOv4-Tiny算法的破碎玉米粒檢測裝置，通過卷積層對輸出的13×13的特征圖像進行上采樣，然后與26×26 的特征圖像融合，再疊加卷積，最終輸出13×13和26×26尺度的特征圖像。采用這些特征圖像對不同尺度的玉米粒進行分類和預測，提高了玉米粒作為小目標的檢測精度，為快速準確識別和分類破碎玉米粒提供了新的途徑。但是這僅僅是分類了破損粒一種玉米粒，而玉米不完善粒的類別有七種，且形態特征比較相似。故Velesaca 等[64]利用Mask R-CNN[65]算法對拍攝的玉米群圖像進行分割提取，如圖8，然后單獨設計了一個專門的輕量化網絡CKCNN 進行玉米粒類別分類。該網絡由五層組成，分別為三個定義為3×3大小內核的卷積層和兩個全連接層，并接收來自分割算法的單個元素作為輸入。經實驗分析，該方法在圖像分割和分類上取得了較好的效果。

圖8 Mask R-CNN架構用于玉米內核實例分割（不使用分類模塊）Fig.8 Mask R-CNN architecture used for corn kernel instance segmentation（Classification module is not used）

至此，玉米不完善粒在目標檢測上的研究方向也同樣應該放在改進模型，以提高精度和檢測時間上。如徐光達等[66]通過設計多層級特征融合層來整合YOLOv5算法中不同的感受野信息，并通過自適應學習動態調節各輸入特征層的權重，合理分配檢測任務所需求的特征信息比例，有效改善了對小目標的細節感知能力。另外要保證模型能夠嵌入進糧庫中的自動化檢測設備，做到輕量化。并且實現檢測的動態化，為后續設計綜合檢測設備打下基礎。通過以上敘述可以看出玉米不完善粒的檢測具有重要的意義，采用深度學習的不完善粒檢測方法具有快速、無損、操作方便的優點，是現如今研究的熱點。表2顯示了目前玉米不完善粒檢測的研究進展。

表2 玉米不完善粒檢測研究進展Table 2 Research advances on corn imperfect grain detection

用深度學習技術對玉米不完善粒進行檢測已經是大勢所趨，而現階段玉米不完善粒檢測存在以下問題，實際應用到糧庫糧食收入庫階段還需要進一步研究。

（1）模型識別精度低，易受拍攝圖片質量影響，魯棒性差。

（2）玉米不完善粒檢測存在雙面拍攝問題，如何設計一種簡單、方便、易于使用的雙面拍攝設備是目前亟須解決的問題。

（3）多數研究停留在檢測分類以及靜態檢測階段，如何實時在線地對玉米不完善粒進行檢測和動態識別需要進一步研究。

（4）按照國標要求[13]，玉米不完善粒檢測最終需要計算出質量，按照公式計算出不完善率。而現階段的研究僅僅停留到檢測階段。如何建立圖像與玉米粒質量的關系，計算出不完善率，并將誤差控制在可接受的范圍，是一個重要的問題。

目前，國內外關于提高玉米不完善粒檢測精度和魯棒性上的主要研究有兩方面：小樣本建模和數據增強。

小樣本指的是數據集中樣本數量較少的情況。在處理小樣本數據時，傳統的機器學習算法往往存在過擬合問題，導致模型泛化能力較差。為解決這一問題，近年來出現了一些針對小樣本數據建模的方法，包括遷移學習、元學習、主動學習等。

在針對玉米不完善粒的小樣本建模方面，目前較為常用的方法是遷移學習。遷移學習是一種利用源領域的知識來輔助目標領域學習的方法，能夠在目標領域樣本數量較少時提高模型的準確性。具體來說，研究者可以將其他領域的已有數據集中的信息遷移到玉米不完善粒數據集中，從而提高模型性能。

而小樣本數據增強是一種通過對已有樣本進行變換和擴充，從而增加樣本數量和多樣性的方法。小樣本數據增強可以幫助提高模型的泛化能力，避免過擬合，同時也可以提高模型對不同場景的適應能力。

在針對玉米不完善粒的小樣本數據增強方面，目前的研究主要集中在數據增強方法的探索和優化上。研究者可以通過對圖像進行旋轉、翻轉、縮放等操作，擴充數據集，提高模型的性能。此外，還有一些針對玉米不完善粒特點的數據增強方法，如模擬不同磨損程度的玉米籽粒，生成不同顏色和亮度的圖像等。

綜合來看，針對玉米不完善粒檢測的研究，主要有以下幾個方向：

（1）利用深度學習和遷移學習的方法，提取玉米不完善粒的特征，構建高效的分類模型。

（2）利用生成對抗網絡的方法，生成更多的不完善粒樣本，擴充數據集。常用的是GAN（generative adversarial network）和VAE（variational autoencoder）網絡，兩者都為生成模型。VAE 缺點是具有很多假設性前提約束條件，并且生成的圖像往往也比較模糊，對于復雜模型的表現力較差，而圖像質量的高低對于數據集有著巨大的影響。GAN和擴散模型在高質量圖像生成領域中都有著不錯的表現。擴散模型相對生成對抗網絡來說具有更加靈活的模型架構和精確的對數似然計算，通過前向擴散把隨機噪聲逐漸加入樣本中，然后通過逆向擴散過程從噪聲中生成樣本，憑借其在高質量圖像生成領域中表現出的優異性能，受到越來越多研究者們的青睞，但是其存在一個巨大的問題是訓練成本過高。故研究熱點還是在圖像生成上選擇訓練成本低，又能夠生成高質量樣本的GAN[67]。

（3）利用元學習的方法，利用多個相關任務的數據，學習一個通用的模型，快速適應新的任務。

針對前兩點，給出一種基于生成對抗網絡和遷移學習的玉米不完善粒檢測流程圖，如圖9。

圖9 玉米不完善粒檢測流程圖Fig.9 Corn imperfect grain detection flow chart

3 總結與展望

農作物種子檢測是農業生產中非常重要的一環，它可以幫助種植者更好地了解種子品質、識別雜質、預測產量等，從而提高農作物生產的質量和效率。近年來，隨著計算機視覺和機器學習技術的不斷發展，種子檢測技術也得到了廣泛的應用。本文對當前機器視覺在農作物種子檢測中的方法和應用進行了總結，并展望了未來的發展方向。

3.1 總結

當前，農作物種子主要是通過機器視覺的方法進行檢測。近年來，深度學習技術的發展使得卷積神經網絡在種子檢測中得到了廣泛應用?；诰矸e神經網絡的方法可以自動學習到種子的細節特征，同時可以適應不同的種子類型和不同的環境條件。例如VGG、ResNet等經典的CNN 模型都被用于種子檢測，并取得了不錯的效果。此外，一些針對特定任務的網絡結構也被提出，如YOLO、Faster R-CNN等，它們可以實現更快速和更準確的檢測。

3.2 展望

未來，隨著深度學習技術的不斷發展和應用，農作物種子檢測技術也將得到進一步的提高和發展。以下是未來發展的幾個方向：

（1）結合多種檢測方法。將不同的檢測方法相結合，以提高種子檢測的準確性和穩定性。

（2）基于無監督學習的方法。無監督學習可以從大量的未標記數據中學習到數據的潛在特征。

（3）基于深度強化學習的方法。深度強化學習可以通過不斷地試錯來優化種子檢測的過程，從而提高檢測的效率和準確性。

（4）基于可解釋性人工智能的方法?？山忉屝匀斯ぶ悄芸梢詭椭N植者更好地理解檢測結果，并從中獲取有用的信息，從而更好地指導農業生產。

（5）云計算和邊緣計算輔助檢測?？梢詫⒎N子檢測的計算任務分散到不同的計算節點，從而提高計算效率和節約計算資源。同時，邊緣計算也可以使種子檢測更加實時和便捷。

總之，農作物種子檢測技術在未來將繼續發展和完善，為農業生產提供更加高效和準確的檢測手段。隨著技術的發展，種子檢測的應用領域也將不斷擴大，從而為農業生產的可持續發展做出貢獻。