基于小型卷積神經網絡的南疆棉花圖像分類

摘" 要：針對南疆棉田圖像分類特定應用場景，該文提出一種小型卷積神經網絡模型，分別對幼苗期棉苗、缺苗穴和地膜及吐絮期葉片、成鈴和吐絮鈴圖像進行自動化分類。該卷積神經網絡由12層組成，包括交替堆疊的4個卷積層和4個最大池化層，以及1個展平層、1個Dropout層和2個密集連接層。采用智能手機拍照方法，獲取幼苗期棉苗、缺苗穴和地膜圖像13 920張，吐絮期葉片、成鈴和吐絮鈴圖像21 427張。在普通筆記本電腦上部署TensorFlow、Keras深度學習框架和卷積神經網絡模型，使用數據增強和添加Dropout層來消除過擬合。研究結果表明，小型卷積神經網絡在幼苗期和吐絮期圖像測試集的分類精度分別達到了0.999 3和0.975 7，模型具有很好的泛化能力，模型的訓練時間約2 h。研究結果將為利用數字圖像智能提取棉花缺苗信息及棉鈴吐絮信息提供一定的參考。

關鍵詞：深度學習；卷積神經網絡；棉花；地膜；葉片；棉鈴；圖像分類

中圖分類號：S51" " " 文獻標志碼：A" " " " " 文章編號：2096-9902（2023）08-0017-07

Abstract： Aiming at the specific application scene of cotton field image classification in southern Xinjiang， a small convolution neural network model is proposed to automatically classify the images of cotton seedlings， lack of seedling holes and plastic film in seedling stage， as well as leaves， bolls and bolls in boll opening stage. The ConvNet consists of 12 layers， including 4 convolution layers and 4 maximum pooling layers stacked alternately， as well as 1 flattening layer， 1 Dropout layer and 2 dense connection layers. Total number of 13 920 images of cotton seedlings， seedling deficiency points and films at seedling stage， and 21 427 images of leaves， mature bolls and opening bolls at boll opening stage were obtained by taking pictures with smart phones. TensorFlow and Keras deep learning framework and convolution neural network models on ordinary laptops were constructed by using data augmentation and adding Dropout layers to get rid of overfitting. The results showed that the classification accuracy of test set at seedling stage and boll opening stage reached 0.999 3 and 0.975 7， respectively. The model had good generalization ability， and the training time of the model was about 2 hours. The research results will provide some reference for the intelligent extraction of cotton seedling deficiency information and boll opening information by using digital images.

Keywords： deep learning; convolution neural network; cotton; plastic film; leaf; cotton boll; image classification

新疆是我國最大的棉花產區，南疆是新疆棉區的重要組成部分。當前，南疆棉花生產在實現全程機械化的同時，正在向信息化和智能化方向發展。南疆棉區有相當一部分棉花種植在鹽堿地或風沙土區。在苗期，受鹽堿危害及春季風災的影響，棉田常出現缺苗斷壟現象。在吐絮期，噴霧脫葉劑主要依賴棉花吐絮信息。因此，對幼苗期、吐絮期棉花圖像進行快速智能分類，將是棉花生產管理信息化發展的重要支撐。

2006年，Geoffrey Hinton首次提出深度學習的概念，5年之后具有8層的深層卷積神經網絡AlexNet發布，并在圖像分類識別競賽中取得了巨大的性能提升[1]。隨后數十層、數百層、甚至上千層的卷積神經網絡模型相繼出現，其在提高圖像分類性能的同時，也帶來了網絡規模過大、參數量過多、需要高性能算力和大數據集才能完成訓練的弊端。在棉花圖像分類的特定應用場景中，不可能像工業級圖像分類應用那樣使用成百上千層的大規模網絡，原因是棉花圖像分類涉及到的類別較少（棉花器官種類少，棉田地物如雜草、地膜、裸地、病株或蟲害株的種類相對也較少），大量的訓練樣本不容易獲得。因此，小型或輕量型卷積神經網絡應用于棉花圖像分類更具有現實意義[2-4]。

已有研究表明，小型卷積神經網絡在棉花生育期（出苗期至吐絮期）圖像分類[5-6]、棉鈴識別（圖像語義分割）[7-9]等方面得到了成功應用。姚思雨等[10]采用數碼照相機對北疆棉田的棉苗（棉花封壟前）及雜草進行拍攝，構建了一種卷積神經網絡，實現了對棉花與雜草圖像的準確分類。但是針對南疆棉區，采用小型卷積神經網絡模型，對幼苗期和吐絮期的棉花圖像進行分類的研究還鮮有報道。本文構建一個小型卷積神經網絡，考察其在幼苗期對棉苗、缺苗穴和地膜，以及在吐絮期對葉片、成鈴和吐絮鈴的識別精度。研究結果將為準確獲取缺苗信息、吐絮信息，棉花補種或重播決策，以及棉花收獲提供智能化技術支撐。

1" 材料與方法

采用圖1所示的基于小型卷積神經網絡的棉花圖像分類流程，分別對棉花幼苗期的棉苗、缺苗穴、地膜，以及吐絮期的葉片、成鈴、吐絮鈴圖像進行深度學習圖像分類研究。研究過程主要包括棉花圖像的采集、圖像數據預處理、卷積神經網絡的構建、訓練、驗證和測試等步驟。

1.1" 棉花圖像數據的采集

棉花圖像采集地點分別在新疆兵團第一師阿拉爾市十團一連（81°20′E，40°34′N）和塔里木大學農學院農業試驗站（81°18′E，40°20′N）。在十團一連的棉田采集棉花幼苗期圖像，包括棉花幼苗（1葉至3葉期，簡稱棉苗）、缺苗穴和地膜3種類型。在塔里木大學農學院農業試驗站采集棉花吐絮期的圖像，包括葉片、成鈴和吐絮鈴。2個采集地點的棉花品種均為塔河2號，均為機采棉寬窄行種植模式，行距為10 cm+66 cm+10 cm+66 cm+10 cm，株距為11 cm，每666.7 m2種植1.59萬株。十團一連的棉田與塔里木大學農學院農業試驗站棉田的播種期分別為4月1日和4月20日。

采用普通智能手機采集棉花圖像。手機照相機ISO和白平衡設置為自動，曝光補償、飽和度、對比度和亮度均設置為0，圖像分辨率（dpi）為3 264×2 448，文件格式為jpeg。選擇晴天上午（11點至12點）或者下午（17點至18點）垂直向下拍攝。手機與棉苗、地膜、缺苗穴、葉片、成鈴及吐絮鈴的距離約為20～30 cm。幼苗期共拍攝了13 920張圖像，棉苗、缺苗穴和地膜分別為6 688、4 277和2 955張；吐絮期共拍攝了21 427張圖像，葉片、成鈴和吐絮鈴分別為7 487、7 522和6 418張。

1.2" 數據集的劃分與數據預處理

將幼苗期的棉苗、缺苗穴、地膜圖像，吐絮期的葉片、成鈴、吐絮圖像，分別劃分為3個數據集：訓練集、驗證集和測試集。3個數據集分別占各類別總數據量的60%、20%和20%（例如，棉苗圖像在訓練集、驗證集和測試集中的數量分別為4 013、1 338、1 337張，合計6 688張）。訓練集數據用于訓練卷積神經網絡模型、驗證集數據用于驗證模型精度，測試集用于測試模型精度。

采用Python的PIL庫中的函數Image.open讀圖像文件[11]。通過im.crop函數將原始圖像的四周裁剪掉，保留中央部分，裁剪后的圖像高度×寬度為2 400像素×2 400像素。采用抗混疊技術（一種高質量的下采樣技術），將裁剪后圖像的高度和寬度調整為原高度和寬度的1/16，生成的圖像高度和寬度為150像素×150像素，文件大小為7.92 KB。將圖像調整為150像素×150像素的目的是為了節省計算資源[6]。采用Keras的圖像處理輔助工具模塊keras.preprocessing.image，將圖像由像素網格轉換為浮點數張量，并將像素值從0～255范圍縮放到[0，1]區間。由Keras中的Image Data Generator實例讀取圖像，執行多次隨機變換來達到數據增強的目的。圖像隨機變換的方法是：隨機旋轉40°、在水平和垂直方向分別平移20%、隨機錯切變換20%、隨機放大20%、隨機將圖像的一半水平翻轉，用最近鄰法填充新創建像素。

1.3" 部署深度學習框架

本研究使用筆記本電腦聯想ThinkPad T540p來建立深度學習工作站，部署深度學習框架。電腦處理器為Intel（R） Core（TM） i7-4710MQ CPU @ 2.50 GHz和2.49 GHz，內存RAM為12 GB，顯卡（GPU）為NVIDIA GeoForce GT 730M，GPU CUDA驅動版本為NVIDIA CUDA 10.1.131。操作系統為Windows 10 專業版（Windows 10 Pro， 64-bit）。安裝Anaconda3（64-bit），版本為conda 4.13.0。在Conda中建立tensorflow虛擬環境，Python版本為3.7，CUDA版本為10.1.105。在該虛擬環境下安裝支持GPU加速的tensorflow，版本為tensorflow-gpu-2.2.0，深度學習框架采用Keras，版本為2.3.1。使用Python編程語言來進行深度學習圖像分類研究[12]。

1.4" 卷積神經網絡的構建與訓練

使用Keras深度學習框架中的layers和models來構建網絡。利用models中的Sequential類，采用網絡層線性堆疊的網絡架構，定義小型卷積神經網絡模型。該網絡模型共有12層，主體結構是由卷積層（Conv2D）和最大池化層（MaxPooling2D）交替堆疊構成。

采用數據增強生成器來訓練卷積神經網絡。由Keras的ImageDataGenerator實例讀取訓練集中的圖像，執行多次隨機變換來實現數據增強與模型的訓練。優化器采用RMSprop，指標是精度（accuracy，簡寫為acc），其表示正確分類的圖像所占的比例，acc越接近于1，表明卷積神經網絡模型的分類準確度越高。在訓練和測試過程中的監控指標（metric）除了精度之外，還有損失（loss）。由于本研究是關注棉花圖像的多分類問題，損失函數采用的是分類交叉熵（categorical_ crossentropy）。通過查看訓練精度、驗證精度及訓練損失、驗證損失隨小批量（batch_size）輪次（epochs）的增加而變化的情況（精度曲線和損失曲線），來判斷模型在訓練數據集和驗證數據集上的表現，以及模型是否存在過擬合現象[12]。

1.5" 超參數的優化

超參數的設定包括卷積神經網絡堆疊的層數，每層的單元數，激活函數的選擇等諸多內容。本研究中，將batch_size設置為50，訓練集、驗證集和測試集的批量次數（steps_per_epoch）分別設置為417、139和139，epochs均設定為50次。正則化層中的dropout比率為50%，學習率設定在10-2～10-6之間。

2" 結果與分析

2.1" 棉花圖像及像素值統計特征

圖2（a）所示棉花處于幼苗期，有2片子葉和1片真葉，均為綠色。位于同一播種行上相鄰棉株之間的距離為11 cm，在幼苗期時未彼此連接，用手機拍攝時可以獲取到單株棉苗的完整圖像。如果出現缺苗現象，在缺苗穴將出現如圖2（b）所示情形，即沒有棉苗，在種穴上只有覆土存在。南疆棉花栽培均為地膜覆蓋，在棉花未封壟前，寬行、窄行間，以及相鄰株之間均為地膜。覆蓋棉花的新地膜通常是白色的。由于南疆春季多風沙天氣，地膜棉田覆蓋一段時間后，地膜表面就會有一層土，地膜與土壤接觸面有細小水滴與土粒的混合物，因此，地膜外觀顏色不再是白色，而是灰白色（如圖2（c）所示）。在棉花幼苗期的單張圖像中，除了地膜比較均一外，棉苗圖像中有2種地物，一是綠色棉花，二是背景（播種穴上的覆土）；缺苗穴圖像中主要是播種穴上的覆土，但有時也會存在灰白色的地膜殘片（如圖2（b）中下方所示的地膜殘片）。

在吐絮期（8月底—9月初），棉田已完全被棉花覆蓋，棉株器官主要是葉片（圖2（d））、成鈴（圖2（e））和吐絮鈴（圖2（f））及枝條等。此時，棉株頂部葉片仍為綠色，綠色的成鈴（圖2（e））與白色的吐絮鈴（圖2（f））共存。白色為棉花纖維的顏色。在棉花吐絮期的單張圖像中，不僅有目標還有非目標存在。葉片圖像（圖2（d））中，除了整張葉片之外，通常還存在紅色葉柄及枝條等；在未吐絮的綠色成鈴圖像（圖2（e））中，除了球形的成鈴以外，還有黃色苞葉、綠色葉片和莖桿、枝條；同樣，在白色吐絮鈴圖像（圖2（f））中，除了棉花纖維以外，還有綠色葉片、莖桿和枝條。

棉花圖像分類時，棉花圖像紅、綠、藍3個通道像素的統計值（表1）與直方圖（圖3）是分類所依據的重要信息。棉花幼苗期，地膜與棉苗和缺苗穴之間的圖像像素值的統計值（表1）有較大地差異。地膜圖像紅、綠、藍3通道的像素值明顯地高于棉苗和缺苗穴，中位數和最小值表現最為明顯。另外，地膜圖像像素的標準偏差值也明顯地小于棉苗和缺苗穴。在直方圖上，地膜的像素值分布更為集中，峰型尖銳，而棉苗圖像在像素值等于60和200附近有2個明顯的峰，前者是由綠色的棉苗，后者是由裸土產生的，缺苗穴的直方圖表現出在像素值等于160附近有一個較高的峰（圖3）。

在棉花吐絮期，吐絮鈴、葉片、成鈴圖像的像素值的統計值（表1）之間沒有較大地差異，但是3個通道中位數值吐絮鈴最低，葉片最大，而成鈴居中。圖3直方圖上，成鈴圖像（圖3（e））的峰較多，葉片（圖3（d））在像素值等于200附近有一個明顯的峰，在像素值等于100附近有一個較小的峰。吐絮鈴圖像（圖3（f）），紅、綠、藍3通道在像素值等于225附近有一個明顯的峰，該峰是圖像白色的棉纖維所產生的，其與像素值低于200其他的峰之間有明顯差異。

2.2" 小型卷積神經網絡結構

本研究構建的小型卷積神經網絡共有12層（表2），其總體結構即卷積神經網絡是由4個Conv2D層（使用relu激活函數）和4個MaxPooling2D層交替堆疊構成，緊接著是一個展平層（Flatten層）、一個正則化層（Dropout層）、一個密集連接層（Dense層，其激活函數為relu）及最后一個密集連接層，其激活函數為softmax。密集連接層（分類器）之前添加一個正則化層的目的是為了進一步地降低過擬合。本研究要解決的是一個多分類（3個類別）問題，所以網絡最后一層是密集連接（也叫全連接）分類器。這個分類器有3路，其將返回一個由3個概率值（總和為1）組成的數組。每個概率值表示當前圖像屬于3個類別中某一個的概率[12]。

第一個卷積層的初始輸入圖像為紅、綠、藍3通道，每個通道的尺寸為150像素×150像素，輸出的特征圖尺寸為148像素×148像素，深度為32。隨著網絡中特征圖的深度逐漸增大（從32增大到128），特征圖的尺寸逐漸減?。◤?50像素×150像素減小到7像素×7像素）。該小型卷積神經網絡模型參數總個數為1 044 163。幼苗期和吐絮期均采用表2所示的小型卷積神經網絡模型。

2.3" 驗證小型卷積神經網絡模型

訓練網絡共50個輪次，分別繪制損失曲線和精度曲線（圖4和圖5）。由圖4和圖5可知，訓練曲線緊緊跟著驗證曲線，模型沒有發生過擬合現象，訓練精度和驗證精度均趨向于1.0。

在測試集上評估訓練好的模型。幼苗期棉花圖像分類模型的精度為0.999 3，表明該小型卷積神經網絡對于棉苗、缺苗穴圖像有非常高的分類性能。吐絮期棉花圖像分類模型的精度為0.975 7，表明該小型卷積神經網絡對于棉花葉片、成鈴、吐絮鈴圖像也有很高的分類性能。

3" 討論

應用數字圖像分析方法提取作物器官的信息，或者與其他地物進行分類，已經成為一種低成本、高效、快捷的現代農業信息技術[13]。在南疆棉區，鹽堿地或風沙土區棉田常出現缺苗斷壟的現象。在棉花幼苗期，種植行上通常只有3種地物：棉苗、缺苗穴和地膜。而缺苗穴顯示出來的是裸土。對于嚴重缺苗的地塊需要重新播種或者在缺苗穴補種。準確獲取棉花種植行缺苗信息，對于補種或重播決策就顯得極為重要。另外，在棉花吐絮期，及時地獲取吐絮鈴的信息，對于生產上噴霧脫葉劑，估測棉花產量也有重要作用。傳統的人工提取圖像特征來對棉花與其他背景，以及棉花不同器官種類之間的圖像進行分類的方法，已不能滿足快速智能化獲取信息的需求[7，14]。本研究利用計算機視覺圖像分類中常用的深度卷積神經網絡模型，成功地實現了棉苗、缺苗穴和地膜圖像分類，測試集的圖像分類精度達到了0.999 3。但是，同一個小型卷積神經網絡在對吐絮期葉片、成鈴和吐絮鈴的圖像分類時，測試集的圖像分類精度要弱一些，為0.975 7。

目前，圖像分類已有大規模的特征訓練數據庫（如ImageNet數據集規模為上千萬張圖片），再加上深度卷積網絡的算法在圖像分類方面取得了重大的突破性進展，使得目前深層卷積網絡的識別算法的應用結果達到了很高的精度[1]。但是對于特定的農業應用場景，如幼苗期的棉田，植株與背景（地膜、缺苗穴的裸土等）共存，而吐絮期時，棉田已全部被棉花葉片、成鈴、吐絮鈴等覆蓋。在這種特定的棉田場景下，不需要創建一個更大、更深的神經網絡，因為這會導致神經網絡結構龐大，從而難以訓練，也難以獲到大樣本的訓練數據集。因為，基于深層卷積網絡的大型模型要求提供巨額的計算成本，且在高性能的處理器上運行，這就不方便將模型移植到各類小型終端設備上（如PC機和筆記本電腦）。要利用有限的計算資源實現準確的棉花圖像分類，就需要對網絡模型進行簡化。本研究構建的小型（輕量級）卷積神經網絡，只有12層， 其表現出了很高的分類精度。

本研究構建的是小型卷積神經網絡，但是模型參數也達到了百萬級別。當學習樣本（訓練集數據量）較少時，會無法訓練出能夠泛化到新數據的模型。本研究采用數據增強的方法，增加了訓練樣本量，從而防止了過擬合現象的發生，數據增強也是Wang、姚思雨等進行棉花圖像分類時采用的方法[6，10]。本研究設計的小型卷積神經網絡結構與姚思雨等[10]的用于棉花與雜草圖像分類的卷積神經網絡結構相近，后者在最后一層最大池化層與Dropout層之間少了一層展平層，總層數為11層，且其最后一層為Sigmoid激活密集連接層（分類器）。前8層的卷積核、步長和卷積數均相同，輸出的特征圖大小也相同。本研究的小型卷積神經網絡在測試集精度為0.999 3（幼苗期）和0.975 7（吐絮期），姚思雨等[10]的神經網絡在測試集精度為0.999 5。

在模型訓練過程中對超參數優化時，本研究主要進行了2方面的調整：增加Conv2D與MaxPooling2D的堆疊層、調整學習率。本研究曾將Conv2D與MaxPooling2D的堆疊層由8層增加到12層，但是，增加網絡層數對幼苗期的棉苗、缺苗穴和地膜圖像分類精度的提高效果有限，再增加堆疊層時，分類精度反而下降。網絡堆疊層由8層增加到12層，對于吐絮期的葉片、成鈴和吐絮鈴圖像分類精度反而產生負作用，精度值不增反降。本研究發現，學習率對于訓練模型有非常大的影響。過高的學習率（比如10-2）或過低的學習率（比如10-6），都會使精度或損失隨著小批量輪次（epochs）的增加，在訓練集和驗證集上產生不一致的行為。這表明，應小心地調整學習率，使訓練集和驗證集的精度曲線與損失曲線產生一致的行為，避免出現過擬合現象。學習率在幼苗期和吐絮期最終設置的值分別為10-5和0.5×10-4。本研究構建的小型卷積神經網絡模型分別對南疆棉花幼苗期的棉苗、缺苗穴和地膜，以及吐絮期葉片、成鈴和吐絮鈴的圖像分類是有效的，在普通筆記本電腦上花費約2 h即可完成模型的訓練。研究結果將為利用數字圖像智能提取棉花缺苗信息及棉鈴吐絮信息提供一定的參考。

致謝

塔里木大學農學院農業資源與環境專業資環2019級學生幫助拍攝了一部分吐絮期棉花葉片、成鈴和吐絮鈴的圖片，在此表示感謝。

參考文獻：

[1] 龍良曲.TensorFlow深度學習——深入理解人工智能算法設計[M].北京：清華大學出版社，2020.

[2] FUE K G， PORTER W M， BARNES E M， et al. Ensemble method of deep learning， color segmentation， and image transformation to track， localize， and count cotton bolls using a moving camera in real-time[J]. Transactions of the ASABE， 2021，64（1）：341-352.

[3] CALDEIRA R F， SANTIAGO W E， TERUEL B. Identification of cotton leaf lesions using deep learning techniques[J]. Sensors， 2021，21（9）：3169.

[4] SAPKOTA B B， POPESCU S， RAJAN N， et al. Use of synthetic images for training a deep learning model for weed detection and biomass estimation in cotton[J].Scientific Reports，2022，12：19580.

[5] 毋立芳，汪敏貴，付亨，等.深度目標檢測與圖像分類相結合的棉花發育期自動識別方法[J].中國科技論文，2018，13（20）：2309-2316.

[6] WANG S， LI Y， YUAN J， et al. Recognition of cotton growth period for precise spraying based on convolution neural network[J].Information Processing in Agriculture，2021，8（2）：219-231.

[7] LI Y， CAO Z， XIAO Y， et al. DeepCotton： in-field cotton segmentation using deep fully convolutional network[J].Journal of Electronic Imaging，2017，26（5）：053028.

[8] SINGH N， TEWARI V， BISWAS P， et al. Semantic segmentation of in-field cotton bolls from the sky using deep convolutional neural networks[J]. Smart Agricultural Technology，2022，2：100045.

[9] ZEKIWOS M， BRUCK A. Deep learning-based image processing for cotton leaf disease and pest diagnosis[J]. Journal of Electrical and Computer Engineering， 2021：9981437.

[10] 姚思雨，王磊，張宏文.基于CNN的棉田雜草識別方法[J].石河子大學學報（自然科學版），2023，41（1）：21-26.

[11] DEY S. Hands-On Image Processing with Python： Expert techniques for advanced image analysis and effective interpretation of image data[M]. Packt Publishing Ltd， 2018.

[12] CHOLLET F. Deep learning with Python [M]. Manning Publications， 2021.

[13] 趙欣欣，陳煥軒，韓迎春，等.數字圖像監測作物生長特征的研究進展[J].中國農學通報，2021，37（4）：146-153.

[14] 李亞楠.基于視覺的棉花發育狀態自動檢測技術研究[D].武漢：華中科技大學，2018.