基于改進YOLOv4的棉花檢測算法①

劉正波,鮑義東,孟慶偉

(貴州航天智慧農業有限公司,貴陽 550081)

我國是世界第一大產棉國,同時也是世界第一大棉花進口國,這也造就了中國成為世界紡織大國的地位[1].棉花作為種植作物中產業鏈最長的大田經濟作物,集大宗農產品和紡織工業原料為一身,在國民經濟中占有重要地位.棉花產業屬于勞動密集型產業,傳統的棉花種植采摘技術落后,需要大量的人力物力,隨著勞動力成本的增長,棉花采摘機械化成為必然趨勢.我國采棉機的發展起步較晚,雖然在不斷進步,但是對棉花采摘的采凈率和除雜率上還有待提高.傳統采棉機相比人工采摘雖然在采摘效率上有較大提升,但采摘的同時降低了棉花的品質,并且采棉機在采摘結束后仍有較多棉花在棉桿上,導致單位面積的棉花減產[2].因此,智能采棉機成為了降低勞動成本、提高棉花產量和棉花質量的必要途徑.智能采棉機是根據棉花自然成熟周期進行多批次精準采摘,采摘關鍵在于對單個棉花實現精準識別與定位.傳統機器視覺在采用圖像預處理、閾值分割、特征提取等方法上對作物識別和檢測上取得了較好效果,但是對于多個目標重疊、障礙物遮掩等情況還是會出現漏采和誤采.

近年來,計算機視覺技術發展迅速,視覺技術廣泛運用于農業領域,解決農作物或雜草檢測、作物疾病檢測等難題.在棉花檢測領域,目前研究集中對采棉機器人配備的攝像機采集的棉花圖片進行識別與分割,少有研究考慮到田間實際采摘中復雜環境.Wang 等[3]提出一種基于RGB 顏色空間分布的棉花檢測算法用于采棉機器人,并采用Freeman 鏈碼提高識別準確率.韋皆頂等[4]提出基于HSV 彩色模型的棉花飽和度圖像分割算法,能夠很好地將棉花和背景分割開來,并且受光照影響較小,但無法處理田間棉花葉片遮擋等情況.劉坤等[5]提出一種基于RGB 彩色空間模型和Hough變換的棉桃識別技術,能準確識別自然環境中被遮擋的棉花.陳欽政等[6]結合最大類間方差法提出了一種在OHTA 顏色空間下基于支持向量機的棉花圖像分割算法,提高了分割的準確度和實用性,但對復雜環境采棉適用度不高.盡管文獻[3-7]已提出一系列高精度棉花檢測和分割算法,但是這些方法都采用手工提取特征方式進行識別,算法魯棒性不強,并且沒有綜合考慮田間棉花采摘復雜背景、葉片遮擋和棉花重疊等情況,難以用于田間棉花采摘.因此本文提出一種基于改進YOLOv4的棉花檢測算法,應用于采棉機器人進行田間棉花采摘.

1 算法理論基礎

1.1 YOLOv4 算法

YOLOv4[7]算法在YOLOv3[8]算法基礎上,從數據處理、訓練方法、激活函數、損失函數、網絡結構等方面做出不同程度優化,使算法模型在目標檢測速度和精度上達到當前最優平衡.

YOLOv4 在YOLOv3 損失函數基礎上使用CIoU(Complete Intersection over Union) 損失替代MSE(Mean Square Error)損失作為回歸框預測損失.損失函數可分為回歸框預測損失LCIoU、置信度損失LConf、分類損失Lcls三部分.

回歸框預測損失LCIoU表示為:

其中,IoU為預測框與真實框的交并比,b為預測框中心點,bgt為真實框中心點,ρ為兩個框中心點間的歐式距離,c是同時包含預測框和真實框的最小封閉區域的對角線距離,av是對長寬比的懲罰項.v表示度量長寬比的相似性系數,定義為:

其中,wgt為真實框寬度,hgt為真實框高度,w為預測框寬度,h為預測框高度.a為長寬比的懲罰項系數,具體定義為:

置信度損失LConf為:

式(5)中,S2表示網格劃分網格數,B是每個網格中先驗框個數,表示預測邊界框包含目標,表示預測的邊界框不包含目標,為預測置信度,為實際置信度,λnobj為預先設定的參數值.分類損失Lcls表示為:

式中,c表示檢測目標所屬分類,和分別表示單元格目標屬于類別c的實際概率與預測概率.

YOLOv4 目標檢測算法的網絡結構如圖1所示,主要包括特征提取網絡CSPDarkNet53、空間金字塔池化網絡SPP和特征聚合網絡PANet 三部分.CSPDarkNet53作為YOLOv4 算法的主干特征提取網絡,是在Dark-Net53 網絡的基礎上改進而來.CSPDarkNet53 包含5 個CSPNet 模塊,首先將輸入特征劃分為兩部分,對輸入特征進行卷積和批量歸一化處理后,使用Mish 激活函數激活,最后跨階段融合兩部分特征,在復雜度增加較小的情況下提高了模型整體的穩定性和準確性,輸出更加平滑并且很好的解決了梯度飽和的問題.CSPDarkNet53將DarkNet53的5 個殘差模塊替換為CSPNet 模塊,CSPNet 模塊中主干提取部分和殘差邊分離的結構能夠更好的提取圖像特征,在保持輕量化的同時保持較高準確率、降低計算量.主干特征提取網絡CSPDarkNet53充分提取圖像特征后,將后3 個CSPNet 模塊提取的不同尺度圖像特征傳入SPP 網絡和PANet 網絡進行特征融合.

圖1 YOLOv4 算法網絡結構

對CSPDarkNet53 網絡最后一個特征層進行一次特征卷積后,特征傳入SSP 網絡,利用SSP 網絡中4 種不同尺度最大池化核充分融合圖像特征,極大增加感受野,分離得到顯著的上下文特征來.PANet 結構是由卷積操作、上采樣操作、特征層融合、下采樣操作構成的循環金字塔結構.對傳入的圖像特征進行反復的特征提取,自底而上融合從主干網絡不同特征層提取的特征,形成強定位特征,進一步提高特征提取和定位能力.從PANet 提取的特征輸出為3 個不同尺度YOLOHead 預測層,預測層信息包括目標得分、預測錨框尺寸坐標、分類置信度等.利用YOLOHead 預測層的信息對錨框的位置、尺寸做出適當調整,利用目標得分篩除掉部分錨框,最后通過非極大值抑制將3 個預測層的結果合并,得到最終預測結果.

1.2 錨框計算

YOLOv4 目標檢測算法的默認錨框是在Coco 數據集上使用聚類算法計算得出的通用尺寸,Coco 數據中包含各種不同的檢測目標,目標的尺寸比例差別較大,因此錨框的尺寸也不盡相同,在實際應用場景中需要根據數據集,計算相應的錨框尺寸.由于棉花圖片數據庫網絡資源有限,本文采用自建的棉花數據集,棉花在不同圖像中的形狀基本一致,因此可以針對棉花的實際形狀大小計算相應錨框尺寸.

采用K-means 聚類算法計算錨框尺寸,具體計算步驟如圖2所示.首先讀取數據集中歸一化的錨框尺寸大小,錨框的寬、高組成坐標點作為待分類數據,并隨機初始化9 個聚類中心.計算各個錨框坐標點與聚類中心錨框之間的交并比(Intersection over Union,IoU),以(1-IoU)作為坐標之間的相對距離,距離最小的聚類中心為對應錨框的分類,把各個類別的中心坐標作為下一次迭代的聚類中心.不斷重復上述過程,直至聚類中心不再變化,把此時的9 個聚類中心作為最終的得到的錨框尺寸.使用K-means 算法計算得到的錨框尺寸更適合當前數據集,實現單株棉花的精準檢測.

圖2 K-means 算法計算錨框尺寸

1.3 數據增強

自然環境下棉花檢測任務面向復雜田間環境,檢測精度不僅受到葉片遮擋、多簇棉花重疊等因素的影響,還需要考慮天氣、棉花尺寸形態、自然光照等自然因素.因此除了要在數據采集的過程中考慮以上因素,盡可能多的采集各種不同場景和自然條件下的棉花圖片作為數據集,也要通過數據增強方法對數據集圖片做出處理,提高模型的魯棒性.

數據增強分為離線增強和在線增強兩種方式.離線數據增強主要用于數據量較小的數據集,直接處理原始數據集圖片,新數據圖片數量擴增為原數據集圖片的n倍 (n為數據增強因子),主要用來防止過擬合.在線增強是在讀取一批次數據集圖片后,對圖片數據進行增強操作,提高模型在不同場景中泛化能力.主要處理流程是先對數據集圖片作離線增強,對圖片進行翻轉、裁剪、旋轉、縮放、平移和添加噪聲等操作,得到的數據集大小為原數據集的3 倍.在訓練過程中,YOLOv4 自帶的Mosaic 數據增強操作對片進行處理.Mosaic 數據增強的效果如圖3所示,首先讀入4 張圖片,對圖片作翻轉、縮放、色域變換等操作,然后以矩陣的形式截取圖片的固定區域并將其拼接為一張圖片,極大的豐富檢測物體的背景,提升檢測算法的魯棒性.

圖3 Mosaic 數據增強

1.4 網絡模型改進

在田間實際場景中對棉花進行檢測時,由于復雜背景的影響,以及葉片和枝丫對棉花的遮擋,常規的目標檢測算法受到置信度的影響,往往會漏檢部分棉花從而造成損失.為了讓檢測網絡學習到細致的局部信息,并融合全局信息做出更加準確的判斷,避免誤檢測和漏檢測,可采取增大全局感受野的方式,捕獲更多的圖像特征描述圖片.

對YOLOv4的特征提取網絡做出改進,改進后網絡結構如圖4所示,將SENet (Squeeze-and-Excitation Networks) 結構嵌入到YOLOv4 主干特征提取網絡CSPDarkNet53的Residual 模塊中,得到SE-Residual殘差塊.用SE-Residual 替換原有的Residual 模塊,加大特征提取網絡的全局感受野,增強特征提取能力,從而能有效減少環境背景和障礙物遮擋對棉花檢測的影響,避免誤檢測和漏檢測.SENet是Hu 等[9]在2017年提出,網絡結構如圖4所示,主要包括Squeeze、Excitation和Scale 三部分.SENet中的Squeeze 部分用全局池化層順著空間維度進行特征壓縮,在各個通道上得到具有全局感受野的實數.Excitation 模塊接著使用兩個全連接層結構對各個通道的重要性進行預測,得到不同通道重要性.最后Scale 部分將提取得到的通道重要性作用到全局特征上.SENet 在減少參數的同時,對各個通道的特征進行加權操作,各個通道的信息交互,強化有效信息,抑制無效信息,提高網絡準確率.

圖4 YOLOv4 改進算法網絡結構

2 實驗結果與分析

2.1 實驗數據集

實驗數據集主要在棉田內實際拍攝取得,為充分反映棉田內真實的棉花采摘情況,在不同天氣情況下從不同的角度對棉花植株的棉花進行拍攝.并通過互聯網獲取部分棉花圖片對數據集進行擴充,經過篩選后選取6000 張相關圖片作為初始數據集,然后使用離線數據增強方法對數據集圖片翻轉、縮放、平移和加噪聲操作,進一步擴充數據集,最終得到的實驗數據集包含18 000 張相關圖片.如圖5所示,數據集圖片主要包括單個棉花、多個棉花重疊、遮掩棉花和非棉花4 種情況.

圖5 棉花數據集

數據集獲取后需要對其進行標注,所使用標注軟件為labelImg,該軟件免費且操作簡單,只需對圖片中單個棉花的區域使用錨框標注為Cotton.選用標注格式為PASAL VOC2007,然后利用隨機函數將數據集隨機分成訓練集和測試集,其中訓練集和測試集圖片數量比例為5:1,在訓練集中再細分為訓練集和驗證集比例為9:1.

2.2 實驗分析

試驗在高性能計算平臺上進行,平臺操作系統為Windows10,實驗開發平臺的配置為:CPU 選用Intel(R)Core (TM) i7-8700,GPU 選用 NVIDIA GeForce RTX 2070,內存為16 GB.加載軟件環境有Pycharm、Python3.7、Cuda10.2.模型通過PyTorch 深度學習框架搭建.

在深度學習模型的訓練上,采用遷移學習的方式通過預訓練模型進行訓練.遷移學習的方式減少了構建深度學習模型所需的訓練數據和計算力,降低了模型的訓練時間,能很好解決小數據集容易在復雜網絡結構上的過擬合問題.首先對公開數據集Coco 數據集來獲得預訓練模型,然后用棉花數據集基于預訓練模型進行遷移學習.遷移學習先凍結特征提取網絡前端訓練50 個Epoch,利用已經訓練好具有較強特征提取能力的預訓練模型先進行特征提取,然后根據訓練集/測試集對特征融合網絡和分類檢測網絡的參數進行微調,最后對整個網絡的參數進行訓練和調整并輸出最后的分類檢測結果.

采用查準率P和查全率R作為評價檢測算法性能的指標,查準率P和查全率R的計算公式為:

其中,真正例TP表示在棉花存在的網格單元中,同時滿足置信度大于0.8、預測框與真實框的IoU大于0.5、預測類別正確3 個條件.假正例FP中包含兩種情況,一種是在棉花存在的網格單元中,置信度大于0.8 但不是真正例,另一種是在棉花不存在的網格單元中,置信度大于0.8.假反例FN代表在棉花存在的網格單元中,置信度小于0.8.

在網絡的訓練上對每種算法模型重復3 次,每次訓練650 個Epoch,具體訓練參數設置為:批處理數為16,梯度優化選用Adam 算法,初始學習率為0.001,每50 次迭代后學習率衰減為原來的1/10,動量為0.9,衰減系數為0.0005,分類置信度閾值為0.8,IoU閾值為0.5.

改進算法的訓練的損失值、查準率和查全率曲線如圖6所示,在使用遷移學習方法后,損失值在200 次迭代后趨近0,查準率和查全率曲線在迭代300 次后逐漸趨于平穩,并且穩定后的查準率和查全率都在90%以上,結果如圖6所示.

圖6 YOLOv4 改進算法

本文提出的YOLOv4 改進算法與YOLOv3 算法、YOLOv4 算法及其改進結構的性能對比如表1所示,對比結果表明對YOLOv4 目標檢測算法在網絡結構和錨框上的改進,相較于YOLOv3 算法和原YOLOv4算法在性能上有較明顯的提升.本文在YOLOv4 算法中加入的新錨框計算方法,在查準率上的提升較小,在查全率上有3%左右的性能提升.在網絡結構中添加SENet 模塊的方法,在查準率上有明顯的性能提升,在查全率上也有較明顯的性能提升.綜合結果表明,本文提出的YOLOv4 改進算法,在復雜環境下也有很好的性能表現,相較于傳統方法能夠更好的適應棉花采摘的實際田間環境.

表1 算法檢測性能對比(%)

3 結論

采用K-means 算法進行錨框計算,通過在YOLOv4中嵌入SENet 結構得到YOLOv4 改進算法,融合YOLOv4與SENet的優勢,增加網絡的感受野,提升網絡的特征提取能力.實驗結果表明,在復雜田間環境下,本文算法仍能夠準確識別目標,減少誤采摘和漏采摘,得到較高的查準率.