基于機器視覺與YOLO算法的馬鈴薯表面缺陷檢測*

□ 傅云龍 □ 梁 丹 □ 梁冬泰 □ 方 寧 □ 陳賢兒

寧波大學 機械工程與力學學院 浙江寧波 315211

1 研究背景

近年來,隨著我國馬鈴薯主糧化戰略的實施,馬鈴薯在我國的種植面積迅速增大,成為僅次于水稻、小麥、玉米的種植面積第四大糧食作物[1-2]。我國馬鈴薯種植面積為5.8×104km2左右,年總產量約9.9×108t,位居世界第一[3]。馬鈴薯不但有較高的食用價值和藥用價值[4],而且因自身含有豐富的淀粉,成為塑料、造紙、化工等領域不可缺少的原材料。馬鈴薯在采摘、運輸、儲存過程中,不可避免會存在發芽、病斑、機械損傷、腐爛等表面缺陷,影響馬鈴薯的品質與食用安全性。

目前,在進行馬鈴薯表面缺陷檢測時,主要由人工進行分揀,工作強度大,效率低,可靠性和一致性比較差[5],嚴重阻礙馬鈴薯加工自動化產業的發展。隨著機器視覺技術的發展[6],國內外學者針對馬鈴薯缺陷機器視覺檢測方法開展了相關研究。王溯源[7]將馬鈴薯表面缺陷統分為三類,分別基于六角錐體顏色空間、三基色顏色空間、單值段同化核算子實現三類表面缺陷的檢測。趙明富等[8]應用高光譜成像技術和改進的貝葉斯分類器,實現對馬鈴薯外部缺陷的識別,平均識別精度達到95%以上。楊森等[9]基于輕量卷積網絡實現馬鈴薯外部缺陷的無損檢測,平均識別準確率能夠達到96.04%。 Zhang等[10]采用單次激發法多光譜成像系統,建立一種基于全特征集的最小二乘支持向量機馬鈴薯缺陷分類模型,能夠檢測六類馬鈴薯表面缺陷。上述研究中,基于傳統圖像處理和高光譜成像技術的方法,雖然能夠實現馬鈴薯表面缺陷的識別,但是識別缺陷種類和精度有限,系統的穩定性較差。基于輕量卷積網絡的方法雖然提高了系統的穩定性,但是識別精度和識別速度仍有待提高。

針對馬鈴薯表面缺陷快速準確檢測的需求,筆者提出一種基于機器視覺和YOLO算法的馬鈴薯表面缺陷檢測方法。

這一方法采用圖像增廣對原始圖像進行擴充,通過最大類間方差法將部分數據集的馬鈴薯圖像從背景中分離出來,用于預訓練。建立基于YOLO算法的馬鈴薯表面缺陷識別方法,對原YOLO算法中的聚類方法進行改進,基于二分K均值聚類算法進行目標框聚類分析。在訓練過程中,采用分步訓練方式優化學習權重,提高檢測方法的穩定性和檢測精度。

2 數據集構建

2.1 圖像采集

馬鈴薯常見的表面缺陷主要有腐爛、發芽、機械損傷、蟲眼、病斑五類,如圖1所示。

▲圖1 馬鈴薯常見表面缺陷

從寧波市某批發市場篩選73個帶有表面缺陷的馬鈴薯和28個完好的馬鈴薯,用工業相機在不同的光照強度和背景下采集363張馬鈴薯圖像。市場采購的馬鈴薯,表面缺陷的多樣性有限,不能滿足工業數據集的要求,因此從網絡上另外收集687張帶有表面缺陷的馬鈴薯圖像。

2.2 數據擴增

為避免數據集不足造成訓練過程中產生過擬合問題,筆者通過調節亮度和對比度、旋轉、翻轉、縮放、高斯模糊、添加椒鹽噪聲等方法,進一步對原有的馬鈴薯數據集進行增廣。采用最大類間方差法對原始數據集進行灰度閾值分割,去除背景,凸顯馬鈴薯表面特征,使YOLO算法在預訓練過程中能更快地學習馬鈴薯缺陷特征。

通過以上方式,將原有1 050張馬鈴薯圖像數據集擴增至7 123張,數據集見表1。

表1 馬鈴薯數據集

最大類間方差法具有良好的自動閾值分割性能,基本思路是按照圖像灰度特性將原始圖像灰度值分為兩部分,使兩部分間的灰度值差異最大,同時每部分內部差異最小。假設原始圖像大小為M×N,灰度值閾值為T,圖像中像素屬于目標部分的灰度值區間為(T,L],像素屬于背景部分的灰度值區間為[0,T],灰度值k對應的像素數記為Nk,對應的概率記為Pk,Pk為:

Pk=Nk/(M×N)

(1)

則類間方差g(T)為:

g(T)=ω1(T)[μ(T)-μ1(T)]2

+ω2(T)[μ(T)-μ2(T)]2

(2)

式中:ω1(T)、ω2(T)分別為像素被分為背景部分和目標部分的概率;μ1(T)、μ2(T)為兩類像素的均值;μ(T)為圖像的整體均值。

(3)

(4)

(5)

(6)

μ(T)=μ1(T)ω1(T)+μ2(T)ω2(T)

(7)

將式(7)代入式(2),化簡得:

g(T)=ω1(T)ω2(T)[μ1(T)-μ2(T)]2

(8)

令T遍歷灰度值區間[0,L],尋找g(T)的最大值,此時所對應的T即為所求閾值。

2.3 數據標注

筆者通過labelImg圖像標注軟件對7 123張馬鈴薯圖像進行在線標注,其中發芽、機械損傷、腐爛、蟲眼、病斑的類別號依次為0～4。缺陷標簽內容見表2。將原圖像長、寬歸一化至0～1,然后以(x,y)代表缺陷中心坐標,w、h分別代表缺陷目標框的長和寬。

表2 缺陷標簽內容

3 識別方法

3.1 YOLO算法

YOLO算法是一種端對端學習的深度學習模型算法[11-14],不同于基于候選區域的深度學習模型算法,不需要提取候選區域,可直接輸入圖像獲得目標類別和目標邊框,擁有較好的檢測速度和精度。YOLO V4算法在YOLO V3算法目標檢測架構的基礎上,對數據處理、網絡訓練、激活函數、損失函數等進行優化。

筆者基于YOLO V4算法來實現馬鈴薯表面缺陷識別。馬鈴薯表面缺陷識別YOLO V4算法網絡結構如圖2所示,這一網絡結構由輸入端、主干網絡、頸部、檢測頭四部分組成。輸入端引入馬賽克數據增強和自對抗訓練兩種新的數據增強方法,增強圖像可變性,提高目標檢測系統的穩定性。通過自對抗訓練改變原始圖像,使神經網絡對自身進行對抗性訓練。頸部采用路徑聚合網絡附加空間金字塔池化結構,空間金字塔池化結構采用內核為1×1、5×5、9×9、13×13的最大池化層串聯結構。圖2中,Mosaic為馬賽克數據增強,SAT為自對抗訓練,CBM為Mish卷積塊,CSP1～CSP5為跨階段局域網絡,CBL為泄漏線性單元卷積塊,SPP為空間金字塔池化結構,PAN為路徑聚合網絡。

▲圖2 馬鈴薯表面缺陷識別YOLO V4算法網絡結構

馬鈴薯表面缺陷的識別流程如下:首先,構建馬鈴薯表面缺陷圖像數據集,通過馬賽克數據增強和自對抗訓練,對原始數據集進行圖像增強處理;然后,使用CSPDarknet53主干網絡提取不同尺度的馬鈴薯表面缺陷特征,由頸部完成缺陷特征的路徑聚合;最后,由YOLO算法檢測頭完成目標框和目標類別置信度的檢測。置信度C為:

C=PrI

(9)

(10)

式中:Pr為用于判斷是否有目標物落入候選網格的值,有為1,沒有為0;bP為預測目標框面積;bT為真實目標框面積;I為交并比。

3.2 特征提取網絡

馬鈴薯表面缺陷識別方法采用CSPDarknet53作為特征提取的主干網絡,將Darknet53網絡原有的殘差塊與跨階段局域網絡相結合,以減小整個網絡的計算量,縮短計算所需要的時間,并且保證檢測的準確率。CSPDarknet53主干網絡結構由五個跨階段局域網絡構成,跨階段局域網絡3～5是三個有效輸出層,分別輸出52×52×256、26×26×512、13×13×1 024圖像特征。跨階段局域網絡將淺層映射特征分為兩部分,對兩部分信息進行融合。跨階段局域網絡將梯度信息融合在特征圖中,避免梯度信息重復,在縮短網絡計算量的同時保證準確率。

殘差單元由特征提取層與兩個卷積塊經過兩層卷積構成。卷積塊是CSPDarknet53主干網絡中最基本的單元,由Mish函數、批歸一化和卷積操作組成。

與傳統帶泄漏線性單元函數和線性單元函數相比,使用Mish函數作為主干網絡激活函數,可以優化梯度流。Mish函數具有的平滑特性使圖像信息能更深入地融合進神經網絡,以獲得更好的精度和泛化能力。主干網絡Mish函數H(a)為:

H(a)=atanh[ln(1+ea)]

(11)

式中:a為圖像像素經卷積操作后的像素值。

3.3 二分K均值聚類算法目標框分析

目標框指置信度最高的檢測目標所在的矩形框,傳統深度學習方法通過多尺度窗口滑動遍歷來進行選取。YOLO算法在COCO數據集中進行K均值聚類分析,得到一組先驗框,在訓練過程中根據先驗框匹配程度來調整目標框。 COCO 數據集所包含的檢測對象多種多樣,所聚類的先驗框在自然場景中具有較好的檢測效果。由于馬鈴薯表面缺陷識別的對象是五類典型缺陷,使用原有先驗框檢測難以滿足實時快速檢測要求,因此需重新進行先驗框聚類分析。

K均值聚類算法是一種無監督的聚類分析算法,對于給定的樣本集,按照樣本的分布將樣本劃分為K個簇,并隨機選取K個對象作為初始的聚類中心,計算每個對象與各子聚類中心的歐氏距離。歐氏距離D為:

D=1-I

(12)

采用誤差二次方和準則函數作為聚類準則函數,誤差二次方和J為:

(13)

式中:ni為第i個聚類樣本點數量;mi為第i個聚類中心;xij為第i個聚類中的第j個樣本點。

K均值聚類算法收斂速度相對較快,聚類效果較優,但最終結果和運行時間受初始聚類中心選取的影響較大,初始聚類中心選擇不當,很可能會造成局部最優解。為解決隨機初始聚類中心點問題,筆者采用二分K均值聚類算法來進行目標框分析。二分K均值聚類算法不需要選取初始聚類中心,由一個樣本集分裂后得到兩個簇,對于K個簇則進行K-1次分裂,具體流程如圖3所示。經過多次試驗,在K為9的情況下,二分K均值聚類算法得到的馬鈴薯表面缺陷檢測先驗框最優,分別為(18,18)、(22,37)、(40,25)、(39,62)、(75,43)、(71,81)、(165,80)、(82,165)、(210,211)。

4 試驗分析

4.1 模型訓練

在筆者試驗平臺中,中央處理器采用英特爾酷睿i3-9100,主頻為3.6 GHz,圖形處理器采用英偉達GTX 1080Ti,顯存為11 GByte,內存為16 GByte。模型參數中,輸入圖像大小為418像素×418像素,類別數設置為5,每次訓練輸入的圖片數量為 64。動量值設為 0.949,權重衰減因數設為 0.000 5,學習率設為 0.001,最大迭代次數設為30 000。

▲圖3 二分K均值聚類算法流程

為提高馬鈴薯表面缺陷檢測精度和模型訓練速度,筆者用分步訓練方式優化模型參數。

對最大類間方差法處理后的950張馬鈴薯圖像進行預訓練。經過最大類間方差法處理的圖像沒有背景因素干擾,模型可以更快、更準確地學習馬鈴薯表面缺陷特征,但此時模型穩定性較差。

為提高模型穩定性和檢測精度,在預訓練權重基礎上,對數據集7 123張圖像進行多次訓練。

在基于YOLO算法的馬鈴薯表面缺陷識別訓練過程中,每訓練100次采集一次損失函數值,損失函數值變化曲線如圖4所示。在訓練過程中,迭代至24 000次和27 000次時,學習率開始衰減。由圖4可知,隨著迭代次數的增加,損失函數值不斷減小,在訓練到25 000次時,損失函數值已經趨于平穩。

▲圖4 損失函數值變化曲線

4.2 評價標準

通過精度AP、平均精度MP、識別時間t三個主要指標來評價馬鈴薯表面缺陷檢測的效果。召回率R為:

(14)

精確率P為:

(15)

平均精度MP為:

MP=AP/E

(16)

式中:Tp為馬鈴薯表面有缺陷樣本被檢測為有缺陷的數量;Fp為馬鈴薯表面無缺陷樣本被檢測為有缺陷的數量;FN為馬鈴薯表面有缺陷樣本被檢測為無缺陷的數量;E為識別數量。

4.3 缺陷檢測

選取360張馬鈴薯圖像用于測試筆者提出的馬鈴薯表面缺陷檢測方法的識別效果,每類缺陷圖像均在60張以上,其中38張圖像至少包含兩種缺陷,另有無缺陷圖像60張。識別結果如圖5所示,在不同背景下,筆者提出的檢測方法均能夠準確識別缺陷位置和缺陷種類,對60張無缺陷的馬鈴薯圖像,也均可以實現準確檢測。

▲圖5 馬鈴薯表面缺陷檢測方法識別結果

為進一步分析馬鈴薯表面缺陷檢測方法的識別效果,與高光譜成像法、基于輕量卷積網絡的方法、多光譜成像法、原YOLO V4算法進行對比,對比結果見表3。表3中,×表示方法不能檢測,Δ表示沒有試驗數據。對于發芽缺陷,高光譜成像法和筆者方法識別精度達到100%,原YOLO V4算法和多光譜成像法識別精度不足90%。對于機械損傷缺陷,筆者方法明顯高于其它方法。對于病斑缺陷,筆者方法識別精度相比原YOLO V4算法提高了10個百分點以上。對于蟲眼缺陷,筆者方法與原YOLO V4算法的識別精度均達到100%,多光譜成像法識別精度只有84.71%,高光譜成像法和基于輕量卷積網絡的方法不能檢測此類缺陷。對于腐爛缺陷,筆者方法識別精度達到98.86%,高于其它檢測方法。

表3 馬鈴薯表面缺陷檢測方法對比

在平均識別精度方面,筆者方法相比原YOLO V4算法提高了7.03個百分點,相比其它三種檢測方法均提高了3個百分點以上,單幅圖像的識別時間只需要29 ms。筆者方法的平均識別精度達到99.46%,其中,發芽、蟲眼和合格品的檢測精度達到100%。試驗結果表明,基于機器視覺和YOLO算法的馬鈴薯表面缺陷檢測方法可以滿足馬鈴薯表面缺陷快速準確檢測的需求。

5 結束語

針對馬鈴薯表面存在發芽、機械損傷、腐爛、蟲眼、病斑五類缺陷的檢測問題,筆者提出一種基于機器視覺和YOLO算法的馬鈴薯表面缺陷檢測方法。構建馬鈴薯數據集,對馬鈴薯數據集進行圖像增廣,解決原始數據集中圖像數量少且缺陷特征不均衡的問題。對原YOLO算法中的聚類方法進行改進,采用二分K均值聚類算法進行目標框分析。通過最大類間方差法將950張馬鈴薯圖像從背景中分離出來,用于預訓練,在預訓練權重的基礎上對整個數據集進行訓練,得到最終權重。試驗結果表明,筆者提出的檢測方法明顯優于其它四種檢測方法,平均識別精度達到99.46%,對五類缺陷檢測的精度均高于98%,單幅圖像識別時間約29 ms,可以有效實現對馬鈴薯表面缺陷的快速準確檢測。