基于全卷積神經網絡的核桃異物檢測裝備設計與試驗

謝麗娟 戴犇輝 洪友君 應義斌

(1.浙江大學生物系統工程與食品科學學院， 杭州 310058；2.浙江省農業智能裝備與機器人重點實驗室， 杭州 310058；3.金華市婺城區東方紅林場， 金華 321025)

0 引言

食品異物是食品生產過程中較為常見的一種質量缺陷，同時也是食品品質和安全投訴的主要來源[1-2]。異物污染不僅對消費者的身體健康造成傷害，也同樣給企業帶來影響。因此，迫切需要食品異物快速檢測的技術和設備來提升食品的品質。

現代檢測技術中無損檢測技術因非侵入性特點在生產加工過程中得到了廣泛的關注和應用[3]，根據檢測原理包括光學、聲學、電學等。X射線具有較強的穿透能力，能檢測食物(如肉類、酸奶)中的紙張、纖維等異物[4]。超聲波檢測技術根據聲波的振動原理，目前在食品產業中的應用包括對方腿肉中的玻璃、金屬等小尺寸異物的檢測[5]。核磁共振方法對塑料和有機物這類低密度異物有較好的檢測效果，是對X射線和CT成像的很好補充[6]。近紅外技術(780～2 526 nm)可以對大米[7]、麻油[8]等食品摻假進行檢測。太赫茲光譜檢測(30～3 000 μm)是一種新興且有較大潛力的技術[9]，介于中紅外和微波的范圍之間，由于其波長較長，不易受散射影響，在食品異物檢測方面也得到了較好的應用[10]。不論是X射線還是紅外檢測設備，都存在設備體積大、安裝復雜、價格高昂等問題。可見光成像技術在模擬人類視覺對食品異物檢測識別中應用最為廣泛，具有操作簡單、成本低廉等優點，但檢測處理速度受硬件和算法影響[11]，同時，因可見光的透過性弱，基于透射圖像的可見光成像技術對于組織較厚的食品在應用時受到很大限制，對異物識別正確率低。

隨著硬件的提升、數據集的建立和深度學習技術的發展，機器視覺技術在圖像分割和目標識別上的準確率不斷提高。作為機器學習中的重要子集，深度學習的相關研究不斷升溫，能夠實現對數據的快速準確處理，已被應用于谷物[12]、水果[13-14]、農作物[15-16]、堅果[17-18]等農產品目標識別和品質檢測上。目前，卷積神經網絡(Convolutional neural networks，CNN)能用于種類繁多的目標識別，且能滿足識別速度要求，可用于異物識別。

核桃具有較高的營養價值和較好的食用體驗，是堅果類食品中最常見的一種堅果，但核桃異物是引起其品質下降的重要因素。目前市場上有較大規模的機械自動化生產線可實現脫青皮、清洗、干燥、除癟、分級、包裝等操作以提升核桃果實的品質和品相。然而，異物檢測仍是一個薄弱的環節。為了滿足現有生產企業的異物檢測要求，需要在現有的堅果加工生產線上增加異物檢測的功能，同時要求該異物檢測模塊在保證檢測準確率的前提下，不需要高昂的檢測成本。

針對核桃生產線存在的異物檢測需求，本文首先根據現有通用的核桃加工生產線，設計并搭建一套核桃異物檢測設備進行核桃異物的檢測，即通過工業相機實時采集生產線上的核桃圖像，獲取直觀的圖像信息數據，結合深度學習與計算機視覺技術，利用基于全卷積神經網絡(Fully convolutional networks，FCN)的算法進行圖像邊緣檢測，對核桃生產加工中可能出現的異物進行檢測，并通過試驗對其性能加以驗證。

1 功能需求分析與系統整體設計

1.1 異物分析

圖1 樣本實物圖Fig.1 Pictures of samples1.核桃 2.紙片 3.石頭 4.螺母 5.螺絲 6.塑料 7.紡織物 8.樹葉

如圖1所示，根據核桃生產加工過程中可能接觸的各個環節[19-20]，異物主要包括：樹葉和石子(來源于采摘過程中夾帶)、紙片(來源于包裝紙箱和工作記錄本)、螺絲螺母(來源于設備松動脫落)和紡織物(來源于工作人員著裝)等。這些異物的材質、尺寸和顏色差異較大。

1.2 系統工作原理

相機實時采集生產線上的完整核桃和異物圖像，并對圖像格式進行轉換，在此基礎上用算法對核桃和異物的輪廓進行分割并標注，把檢測到的異物標記出像素坐標，傳輸到CPU單元，CPU單元讀取到輸入信息后，判斷有效標志位，并將噴吹信號發給企業自主研發的噴吹控制器，啟動噴吹系統，用高速氣流將異物剔除。

1.3 系統硬件設計

本研究對堅果基地的18家核桃加工企業進行了調研，對其設備進行了現場考察。經實地測量，在核桃進行最終產品裝袋前，大部分企業使用的輸送線尺寸如圖2所示。綜合考慮實際生產的環境空間條件，同時為了設備的安裝搭建和后期的調試維護方便，在不影響正常生產的基礎上，設計一套異物檢測設備安放于原有的生產線上，達到增加異物檢測功能的目的。該設備組成包括設備框架、圖像采集系統和恒定光源系統。

圖2 設備與生產線結構示意圖Fig.2 Structure of equipment & production line1.異物檢測裝備 2.生產線

(1)設備框架

圖2為設備安裝于生產線上的結構示意圖，該設備的框架尺寸(長×寬×高)為470 mm×600 mm×615 mm，由20 mm×20 mm的鋁型材搭建而成。設備上、下兩部分可以進行獨立開關，便于設備的調試。上部分用于對相機的調節，在工作過程中打開該部分不影響生產線正常運行。設備下部分用于調節光源，以及對生產線工作狀態的觀察。

設備的尺寸參數由傳送帶寬度、可用空間、環境障礙、相機鏡頭焦距等要素決定。設備的寬度根據傳送帶的尺寸設計，需要考慮帶寬和兩側支撐。所以設定框架主體部分尺寸(長×寬)為470 mm×470 mm，不遮擋生產線。框架底部的橫向鋁型材，用以增加接觸面積，提高設備的穩定性。該框架安裝簡單，且質量為5.4 kg，便于搬運。

(2)圖像采集系統

圖像采集系統由工業彩色千兆以太網相機(DVP-30GC03E-33型，分辨率1 280像素×960像素，60 f/s)和500萬像素鏡頭(TCL-1216-5MP型，購自德國The Image Source)組成，用于拍攝傳送帶上的核桃與異物。該相機可承受苛刻的環境，如沖擊或振動，滿足應用時對一致性和可靠性的要求。

圖像的視野范圍公式為

(1)

式中f——鏡頭焦距，mmL——工作距離，mm

VCMOS——相機芯片長邊長度，mm

HCMOS——相機芯片短邊長度，mm

VFOV——視野范圍長邊長度，mm

HFOV——視野范圍短邊長度，mm

由式(1)得

(2)

(3)

考慮到生產線的實際尺寸、框架主體尺寸及相機實際工作的區域，選擇了可能工作的部分鏡頭相關參數，如表1所示。生產線寬度(考慮傳送帶與壁面間隙，左右各50 mm)，即視野范圍長邊長度最小值為306 mm。芯片邊長取8 mm，工作距離L取470 mm，將數據代入式(2)，得f≈12.288 mm。

表1 鏡頭參數Tab.1 Parameters of lens

為了給布置光源、電源線等保留充足的空間，總體高度約為寬度的1.3倍，得高度為615 mm。其中，相機與鏡頭總長約為100 mm，保留數據線與電源線空間約50 mm，檢測裝備底部與待測對象距離約30 mm，則實際工作距離約為：L=615-100-50+30=495 mm。

為了保證檢測對象尺寸和生產線高度變化時圖像采集系統的穩定性，相機的固定架設計為垂直于輸送帶的可移動結構。

(3)恒定光源系統

在圖像采集的過程中，較差的圖像質量會增加后續圖像處理的難度。在實際生產中，不同時間段的光線差異和不同生產環境差異都會影響圖像質量，增加誤差。為此，設計了恒定光源系統，由LED燈帶、漫反射涂層、遮光板組成，可提高拍攝圖像的質量，減少誤差。

圖3中LED燈帶由4條環形白光LED燈(12 V，6 500 K白光)組成，燈帶沿著框架的內部邊緣布置，長400 mm，距離底部約120 mm，每條燈帶上均勻布置25個燈珠。這種燈帶布置方式可使待測對象輪廓突出，且照射均勻。圖3中的漫反射涂層，用于增加光線在圖像采集設備中的反射，使光源更加均勻。遮光板由黑色的不透光亞克力材質組成，用于隔絕外界光源干擾。同時，由于實際生產的環境中存在灰塵，遮光板能起到對內部相機鏡頭及其他設備的保護作用。

圖3 異物檢測裝備Fig.3 Image of impurity detection equipment1.設備框架 2.圖像采集系統 3.遮光板 4.漫反射層 5.LED燈帶 6.待測對象

2 檢測算法

2.1 圖像采集

圖像采集于浙江省杭州市臨安區的堅果基地，拍攝生產線上的核桃和異物共60幅圖像，異物為核桃生產加工中常見的內源性和外源性異物，包括樹葉、紙片、螺絲等。每幅圖像中平均包含了30個核桃和不同數量、不同類型、不同尺寸和不同顏色的異物。

2.2 數據集制備

對獲取的60幅核桃和異物圖像，按照比例4∶1隨機分為訓練圖像集和驗證圖像集。訓練集主要用于模型訓練結果的評估，驗證集用于對模型實際檢測效果的評估。

2.3 算法模型

CNN是利用線性代數中矩陣的原理對圖像進行分類和識別，主要包括：①卷積層，也稱部分連接層，起到特征提取的作用。②池化層，用于減少特征映射的尺寸，減少需要學習的參數數量和在網絡中執行的計算量，提取由卷積層生成的特征映射圖上某個區域的特征。③全連接層，用于綜合前面提取到的所有特征。

雖然CNN的算法在分類工作中有較高的準確率，但是在實際檢測中的效果卻不佳，原因是分類時需要被測物特征具有位置不變性，而實際檢測時則需要對目標的移動做出快速響應。為了解決這個問題，本文選擇全卷積神經網絡(圖4[21])將CNN最后的全連接層全部用卷積層替代，這使得網絡中所有的計算都是共享的，可以同時處理位置可變性和平移可變性問題。

在FCN網絡結構調整過程中，比較表征模型性能的4個參數(模型尺寸、訓練時間、準確率和損失值)，尋找出適合核桃異物識別任務的最優網絡結構。綜合考慮模型的訓練速度和準確率后，通過調整，選擇了適合核桃異物識別的FCN網絡，該網絡擁有15層卷積層和5層池化層(圖4)。其中選用FCN-32s是為了獲得更多的全局信息；選用FCN-16s是為了獲得更多的局部信息；選用FCN-8s是為了提供更精確的邊界信息。在生產線核桃異物檢測時發現此算法能達到較好的識別效果，滿足檢測要求，故沒有對算法改進。

2.4 邊緣檢測

圖4 FCN網絡結構圖Fig.4 Network structure of FCN

由圖像采集系統獲取的圖像分辨率為1 280像素×960像素，需要先將圖像通過Matlab軟件處理為512像素×512像素的bmp格式。如圖5所示，采用VGG Image Annotator對bmp圖像進行標記，具體處理步驟為：將核桃和異物的輪廓全部人工標出，形成獨立的封閉曲線，此處不區分類別，只標注輪廓；將標注的輪廓分為2個標簽：核桃和異物，圖像其余部分默認為背景；導出json格式的文件，文件中包含標簽和對應的坐標位置(背景像素被標注為0，核桃像素被標注為1，異物像素被標注為2)。

圖5 標記后的核桃與異物Fig.5 Labeled walnuts and impurities

2.5 模型訓練

對優化完成的全卷積神經網絡模型進行訓練，并對其中的每幅圖像進行亮度調整，提高網絡泛化能力。對所有的訓練圖像進行訓練完成后，再對其進行驗證分析，直至誤差收斂于穩定數值，停止訓練，完成神經網絡模型訓練。

2.6 評價指標

為了客觀評價異物檢測設備的工作性能，將該設備應用于生產線，拍攝加工生產時的實時圖像，對檢測誤差進行分析，分別計算訓練集和驗證集的檢測準確率及檢測速率，使檢測速率能滿足生產線的實際運行速度要求。

3 試驗

3.1 試驗平臺環境配置

試驗平臺環境為Intel Core i7-8700@3.2 GHz，運行內存16 GB，GPU選擇NVIDIA GTX1080顯卡，操作系統為Windows 10。選用的編程語言為Python 3.9。選用深度學習框架Pytorch(Facebook人工智能研究院，Stable 1.7.1)。

圖像采集系統配置如前所述，設備實物如圖6所示。

圖6 生產線上的設備Fig.6 Equipment on production line

3.2 誤差分析

表2為FCN模型的混淆矩陣，表明真實值和預測值之間的關系，前后2種狀態都包含背景、核桃、異物3個維度。每組數據的含義為：真實值中對象(背景、核桃、異物)與預測值中對象(背景、核桃、異物)的對應像素點數及匹配度。

表2 FCN模型對各類別預測的混淆矩陣Tab.2 Confusion matrix for class prediction of FCN

研究中最大的誤差像素點數為134 516個像素點，來自于“核桃-背景”，即原本的核桃被預測為背景。主要原因為核桃中的某些特征(如裂縫、紋路)與背景相似。

匹配度是指正確匹配的像素點數與總的真實像素點數百分比(或對應的所有預測值之和)。可以看到，正確匹配的像素點遠高于其余項，說明匹配度較高。

最大誤差匹配度為18.91%，來自于“異物-背景”。檢測的主要目的是找出異物，所以重點分析真實值中異物的誤差，即真實值的異物所在行。可以看到異物被錯誤預測為“背景”的數據(24 873個像素點，18.91%)遠大于被錯誤預測為“核桃”的數據(3 954個像素點，3.01%)。導致這種差異的原因主要有2個：人工標注傳送帶上的污染物不作為異物判斷；由于異物的尺寸普遍較小，像素點的基數不足，錯誤預測產生的影響更大，從而放大了誤差。

3.3 試驗結果分析

由圖7可知，對于異物的識別較為清楚，但是邊緣分割還存在誤差。同時發現，盡管人工標注圖中可能會出現標注的失誤，即核桃被錯標成異物，但是經過訓練的模型，仍能很好地分割出核桃和附近的異物，模型可靠性較好。采用FCN對所有圖像進行分割，并統計檢測結果，得到訓練集準確率為92.75%，驗證集準確率為90.35%，兩者均在90%以上，檢測速率為4.28 f/s，滿足生產線運輸速度為1 m/s的檢測要求。

圖7 異物檢測結果Fig.7 Results of impurity detection

4 結束語

在現有的核桃加工生產線基礎上，設計搭建了一套圖像采集及異物檢測裝備，包括框架、圖像采集系統、恒定光源系統、硬件平臺等，在不改變原有設備和環境的基礎上對加工過程中可能出現的異物進行了檢測。研究過程中通過工業攝像頭對核桃檢測生產線進行圖像拍攝，利用基于深度學習的FCN算法建立核桃異物檢測模型。在樣本量較少的情況下，仍然得到了較好的圖像分割效果，結果顯示訓練集準確率為92.75%，驗證集準確率為90.35%，表明所搭建的異物檢測設備和提出的檢測技術滿足實際檢測需求。