深度多分支模型融合網絡的胡蘿卜缺陷識別與分割

謝為俊，魏 碩，鄭招輝，楊光照，丁 鑫，楊德勇

（中國農業大學工學院，北京100083）

0 引言

胡蘿卜（Daucus carotaL.）是世界上主要的塊根塊莖類蔬菜，富含胡蘿卜素、多酚及多種微量元素。中國胡蘿卜產量最大且出口最多，2018年產量達2000萬t，接近世界總產量的一半[1]。及時剔除缺陷胡蘿卜有助于提高胡蘿卜的市場競爭力，因此對胡蘿卜的外觀品質評價十分必要。傳統的胡蘿卜缺陷識別分揀具有勞動力消耗大、成本高、主觀性強等缺點，而機器視覺識別技術具有快速無損、客觀標準等優點，越來越多地應用于農業生產中，提高了農業生產現代化水平與生產效率[2]。

20世紀末，有學者開始利用機器視覺技術對胡蘿卜外觀進行評價。但限于當時的技術條件，機器視覺僅能識別胡蘿卜的肩部與根部位置[3]、表面顏色缺陷[4]、部分形狀缺陷[5]、根尖形狀特征[6]等，且識別準確率低，魯棒性差。隨著機器視覺技術的飛速發展，研究人員開始利用先進的軟硬件條件對胡蘿卜分級進行深入研究。Hahn和Sanchez[7]開發了一種簡單的算法，僅使用相距90o的兩幅圖像，就可以在不旋轉相機的情況下準確預測胡蘿卜的體積。許多學者設計了特定的圖像處理算法對胡蘿卜不同外觀缺陷進行檢測。韓仲志等[8]和Deng等[9]針對胡蘿卜青頭、須根、開裂、彎曲等不同缺陷分別設計了圖像處理算法，平均檢測準確率90%以上；Xie等[10]和謝為俊等[11]根據胡蘿卜青頭、彎曲、斷裂、分叉和開裂等不同缺陷特點設計不同的圖像處理算法，總體識別率達90%以上。上述圖像處理算法可實現胡蘿卜缺陷的檢測，但存在準確率較低、算法復雜、魯棒性差等缺點。

機器學習和深度學習技術在圖像分類領域獲得巨大成功，在農業生產領域也得到了大量應用[12]，越來越多學者將其引入胡蘿卜分級領域。Xie等[13]提取正常胡蘿卜的12個特征作為反向傳播神經網絡（Back Propagation Neural Network, BPNN）、SVM、極限學習機（Extreme Learning Machine, ELM）的輸入，將正常胡蘿卜分為4個等級，分級準確率達96.67%，但該方法未涉及缺陷胡蘿卜的分級研究。Zhu等[14]和倪建功等[15]利用深度學習對胡蘿卜的黑斑、須根、彎曲缺陷進行檢測，平均識別準確率達95%以上，但對胡蘿卜外觀影響更大的機械損傷、斷裂、分叉、畸形和開裂等缺陷識別研究還未涉及。

缺陷胡蘿卜通常用作動物飼料或直接丟棄，降低了胡蘿卜種植效益。而分叉、開裂等缺陷胡蘿卜可作為深加工原料，制作胡蘿卜汁、胡蘿卜粉等。但開裂胡蘿卜開裂處會藏有泥土，清洗不徹底會影響胡蘿卜制品質量，甚至導致食品安全問題，因此在深加工前對胡蘿卜開裂區域進行修整十分必要。胡蘿卜開裂區域的精準分割是實現開裂胡蘿卜自動化修整的必要條件。韓仲志等[8]、Deng等[9]和謝為俊等[11]利用胡蘿卜開裂區域與正常區域的顏色、紋理差異提取開裂區域，但提取精準度較差。因此對胡蘿卜開裂區域的精準提取研究十分必要。

為更加全面地評價胡蘿卜外觀品質和開裂胡蘿卜的自動化修整，本研究提出一種集缺陷識別與分割為一體的深度多分支模型融合網絡（CS-Net）。該網絡由胡蘿卜缺陷識別分類網絡C-Net和開裂區域分割網絡S-Net組成，C-Net將ImageNet數據集上預訓練的ResNet-50作為胡蘿卜圖像特征提取器，將提取的特征作為SVM的輸入，得到不同的分類模型，再利用模型融合思想將不同分類模型融合得到最終的分類模型；S-Net將預訓練的ResNet-50作為編碼器，根據不同的分割網絡構造思想設計解碼器，構造胡蘿卜開裂區域分割提取網絡。該網絡為胡蘿卜外觀品質評價和開裂缺陷修整奠定了基礎。

1 材料與方法

1.1 試驗材料

試驗用胡蘿卜購自綠龍食品加工有限公司（山東省濰坊市）。試驗共包括7203幅胡蘿卜圖像，包括正常胡蘿卜2109幅、斷裂1424幅、開裂998幅、畸形665幅、機械損傷1029幅和分叉978幅，胡蘿卜形態種類如圖1所示。對于分類網絡C-Net，每種形態胡蘿卜隨機選取80%作為訓練集，20%作為測試集。訓練集共包含5765幅圖像，其中斷裂、機械損傷、開裂、分叉、畸形和正常胡蘿卜圖像分別為1140、824、799、783、532和1687幅。因不同形態胡蘿卜的圖片數量不平衡，本研究在訓練時采用分層5折交叉驗證，保證每次劃分中包含類別比例與原數據相同。測試集共包含1438幅胡蘿卜圖像，其中斷裂、機械損傷、開裂、分叉、畸形和正常胡蘿卜圖像分別為284、205、199、195、133和422幅。對于分割網絡S-Net，隨機選取543幅開裂胡蘿卜圖像，按照6∶2∶2劃分訓練集、驗證集和測試集。

1.2 圖像獲取及預處理

胡蘿卜圖像由彩色CCD相機（DFK-33UX265）采用8 mm鏡頭（The Imaging Source，Germany）獲得。胡蘿卜圖像采集系統[11]如圖2所示，該系統在光照箱中配置了兩塊互成120o的平面鏡，胡蘿卜放在兩塊鏡子中間，上方的相機可同時捕捉到3幅胡蘿卜圖像，以盡可能多地獲得胡蘿卜表面圖像，圖像尺寸為1920×1080像素。圖像處理算法和卷積神經網絡（CNN）搭建基于Python 3.7、計算機視覺庫OpenCv4.0.0和深度學習庫Keras 2.3.1、Tensorflow 2.0.0。電腦配置為Intel corn Xeon 3.70 GHz CPU，128 GB運行內存，NVIDIA Quadro P2000（5 G）GPU，Windows 10.1操作系統。

圖像預處理中，利用灰度直方圖雙峰法提取胡蘿卜區域圖像并刪除背景[11]。為使胡蘿卜圖像不變形，將圖像用0填充為尺寸1024×1024×3的圖像，再利用線性插值算法將圖像統一調整為適合CNN輸入的尺寸（224×224×3）。為去除圖像邊緣高頻噪聲，提出一種基于圓形區域的均值濾波器，如圖2a所示。

對于給定中心點（xd,yd），其鄰域像素位置（xp,yp）由式（1）計算得到。

式中R為圓形濾波器半徑，P為采樣點總數，p為采樣點序號。通過此操作得到的采樣點坐標可能均不是整數，因此通過插值獲得其位置的像素值，本研究采用雙線性插值法，數學表達式如式（2）

式中f(xp,yp)為點（xp,yp）的像素值，f(ip,jp) (ip,jp=0,1)為點（xp,yp）相鄰四點像素值。則中心點（xd,yd）像素值由式（3）計算

圖像三維空間顯示是將圖像灰度值作為圖像Z軸進行三維顯示。

由圖3b、3c使用圓形濾波器濾波前后胡蘿卜圖像的三維空間顯示圖可知，圓形濾波器對圖像的高頻噪聲有很好的抑制效果。圖像經預處理后，既去除了背景又將胡蘿卜圖像變為適合CNN輸入的正方形圖像，同時保證了胡蘿卜無變形，保留了原始圖像的拓撲結構，避免識別結果受胡蘿卜變形的影響。

2 深度多分支模型融合網絡

2.1 網絡總體結構

本研究提出了一種集胡蘿卜缺陷識別分類與開裂缺陷區域分割提取為一體的深度多分支模型融合網絡（CS-Net），該網絡由胡蘿卜缺陷識別網絡（C-Net）和胡蘿卜開裂區域分割提取網絡（S-Net）組成，總體結構如圖4所示。ResNet-50包含的殘差模塊能夠解決深度網絡訓練退化問題[16]，大量研究表明殘差網絡是十分優秀的圖像特征提取器[17-18]，因此本網絡以預訓練的ResNet-50為基礎，C-Net將ResNet-50作為圖像特征提取器，輸出不同層的卷積特征，將其作為SVM[19]的輸入，訓練得到不同的分類模型，再通過不同的模型融合策略（硬投票（Hard voting）、軟投票（Soft voting）和Stacking法）將各個分類器融合為最終的胡蘿卜缺陷識別網絡。S-Net將ResNet-50作為分割網絡的編碼器，使用三種經典分割網絡（U-net[20]、FCN[21]和SegNet[22-23]）的構造思想設計分割網絡的解碼器，構造胡蘿卜開裂區域分割提取網絡。

2.2 缺陷識別網絡（C-Net）

2.2.1 池化方法

池化層是CNN中重要組成部分，它能夠實現圖像特征下采樣、去除圖像冗余信息、簡化網絡復雜度從而減少模型的參數量。常見池化方法包括一般池化、重疊池化和空間金字塔池化（Spatial Pyramid Pooling，SPP）。在C-Net中采用的池化方法包括平均池化（Average Pooling，AVP）、全局平均池化（Global Average Pooling，GAP）和SPP。AVP如圖5a所示，通過計算池化區域的平均值作為該區域池化后的值；GAP是平均池化的一種特殊形式，此時池化窗口尺寸與特征圖尺寸相同；SPP將一個池化操作分成若干個不同尺寸的池化操作，用不同大小的池化核作用于上層的卷積特征，如圖 5b所示。SPP能使任意大小的特征圖轉換成固定大小的特征向量，實現特征圖的多尺度提取。圖像卷積特征通過池化操作再經過全連接層后輸出4096維數據，作為SVM的輸入。

2.2.2 數據降維方法

通過CNN提取的特征維度較高，維度越高的數據在每個特征維度上的分布就越稀疏，這不利于機器學習模型的訓練，因此對高維數據進行降維十分必要。本研究采用主成分分析（Principal Component Analysis，PCA）和Relief降維方法[24]。PCA通過某種線性映射將高維向量轉為低維空間表示，并使得在所投影的低維空間上數據方差盡可能大。PCA具有使用較少的數據維度，保留盡可能多的原數據信息。ReliefF是一種基于特征權重的特征選擇算法，其設計了一個“相關統計量”來度量特征的重要性，該統計量為向量，它的每個分量是對其中一個初始特征的評價值。特征子集的重要性就是子集中每個特征所對應的相關統計量之和，因此這個“相關統計分量”也可以視為是每個特征的“權值”。指定閾值，選擇大于閾值的相關統計量分量所對應的特征。

本研究中，PCA降維后數據維數分別為256、500、1000、2000；ReliefF方法中K近鄰參數k的取值為150，閾值選擇為0.05。

2.2.3 SVM訓練

將ResNet-50輸出的特征向量作為SVM的輸入，使用非線性映射算法，通過核函數在高維空間中找到最優超平面H，使樣本變得線性可分，實現胡蘿卜不同缺陷種類的正確識別。超平面H可用ωTx+b表示，樣本空間中任一點x到超平面的距離γ可由式（4）計算

式中ω是超平面H的法向量，b為超平面H的截距。

本研究中，選擇徑向基函數（Radial Basis Function, RBF）作為SVM的核函數，懲罰系數為0.5，停止訓練時的誤差值為10-3，多分類方式采用一對一形式（ovo）。

2.2.4 模型融合策略

模型集成學習策略已經在農業領域得到廣泛的應用[25-26]。傳統CNN使用單一的分類模型[27]，但不能適應胡蘿卜的所有特征。集成學習思想則是利用訓練數據首先得到一組基模型，再利用模型融合策略將他們組合起來。集成學習綜合各個基模型的優點，往往可獲得比單一模型更顯著的性能[26]。本研究由ResNet-50的第1、10、22、40、49層輸出特征作為輸入訓練得到5個支持向量機（SVM）模型作為基模型。在此基礎上，利用硬投票、軟投票和Stacking集成方法，得到最終胡蘿卜缺陷分類模型。本研究所采用的三種模型融合策略執行步驟如下：

1）硬投票，又叫相對多數投票法。首先獲得5個基模型在測試集上的預測類別Ci（i=0, 1, 2, 3, 4），然后統計5個基模型輸出結果中每個類別的票數，最終輸出結果為得票最多的類別。當票數相同時，則隨機選擇一個類別作為最終輸出結果。

2）軟投票，又叫加權平均法。首先獲得5個基模型在測試集上的每個類別的預測概率pri(i= 0,1,2,3,4)，再利用式（5）計算出每個類別融合后的預測概率。

式中N為分類器個數，ki根據各分類器在測試集上的準確率排序確定，準確率最高的ki=5，最低的ki=1。

3）Stacking集成方法由兩級分類器構成，其中低級別的模型稱為基模型，高級別的稱為元模型。本研究中低級別模型所用分類器為SVM，高級別模型所用分類器為梯度提升決策樹（Gradient Boosting Decision Tree, GBDT）[25]。本研究中GBDT算法的學習率為0.01，最大迭代次數為150，樹的深度為10。具體訓練步驟如下（圖6）：①將胡蘿卜圖片數據集根據4∶1劃分為訓練集與測試集，數據集在經過ResNe-50網絡特征提取，分別輸出第1、10、22、40和49層的訓練集(it=1, 10, 22, 40, 49)和測試集數據(it=1, 10, 22, 40, 49)。②將第1層輸出的訓練集數據利用5折交叉驗證的方法隨機均等劃分為5個子集D1、D2、D3、D4、D5，依次選取其中一個子集Div(iv=1, 2, …, 5)作為驗證集，其他4個作為訓練子集③將D-iv作為SVM的訓練集，Div作為驗證集并輸出驗證集的預測結果aiv，同時對原始測試集進行預測，輸出預測結果biv。④對（3）循環5次得到{a1,a2,a3,a4,a5}，將這5次結果按列合并得到和標簽Y相同長度的向量A1，對測試集預測值{b1,b2,b3,b4,b5}取平均值得到和標簽Y相同長度的向量B1。⑤對另外四個數據集（第10、22、40、49層輸出特征）執行上面步驟得到由原始訓練集(it=10, 22, 40, 49)產生的A10,A22,A40,A49和原始測試集(it=10, 22, 40, 49)產生的B10,B22,B40,B49。⑥將A1,A10,A22,A40,A49和原始訓練集DitTrain的標簽Y合并得到新樣本數據{(A1,A10,A22,A40,A49),Y}作為二級分類器GBDT的輸入特征，{(B1,B10,B22,B40,B49)}作為GBDT測試集生成最終結果。

2.3 分割網絡（S-Net）

為了對胡蘿卜開裂缺陷區域進行自動化修整，本研究將ResNet-50作為編碼器，設計分割網絡的解碼器實現對胡蘿卜開裂區域的精準提取。

2.3.1 構造方法

全卷積神經網絡[21]（Fully Convolutional Network，FCN）是最早的分割網絡，它將CNN全連接結構用卷積結構代替，將原本輸出的一維向量改為二維特征圖的形式，保存了圖像的二維信息。利用反卷積操作對特征圖進行上采樣，并將編碼器相應尺度的特征圖復制過來與上采樣后的特征圖進行對應像素相加（Add），再通過卷積操作組合特征后輸入下一個反卷積層，如圖 7a所示。U-net分割網絡[20]為了使網絡在上采樣的過程中獲得更多信息，恢復圖像更多細節，將編碼器對應尺度特征圖與反卷積后相同尺寸特征圖進行級聯（Concat），再通過卷積操作后作為下一個反卷積層的輸入，如圖7b所示。SegNet[22]為了解決網絡編碼器在池化操作時丟失位置信息的問題，在編碼器執行最大池化操作時，將特征最大值的位置作為最大池化索引保存。網絡解碼器在上采樣的時候根據最大池化索引直接恢復圖像特征值，如圖7c所示。本研究將ResNet-50作為分割網絡的編碼器，分別根據FCN、U-net和Segnet網絡構造思想構造網絡的解碼器并將ResNet-50第1、10、22、40、49層輸出特征尺寸作為解碼器的反卷積后特征尺寸。

2.3.2 損失函數

損失函數的選擇會直接影響分割網絡的分割效果，交叉熵損失函數（Cross Entropy loss）[28]、骰子系數差異函數（Dice loss）[29]、焦點損失函數（Focal loss）[30]是分割網絡常用的損失函數。交叉熵損失函數主要是用來判定實際輸出與標簽的差異，網絡即可利用這種差異經過反向傳播去更新網絡參數。該損失函數在分割網絡中分別評估每個像素的類預測，然后對所有像素求平均，這對于類別數據不均衡時效果較差。骰子系數差異函數是一種集合相似度度量函數，用于計算兩個樣本之間的相似度，適用于樣本不均的情況，但是會對反向傳播造成不利的影響，造成訓練波動大。Lin等[30]提出焦點損失函數用于解決上述兩種激活函數存在的問題，焦點損失函數是動態縮放的交叉熵損失函數，通過增加動態縮放因子，實現在訓練過程中動態調整簡單樣本的權重，讓模型快速關注于困難樣本的分類，由式（6）計算得到。由于本研究中胡蘿卜開裂區域在圖像中占比較小，因此本研究選擇焦點損失函數作為分割網絡損失函數。

式中pr是類別預測概率，y是標簽值，β是動態縮放因子。

2.3.3 分割網絡性能評價指標

為了衡量分割網絡的性能，需要經過標準、公認的指標進行評估。目前常用指標包括分割網絡模型尺寸、分割時間、準確率[31]，其中準確率包括PA、MPA和MIoU。PA是最簡單的度量標準，只需計算正確分類的像素數量與像素總數之間的比率；MPA是改進的PA，按類計算正確像素的比率并取平均；MIoU是實際區域和預測區域的交集和并集之間的比率，作為分割網絡的標準度量。

式中k為分割目標類別數，pii表示分類正確的像素數，pij表示i類被誤判斷為j類的像素數，pji表示j類被誤判斷為i類的像素數。

3 結果與分析

3.1 卷積層特征、池化方法與數據降維方法對模型性能的影響

表1為ResNet-50不同層（1、10、22、40、49）輸出特征在不同池化方法和不同數據降維方法下訓練的SVM模型的性能。準確率為模型在分層5折交叉訓練下驗證準確率的平均值。

由ResNet-50不同層輸出卷積特征訓練的模型性能各不相同。由表1可知，同樣的池化和降維方法，高層網絡（40、49）輸出特征訓練的模型準確率比低層（1、10、22）的高。為解釋該現象，將ResNet-50模型的第1、10、22、40和49層輸出特征進行可視化，如圖8所示。由圖可知，ResNet-50網絡第1、10、22層輸出特征更多的是圖像的一般特征（邊緣、紋理、色彩等），而第40和49層輸出特征則是圖像高層語義特征，其將圖像特征抽象為更加容易區分的特征，因此高層網絡（40、49）輸出特征訓練的模型準確率要比低層（1、10、22）的高。

表1 卷積特征、池化方法與數據降維方法對模型性能的影響 Table 1 Effects of convolution feature maps, pooling method and dimensionality reduction methods on model performance

不同池化方法對模型性能影響不同。由表1可知，在低層特征下不同池化層的模型性能從大到小排序為SPP、AVP、GAP，這可能是因為SPP有3個不同尺寸的池化核對卷積特征進行提取，因而可以在不同尺度上提取卷積特征，在某種程度上使用SPP相當于額外增加了1層卷積層，所以在低層特征的基礎上可以抽象出更高層次的特征，因此采用SPP的模型性能最好，在第1層卷積特征上準確率達到84.07%，比采用AVP的準確率高出近10個百分點；AVP使用的池化核尺寸小于低層卷積特征尺寸，使用窗口滑動法在卷積特征上依次滑動提取特征，而GAP的池化核尺寸與低層卷積特征尺寸相同，所以在相同的低層卷積特征上AVP提取的特征要遠遠多于GAP，這就導致了使用AVP的模型性能要高于采用GAP的模型。在高層語義特征下不同池化層對模型性能影響較小，因為高層卷積特征圖尺寸較小，包含的信息數據量少，用不同的池化方法提取得到的特征差別小。在第49層卷積特征下，采用SPP的模型性能略差于采用其他兩種池化方法的，因為第49層輸出的卷積特征尺寸只有7×7，使用SPP會額外提取到冗余的信息，從而降低模型性能。此時的AVP與GAP的池化核尺寸相同，因此采用GAP與AVP的模型性能表現一致。

在機器學習中，對數據進行降維處理是必要的。對數據進行降維處理不僅能減少特征數量還會提高模型的性能。由表1可知，PCA在卷積特征上對模型性能影響比ReliefF法更明顯，可能是因為該方法能更有效地剔除經過池化層提取后特征包含的冗余信息。從表1中也可以看出，一些模型在降維后性能下降，原因在于降維過程中不可避免地去除了一些對分類結果有積極意義的數據，從而影響了模型性能。

3.2 不同分類模型的性能比較

為進一步提升模型的分類精度，本研究采用模型融合的思想對模型進行集成學習。根據表1，在保證融合后模型包含圖像多尺度特征，本研究最終選擇的基模型L1、L2、L3、L4、L5分別為ResNet-50第1、10、22、40、49層輸出卷積特征訓練的SVM模型，池化方法、降維方法如表2所示。采用硬投票、軟投票、Stacking方法分別得到3個不同的元模型，各模型在測試集上的準確率排序為硬投票＜軟投票＜Stacking方法。硬投票以簡單的少數服從多數原則，對模型的性能提升不明顯。軟投票根據各個分類器在驗證集上的準確率排序給予不同的權重，使得表現更好的模型在最終的預測輸出中占有更大的比重，因此軟投票方法對模型提升作用大于硬投票方法。Stacking方法則是利用各模型在驗證集和測試集上的預測結果作為新的訓練集和測試集訓練二級分類器，它能以任意函數形式逼近真實值，因此Stacking法所獲得的模型在測試集上的精度最高，達98.40%，相比單一分類器性能提升了3個百分點以上。傳統的HOG+SVM和LBP+SVM模型性能僅相當于第1層卷積層提取特征模型L1的性能，說明CNN自動提取特征優于人工手動提取特征。

表2 模型性能比較 Table 2 Performances comparison of different models

計算由Stacking方法獲得的模型在測試集上的混淆矩陣，由圖9可知，模型共正確識別出斷裂、機械損傷、開裂、分叉、畸形和正常胡蘿卜分別為278、203、195、194、127和418幅，識別率分別為97.89%、99.02%、97.99%、99.49%、95.49%和99.05%，總體識別率為98.40%，表明融合后的模型可以正確區分各缺陷的類間差異與類內差異，但誤識別情況依然存在，因為所有的圖片并不都是完美的，存在一些不可避免的瑕疵。

3.3 不同方法構造的分割網絡性能比較

本研究以ResNet-50為編碼器，分別以FCN、U-net、Segnet思想構造出3種不同的解碼器，得到3種分割模型Res-FCN、Res-U-net、Res-Segnet。由表3可知，Res-U-net綜合表現最好，在測試集上的PA、MPA、MIoU分別為98.31%、96.05%、92.81%，且模型最小，為0.24G，單幅圖像分割時間為0.72 s。Res-FCN的表現略低于Res-U-net，但其模型大小達到1.5 G，不適合配置較低的設備使用。Res-Segnet的表現最差，MIoU僅為88.68%，但其模型尺寸相比Res-FCN減少了78%，原因在于Res-Segnet復制了編碼器的最大池化索引，而Res-FCN則是復制了編碼器特征，因此在內存占用上Res-Segnet比Res-FCN更高效。為更好地說明本研究設計的網絡模型的先進性，將其與目前先進的分割模型DeeplabV3+[32]進行比較，Res-U-Net的PA、MIoU與DeeplabV3+的相當，而MPA優于DeeplabV3+，模型大小僅為DeeplabV3+的一半，單幅圖像分割速度快于DeeplabV3+，說明本研究設計的網絡結構可以快速分割出胡蘿卜開裂區域。

表3 不同分割網絡的性能 Table 3 Performance of different segmentation models

3.4 Res-U-net訓練過程

Res-U-net模型訓練時損失函數為焦點損失函數，α,β分別為0.25和2，優化器選擇為Adadelta，不預設學習率。Res-U-net模型在訓練集和驗證集上的準確率、損失如圖 10所示。由圖可知，Res-U-net模型在前50輪訓練的時候，準確率快速上升、損失值迅速下降，250輪訓練以后模型準確率和損失趨于穩定，經過300輪訓練后，在驗證集上的準確率和損失分別為98.40%和0.072，說明設計的網絡結構、選擇的損失函數和優化算法可以使模型快速收斂，達到較高的準確率和較低的損失。

3.5 模型分割結果可視化比較

為更直觀比較Res-U-net、Res-FCN、Res-Segnet模型的分割效果，在測試集中隨機選取4幅面積、位置不同的開裂區域圖像，將不同模型的分割效果可視化，如圖 11所示。由圖可知，Res-U-net的分割效果最接近于原始標記結果，Res-FCN分割區域邊緣存在明顯的鋸齒狀，Res-Segnet分割區域比原始標記區域小，且存在空洞現象。原因在于Res-FCN通過上采樣卷積層生成比較粗糙的分割圖，而Res-U-net和Res-Segnet在網絡中引入跳躍連接生成邊緣平滑的分割圖。由Ⅰ、Ⅲ可知，Res-U-net分割效果均接近于原始標記圖，表明Res-U-net分割效果不受開裂區域面積大小的影響。由Ⅲ、Ⅳ可知，Res-U-net對胡蘿卜不同位置的開裂缺陷均有較好的分割效果。由Ⅱ可知，Res-FCN、Res-Segnet、Res-U-net均未將胡蘿卜的周向凹陷分割為開裂，說明這些模型均很好地學習到了胡蘿卜開裂區域特征。綜上，Res-U-net模型分割精度高、魯棒性強，可作為胡蘿卜開裂區域自動分割模型。

4 結論

1）本文提出了一種集胡蘿卜表面缺陷識別與開裂區域分割為一體的深度多分支模型融合網絡，在自制的胡蘿卜表面缺陷數據集上，實現了胡蘿卜不同表面缺陷識別和開裂區域分割提取。

2）以預訓練的ResNet-50為胡蘿卜圖像特征提取器，分別輸出ResNet-50的第1、10、22、40、49層特征作為支持向量機（SVM）的輸入，得到5個不同的分類模型。隨著網絡層數的增加，模型準確率不斷提高，第49層輸出特征訓練的模型準確率最高，測試準確率為94.71%。

3）為提高胡蘿卜缺陷識別分類模型的準確率，采用硬投票、軟投票和Stacking方法對5個分類模型進行融合得到的3個融合模型，其準確率從小到大排序為硬投票、軟投票、Stacking方法，Stacking融合方法得到的模型準確率最高為98.40%。

4）以預訓練的ResNet-50為編碼器，根據FCN、U-net、Segnet網絡的思想構建了多個胡蘿卜開裂區域分割模型。結果表明Res-U-net分割模型綜合性能最好，其像素準確率、類別平均像素準確率、平均交互比為98.31%、96.05%、92.81%，模型尺寸為0.24 G，單幅圖像分割時間為0.72 s。

本文提出的深度多分支模型融合網絡能夠準確識別出胡蘿卜表面缺陷類型，并精確地分割提取出胡蘿卜開裂區域，為后續更加全面地評價胡蘿卜表面質量和開裂胡蘿卜的修整奠定了基礎。