基于SE-ResNet網絡的油茶果果殼與茶籽分選模型

段宇飛 董庚 孫記委 王焱清

摘要：油茶果脫殼后果殼與茶籽混合在一起，采用傳統的機械分選仍會出現摻雜果殼的情況，清選率有待提高。比較ResNet不同層數模型，發現在當前殼籽實驗樣本下ResNet18與其他模型相比每次迭代的平均訓練時間最少，并且驗證集平均準確率最高，同時均優于其他CNN分類模型。為進一步提升分選效率，在ResNet18網絡中引入注意力機制，結果表明，SE-ResNet18模型與改進前的模型相比，訓練過程中每次迭代的平均時間由1.31 s下降到1.13 s，縮短0.18 s，驗證集平均準確率為98.88%，提升1.4個百分點。經過測試后得出，測試集整體準確率為98.43%，與原模型相比提升1.3個百分點，說明使用ResNet18模型結合注意力機制的方法在油茶果果殼與茶籽的分選上是可行的，為油茶果在分選方法提供一種新的理論基礎與思考方向。

關鍵詞：油茶果；深度學習；分選；SE-ResNet18模型；注意力機制

中圖分類號：S226.5： TP391.4

文獻標識碼：A

文章編號：2095-5553 （2023） 04-0089-07

Abstract： When the shell is mixed with the tea seed， the traditional mechanical separation will still be doped with the shell， and the cleaning rate needs to be improved. In this paper， by comparing different layers of ResNet， it is found that in the current shell seed experiment samples， ResNet18 has the lowest average training time of each iteration compared with other models， and the highest average accuracy of verification set， which is more superior to other CNN classification models. In order to further improve the sorting efficiency， the attention mechanism was introduced into the ResNet18 network and the results showed that the average time per iteration in the training process of SE-ResNet18 model decreased from 1.31 s to 1.13 s by shortening 0.18 s， and the average accuracy of the validation set was 98.88% by improving 1.4 percentage points， compared with the model before improvement， and the overall accuracy of the test set was 98.43%， which was 1.3 percentage points higher than that of the original model， indicating that the use of ResNet18 model combined with the attention mechanism was feasible for the sorting of oil tea fruit shells and tea seeds， providing a new theoretical basis and thinking direction for the sorting method of camellia fruit shells and seeds.

Keywords： camellia fruit; deep learning; sorting; SE-ResNet18 model; attention mechanism

0 引言

茶油的內在經濟價值與食用價值較高，能與橄欖油媲美［1-2］。近年來，隨著油茶果種植面積的不斷增大，油茶果的采摘、脫殼、分選和榨油等環節的產業化也在不斷提高［3］。在其產業化的過程中，機械化和自動化［4-5］是縮短農忙時間和提升經濟效益的重點。而分選的機械化中，分選的準確率是分選結果好壞的集中表現，較低的準確率會影響茶籽篩選，給農戶造成不必要的損失，因此油茶果分選準確率的提高對于推動油茶果產業化有著重大的意義。

近些年，深度學習在很多領域上有著突出表現，特別是在農業應用中，呂夢棋等［6］將玉米種子按照玉米顆粒的面積大小分為大中小三類，通過對其他經典模型的對比與ResNet的改進，對這三類玉米進行分類識別，有效地提升了玉米種子總體分類的準確率，其準確率由之前91.87%提升為94.01%。林麗惠等［7］利用不同的模型對9個品種的武夷巖茶葉進行分類，最后發現ResNet50模型替代傳統人工提取特征的方法最有效，其武夷巖茶葉的分類準確率達到了96.04%。蘇寶峰等［8］選取了12個種類的葡萄，并將注意力機制與ResNet50模型相結合，研究表明結合后的ResNet50-SE模型在復雜背景下具有較強的分類性能和魯棒性，最終模型測試集準確率在88.75%，平均召回率為89.17%。

以上的研究表明深度學習應用于農業領域中能夠較好地完成分類任務。因此，本文通過對深度學習算法的研究和對比，探索深度學習模型與油茶果分選結合的可行性。

1 數據采集與處理

本試驗使用的樣本均為油茶果破殼機破殼后晾曬2～5天的油茶果茶籽和果殼。將其使用9～18 mm 的篩網進行篩選，剔除尺寸較小的破碎果皮與較大的未完全脫殼的油茶果。分選裝置上安裝毛刷與長條通道以確保樣本可以在托盤內單獨放置且不會發生重疊現象而影響分選。

油茶果果殼與茶籽圖像采集裝置如圖1所示，總共采集包含茶籽和果殼圖像26張，圖像分辨率為1 280像素×1 024像素（占用空間約為3.9 MB），如圖2所示。

由托盤將樣本圖片分為64個部分，使用matlab軟件將樣本圖片去除寬邊后按64等份進行均勻的剪切，剪切后的圖像分辨率為128像素×128像素（占用空間約為8 KB），共獲得剪切后的圖像1 664張，所有的圖像可以分為4個種類，分別是茶籽、油茶果內殼、油茶果外殼和空格托盤，如圖3所示，圖中發現外殼與茶籽顏色、形狀等特征較為相似，加大了區分的難度。

所獲茶籽圖像590張，外殼230張，內殼234張，空格托盤610張。考慮到果殼分為內殼、外殼后的樣本數量較少，造成樣本不均衡，故在其中隨機選取茶籽圖像250張，空格托盤250張，外殼230張，內殼234張，用作建模的數據集。同時考慮到樣本數量較少不利于模型的訓練，對樣本圖像進行一定的角度翻轉，分別是90°、180°和270°，數據擴充至3 856張。

將數據集按照7∶2∶1的比例劃分為訓練集、驗證集和測試集，即取2 700張圖像進行標注后作為訓練集，取772張標注后作為驗證集，余下384張圖像用于最終測試。

2 模型結構

2.1 ResNet

在深度學習圖像分類中，較為經典的CNN模型有AlexNet［9］，VGGNet［10］以及ResNet［11］等。在模型應用過程中發現增加模型深度會使模型效果變好，但是隨著模型深度繼續增加，簡單的層數堆積并不會使模型準確率得到進一步提升，相反的是訓練過程中產生了梯度消失［12］現象，導致梯度不斷趨近于零，權重不再更新。

殘差神經網絡（Residual Neural Network， ResNet）是由He等［11］首次提出。它使數百甚至數千的訓練強度成為可能。殘差塊的設計是ResNet中最為重要的部分，設定輸入的神經網絡層為x，期望的輸出為H（x），殘差神經的使用創造性解決了因為H（x）難度較大而引起梯度消失的問題，即學習兩者之間的殘差F（x）=H（x）-x。具體結構如圖4所示的殘差結構圖。

SE模塊是由擠壓（Squeeze，Fsq） 和激發（Excitation，Fex）兩部分構成。

擠壓的操作過程是將輸入尺寸為H×W×C的樣本圖片（H為圖片的長度，W為圖片的寬度，C為圖片的特征通道數）用全局平均池化（Global average pooling）進行計算，得到1×1×C的特征向量，便于模型對圖片的全局感受，之后進入特征通道維度相同的全連接層，使用ReLu激活函數對全連接層進行計算，最后使用Sigmoid激活函數［20］生成每個特征通道的權重，權重由Scale操作（Fscale）將輸出的特征向量與之前的輸出特征向量相乘，以此完成在特征圖上的重點特征標注，獲得更具有指向性的特征，從而進一步提升分類的準確性。

2.3 融合注意力機制的ResNet18模型

本文采用ResNet18模型，并添加注意力機制進一步提升整體模型分類準確率，使模型在訓練過程中對樣本圖片的通道信息更加關注。基礎網絡模型采用具有18層結構的ResNet模型，將SE模塊與ResNet18相結合。改進模型如圖6所示。

改進的SE-ResNet18模型參數設置詳見表1。

SE-ResNet18中卷積層conv2_x，conv3_x，conv4_x， conv5_x的殘差塊均為2。殘差單元共有16層，加上conv1的卷積層和全連接層共18層。將SE模塊與ResNet18相結合如圖6所示。圖6中ResNet18的網絡結構保持不變，但是殘差模塊需要在進行加法計算之前對樣本圖片的特征進行了重新標定，其原因是sigmoid函數存在歸一化的權重計算，當卷積網絡較深時，模型的輸入層部分會出現梯度消散現象，使模型的優化變得更為困難。

3 試驗部分

3.1 訓練環境的搭建

本文試驗搭建的訓練環境為Win11操作系統，Intel（R） Core（TM） i7-11800H處理器，使用CPU進行模型訓練，Python版本為3.9.7，Pytorch版本為1.11.0。

3.2 試驗結果與分析

考慮到分類的類別數量較少，無需使用太多層ResNet來進行模型訓練，因此僅分別對18層、34層和50層的模型進行50個epochs試驗，訓練結果如表2所示。

由表2得出，ResNet18在訓練過程中每次迭代平均訓練時間為1.31 s，ResNet50的訓練時間最長，平均時間為2.44 s，可見隨著層數的增加，訓練時間不斷提高，但是平均準確率卻在下降。

不同層次ResNet驗證集準確率與損失值的變化曲線如圖7所示。

從圖7可以發現ResNet18曲線比較平滑，曲線波動幅度較小，ResNet18的損失值最低，驗證集準確率與其他兩個模型相比更高。分析原因可能是圖片復雜程度較低，用ResNet18可以在較少的層數下完成較高的識別分類，考慮到同樣的模型之間差距可能較少，ResNet18在同種模型中做到了最優。再將ResNet18與AlexNet、VGG-16這兩個經典模型作對比，結果如表3所示。

由表3可以看出，AlexNet模型在油茶果分選中驗證集平均準確率高于VGG-16模型，但是與ResNet18相比仍然有一定的差距，不同模型驗證集準確率與損失值的變化曲線如圖8所示。

從圖8得出，AlexNet模型和VGG-16模型在驗證集準確率和訓練損失值方面與ResNet18相比曲線波動較大，收斂速度較慢，模型不夠理想。考慮到ResNet34與ResNet18差距較小，可能存在誤差，在模型的進一步改進中，同時將兩個模型改進，驗證改進后的SE-ResNet18與SE-ResNet34相比是否仍然具有優勢，其結果如表4所示。

從表4可以看出，SE-ResNet18與未改進之前相比在訓練時間上有了明顯的變化，每次迭代訓練平均時間由之前的1.31 s降低為現在的1.13 s，縮短了0.18 s，與此同時驗證集平均準確率提升了1.4%，有了較小的提升，但是SE-ResNet34改進后效果仍然沒有達到較好的效果，如圖9所示。

改進后的SE-ResNet18模型具有更好的穩定性，訓練損失函數和驗證集準確率的浮動較少，將改進前的模型與改進后的模型使用預留的384張測試集圖片進行測試，結果如表5所示。

測試結果說明， SE-ResNet18對油茶果茶籽和果殼的分選具有較高的識別率，能夠很好地進行區分，相比于改進前的ResNet18在內殼、外殼與茶籽的錯誤判別數上均有下降。試驗表明，SE-ResNet18模型應用于油茶果分選能夠滿足實際的需求。

4 結論

1） 為提高油茶果的分選準確率，提出了一種基于SE-ResNet的分選方法，能夠很好地對油茶果混合體進行識別，注意力機制加深了ResNet對圖片特征的提取能力，提升了分選準確率。

2） 以ResNet模型為主體進行研究，考慮到不同層數的ResNet模型，ResNet18模型以1.31 s的最短訓練平均時間和97.48%的驗證集平均準確率在層數方面領先于其他模型。

3） ResNet18模型與其他經典模型比較如AlexNet和VGG-16，通過對比發現，其 ResNet18無論是時間和平均準確率均是最優，以其作為最佳模型并與注意力機制進行結合。結果表明，其驗證集的平均訓練時間減少了0.18 s，平均準確率由之前的97.48%提升為當前的98.88%提升了1.4%。

4） 將測試集在訓練好的模型中進行測試，其最終平均準確率由之前的97.13%提升為當前的98.43%，提高了1.3%，特別是在外殼與茶籽的判別正確數量上有了一定的提升，可較好的應用于實際生產。深度學習模型與油茶果分選結合是可行的。

SE-ResNet18雖然提升了部分準確率，但是仍有提升空間，接下來可以考慮如何在此基礎上進一步提升準確率，也可以考慮對其他卷積神經網絡模型改進來提升模型的性能。

參 考 文 獻

［1］ 柏云愛， 宋大海， 張富強， 等. 油茶籽油與橄欖油營養價值的比較［J］. 中國油脂， 2008， 33（3）： 39-41.

［2］ 段宇飛， 皇甫思思， 王焱清， 等. 基于機器視覺的油茶果果殼與茶籽分選方法研究［J］. 中國農機化學報， 2020， 41（6）： 171-178.

Duan Yufei， Huangfu Sisi， Wang Yanqing， et al. Sorting method of seeds and shells of the camellia oleifera fruit based on machine vision ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（6）： 171-178.

［3］ 徐克生， 杜鵬東， 湯晶宇， 等. 油茶果預處理裝備及發展趨勢［J］. 林業機械與木工設備， 2021， 49（4）： 8-14.

Xu Kesheng， Du Pengdong， Tang Jingyu， et al. Pretreatment equipment and development trend of camellia oleifera fruit ［J］. Forestry Machinery & Woodworking Equipment， 2021， 49（4）： 8-14.

［4］ 周敬東， 李敏慧， 周明剛， 等. 油茶果的模糊聚類色選算法［J］. 中國農機化學報， 2015， 36（4）： 94-99.

Zhou Jingdong， Li Minhui， Zhou Minggang， et al. Color sorting algorithm for camellia oleosa seed recognition based on fuzzy c-means clustering ［J］. Journal of Chinese Agricultural Mechanization， 2015， 36（4）： 94-99.

［5］ 周敬東， 黃云朋， 李敏慧， 等. 一種基于CCD相機的通道式油茶果色選機系統［J］. 中國農機化學報， 2015， 36（5）： 128-133.

Zhou Jingdong， Huang Yunpeng， Li Minhui， et al. Channel color sorter of camellia oleifera fruit based on CCD camera ［J］. Journal of Chinese Agricultural Mechanization， 2015， 36（5）： 128-133.

［6］ 呂夢棋， 張芮祥， 賈浩， 等. 基于改進ResNet玉米種子分類方法研究［J］. 中國農機化學報， 2021， 42（4）： 92-98.

Lü Mengqi， Zhang Ruixiang， Jia Hao， et al. Research on seed classification based on improved ResNet ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（4）： 92-98.

［7］ 林麗惠， 魏毅， 潘俊虹. 基于卷積神經網絡的武夷巖茶葉片分類方法［J］. 寧德師范學院學報（自然科學版）， 2021， 33（4）： 363-369.

Lin Lihui， Wei Yi， Pan Junhong. Classification of Wuyi rock tealeaves based on convolutional neural network ［J］. Journal of Ningde Normal University （Natural Science）， 2021， 33（4）： 363-369.

［8］ 蘇寶峰， 沈磊， 陳山， 等. 基于注意力機制的葡萄品種多特征分類方法［J］. 農業機械學報， 2021， 52（11）： 226-233， 252.

Su Baofeng， Shen Lei， Chen Shan， et al. Multi-features identification of grape cultivars based on attention mechanism ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（11）： 226-233， 252.

［9］ Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks ［J］. Communications of the ACM， 2017， 60（6）： 84-90.

［10］ Simonyan K， Zisserman A. Very deep convolutional networks for large-scale image recognition ［J］. Arxiv Preprint Arxiv： 1409.1556， 2014.

［11］ He K， Zhang X， Ren S， et al. Deep residual learning for image recognition ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016： 770-778.

［12］ Ioffe S， Szegedy C. Batch normalization： Accelerating deep network training by reducing internal covariate shift ［C］. International Conference on Machine Learning. PMLR， 2015： 448-456.

［13］ Zhu X， Cheng D， Zhang Z， et al. An empirical study of spatial attention mechanisms in deep networks ［C］. Proceedings of the IEEE/CVF International Conference on Computer Vision， 2019： 6688-6697.

［14］ 王凱誠， 魯華祥， 龔國良， 等. 基于注意力機制的顯著性目標檢測方法［J］. 智能系統學報， 2020， 15（5）： 956-963.

Wang Kaicheng， Lu Huaxiang， Gong Guoliang， et al. Salient object detection method based on the attention mechanism ［J］. CAAI Transactions on Intelligent Systems， 2020， 15（5）： 956-963.

［15］ 任歡， 王旭光. 注意力機制綜述［J］. 計算機應用， 2021， 41（S1）： 1-6.

Ren Huan， Wang Xuguang. Review of attention mechanism ［J］. Journal of Computer Applications， 2021， 41（S1）： 1-6.

［16］ 黎萬義， 王鵬， 喬紅. 引入視覺注意機制的目標跟蹤方法綜述［J］. 自動化學報， 2014， 40（4）： 561-576.

Li Wanyi， Wang Peng， Qiao Hong. A survey of visual attention based methods for object tracking ［J］. Acta Automatica Sinica， 2014， 40（4）： 561-576.

［17］ Choi H， Cho K， Bengio Y. Fine-grained attention mechanism for neural machine translation［J］. Neurocomputing， 2018， 284： 171-176.

［18］ 張夢雨. 基于ResNet和注意力機制的花卉識別［J］. 計算機與現代化， 2021（4）： 61-67.

Zhang Mengyu. Flower recognition based on ResNet and attention mechanism ［J］. Computer and Modernization， 2021（4）： 61-67.

［19］ Jia Deng， Wei Dong， Socher， et al. ImageNet： A large-scale hierarchical image database［C］. 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR 2009）， 248-255.

［20］ 黃毅， 段修生， 孫世宇， 等. 基于改進sigmoid激活函數的深度神經網絡訓練算法研究［J］. 計算機測量與控制， 2017， 25（2）： 126-129.

Huang Yi， Duan Xiusheng， Sun Shiyu， et al. A study of training algorithm in deep neural networks based on sigmoid activation function ［J］. Computer Measurement & Control， 2017， 25（2）： 126-129.