基于深度學(xué)習(xí)的水果缺陷實(shí)時(shí)檢測(cè)方法

周勝安 - 黃耿生 - 張譯勻 - 高東發(fā) -

(1. 廣東行政職業(yè)學(xué)院人工智能學(xué)院，廣東 廣州 510800；2. 廣東外貿(mào)外語(yǔ)大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，廣東 廣州 510665)

基于機(jī)器視覺自動(dòng)檢測(cè)具有較強(qiáng)的可執(zhí)行性和非接觸工作模式的優(yōu)勢(shì)[1]。左興健等[2]研制了一套實(shí)用的獼猴桃自動(dòng)分級(jí)設(shè)備，該設(shè)備包括單行定位輸送系統(tǒng)、圖像采集系統(tǒng)、分級(jí)執(zhí)行系統(tǒng)和控制系統(tǒng)，通過多特征提取和融合分級(jí)的方法對(duì)獼猴桃實(shí)現(xiàn)了自動(dòng)分級(jí)。項(xiàng)輝宇等[3-4]使用基于圖像處理方法對(duì)蘋果的大小、顏色和缺陷進(jìn)行了檢測(cè)，該類方法主要是基于水果形狀、邊緣、紋理等普通特征來定位缺陷目標(biāo)。高輝等[5]采用自動(dòng)亮度校正技術(shù)和加權(quán)矢量機(jī)相結(jié)合，進(jìn)一步提高了水果缺陷檢測(cè)準(zhǔn)確率和檢測(cè)速度，但該方法需要進(jìn)行光照系統(tǒng)的配置，成本較大。薛勇等[6]采用GoogLeNet深度遷移模型對(duì)蘋果缺陷進(jìn)行檢測(cè)，獲得了較好的泛化能力與魯棒性，但該卷積網(wǎng)絡(luò)模型復(fù)雜、參數(shù)多且檢測(cè)效率低。夏雪等[7]構(gòu)建了用于蘋果檢測(cè)的輕量級(jí)無錨點(diǎn)深度學(xué)習(xí)網(wǎng)絡(luò)模型M-CenterNet，該方法通過改進(jìn)輕量級(jí)的MobileNetV3網(wǎng)絡(luò)，結(jié)合關(guān)鍵點(diǎn)預(yù)測(cè)的目標(biāo)檢測(cè)網(wǎng)絡(luò)(CenterNet)，為非結(jié)構(gòu)環(huán)境下果園作業(yè)平臺(tái)的輕量化果實(shí)目標(biāo)檢測(cè)模型研究提供了新的思路。但該方法適應(yīng)用于檢測(cè)目標(biāo)具有大小適中、外形和顏色較相近的特征，如場(chǎng)景中蘋果目標(biāo)的檢測(cè)。

針對(duì)水果中存在復(fù)雜多樣的缺陷塊，為提高缺陷的檢測(cè)準(zhǔn)確度，文章擬設(shè)計(jì)一種實(shí)時(shí)的MO-CenterNet水果缺陷檢測(cè)方法，先采用MobileNet[8]的高效架構(gòu)代替CenterNet原有的Hourglass[9]編碼解碼全卷積網(wǎng)絡(luò)，再用可形變卷積改造為深度的可形變卷積，擴(kuò)大模型的感受野，增加小型缺陷塊的檢測(cè)目標(biāo)數(shù)，并對(duì)CenterNet的檢測(cè)頭進(jìn)行預(yù)測(cè)優(yōu)化，通過位置閥值過濾非缺陷塊預(yù)測(cè)目標(biāo)，旨在為滿足農(nóng)產(chǎn)品自動(dòng)化處理系統(tǒng)對(duì)于輕量化水果缺陷檢測(cè)模型的需求提供依據(jù)。

1 檢測(cè)方法

1.1 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)包括目標(biāo)分類和目標(biāo)定位2個(gè)任務(wù)。按其算法可以分為兩類：① 基于Region Proposal的R-CNN系算法如Fast R-CNN、Mask-RCNN等的Two-stage算法，即先用算法產(chǎn)生目標(biāo)候選框，即目標(biāo)位置，再對(duì)候選框進(jìn)行分類與回歸。Two-stage detectors對(duì)每個(gè)框重新計(jì)算圖像特征并進(jìn)行分類。后處理，即非極大值抑制(NMS)，通過計(jì)算錨點(diǎn)(Bbox)間的IOU來刪除同個(gè)目標(biāo)的重復(fù)檢測(cè)框[10-11]，Two-stage detectors這種預(yù)測(cè)目標(biāo)后處理很難區(qū)分和訓(xùn)練，因此現(xiàn)有檢測(cè)器大多不是端到端可訓(xùn)練的。② Yolo、SSD、RetinaNet、CornerNet和CenterNet這類的One-stage算法。One stage detectors在圖像上滑動(dòng)復(fù)雜排列的可能Bbox，然后直接對(duì)框進(jìn)行分類，而不會(huì)指定框中內(nèi)容[12-16]。

如圖1(a)所示，YOLO方法先通過卷積網(wǎng)絡(luò)進(jìn)行特征提取，生成S×S的feature maps(7×7)，特征圖上的每個(gè)點(diǎn)映射在原圖上為一個(gè)方格。對(duì)于一個(gè)真實(shí)的目標(biāo)框其中心點(diǎn)所落的網(wǎng)格負(fù)責(zé)預(yù)測(cè)此目標(biāo)，每個(gè)bounding box除了要回歸自身的位置(x，y，w，h)外，還要附帶預(yù)測(cè)一個(gè)confidence值，每個(gè)網(wǎng)格要預(yù)測(cè)B個(gè)bounding box，網(wǎng)絡(luò)預(yù)測(cè)后的Bbox通過NMS進(jìn)行過濾，得到最終的檢測(cè)框。

如圖1(b)所示，CornerNet方法的原圖經(jīng)過卷積網(wǎng)絡(luò)得到128×128大小的輸出，然后經(jīng)特征提取網(wǎng)絡(luò)Hourglass network提取特征，Hourglass module后會(huì)有兩個(gè)輸出分支模塊，分別表示左上角點(diǎn)預(yù)測(cè)分支和右下角點(diǎn)預(yù)測(cè)分支，每個(gè)分支模塊經(jīng)過Corner pooling層后輸出3個(gè)信息：Heatmaps、Embeddings和Offsets。Heatmaps用來預(yù)測(cè)角點(diǎn)位置信息，一個(gè)支路預(yù)測(cè)左上角，一個(gè)支路預(yù)測(cè)右下角，Embeddings用來對(duì)預(yù)測(cè)的角點(diǎn)進(jìn)行分組，即找到屬于同一個(gè)目標(biāo)的左上角角點(diǎn)和右下角角點(diǎn)，同一個(gè)預(yù)測(cè)框的一對(duì)角點(diǎn)的角距離最短。Offsets用來調(diào)整角點(diǎn)位置，使得獲得的邊界框更緊密。

CenterNet是基于CornerNet的改進(jìn)。如圖1(c)所示，與Corenet不同的是，CenterNet預(yù)測(cè)的是目標(biāo)的中心點(diǎn)，而不再是CornerNet中的2個(gè)角點(diǎn)，然后再預(yù)測(cè)目標(biāo)框的寬和高來生成預(yù)測(cè)框。

與CornetNet一樣，CenterNet也是采用熱力圖(heatmap)來實(shí)現(xiàn)，均引入了預(yù)測(cè)點(diǎn)的高斯分布區(qū)域計(jì)算真實(shí)預(yù)測(cè)值，同損失函數(shù)一樣。此外，CenterNet也不包含corner pooling等操作，因?yàn)橐话隳繕?biāo)框的中心點(diǎn)落在目標(biāo)上的概率比較大，因此常規(guī)的池化操作能夠提取到有效的特征。

1.2 CenterNet骨干網(wǎng)絡(luò)

CenterNet網(wǎng)絡(luò)模型是通過目標(biāo)中心點(diǎn)來呈現(xiàn)目標(biāo)，如水果缺陷塊中心，然后在中心點(diǎn)位置回歸出缺陷塊的大小，如圖2所示，因些目標(biāo)檢測(cè)問題變成了一個(gè)缺陷塊的關(guān)鍵點(diǎn)估計(jì)問題。CenterNet網(wǎng)絡(luò)先將水果圖像傳入全卷積網(wǎng)絡(luò)，得到一個(gè)熱力圖，然后取熱力圖峰值點(diǎn)看作是缺陷塊的可選中心點(diǎn)，同時(shí)通過該點(diǎn)的位置來預(yù)測(cè)目標(biāo)的寬高信息。

由圖2可知，CenterNet骨干網(wǎng)絡(luò)由于采用全卷積網(wǎng)絡(luò)將水果圖下采樣得到4倍的熱力圖，由于不需要提前設(shè)定預(yù)定區(qū)域，大大提高了計(jì)算速度。將水果熱力圖的通道數(shù)初始值設(shè)置為要檢測(cè)的缺陷區(qū)域種類數(shù)。取熱力圖的前100個(gè)峰值作為網(wǎng)絡(luò)提取的待檢測(cè)缺陷塊目標(biāo)中心點(diǎn)，然后設(shè)定一個(gè)閾值進(jìn)行篩選得到最終的目標(biāo)中心點(diǎn)。CenterNet中所有的上采樣前都有deformable卷積，4倍的下采樣feature map使得網(wǎng)絡(luò)不需要多尺度預(yù)測(cè)和特征金字塔的感受野也能更精確地檢測(cè)缺陷塊。

圖1 YOLO、CenterNet和CornerNet目標(biāo)檢測(cè)Figure 1 Target detection of YOLO, CenterNet and CornerNet

CenterNet盡管不需要NMS，但是所有檢測(cè)缺陷塊的中心點(diǎn)是由熱力圖的峰值得到，因此會(huì)出現(xiàn)一個(gè)十分耗時(shí)的非極大值抑制過程，此外，CenterNet未采用分組卷積，進(jìn)一步延遲了缺陷塊的檢測(cè)時(shí)間，很難應(yīng)用到實(shí)際場(chǎng)景中進(jìn)行實(shí)時(shí)檢測(cè)。

1.3 輕量化網(wǎng)絡(luò)

針對(duì)CenterNet的骨干網(wǎng)絡(luò)無法滿足在移動(dòng)設(shè)備上的應(yīng)用需求，Xiao等[17-19]研究了更輕的模型設(shè)計(jì)來獲得更快的速度。輕量化模型設(shè)計(jì)主要思想在于設(shè)計(jì)更高效的卷積計(jì)算方式，從而使網(wǎng)絡(luò)參數(shù)減少的同時(shí)，不損失網(wǎng)絡(luò)性能。假設(shè)H×W為輸出feature map的空間大小，C1為輸入通道數(shù)，H1×W1為卷積核大小，C2為輸出通道數(shù)，標(biāo)準(zhǔn)卷積的計(jì)算量與輸出特征圖的空間大小、卷積核的大小和輸入輸出通道的數(shù)量呈正比。當(dāng)在空間域和通道域進(jìn)行卷積時(shí)，需要H1×W1×C1×C2計(jì)算量。通過分解該卷積，可以加速卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算，分組卷積將輸入特征圖按通道數(shù)分成g組，則每組輸入特征圖的尺寸為H×W×(C1/g)，對(duì)應(yīng)的卷積核尺寸為Hi×Wi×(C1/g)，每組輸出特征圖尺寸為H×W×(C2/g)。將g組結(jié)果拼接(concat)，得到最終尺寸為H×W×C2的輸出特征圖，分組卷積層的參數(shù)量為H1×W1×C1×C2/g，計(jì)算量為原計(jì)算量的1/g。

為了進(jìn)一步降低卷積計(jì)算量，采用深度可分離卷積，假設(shè)輸入特征圖尺寸為DF×DF×M，卷積核尺寸為DK×DK×M，輸出特征圖尺寸為DF×DF×N，標(biāo)準(zhǔn)卷積層的參數(shù)量為DK×DK×M×N。將深度卷積和逐點(diǎn)卷積兩者合起來就是深度可分離卷積。深度卷積負(fù)責(zé)濾波，尺寸為(DK,DK,1)，共M個(gè)，作用在輸入的每個(gè)通道上；逐點(diǎn)卷積負(fù)責(zé)轉(zhuǎn)換通道，尺寸為(1,1,M)，共N個(gè)，作用在深度卷積的輸出特征映射上。深度卷積參數(shù)量為DK×DK×1×N，逐點(diǎn)卷積參數(shù)量為1×1×M×N，所以深度可分離卷積參數(shù)量是標(biāo)準(zhǔn)卷積的1/N+1/(DK)2。針對(duì)卷積計(jì)算特點(diǎn)，對(duì)分類算法進(jìn)行優(yōu)化，具有代表性的有ResNet、ShuffleNet和MobileNet。如ResNet中使用的帶有bottleneck架構(gòu)的殘差單元是與其他未采用殘差單元模型進(jìn)行比較，具有更好的識(shí)別準(zhǔn)確率。ShuffleNet在分組卷積中對(duì)通多次卷積，在組間的順序進(jìn)行“shuffles”，提高精度。MobileNetV3采用類似ResNet2中帶有bottleneck架構(gòu)殘差單元的模塊架構(gòu)，用深度可分離卷積代替conv3×3，是殘差單元的改進(jìn)版本。MobileNetV3為了在保留高維特征的前提下減小延時(shí)，將平均池化前的層移除并用1×1卷積來計(jì)算特征圖。特征生成層被移除后，先前用于瓶頸映射的層也不再需要，將減少10 ms的開銷，在提速15%的同時(shí)減小了30 ms的操作數(shù)[20]。

2 MO-CenterNet目標(biāo)檢測(cè)網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

文中受到 MobileNet 網(wǎng)絡(luò)模型和CenterNet目標(biāo)檢測(cè)的啟發(fā)，在盡可能減小網(wǎng)絡(luò)計(jì)算量并保持較高的識(shí)別率的原則下，設(shè)計(jì)一個(gè)基于改進(jìn)的CenterNet網(wǎng)絡(luò)模型MO-CenterNet，其網(wǎng)絡(luò)框架如圖3所示，第1部分是圖片輸入，第2部分是骨干網(wǎng)絡(luò)，用于圖像特征提取，第3部分是圖像的熱力圖，第4部分是檢測(cè)頭，包括目標(biāo)中心點(diǎn)位置、目標(biāo)高度、寬度和目標(biāo)中心高斯分布。與原CenterNet網(wǎng)絡(luò)相比，① 采用MobileNetV3(Bneck)模塊單元作為骨干網(wǎng)絡(luò)快速提取圖像的特征，并盡量保證精度；② 對(duì)原有的檢測(cè)頭進(jìn)行優(yōu)化，檢測(cè)頭的所有普通卷積替換為depth-wise卷積，并將可形變卷積改造為深度的可形變卷積。

圖3中每層圖絡(luò)的設(shè)計(jì)如表1所示。

由表1可知，Conv2d/s1/s2代表深度卷積，卷積步距為1/2。卷積核3×3代表卷積核大小為3×3。Bneck表示采用Mobilenet V3中的block塊，由4部分組成：① 膨脹，由1×1卷積將原來的feature map膨脹；② 深度可分離卷積，由3×3卷積核逐層卷積每層特征，經(jīng)1×1卷積融合成新的feature map；③ SE(Squeeze and Excitation，)結(jié)構(gòu)的輕量級(jí)注意力模塊，獲取新的feature map后，利用SE的注意力機(jī)制獲取空間權(quán)重來優(yōu)化性能；④ Residual，利用殘差結(jié)構(gòu)做殘差。

圖3 MO-CenterNet的網(wǎng)絡(luò)框架圖Figure 3 MO-CenterNet network framework diagram

表1 MO-CenterNet網(wǎng)絡(luò)層Table 1 MO-CenterNetnetwork layer

在MO-CenterNet網(wǎng)絡(luò)中，先將輸入水果特征圖通過一個(gè)標(biāo)準(zhǔn)卷積層，然后在通過第0～10個(gè)改進(jìn)后的Conv/s操作后，經(jīng)第11層的池化和全連接層提取特征。為了更好地提取特征和使網(wǎng)絡(luò)快速收斂，Conv/s操作卷積層處理后的輸出均要經(jīng)過BN層和ReLU非線性激活函數(shù)處理，從而增加復(fù)雜缺陷塊的表達(dá)能力。

2.2 中心點(diǎn)預(yù)測(cè)

假設(shè)輸入圖像

I∈RW×H×3，

(1)

式中：

R、H——圖像的寬和高。

熱點(diǎn)圖(keypoint heatmap)：

(2)

式中：

R——輸出對(duì)應(yīng)原圖的步長(zhǎng)；

C——目標(biāo)檢測(cè)中對(duì)應(yīng)檢測(cè)點(diǎn)數(shù)量(蘋果檢測(cè)中C為3，代表有蘋果不同大小的3個(gè)缺陷類別)。

P[(x1+x2)/2,(y1+y2)/2]。

(3)

(4)

式中：

σp——一個(gè)與目標(biāo)大小(即W和H)相關(guān)的標(biāo)準(zhǔn)差。

2.3 損失函數(shù)

與CenterNet的損失函數(shù)類似，MO-CenterNet的損失函數(shù)如式(5)所示。

Ldet=Lk+λsizeLsize+λoffLoff，(λsize=0.1,λoff=1)，

(5)

式中：

LK——關(guān)鍵點(diǎn)的熱點(diǎn)圖；

Lsize——目標(biāo)長(zhǎng)寬預(yù)測(cè)；

Loff——目標(biāo)中心點(diǎn)偏移值；

λsize、λoff——試驗(yàn)設(shè)置參數(shù)。

(6)

式中：

N——圖像的關(guān)鍵點(diǎn)數(shù)量；

α、β——超參數(shù)(用來均衡難易樣本和正負(fù)樣本)；

xyc——所有關(guān)鍵點(diǎn)熱點(diǎn)圖上的所有坐標(biāo)點(diǎn)；

C——目標(biāo)類別(每個(gè)類別一張heatmap)；

Yxyc——標(biāo)注真實(shí)值。

(7)

式中：

p——圖片中目標(biāo)中心點(diǎn)坐標(biāo)；

第一，現(xiàn)場(chǎng)巡檢。這種巡檢形式是最為傳統(tǒng)的一種作業(yè)方式，也是現(xiàn)階段使用最為普遍的一種方式。在現(xiàn)場(chǎng)巡檢中，相關(guān)巡檢人員需要利用船舶定期或不定期的對(duì)相應(yīng)海域的航標(biāo)進(jìn)行檢查與維護(hù)，對(duì)于航標(biāo)故障進(jìn)行預(yù)防以及排除。在現(xiàn)場(chǎng)巡檢中，相關(guān)巡檢人員要對(duì)航標(biāo)燈、航標(biāo)標(biāo)體結(jié)構(gòu)進(jìn)行檢查維護(hù)，并對(duì)航標(biāo)的結(jié)構(gòu)、設(shè)備、附屬設(shè)施等進(jìn)行故障排查與保養(yǎng)。同時(shí)，還要完成對(duì)航標(biāo)位置等的測(cè)定。在現(xiàn)場(chǎng)巡檢中，由于需要相關(guān)巡檢人員深入實(shí)際的海域進(jìn)行作業(yè)，所以受到天氣條件、海況等的威脅較大，危險(xiǎn)程度相對(duì)較高。

圖4 關(guān)鍵點(diǎn)熱點(diǎn)圖值Figure 4 Keypoint heatmap value

R——縮放尺度；

(8)

式中：

Sk——真實(shí)尺寸。

蘋果缺陷檢測(cè)中，采用λsize,λoff=1所使用的backbone都有3個(gè)head layer，分別產(chǎn)生[1,4,128,128]，[1,2,128,128]，[1,2,128,128]，即每個(gè)坐標(biāo)點(diǎn)產(chǎn)生C+4個(gè)數(shù)據(jù)，分別為類別以及長(zhǎng)、寬、偏置。

2.4 預(yù)測(cè)優(yōu)化

3 結(jié)果與分析

3.1 試驗(yàn)數(shù)據(jù)集

文中算法通過keras實(shí)現(xiàn)，操作系統(tǒng)為Ubuntu18.04.1, CPU I5 2.9 GHz，顯卡1080ti，內(nèi)存32 G。為進(jìn)一步證明改進(jìn)MO-CenterNet目標(biāo)檢測(cè)效果，采用隨機(jī)拍攝的1 000個(gè)蘋果圖片。

由于樣品源數(shù)量有限，為了擴(kuò)充樣本數(shù)據(jù)規(guī)模，防止算法過擬合，對(duì)其訓(xùn)練樣本進(jìn)行數(shù)據(jù)增強(qiáng)(如圖5)，將圖像縮放至512×512的分辨率，再將圖像隨機(jī)旋轉(zhuǎn)-30°～30°，分別以0.8～1.2的隨機(jī)縮放因子對(duì)圖像進(jìn)行縮放，并對(duì)其中50%的隨機(jī)圖像進(jìn)行水平鏡像，即相當(dāng)于將整個(gè)樣品數(shù)據(jù)量進(jìn)行了成倍的擴(kuò)充。

圖5 數(shù)據(jù)增強(qiáng)效果圖Figure 5 Effect of data enhancement

3.2 網(wǎng)絡(luò)訓(xùn)練

將蘋果數(shù)據(jù)集按8∶2分為訓(xùn)練集與測(cè)試集(見表2)，從經(jīng)過處理的訓(xùn)練集中隨機(jī)抽出20%的圖片為驗(yàn)證集。訓(xùn)練集數(shù)據(jù)輸入模型訓(xùn)練前，為了使訓(xùn)練出的模型泛化性更高，使用圖像增強(qiáng)技術(shù)對(duì)數(shù)據(jù)集進(jìn)行鏡像、縮放和旋轉(zhuǎn)處理。

模型訓(xùn)練分為兩次：第1次訓(xùn)練學(xué)習(xí)率為0.000 1，輪次100次，每輪次迭代次數(shù)100，共迭代10 000次，每次迭代訓(xùn)練樣本數(shù)為20；第2次訓(xùn)練使用減少學(xué)習(xí)率和提前終止，初始學(xué)習(xí)率為0.000 01，最大輪次為50次，每輪次迭代次數(shù)150，最大迭代次數(shù)7 500，每次迭代訓(xùn)練樣本數(shù)為5。

表2 蘋果缺陷數(shù)據(jù)集信息表

由圖6可知，經(jīng)第1、2次訓(xùn)練后，改進(jìn)MO-CenterNet算法損失值均趨于穩(wěn)定。

3.3 訓(xùn)練結(jié)果及分析

在數(shù)據(jù)集的測(cè)試集中隨機(jī)抽取兩張圖片，并將圖片輸入已建立好的模型中，得到對(duì)應(yīng)的框坐標(biāo)和類別。為了更好地體現(xiàn)小的缺陷塊結(jié)果，將3類缺陷的score初始值設(shè)置為0.25，IOU的初始值設(shè)置為0.70，檢測(cè)結(jié)果如圖7 所示。由圖7可知，該模型能分別檢測(cè)出≥4 mm、2～4 mm和≤2 mm 3種缺陷，其中檢測(cè)出最顯著的缺陷概率為0.997。

圖6 迭代訓(xùn)練損失值Figure 6 Iterative training loss

為了提高2～4 mm和≤2 mm兩類小缺陷塊，采用基于位置特點(diǎn)的距離約束進(jìn)行檢測(cè)優(yōu)化，結(jié)果如圖8所示。

由圖8可知，當(dāng)score值為0.30時(shí)，原本要保留的很多候選點(diǎn)被過濾了，如圖8(a)中的紅點(diǎn)。當(dāng)≤2 mm，2～4 mm缺陷的score值為0.15時(shí)，出現(xiàn)了更多候選點(diǎn)，如圖8(b)所示；再通過距離約束篩選，獲得更精確的≤2 mm，2～4 mm缺陷檢測(cè)點(diǎn)如圖8(c)所示，框外部分的檢測(cè)點(diǎn)被過濾。

圖7 檢測(cè)結(jié)果Figure 7 Test results

為評(píng)估MO-CenterNet檢測(cè)的性能，使用蘋果缺陷數(shù)據(jù)集作為測(cè)試數(shù)據(jù)，采用缺陷檢測(cè)平均值、檢測(cè)速度和參數(shù)量作為評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行評(píng)估，結(jié)果如表3所示。

圖8 檢測(cè)優(yōu)化過程Figure 8 Detection optimization process

表3 缺陷數(shù)據(jù)集各類別缺陷檢測(cè)平均值

由表3可知，改進(jìn)的MO-CenterNet算法的AP50值相比于CenterNet_ResNet18的提高了3%，比CenterNet_Shuffler的提高了9%，速度相比于CenterNet_ResNet18、CenterNet_Shuffler分別快23%，14%。MO-CenterNet模型所使用的參數(shù)量也是最低的。

4 結(jié)論

提出了一種新的基于機(jī)器視覺的水果缺陷檢測(cè)方法MO-Centernet。該方法通過使用MobileNetV3針對(duì)移動(dòng)端優(yōu)化的輕量化神經(jīng)網(wǎng)絡(luò)模替代原有CenterNet骨干網(wǎng)絡(luò)檢測(cè)模塊，并對(duì)Centern的檢測(cè)頭進(jìn)行了輕量化改進(jìn)，解決了深度卷積計(jì)算速度慢的問題，提高了網(wǎng)絡(luò)的特征提取速度。此外，對(duì)于多個(gè)候選區(qū)域采用了距離約束進(jìn)行篩選，進(jìn)一步提高了網(wǎng)絡(luò)對(duì)于蘋果缺陷的檢測(cè)速率。由于水果種類繁多，形狀和缺陷要求不一，加上采集大量復(fù)雜的數(shù)據(jù)存在一些難度，自制的蘋果數(shù)據(jù)圖像集種類較為單一。為進(jìn)一步增強(qiáng)檢測(cè)模型的泛化性能，后續(xù)將針對(duì)類問題進(jìn)行克服改善，以適用其在不同水果種類檢測(cè)的適應(yīng)性。