基于改進(jìn)YOLO深度卷積神經(jīng)網(wǎng)絡(luò)的縫紉手勢(shì)檢測(cè)

王曉華， 姚煒銘， 王文杰， 張 蕾， 李鵬飛

(西安工程大學(xué) 電子信息學(xué)院， 陜西 西安 710048)

視覺(jué)與機(jī)器人技術(shù)在紡織業(yè)的應(yīng)用促進(jìn)了紡織業(yè)的發(fā)展[1-2]。在對(duì)柔軟織物進(jìn)行縫紉時(shí)，人與機(jī)器人協(xié)作完成生產(chǎn)任務(wù)，能夠更充分融合機(jī)器人與熟練工人各自技術(shù)優(yōu)勢(shì)，比機(jī)器代人方式更具有研究意義。機(jī)器人對(duì)工人準(zhǔn)確、高效的縫紉手勢(shì)識(shí)別，是實(shí)現(xiàn)人與機(jī)器人協(xié)作互動(dòng)的關(guān)鍵。機(jī)器人依靠視覺(jué)信息的手勢(shì)識(shí)別一般分為傳統(tǒng)人工設(shè)計(jì)、提取特征方式的識(shí)別和深度學(xué)習(xí)手勢(shì)識(shí)別2類(lèi)[3-4]，具有代表性的研究中：文獻(xiàn)[5]通過(guò)手工設(shè)計(jì)特征方式將手部幾何特征與掌紋、手部靜脈等特征進(jìn)行融合來(lái)表示手勢(shì)；文獻(xiàn)[6]通過(guò)方向梯度直方圖提取手勢(shì)特征，并通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢(shì)識(shí)別，但人工特征方法難以適應(yīng)手勢(shì)的多樣性，尤其在環(huán)境復(fù)雜或者光照導(dǎo)致圖像中存在膚色相近區(qū)域或者陰影時(shí)，識(shí)別率變差。

深度學(xué)習(xí)方法能夠更好地獲取圖像高層次、多維度的特征表示并實(shí)現(xiàn)復(fù)雜環(huán)境下的檢測(cè)識(shí)別[7-8]。 快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster R-CNN)[9]、掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(mask R-CNN)[10]等基于區(qū)域的目標(biāo)檢測(cè)算法有較高的檢測(cè)精度，但檢測(cè)速度較慢；YOLO(you only look once)[11-12]、單次多盒檢測(cè)(SSD)[13]等基于回歸的目標(biāo)檢測(cè)算法，采用端到端的檢測(cè)，具有較快的檢測(cè)速度，但這些方法在檢測(cè)速度和精度方面還具有一定提升空間。

縫紉車(chē)間中，24 h作業(yè)環(huán)境中的光照變化較大，工人手部動(dòng)作速度變化不一，尤其是內(nèi)包縫、卷邊縫、裁剪布料、抽褶縫等手勢(shì)相似度大難以檢測(cè)。針對(duì)上述問(wèn)題，本文構(gòu)建了縫紉手勢(shì)數(shù)據(jù)集并提出了一種基于YOLOv3的縫紉手勢(shì)檢測(cè)網(wǎng)絡(luò)。通過(guò)對(duì)原始YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)及參數(shù)微調(diào)，以適應(yīng)特定縫紉手勢(shì)識(shí)別任務(wù)，進(jìn)一步提高模型精度。在不同光照條件、背景復(fù)雜場(chǎng)景下，研究改進(jìn)后的模型的檢測(cè)識(shí)別效果。

1 YOLOv3目標(biāo)檢測(cè)算法

YOLOv3目標(biāo)檢測(cè)算法將檢測(cè)問(wèn)題轉(zhuǎn)化為回歸問(wèn)題，相比其他算法，在實(shí)時(shí)性方面表現(xiàn)突出，可滿(mǎn)足機(jī)器人對(duì)縫紉手勢(shì)實(shí)時(shí)交互理解的需求。該網(wǎng)絡(luò)使用多尺度預(yù)測(cè)來(lái)檢測(cè)最終目標(biāo)，網(wǎng)絡(luò)結(jié)構(gòu)上比YOLOv2更復(fù)雜，檢測(cè)速度、精度均有顯著提升。多尺度的預(yù)測(cè)能更有效地檢測(cè)小目標(biāo)。YOLO檢測(cè)過(guò)程如圖1所示。

圖1 YOLO檢測(cè)過(guò)程Fig.1 YOLO testing process

網(wǎng)絡(luò)將每張圖片劃分為多個(gè)網(wǎng)格。如果縫紉手勢(shì)的中心落入網(wǎng)格中，則該網(wǎng)格負(fù)責(zé)檢測(cè)目標(biāo)。每個(gè)網(wǎng)格預(yù)測(cè)邊界框及其置信度分?jǐn)?shù)，以及類(lèi)別條件概率。當(dāng)多個(gè)邊界框檢測(cè)到同一目標(biāo)時(shí)，使用非最大抑制(NMS)方法選擇出最佳邊界框。

2 YOLOv3改進(jìn)模型

YOLOv3雖然在目標(biāo)檢測(cè)領(lǐng)域有較好的檢測(cè)效果，但其主要是針對(duì)通用數(shù)據(jù)集實(shí)現(xiàn)的，對(duì)于縫紉手勢(shì)識(shí)別特定場(chǎng)景需再進(jìn)行調(diào)整，以適應(yīng)縫紉手勢(shì)實(shí)時(shí)檢測(cè)任務(wù)。在實(shí)際縫紉作業(yè)中，4種縫紉手勢(shì)(內(nèi)包縫S1、卷邊縫S2、裁剪布料S3、抽褶縫S4)之間相似性高，手勢(shì)間差異往往存在于小目標(biāo)區(qū)域，識(shí)別難度大，因此，需在滿(mǎn)足實(shí)時(shí)性要求下，通過(guò)采用高分辨率特征圖輸入，減少YOLOv3在檢測(cè)小區(qū)域出現(xiàn)的漏檢、誤檢現(xiàn)象。原始的YOLOv3網(wǎng)絡(luò)采用由殘差網(wǎng)絡(luò)(ResNet)構(gòu)建的Darknet-53網(wǎng)絡(luò)作為基本網(wǎng)絡(luò)實(shí)現(xiàn)特征的提取，更深的網(wǎng)絡(luò)則會(huì)使得底層特征信息逐漸消失。受密集連接網(wǎng)絡(luò)(DenseNet)啟發(fā)，在Darknet-53網(wǎng)絡(luò)基礎(chǔ)上，通過(guò)在較低分辨率的原始傳輸層增加DenseNet密集連接，縮短前后層網(wǎng)絡(luò)之間連接，可增強(qiáng)手勢(shì)特征的傳遞并促進(jìn)特征重用和融合，進(jìn)一步提升檢測(cè)效果。

改進(jìn)后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。首先將輸入圖像調(diào)整為512像素×512像素，替換原始416像素×416像素的圖像。然后采用由4個(gè)密集層組成的密集結(jié)構(gòu)替換原始第10層(分辨率為 64像素×64像素)和第27層(分辨率為32像素×32像素)采樣層。在密集結(jié)構(gòu)中，輸入特征圖為之前所有層的輸出特征圖的拼接。

圖2 YOLO改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 YOLO improved network structure

本文傳遞函數(shù)采用BN-ReLU-Conv(1×1)+BN-ReLU-Conv(3×3)的形式。其中1×1卷積核用于降維,防止輸入特征圖通道過(guò)大。

在64像素×64像素分辨率和32像素×32像素分辨率的層中：由輸入x0和輸出x1拼接的特征圖[x0,x1]作為H2輸入；x2和[x0,x1]被拼接成[x0,x1,x2]用作H3的輸入；x3和[x0,x1,x2]被拼接成[x0,x1,x2,x3]作為H4的輸入；最后，拼接成64像素×64像素×256像素和32像素×32像素×512像素尺寸特征圖向前傳播。在訓(xùn)練期間，當(dāng)圖像特征被轉(zhuǎn)移到較低分辨率層時(shí)，深層特征層可在密集結(jié)構(gòu)中接收其前面的所有特征層的特征，從而減少特征損失，增強(qiáng)特征復(fù)用，提高檢測(cè)效果。本文輸出采用3種不同尺度的邊界框(64像素×64像素、32像素×32像素和16像素×16像素)對(duì)縫紉手勢(shì)進(jìn)行檢測(cè)。

3 模型訓(xùn)練與調(diào)整

3.1 數(shù)據(jù)預(yù)處理

3.1.1 縫紉手勢(shì)數(shù)據(jù)集采集

縫紉手勢(shì)數(shù)據(jù)集樣本主要來(lái)自制衣廠收集與網(wǎng)絡(luò)爬蟲(chóng)。樣本圖像由多位縫紉工采集，每幅圖像的分辨率約為512像素×512像素，通過(guò)數(shù)據(jù)增強(qiáng)后樣本總數(shù)量6 670副，包含4種縫紉手勢(shì)類(lèi)別，其中內(nèi)包縫手勢(shì)目標(biāo) 1 600 個(gè)、卷邊縫手勢(shì)目標(biāo) 1 660個(gè)、裁剪布料手勢(shì)目標(biāo)1 700個(gè)和抽褶縫手勢(shì)目標(biāo) 1 710 個(gè)。數(shù)據(jù)集中訓(xùn)練集、驗(yàn)證集和測(cè)試集樣本比例約為6∶2∶2。

3.1.2 數(shù)據(jù)集增強(qiáng)

為增強(qiáng)實(shí)驗(yàn)數(shù)據(jù)集的質(zhì)量與豐富性，消除在同一時(shí)間采集圖片光照強(qiáng)度不均勻的情況，本文通過(guò)傳統(tǒng)的圖像增強(qiáng)技術(shù)方法對(duì)采集的4種縫紉手勢(shì)圖像分別在顏色、亮度、旋轉(zhuǎn)和圖像模糊方面進(jìn)行預(yù)處理來(lái)增強(qiáng)訓(xùn)練數(shù)據(jù)，并將同一類(lèi)別圖片添加至同一類(lèi)別數(shù)據(jù)樣本中。數(shù)據(jù)集增強(qiáng)數(shù)量如表1所示。

表1 數(shù)據(jù)增強(qiáng)方法生成的圖像數(shù)量Tab.1 Number of images generated by data enhancement method

顏色校正：在不同的照明條件下，采集的圖像顏色和真實(shí)顏色之間存在一定的偏差，采用灰色世界算法(gray world)消除光照對(duì)顯色性的影響，并將處理后的圖片添加到訓(xùn)練數(shù)據(jù)集中。

圖像亮度：車(chē)間24 h生產(chǎn)時(shí)，不同光照強(qiáng)度對(duì)圖像的影響可通過(guò)圖像亮度變換模擬。亮度值變換過(guò)高或過(guò)低會(huì)影響手動(dòng)標(biāo)注邊界框的精度，抑制模型性能，選擇亮度變化的范圍控制在0.6～1.5倍，以范圍為0.9～1.1倍隨機(jī)生成多幅圖片供訓(xùn)練使用。

圖像旋轉(zhuǎn)：為增強(qiáng)訓(xùn)練模型對(duì)不同成像角度的魯棒性，隨機(jī)旋轉(zhuǎn)原始圖像90°、180°、270°以及鏡像操作，并將140個(gè)變換圖像附加到訓(xùn)練圖像集。

圖像模糊：考慮相機(jī)調(diào)焦以及移動(dòng)等情況導(dǎo)致的模糊問(wèn)題會(huì)影響檢測(cè)結(jié)果，通過(guò)顏色、亮度和旋轉(zhuǎn)增強(qiáng)等方法隨機(jī)模糊圖像，以進(jìn)一步增強(qiáng)檢測(cè)模型對(duì)模糊圖片的檢測(cè)能力。

3.1.3 數(shù)據(jù)集標(biāo)柱

在縫紉手勢(shì)數(shù)據(jù)集構(gòu)建中，目標(biāo)的類(lèi)別和邊框數(shù)據(jù)信息通過(guò)lambel軟件獲取，并保存為PASCAL VOC 數(shù)據(jù)集的格式，具體格式分別包含label(類(lèi)別序列)，x(目標(biāo)中心點(diǎn)x坐標(biāo))，y(目標(biāo)中心點(diǎn)y坐標(biāo))，w(標(biāo)注框?qū)?，h(標(biāo)注框高)，如下式所示。

式中：xmax、ymax為邊框右下角坐標(biāo)；xmin、ymin為邊框左上角坐標(biāo)；a、b分別為圖像寬和高。對(duì)標(biāo)注數(shù)據(jù)進(jìn)行歸一化處理，便于訓(xùn)練不同尺寸的圖像及更快地讀取數(shù)據(jù)。

3.2 模型的訓(xùn)練參數(shù)設(shè)置調(diào)整

所有的訓(xùn)練和測(cè)試均在深度學(xué)習(xí)工作站進(jìn)行，工作站的主要配置為 PC Intel Core(TM) i7-6800k CPU3.80 GHz、12 GB 的 GPU GeForce GTX 1080Ti顯卡 和 128 GB 的運(yùn)行內(nèi)存。程序在 Windows10 系統(tǒng)下，采用 C++語(yǔ)言編寫(xiě)并調(diào)用并行計(jì)算架構(gòu)(CUDA)、英偉達(dá)神經(jīng)網(wǎng)絡(luò)庫(kù)(Cudnn)、開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)(OPENCV)運(yùn)行。

模型訓(xùn)練使用官網(wǎng)預(yù)訓(xùn)練權(quán)重文件初始化網(wǎng)絡(luò)權(quán)重參數(shù)，加快模型收斂。訓(xùn)練參數(shù)部分根據(jù)經(jīng)驗(yàn)設(shè)置，訓(xùn)練參數(shù)值如表2所示。為減輕顯卡壓力，尋求內(nèi)存效率和內(nèi)存容量之間的最佳平衡，訓(xùn)練時(shí)采用64個(gè)樣本數(shù)量作為一批樣本數(shù)量，每批樣本更新一次參數(shù)，并將每批樣本數(shù)量分割8次分次送入訓(xùn)練器。

表2 網(wǎng)絡(luò)訓(xùn)練參數(shù)Tab.2 Network training parameters

訓(xùn)練時(shí)采用隨機(jī)梯度下降(SGD)算法對(duì)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。學(xué)習(xí)率(learning rate)按迭代次數(shù)調(diào)整策略，初始學(xué)習(xí)率為0.001，當(dāng)模型迭代到 8 000 和 9 000 次時(shí)學(xué)習(xí)率衰減10倍。在開(kāi)始訓(xùn)練時(shí)設(shè)置burn_in參數(shù)用于穩(wěn)定模型，burn_in設(shè)置為 1 000，在更新次數(shù)小于1 000時(shí)，學(xué)習(xí)率策略由小變大，當(dāng)更新次數(shù)大于1 000時(shí)，則采用設(shè)置的學(xué)習(xí)率從大到小更新策略。

YOLOv3中合適的先驗(yàn)框維度直接影響到手勢(shì)檢測(cè)的速度和目標(biāo)框定位精度，為得到最佳先驗(yàn)框維度，對(duì)所有樣本數(shù)據(jù)集的邊界框采用K-means聚類(lèi)分析來(lái)找到適合本樣本數(shù)據(jù)的9組先驗(yàn)框維度。訓(xùn)練時(shí)使用的9組先驗(yàn)框維度為(121,82)、(163,98)、(158,154)、(205,119)、(239,150)、(203,218)、(302,179)、(316,253)、(324,351)，將其尺寸從小到大排列，均分到 3 個(gè)不同尺度的特征圖上，其中，尺度更大的特征圖使用更小的先驗(yàn)框。最后，將用此先驗(yàn)框維度進(jìn)行檢測(cè)實(shí)驗(yàn)。

3.3 模型的訓(xùn)練

最終模型共訓(xùn)練5 000次，耗時(shí)6 h，共訓(xùn)練使用了4 000幅圖像(在4 000幅圖像中隨機(jī)抽取并重復(fù)使用)。在訓(xùn)練過(guò)程中，通過(guò)繪制模型損失曲線觀察訓(xùn)練動(dòng)態(tài)過(guò)程，其對(duì)應(yīng)的損失值變化曲線如圖3 所示。可看出：模型在前期迭代中損失值快速縮減，模型快速擬合；當(dāng)?shù)?xùn)練2 000次后，損失值下降放緩；當(dāng)?shù)? 000次時(shí)，損失值收斂至 0.002 5，結(jié)束訓(xùn)練。

圖3 模型損失曲線Fig.3 Model loss curve

通過(guò)計(jì)算預(yù)測(cè)邊界框和真實(shí)邊界框之間的平均交并比(IOU)來(lái)進(jìn)一步評(píng)估模型的檢測(cè)性能，結(jié)果如圖4所示。可知，隨著模型迭代次數(shù)的增加,真實(shí)框與預(yù)測(cè)框的模型平均交并比在不斷提升，在迭代次數(shù)為5 000時(shí)，模型交并比趨于0.9。

圖4 平均交并比變化曲線Fig.4 Average cross-sectional ratio curve

4 實(shí)驗(yàn)結(jié)果與分析

4.1 模型評(píng)估指標(biāo)

本文實(shí)驗(yàn)采用精確度、召回率、平均精度均值(mAP)和基于精確率與召回率的調(diào)和平均值(F1)客觀評(píng)價(jià)標(biāo)準(zhǔn)來(lái)評(píng)估模型的泛化能力。

4.2 最佳模型選擇

在訓(xùn)練時(shí)每迭代100次輸出一次權(quán)重，共獲得50個(gè)權(quán)重模型，通過(guò)計(jì)算每個(gè)權(quán)重的mAP值篩選出最佳模型，結(jié)果如圖5所示。可看出，在迭代次數(shù)達(dá)到2 000左右時(shí)，mAP值趨于穩(wěn)定，進(jìn)而選擇最高mAP值(91.80%)作為最佳的權(quán)重模型。

圖5 平均精度均值隨迭代次數(shù)的變化Fig.5 Average accuracy as a function of iterations number

對(duì)訓(xùn)練好的模型進(jìn)行最佳置信度閾值選取，以保證模型具有最佳表現(xiàn)。實(shí)驗(yàn)通過(guò)在不同置信度閾值下計(jì)算準(zhǔn)確率、召回率、F1值和交并比篩選出最佳閾值模型，結(jié)果如圖6所示。

圖6 置信度閾值Fig.6 Confidence threshold

通過(guò)在(0，1)的閾值區(qū)間內(nèi)每跨度0.05計(jì)算一次值，共計(jì)算出20組數(shù)據(jù)。比對(duì)優(yōu)先級(jí)：準(zhǔn)確率>召回率>IOU，閾值達(dá)0.6后準(zhǔn)確率逐步趨于穩(wěn)定，閾值最優(yōu)范圍約在0.6～1.0內(nèi)。在此范圍內(nèi)，最佳召回率為0.85,對(duì)應(yīng)的置信度閾值為0.6， IOU值約為0.71，因此，采用0.6為最佳閾值。

選出最佳模型后，通過(guò)使用準(zhǔn)確率作為垂直軸，召回率作為水平軸獲得最佳模型P-R曲線，如圖7所示。觀察P-R曲線可知，平衡點(diǎn)(度量召回率等于準(zhǔn)確率時(shí)的取值)約維持在0.80。

圖7 模型P-R曲線Fig.7 Model P-R curve

4.3 不同數(shù)據(jù)量結(jié)果分析

不同的縫紉手勢(shì)數(shù)據(jù)量影響著模型表現(xiàn)，從數(shù)據(jù)集中隨機(jī)選擇圖像，形成500、1 000、2 000、3 000、 4 000 個(gè)圖像的訓(xùn)練集，分析圖像數(shù)據(jù)集數(shù)量大小對(duì)YOLO v3密集模型的影響。表3示出對(duì)應(yīng)的模型數(shù)據(jù)量與F1值的關(guān)系。

表3 不同數(shù)據(jù)量條件下F1實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of F1 at different data conditions

從表3可看出，隨著訓(xùn)練集的數(shù)據(jù)量增加，模型的F1值不斷提高，模型性能得到不同程度改善。當(dāng)訓(xùn)練數(shù)據(jù)量少于1 000個(gè)圖像時(shí)，模型性能會(huì)隨著訓(xùn)練集的增長(zhǎng)而迅速提高；當(dāng)訓(xùn)練數(shù)據(jù)量超過(guò) 1 000 時(shí)，隨著圖像量的增加，增強(qiáng)速度逐漸降低；當(dāng)圖像數(shù)量超過(guò)3 000時(shí)，訓(xùn)練集的大小沒(méi)有顯著影響模型的性能。

4.4 不同光照環(huán)境下結(jié)果分析

在實(shí)際縫紉工廠中，工人工作時(shí)長(zhǎng)幾乎覆蓋全天，因此，在不同時(shí)刻的光照影響下，準(zhǔn)確的縫紉手勢(shì)檢測(cè)尤為重要。為驗(yàn)證不同光照條件對(duì)訓(xùn)練模型的影響，實(shí)驗(yàn)通過(guò)對(duì)未使用亮度變換的數(shù)據(jù)集A與采用亮度變換的數(shù)據(jù)集B進(jìn)行IOU值和F1值的評(píng)估，驗(yàn)證模擬全天候亮度變換的有效性，結(jié)果如表4所示。最后在工人工作時(shí)間內(nèi)選擇3個(gè)不同的光照時(shí)刻，對(duì)模型進(jìn)行實(shí)際檢驗(yàn)效果評(píng)估。實(shí)驗(yàn)將拍攝時(shí)的光照條件作為控制變量，分別有早晨光照、中午光照和燈光。實(shí)際檢測(cè)效果如圖8所示。

表4 不同光照條件下實(shí)驗(yàn)結(jié)果Tab.4 Experimental results under different lighting conditions

通過(guò)表4可看出，數(shù)據(jù)集B在訓(xùn)練時(shí)增加亮度變換，其檢測(cè)結(jié)果比未增加亮度變換數(shù)據(jù)集訓(xùn)練的模型的檢測(cè)結(jié)果更好。從增加亮度變換訓(xùn)練后的模型檢測(cè)效果中可看出，4種縫紉手勢(shì)在白天光照均勻時(shí)檢測(cè)精度最好，其次是在亮度較低的傍晚。在燈光環(huán)境下，亮度明顯增強(qiáng)，檢測(cè)難度增大，部分手勢(shì)紋理特征喪失。由于本文模型在訓(xùn)練數(shù)據(jù)集中增加了亮度變換，因此，可在光照復(fù)雜條件下準(zhǔn)確檢測(cè)出不同的縫紉手勢(shì)類(lèi)別。

4.5 不同算法的檢測(cè)效果對(duì)比

為驗(yàn)證本文提出的模型的性能，將所提出的模型與R-CNN、YOLOv2、原始YOLOv3在實(shí)際采集的縫紉手勢(shì)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表5所示。

注：圖片a1～a4為白天光照環(huán)境下；圖片b1～b4為 傍晚環(huán)境下；圖片c1～c4為燈光環(huán)境下。圖8 不同光照條件下4種手勢(shì)的檢測(cè)效果Fig.8 Detection effect of four sewing gestures under different lighting conditions

表5 不同算法對(duì)比實(shí)驗(yàn)結(jié)果Tab.5 Comparison of experimental results with different algorithms

通過(guò)對(duì)比模型的F1值、IOU值和平均檢測(cè)速度，本文改進(jìn)的YOLOv3算法與其他算法相比，mAP值、IOU值均高于其他3種算法，其mAP值為94.45%，IOU值為0.87,F1值為0.885。由于改進(jìn)YOLOv3模型比YOLOv3模型具有更高的圖像特征復(fù)用率，因此，與原始YOLOv3對(duì)比平均精度提升了2.29%。在檢測(cè)速度方面，改進(jìn)后的模型速度達(dá)到43.0幀/s，遠(yuǎn)高于R-CNN，與YOLOv2、YOLOv3檢測(cè)速度基本持平。模型檢測(cè)效果如圖9所示。

圖9 不同算法4種手勢(shì)實(shí)驗(yàn)檢測(cè)效果Fig.9 Experimental results of different algorithms for four sewing gestures.(a)R-CNN;(b)YOLOv2;(c)YOLOv3;(d)Modified YOLOv3

從實(shí)際檢測(cè)效果中可以看出，采用R-CNN與YOLOv2均有不同程度的漏檢現(xiàn)象，原始YOLOv3與改進(jìn)后的模型均能準(zhǔn)確檢測(cè)出4種不同的縫紉手勢(shì)類(lèi)別，但改進(jìn)后的模型在邊框重合度上更加準(zhǔn)確。綜上所述，改進(jìn)后的模型不僅在準(zhǔn)確率上有提高，且在檢測(cè)速率上有顯著提升，同時(shí)完全滿(mǎn)足縫紉手勢(shì)檢測(cè)的實(shí)時(shí)性要求。

5 結(jié) 論

為解決服裝加工中快速準(zhǔn)確的縫紉手勢(shì)識(shí)別問(wèn)題，本文提出了基于深度神經(jīng)網(wǎng)絡(luò) YOLOv3 算法的多種縫紉手勢(shì)檢測(cè)方法。首先通過(guò)對(duì)YOLOv3網(wǎng)絡(luò)進(jìn)行改進(jìn)，增加模型輸入分辨率，提高模型識(shí)別能力，然后在具有較低分辨率的YOLOv3原始傳輸層中嵌入密集連接網(wǎng)絡(luò)(DenseNet)，以增強(qiáng)功能擴(kuò)展并促進(jìn)特征重用和融合。

研究結(jié)果表明，改進(jìn)后模型的檢測(cè)精度高，速度快，在復(fù)雜環(huán)境下魯棒性高，改進(jìn)的深層網(wǎng)絡(luò)在真實(shí)環(huán)境下進(jìn)行檢測(cè)，交并比和調(diào)和平均值分別為0.87和0.885，實(shí)時(shí)檢測(cè)中速度達(dá)到 43.0幀/s，基本滿(mǎn)足人機(jī)協(xié)作中對(duì)工人縫紉手勢(shì)動(dòng)作檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性需求。