基于深度學(xué)習(xí)的極性電子元器件目標(biāo)檢測(cè)與方向識(shí)別方法

陳文帥 任志剛 吳宗澤 付敏躍

電子元器件是電子設(shè)備的重要基礎(chǔ)組成部分,在其生產(chǎn)、回收、焊接與檢測(cè)中,首先需要對(duì)元器件進(jìn)行正確分類(lèi).此外,在焊接和檢測(cè)元器件的過(guò)程中,還需要對(duì)極性電子元器件的方向進(jìn)行準(zhǔn)確識(shí)別.因此,對(duì)電子元器件正確分類(lèi)的同時(shí)能夠?qū)O性電子元器件的方向進(jìn)行識(shí)別具有重要的研究意義[1].但隨著電子元器件制造工藝的提高與需求的多樣化,電子元器件變得更加微型化、多樣化,這為電子元器件的分類(lèi)與檢測(cè)方向等問(wèn)題帶來(lái)了更嚴(yán)峻的挑戰(zhàn).

2012 年之前,圖像分類(lèi)和目標(biāo)檢測(cè)一度進(jìn)入瓶頸期,發(fā)展相對(duì)停滯.隨著計(jì)算機(jī)視覺(jué)的快速發(fā)展,深度學(xué)習(xí)在目標(biāo)檢測(cè)方面也取得了巨大的成功.得益于此,深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)方向的算法不斷更新迭代,在文字識(shí)別[2]、醫(yī)學(xué)圖像識(shí)別[3?4]等方面得到了廣泛運(yùn)用.2012 年,Krizhevsky 等[5]提出了一個(gè)稱(chēng)為AlexNet 的深度卷積神經(jīng)網(wǎng)絡(luò)(Deep convolutional neural network,DCNN),其在大規(guī)模的視覺(jué)識(shí)別挑戰(zhàn)(ImageNet large-scale visual recognition challenge,ILSVRC) 中實(shí)現(xiàn)了破紀(jì)錄的圖像分類(lèi)精度,成為深度學(xué)習(xí)發(fā)展的一個(gè)重要里程碑.從此,深度學(xué)習(xí)進(jìn)入高速發(fā)展階段,許多計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域的研究也都集中在深度學(xué)習(xí)方法上[6],其中包括目標(biāo)檢測(cè)及圖片背景消減技術(shù)[7].

深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域的目標(biāo)檢測(cè)方法[8]可分為基于候選區(qū)域的目標(biāo)檢測(cè)方法和基于回歸的目標(biāo)檢測(cè)算法.基于候選區(qū)域的檢測(cè)方法采用了卷積神經(jīng)網(wǎng)絡(luò)代替人工特征的提取[9],常用的候選區(qū)域提取辦法有SelectiveSearch[10]和Edge Boxes[11].常用來(lái)提取特征圖的網(wǎng)絡(luò)結(jié)構(gòu)有VGG(Visual geometry group)[12]、ResNet[13]等.Faster RCNN(Region convolutional neural network)[14]是最具有代表性的算法之一,Faster RCNN 為了減少SelectiveSearch和EdgeBoxes 提取候選區(qū)域的時(shí)間,結(jié)合全卷積設(shè)計(jì)的候選區(qū)域思想[15],提出了用區(qū)域侯選網(wǎng)絡(luò)(Region proposal networks,RPN)計(jì)算候選框,不僅提高了候選區(qū)域的質(zhì)量與準(zhǔn)確率,還將檢測(cè)時(shí)間減少為原來(lái)的1/10.基于候選區(qū)域的目標(biāo)檢測(cè)方法需要分兩步去分別訓(xùn)練兩個(gè)復(fù)雜的卷積結(jié)構(gòu),雖然檢測(cè)精確,但其有在訓(xùn)練與檢測(cè)速度上緩慢的缺點(diǎn).基于回歸的目標(biāo)檢測(cè)算法為了解決這個(gè)缺點(diǎn),不通過(guò)生成區(qū)域建議的方式,直接將目標(biāo)檢測(cè)的相關(guān)問(wèn)題轉(zhuǎn)化為回歸問(wèn)題[16],其結(jié)構(gòu)相對(duì)簡(jiǎn)單,實(shí)時(shí)性更好,最具有代表性的算法有SSD(Single shotmultibax dctector)[17]和YOLO(You only look once) 系列算法[18?20].YOLO 算法簡(jiǎn)單地將圖像均勻分為7×7 個(gè)部分,再利用卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)每一個(gè)部分是否有目標(biāo),最后對(duì)目標(biāo)類(lèi)別與位置進(jìn)行預(yù)測(cè).YOLO 就是通過(guò)節(jié)省生成區(qū)域建議的時(shí)間來(lái)大幅提高檢測(cè)速度,但這也會(huì)對(duì)其精度帶來(lái)一定的影響.

目前對(duì)于電子元器件分類(lèi)研究的算法,主要分為兩大類(lèi),如圖1 所示,一類(lèi)是基于傳統(tǒng)的圖像分類(lèi)的方法,首先輸入圖像、然后經(jīng)過(guò)復(fù)雜的程序提取圖像的特征,再根據(jù)提取出來(lái)的特征進(jìn)行分類(lèi).如杜思思等采取將最小二乘法和Hough 變換相結(jié)合[21],得到一種改進(jìn)的直線段精確檢測(cè)算法.另外一類(lèi)是基于深度學(xué)習(xí)的分類(lèi)方法,首先輸入圖像、然后經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取特征生成特征圖、再根據(jù)特征圖進(jìn)行目標(biāo)的定位與分類(lèi).如陳翔等[22]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(AlexNet) 的電子元器件分類(lèi)方法,其可以直接在輸人圖像上進(jìn)行自動(dòng)特征學(xué)習(xí)和分類(lèi),彌補(bǔ)了傳統(tǒng)元件分類(lèi)方法存在部分缺陷,但只能對(duì)圖片進(jìn)行分類(lèi),不能運(yùn)用到單幅有多目標(biāo)的場(chǎng)景并對(duì)目標(biāo)進(jìn)行定位.第1 類(lèi)傳統(tǒng)的圖像分類(lèi)方法需要提取圖像的多種特征,要對(duì)每一種類(lèi)別的元器件找出其表示的特征,如蜂鳴器的特征用圓表示等.其有以下缺點(diǎn):1) 傳統(tǒng)圖像分類(lèi)方法對(duì)于圖像的對(duì)比度要求很高,模糊、灰度化不明顯、灰度不均勻等情況都會(huì)增加識(shí)別的誤差;2) 對(duì)特征相似的目標(biāo)識(shí)別效果不佳,比如同樣類(lèi)別的不同型號(hào)的元器件分辨準(zhǔn)確率低;3) 需要人工提取特征,無(wú)法對(duì)包含上百種海量數(shù)據(jù)進(jìn)行分類(lèi),每多一種分類(lèi),計(jì)算復(fù)雜度就上升一個(gè)等級(jí).第2 類(lèi)基于深度學(xué)習(xí)的分類(lèi)算法,雖然有隨著深度學(xué)習(xí)網(wǎng)絡(luò)的加深計(jì)算量不斷加大的缺點(diǎn),但融入了反向傳播[23]、權(quán)值共享、稀疏連接、池化、Dropout[24]等思想,簡(jiǎn)化了操作,并且大大降低了神經(jīng)網(wǎng)絡(luò)參數(shù)的量級(jí),一定程度上減輕了計(jì)算量,使其更易于訓(xùn)練,而且深度學(xué)習(xí)算法能夠自動(dòng)的提取圖像特征,自動(dòng)學(xué)習(xí)各種各樣的表征特征紋理,甚至能夠表達(dá)完整的目標(biāo)物,比人工提取的特征更具有描述力,其對(duì)于目標(biāo)的理解的概念分布在神經(jīng)網(wǎng)絡(luò)不同的層中,最后形成了對(duì)不通目標(biāo)物體的整體感知,并根據(jù)感知同時(shí)對(duì)目標(biāo)進(jìn)行分類(lèi)與定位.

圖1 基于傳統(tǒng)和深度學(xué)習(xí)圖像分類(lèi)方法模型Fig.1 Traditional and deep learning image classification method based on model

本文的主要貢獻(xiàn)主要有以下三個(gè)方面:1) 首次提出基于深度學(xué)習(xí)極性電子元器件類(lèi)別與方向識(shí)別方法.通過(guò)把方向識(shí)別問(wèn)題轉(zhuǎn)化為分類(lèi)問(wèn)題,利用先進(jìn)的目標(biāo)檢測(cè)算法進(jìn)行分類(lèi),平均準(zhǔn)確率(Mean average precision,mAP) 最優(yōu)高達(dá)99.44%.2) 提出一種基于數(shù)據(jù)集設(shè)計(jì)遍歷框(Anchor boxes) 的方法.根據(jù)訓(xùn)練集目標(biāo)框長(zhǎng)寬的分布結(jié)合算法提供的框來(lái)選取Anchor boxes 的個(gè)數(shù)與大小.3) 提出YOLOv3-BigObject 算法模型.對(duì)于大目標(biāo)的數(shù)據(jù)集,通過(guò)對(duì)Anchor boxes 大小與個(gè)數(shù)的分析,壓縮YOLOv3 的算法框架,減少了訓(xùn)練復(fù)雜度與時(shí)間,大幅減少對(duì)單張圖片的檢測(cè)時(shí)間.

本文組織架構(gòu)如下:首先,在第1 節(jié)對(duì)數(shù)據(jù)集的構(gòu)建與內(nèi)容進(jìn)行了詳細(xì)介紹.在第2 節(jié)利用K-means 算法,基于數(shù)據(jù)集和目標(biāo)檢測(cè)算法設(shè)計(jì)了Anchor boxes 的大小與個(gè)數(shù).在第3 節(jié)提出用于大目標(biāo)檢測(cè)的YOLOv3-BigObject 網(wǎng)絡(luò)模型.在第4 節(jié),我們通過(guò)進(jìn)一步實(shí)驗(yàn)分析,驗(yàn)證了深度學(xué)習(xí)在該場(chǎng)景下的極性元器件方向識(shí)別的效果,分析了用K-means 算法設(shè)計(jì)Anchor boxes 的效果以及YOLOv3-BigObject 模型在檢測(cè)時(shí)間上的提升效果,并用焊接有元器件電路板視頻檢測(cè)算法實(shí)際效果,最后,對(duì)全文工作進(jìn)行了總結(jié)和展望.

1 數(shù)據(jù)集構(gòu)建及預(yù)處理

深度學(xué)習(xí)的算法模型需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練,但目前還沒(méi)有公開(kāi)的、帶類(lèi)別標(biāo)簽的電子元器件的數(shù)據(jù)集,為了能夠?qū)崿F(xiàn)本文所提出的基于深度學(xué)習(xí)的極性電子元器件類(lèi)別與方向識(shí)別,實(shí)驗(yàn)采取人工拍攝的方式采集數(shù)據(jù)集.采集設(shè)備為海康威視MVCE013-50 GM 130 萬(wàn)像素的CCD 工業(yè)相機(jī),數(shù)據(jù)集1 一共采集2 000 幅大小為1 280×960 像素、包含3 種型號(hào)的二極管圖片,如圖2 所示.數(shù)據(jù)集2一共采集813 幅大小為1 280×960 像素、包含2 種型號(hào)且?guī)в幸_的二極管圖片,如圖3 所示.目前深度學(xué)習(xí)算法還沒(méi)有能夠識(shí)別目標(biāo)的具體傾斜角度,但可以通過(guò)把方向問(wèn)題轉(zhuǎn)換為分類(lèi)問(wèn)題達(dá)到粗略的方向識(shí)別的效果.根據(jù)二極管正極的朝向?qū)⑵浞譃?類(lèi):上、下、左、右,每類(lèi)角度范圍為90?,具體分類(lèi)細(xì)節(jié)如圖4 所示.為了訓(xùn)練出分類(lèi)效果比較好的算法模型,首先對(duì)原始數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)的預(yù)處理,經(jīng)過(guò)對(duì)圖片分別逆時(shí)針旋轉(zhuǎn)90?、180?、270?與水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、水平垂直翻轉(zhuǎn)等6 種方式將數(shù)據(jù)集擴(kuò)增到原數(shù)據(jù)集的7 倍,其中,數(shù)據(jù)集1 具體分布如表1 所示,數(shù)據(jù)集2 具體分布如表2 所示,括號(hào)外的數(shù)字表示數(shù)據(jù)集包含該類(lèi)的圖片數(shù)量,括號(hào)內(nèi)的數(shù)字表示數(shù)據(jù)集包含該類(lèi)別的目標(biāo)數(shù)量.

圖2 數(shù)據(jù)集1 圖片示例Fig.2 Image examples of the dataset 1

圖3 數(shù)據(jù)集2 圖片示例Fig.3 Image examples of the dataset 2

表1 數(shù)據(jù)集1 包含各類(lèi)的圖片數(shù)量和目標(biāo)數(shù)量Table 1 The dataset 1 contains the number of images and targets of targets in each category

表2 數(shù)據(jù)集2 包含各類(lèi)的圖片數(shù)量和目標(biāo)數(shù)量Table 2 The dataset 2 contains the number of images and targets of targets in each category

圖4 方向識(shí)別轉(zhuǎn)化為分類(lèi)Fig.4 Direction recognition change to classification

2 Anchor boxes 的選取方法

在目標(biāo)檢測(cè)的深度學(xué)習(xí)算法中,每種算法都有基于某些數(shù)據(jù)集給出Anchor boxes 的大小與個(gè)數(shù),如在FasterRCNN給出的9 個(gè)Anchorboxes[14],YOLOv2 提供的5個(gè)Anchorboxes[19],YOLOv3給出的9 個(gè)在不同大小特征圖(Feature map) 的Anchor boxes[20],但默認(rèn)算法提供的Anchor boxes不一定適用在某些特定場(chǎng)景下的數(shù)據(jù)集,如果過(guò)多,會(huì)造成訓(xùn)練時(shí)間過(guò)長(zhǎng)、檢測(cè)速度過(guò)慢、資源浪費(fèi)等問(wèn)題.因此,選取適合特定數(shù)據(jù)集的Anchor boxes至關(guān)重要.因此,本文結(jié)合具體應(yīng)用背景,提出一種基于K-means 算法設(shè)計(jì)Anchor box 的方法,并且在Faster RCNN 與YOLOv3 上取得良好的效果.具體步驟如下:1) 計(jì)算訓(xùn)練集中每個(gè)目標(biāo)框(Ground truth boxes,GT boxes) 與算法給出的Anchor boxes 的交并比(Intersection over union,IoU);2) 每個(gè)GT Boxes 選擇與其IoU 最大的Anchor box 并統(tǒng)計(jì)每個(gè)Anchor box 被選到的個(gè)數(shù),剔除計(jì)數(shù)為0 的Anchor boxes,選擇計(jì)數(shù)不為0 的n個(gè)Anchor boxes 為初始化的聚類(lèi)中心;3) 用Kmeans 算法進(jìn)行聚類(lèi)迭代計(jì)算,最終得到n個(gè)適合該數(shù)據(jù)集的Anchor boxes.

2.1 基于Faster RCNN 算法的Anchor boxes

Faster RCNN 算法[14]是根據(jù)設(shè)定的3 個(gè)長(zhǎng)寬比例和3 種面積生成9 個(gè)Anchor boxes,這樣設(shè)置難于直觀調(diào)節(jié)大小,而且部分Anchor boxes 之間有關(guān)聯(lián),在特定數(shù)據(jù)集下,幾乎得不到與訓(xùn)練集平均IoU 最大的Anchor boxes.相對(duì)來(lái)說(shuō),以長(zhǎng)寬設(shè)置Anchor box 大小更為直觀,這樣能得到與訓(xùn)練集平均IoU 最大的Anchor box.在極性電子元器件的數(shù)據(jù)集1 和數(shù)據(jù)集2 中,其訓(xùn)練集需檢測(cè)的目標(biāo)長(zhǎng)寬的分布如圖5 所示,圖中橫坐標(biāo)、縱坐標(biāo)分別表示GT boxes 的寬度和高度,訓(xùn)練集所有GT boxes 用圓表示,星號(hào)為Faster RCNN 提供的9 個(gè)Anchor boxes,根據(jù)上述計(jì)算步驟,最遠(yuǎn)離原坐標(biāo)的3 個(gè)Anchor boxes 計(jì)數(shù)為0,說(shuō)明相比較其他Anchor box,這3 個(gè)距離GT boxes 比較遠(yuǎn),訓(xùn)練集與其IoU 沒(méi)有比其他6 個(gè)Anchor boxes 大.所以,對(duì)于該數(shù)據(jù)集,Faster RCNN 只要6 個(gè)Anchor boxes 足以滿足數(shù)據(jù)集目標(biāo)的大小.故選取算法提供的其他6 個(gè)Anchor boxes 作為K-means 算法初始聚類(lèi)的點(diǎn),經(jīng)過(guò)多次迭代,最終得到適用于該數(shù)據(jù)集的Anchor boxes,即圖5 中正方形的點(diǎn).通過(guò)計(jì)算,算法提供的9 個(gè)Anchor boxes 與訓(xùn)練集的平均IoU 為0.6294,IoU 的均方差為0.08289.經(jīng)過(guò)K-means 算法得到的6 個(gè)Anchor boxes 與訓(xùn)練集的平均IoU 為0.8,IoU 的均方差為0.0555.

圖5 基于Faster RCNN 的Anchor boxes 和訓(xùn)練集的分布Fig.5 Distribution of training set and anchors boxes based on Faster RCNN

2.2 基于YOLOV 3 算法的Anchor boxes

YOLOv3 算法[20]采用多個(gè)Scale 融合的方式,利用3 種大小不一樣的特征圖分別檢測(cè)大、中、小的目標(biāo),并在每個(gè)特征圖上選擇3 個(gè)Anchor boxes進(jìn)行遍歷,在對(duì)GT boxes 分布比較廣的、目標(biāo)比較小的數(shù)據(jù)集上效果比較好,但在特定數(shù)據(jù)集不一定需要3 種尺度的特征圖.YOLOv3 雖然提出用Kmeans 算法根據(jù)數(shù)據(jù)集目標(biāo)的長(zhǎng)寬來(lái)選取Anchor box,但其初始化K-means 算法的聚類(lèi)中心一般是在訓(xùn)練集中隨機(jī)選取,而且聚類(lèi)中心的個(gè)數(shù)需要自己設(shè)定.這樣選取的Anchor box 隨機(jī)性比較大,不一定是最佳選擇,而且個(gè)數(shù)難于設(shè)定.在有極性電子元器件的數(shù)據(jù)集1 和數(shù)據(jù)集2 中,其訓(xùn)練集的GT boxes 轉(zhuǎn)化后的分布如圖6 所示.圖中橫坐標(biāo)、縱坐標(biāo)分別為GT boxes 的寬度和高度,訓(xùn)練集所有GT boxes 用圓表示,星號(hào)為YOLOv3 提供的9 個(gè)Anchor boxes 的分布,根據(jù)上述計(jì)算步驟,只有3 個(gè)Anchor boxes 的計(jì)數(shù)不為0.所以,對(duì)于該數(shù)據(jù)集,YOLOv3 只要3 個(gè)Anchor boxes 足以滿足該數(shù)據(jù)集.故選取這3 個(gè)Anchor boxes 作為K-means 算法初始聚類(lèi)的點(diǎn).經(jīng)過(guò)多次迭代,最終得到適用于該數(shù)據(jù)集的Anchor boxes,即圖6 中正方形的點(diǎn).通過(guò)計(jì)算,算法提供的9 個(gè)Anchor boxes 與訓(xùn)練集的平均IoU 為0.44768,IoU 的均方差為0.1136.經(jīng)過(guò)K-means 算法得到的3 個(gè)Anchor boxes 與訓(xùn)練集的平均IoU 為0.6645,IoU 的均方差為0.0870.

圖6 基于YOLOv3 的Anchor boxes 和訓(xùn)練集的分布Fig.6 Distribution of training set and anchor boxes based on YOLOv3

3 YOLOv3-BigObject

YOLOv3 算法的網(wǎng)絡(luò)結(jié)構(gòu)以Darknet-53 為基礎(chǔ),在第36,61,79 層分別形成大小為52×52,26×26,13×13 的特征圖,如圖7 所示,3 種特征圖對(duì)應(yīng)的Anchor boxes 大小分別為((10,13),(16,30),(33,26)),((30,61),(62,45),(59,119)),((116,90),(156,198),(373,326)).結(jié)合特征金字塔網(wǎng)絡(luò)(Feature pyramidnetwork,FPN)[25]的思想,后面生成的特征圖融合前面生成的特征圖,可以提高對(duì)中小物體檢測(cè)的準(zhǔn)確率,最終在82,94,106 層分別經(jīng)過(guò)輸出對(duì)大,中,小目標(biāo)的檢測(cè)結(jié)果.根據(jù)前面YOLOv3 在極性電子元器件的數(shù)據(jù)集上得到適用于該數(shù)據(jù)集的3 個(gè)Anchor boxes:((118,175),(190,102),(185,154)).顯而易見(jiàn),該數(shù)據(jù)集都是大目標(biāo),這3 個(gè)Anchor boxes 與算法在13×13 特征圖對(duì)應(yīng)的Anchor boxes ((116,90),(156,198),(373,326)) 最為接近,在13×13 特征圖上進(jìn)行遍歷能有最好的結(jié)果.其他兩種特征圖在該數(shù)據(jù)集上明顯多余,基于此,我們對(duì)YOLOv3 結(jié)構(gòu)進(jìn)行改進(jìn),刪減生成52×52,26×26 特征圖的結(jié)構(gòu),保留中間的下采樣結(jié)構(gòu),把原來(lái)106 層的結(jié)構(gòu)縮減為46 層的結(jié)構(gòu),如圖8 所示.

圖7 YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 YOLOv3 network structure

圖8 YOLOv3-BigObject 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.8 YOLOv3-BigObject network structure

YOLOv3-BigObject 具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖9 所示,由YOLOV3 的Darknet-53 結(jié)構(gòu)改進(jìn)得到,它主要由5 個(gè)下采樣層、11 個(gè)殘差塊、1 個(gè)平均池化層、1個(gè)全連接層組成.下采樣層、殘差塊中的卷積層依次包含有二維卷積(Conv2d)、批歸一化(Batch normalization,BN)、LeakyReLU.其中,BN 的目的是為了防止梯度消失,在不破壞特征分布的情況下將輸入控制在一個(gè)穩(wěn)定的范圍內(nèi),使網(wǎng)絡(luò)中每層輸入數(shù)據(jù)分布比較穩(wěn)定,并且可以加速模型的學(xué)習(xí)速率,式(1) 為其計(jì)算公式,其中y為經(jīng)過(guò)BN 后的輸出,x為BN 的輸入,γ,β分別為可學(xué)習(xí)的縮放參數(shù)與偏移參數(shù),ε是趨向于0 的參數(shù),預(yù)防式中分母為0.

圖9 YOLOv3-BigObject 的內(nèi)部網(wǎng)絡(luò)參數(shù)設(shè)置結(jié)構(gòu)Fig.9 The Internal network parameter setting structure of the YOLO v3-BigObject

在經(jīng)過(guò)BN 后,BN 所得的結(jié)果輸入激活函數(shù)中,在此算法結(jié)構(gòu)中的激活函數(shù)為L(zhǎng)eakyReLU,如式(2) 所示,LeakyReLU 是一個(gè)非飽和激活函數(shù),而且給所有負(fù)值賦予一個(gè)非零斜率,以解決梯度消失、加快收斂速度、避免神經(jīng)元死亡等問(wèn)題.

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)的顯卡設(shè)備為NVIDIA GeForce GTX 1080 Ti.實(shí)驗(yàn)分為三部分:實(shí)驗(yàn)1 用于證明本文所選取Anchor boxes 的方式在準(zhǔn)確率上有一定的提升,我們分別用Faster RCNN 和YOLOv3算法對(duì)其進(jìn)行驗(yàn)證,并在測(cè)試集中進(jìn)行測(cè)試.在Faster RCNN 的實(shí)驗(yàn)中,設(shè)置的Batch size 為1,訓(xùn)練步數(shù)為140 000;在YOLOv3 的實(shí)驗(yàn)中,設(shè)置的Batch size 為64,訓(xùn)練步數(shù)為50 000.實(shí)驗(yàn)2 用于證明YOLOv3-BigObject 網(wǎng)絡(luò)結(jié)構(gòu)有顯著的提升效果,我們分別用YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu)和YOLOv3-BigObject 進(jìn)行訓(xùn)練和測(cè)試,訓(xùn)練方式和實(shí)驗(yàn)1 相同,然后對(duì)比兩者的訓(xùn)練與測(cè)試情況.實(shí)驗(yàn)3 用于驗(yàn)證算法的性能,檢驗(yàn)增加類(lèi)別后算法的魯棒性,在數(shù)據(jù)集1 的基礎(chǔ)上增加數(shù)據(jù)集2 作為該實(shí)驗(yàn)的數(shù)據(jù)集.

4.2 基于K-means 算法設(shè)計(jì)Anchor boxes 的實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)1 中,用數(shù)據(jù)集1 進(jìn)行實(shí)驗(yàn),經(jīng)過(guò)調(diào)節(jié)學(xué)習(xí)率、數(shù)據(jù)增強(qiáng)等步驟,我們?cè)O(shè)計(jì)的深度學(xué)習(xí)算法能夠很好地識(shí)別極性電子元器件的類(lèi)別與方向,如圖10 所示,標(biāo)簽第1 個(gè)數(shù)字是表示種類(lèi),后面的數(shù)字表示方向.在Faster RCNN 算法中,我們用算法提供的9 個(gè)Anchor boxes 與K-means算法設(shè)計(jì)的Anchor boxes 進(jìn)行實(shí)驗(yàn)對(duì)比,原Anchor boxes 與訓(xùn)練集的平均IoU 為0.7037,Faster RCNN (VGG-16)、Faster RCNN (ResNet101) 在測(cè)試集中的mAP 分別為93.77% 和97.05%.經(jīng)過(guò)K-means 算法設(shè)計(jì)Anchor boxes 的大小與個(gè)數(shù),所設(shè)計(jì)的6 個(gè)Anchor boxes 與訓(xùn)練集的平均IoU 為0.8577,Faster RCNN (VGG-16)、Faster RCNN(ResNet101) 在測(cè)試集中的mAP 分別為94.95%和97.36%,mAP 分別提高了1.18%、0.31%.在YOLOv3 算法中,用算法提供的9 個(gè)Anchor boxes進(jìn)行訓(xùn)練,Anchor boxes 與訓(xùn)練集的平均IoU 為0.5728.在測(cè)試集中的mAP 為99.22%.經(jīng)過(guò)Kmeans 算法選取Anchor boxes 的大小與個(gè)數(shù),我們所選取的Anchor boxes 與訓(xùn)練集的平均IoU 為0.7362,最終在測(cè)試集中的mAP 為99.31%.圖11和圖12 分別是Faster RCNN 和YOLOv3 訓(xùn)練過(guò)程中損失函數(shù)(Loss) 的下降曲線.由上面的實(shí)驗(yàn)結(jié)果可知,經(jīng)過(guò)K-means 算法對(duì)特定數(shù)據(jù)集提取Anchor boxes 的個(gè)數(shù)與大小在測(cè)試集上表現(xiàn)得更優(yōu)異,兩種算法都大大提高了與訓(xùn)練集的平均IoU.這樣選取的方式使網(wǎng)絡(luò)在學(xué)習(xí)Anchor boxes 回歸時(shí)復(fù)雜度降低,進(jìn)一步提高了檢測(cè)的精度.在Faster RCNN中,經(jīng)過(guò)K-means 算法選取的Anchor boxes 在訓(xùn)練時(shí)的Loss 的收斂速度與收斂效果比9 個(gè)Anchor boxes 表現(xiàn)得更好.

圖10 測(cè)試集結(jié)果展示Fig.10 The display of test sets result

圖11 Faster RCNN (ResNet101) 的Loss 曲線Fig.11 The loss curves of Faster RCNN (ResNet101)

圖12 YOLOv3 和YOLOv3-BigObject 的Loss 曲線Fig.12 The loss curves of YOLOv3 and YOLOv3-BigObject

4.3 YOLOv3-BigOb ject 網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)2 中,用數(shù)據(jù)集1 進(jìn)行實(shí)驗(yàn),檢驗(yàn)YOLOv3-BigObject 在極性元器件分類(lèi)與方向識(shí)別的效果,通過(guò)對(duì)YOLOv3 和YOLOv3-BigObject網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練和測(cè)試,結(jié)果如表3 所示.在經(jīng)過(guò)50 000 次迭代后,YOLOv3-BigObject 在測(cè)試集中的mAP 為99.44%.相比于YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu),mAP 提高0.13%,兩者mAP 相近.但YOLOv3-BigObject 的檢測(cè)速度幾乎是YOLOv3 的一半.YOLOv3-BigObject 在訓(xùn)練過(guò)程的Loss 下降得比較緩慢,如圖10,其主要原因是,預(yù)訓(xùn)練模型中每一層負(fù)責(zé)感知的特征已經(jīng)學(xué)習(xí)形成,改變結(jié)構(gòu)后,對(duì)目標(biāo)物體的整體感知不全,相當(dāng)于每層需重新學(xué)習(xí)感知對(duì)應(yīng)的特征,這是Loss 下降緩慢的最主要原因.綜上所述,YOLOv3-BigObject 網(wǎng)絡(luò)結(jié)構(gòu)在大目標(biāo)檢測(cè)上有與原來(lái)網(wǎng)絡(luò)結(jié)構(gòu)相當(dāng)?shù)臏?zhǔn)確率的基礎(chǔ)上,將檢測(cè)速度大約提高到原來(lái)的兩倍.

表3 數(shù)據(jù)集1 的實(shí)驗(yàn)結(jié)果Table 3 Experimental result of dataset 1

4.4 增加數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果

我們?cè)跀?shù)據(jù)集1 的基礎(chǔ)上,進(jìn)一步增加了數(shù)據(jù)集2 對(duì)算法進(jìn)行實(shí)驗(yàn)驗(yàn)證,實(shí)驗(yàn)結(jié)果如表4所示,結(jié)果顯示運(yùn)用K-means 算法設(shè)計(jì)Anchor boxes 后,Faster RCNN 與YOLOv3 的算法性能依然得到了一定程度的提升,而且實(shí)驗(yàn)效果比在FPN、SSD 等算法中表現(xiàn)得更好.在本實(shí)驗(yàn)中,YOLOv3-BigObject 的mAP 高達(dá)0.9920,證明了YOLOv3-BigObject 即使在增加種類(lèi)后的情況下,也具有比較好的性能.為了進(jìn)一步更好地檢驗(yàn)算法的性能,我們選用了一個(gè)焊接有數(shù)據(jù)集1 和數(shù)據(jù)集2中的5 種型號(hào)的元器件電路板,但不是用來(lái)拍攝制作數(shù)據(jù)集的元器件對(duì)焊有元器件的電路板進(jìn)行視頻拍攝,并用YOLOv3-BigObject 生成的算法模型對(duì)視頻進(jìn)行檢測(cè),結(jié)果如圖13 所示.實(shí)驗(yàn)結(jié)果顯示我們的算法能夠很好地檢測(cè)出電路板上元器件的類(lèi)別與方向,進(jìn)一步證明了我們的算法具有很好的魯棒性和實(shí)用性.

圖13 視頻檢測(cè)結(jié)果Fig.13 Video experimental result

表4 數(shù)據(jù)集1 和數(shù)據(jù)集2 的實(shí)驗(yàn)結(jié)果Table 4 Experimental result of datasets 1 and 2

5 總結(jié)與展望

本文提出了一種基于深度學(xué)習(xí)的算法,實(shí)現(xiàn)了極性電子元器件的類(lèi)別與方向檢測(cè).實(shí)驗(yàn)結(jié)果表明,我們所改進(jìn)的深度學(xué)習(xí)算法在電子元器件的類(lèi)別分類(lèi)上比傳統(tǒng)算法和卷積網(wǎng)絡(luò)上表現(xiàn)得更好,而且還能進(jìn)一步識(shí)別類(lèi)別的方向.通過(guò)K-means 算法設(shè)計(jì)Anchor boxes 的方式提高了深度學(xué)習(xí)算法檢測(cè)的準(zhǔn)確率和速度.本文也對(duì)YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了壓縮改進(jìn),其在檢測(cè)大目標(biāo)提高準(zhǔn)確率的同時(shí),將檢測(cè)時(shí)間幾乎縮小到一半,進(jìn)一步達(dá)到實(shí)時(shí)檢測(cè)的效果,最后將算法模型運(yùn)用到焊接有元器件的電路板上檢測(cè),得到很好的效果.本文所提出的方法在極性電子元器件類(lèi)別、方向識(shí)別、定位、焊接和檢測(cè)等方面也同樣有很大的應(yīng)用潛力.雖然本文在極性電子元器件目標(biāo)檢測(cè)與方向識(shí)別上能夠得到很好的識(shí)別效果,但其仍然有很大的改進(jìn)空間,主要有兩個(gè)方面:一是類(lèi)別增多問(wèn)題,二是方向識(shí)別提升精度問(wèn)題.在第一個(gè)方面,類(lèi)別增多使分類(lèi)更加復(fù)雜,未來(lái)可以進(jìn)行如下展望:1) 建立更加龐大規(guī)范的數(shù)據(jù)集;2) 在達(dá)到算法模型能夠高準(zhǔn)確率分類(lèi)的最大類(lèi)別數(shù)時(shí),對(duì)電路板進(jìn)行劃區(qū)域或劃種類(lèi)對(duì)模型進(jìn)行訓(xùn)練.在第二個(gè)方面,如何進(jìn)一步將方向識(shí)別的精度提升到具體多少度,可以考慮下面幾個(gè)方面:1) 與其他回歸方法結(jié)合的方式得到具體角度;2) 借鑒文本檢測(cè)的思想,用帶角度(如:與水平線夾角每轉(zhuǎn)30?為一個(gè)Anchor) 的Anchor 加上回歸方法得到具體的角度;3) 用語(yǔ)義分割的方法識(shí)別出每個(gè)元器件的區(qū)域,再對(duì)元器件區(qū)域用傳統(tǒng)圖像處理的方法進(jìn)行邊緣檢測(cè)等操作得到具體角度.