基于YOLOv2 目標(biāo)檢測(cè)算法和K210 芯片的智能壓板狀態(tài)識(shí)別系統(tǒng)

陳業(yè)宏

（廣東粵電楓樹(shù)壩發(fā)電有限責(zé)任公司，廣東河源，517000 ）

0 引言

在日常巡檢過(guò)程中，運(yùn)行人員需要對(duì)發(fā)電機(jī)、變壓器、線路等保護(hù)裝置進(jìn)行檢查，其中根據(jù)當(dāng)時(shí)機(jī)變和線路的運(yùn)行方式檢查壓板相應(yīng)的投退情況是非常重要的項(xiàng)目。由于在廠房中保護(hù)裝置臺(tái)數(shù)眾多、壓板數(shù)量繁多，且壓板類(lèi)型容易造成混淆，而巡檢人員常常處于人數(shù)不足的狀態(tài)，難免會(huì)因?yàn)樵诟邷亍⒏咴肼暤墓ぷ鳝h(huán)境下引起精力不集中，產(chǎn)生失誤導(dǎo)致的錯(cuò)檢、漏檢。為了幫助避免上述情況發(fā)生，本文提出一種通過(guò)人工智能識(shí)別算法來(lái)檢查壓板投退狀態(tài)并進(jìn)行圖像和文字顯示的工具。

針對(duì)壓板狀態(tài)識(shí)別的技術(shù)，先前已有學(xué)者采用神經(jīng)網(wǎng)絡(luò)和機(jī)器視覺(jué)的方法，先對(duì)圖像進(jìn)行預(yù)處理，然后針對(duì)壓板三個(gè)狀態(tài)：投入、退出、備用的不同特征進(jìn)行提取，最后根據(jù)特征匹配輸出大于閾值的結(jié)果。這種方式雖然簡(jiǎn)單、容易實(shí)現(xiàn)，但由于現(xiàn)場(chǎng)光線干擾和拍攝圖像與特征模板匹配時(shí)產(chǎn)生畸變的問(wèn)題，導(dǎo)致最終檢測(cè)分類(lèi)速度慢且結(jié)果與實(shí)際具有較大偏差。

基于以上出現(xiàn)的問(wèn)題，本文基于對(duì)不同類(lèi)型的壓板不同狀態(tài)表現(xiàn)的研究，采用YOLOv2 目標(biāo)檢測(cè)算法，采集不同顏色、種類(lèi)的壓板進(jìn)行三種狀態(tài)的特征提取，導(dǎo)入算法進(jìn)行多次訓(xùn)練，并通過(guò)調(diào)整參數(shù)進(jìn)行對(duì)比驗(yàn)證，得到現(xiàn)場(chǎng)識(shí)別效果較好的目標(biāo)檢測(cè)模型，證明基于YOLOv2 目標(biāo)檢測(cè)算法和K210 芯片的智能壓板狀態(tài)識(shí)別系統(tǒng)的可行性和有效性。

1 系統(tǒng)框架

本系統(tǒng)使用搭載K210 芯片的Maix Bit 最小系統(tǒng)板，采用型號(hào)為OV2640 的廣角攝像頭和2.4 寸彩色屏幕。將提前訓(xùn)練好的模型（.kmodel 文件）燒錄到芯片0x300000 地址上，在0x00000 和0X1a0000 地址上燒錄最新版本的模型驅(qū)動(dòng)固件以及最小系統(tǒng)固件（均為bin 文件）；使用攝像頭采集壓板圖像，識(shí)別壓板是否處于投入、退出或者備用的狀態(tài)；攝像頭所拍攝圖像以及識(shí)別結(jié)果可以顯示在LCD 屏幕上。

圖1 系統(tǒng)硬件結(jié)構(gòu)框圖

圖2 系統(tǒng)開(kāi)發(fā)流程框圖

2 目標(biāo)檢測(cè)算法的比較和原理

與經(jīng)典的目標(biāo)檢測(cè)算法，例如R-CNN、Faster-RCNN等相比，YOLO 算法更具有實(shí)時(shí)性的優(yōu)勢(shì)。由于YOLOv1 算法采用單次循環(huán)檢測(cè)的方式，對(duì)尺寸小、密度高的目標(biāo)定位存在較高的位置誤差，而YOLOv2 在引入Darknet-19 網(wǎng)絡(luò)和Anchor box 之后，通過(guò)多尺度特征的比對(duì)來(lái)提高檢測(cè)精度和穩(wěn)定性。在精確性方面，可以利用Anchor box 和多尺度特征提取提高壓板檢測(cè)的準(zhǔn)確性，同時(shí)適當(dāng)增加樣本數(shù)量，保證良好的訓(xùn)練效果和檢測(cè)準(zhǔn)度。可以對(duì)物體進(jìn)行實(shí)時(shí)檢測(cè)，以圖片作為輸入，將識(shí)別目標(biāo)的位置和置信度作為輸出，能夠在保持原有較高的檢測(cè)速度的基礎(chǔ)上，提高目標(biāo)檢測(cè)的準(zhǔn)確率，而目標(biāo)檢測(cè)的主要任務(wù)無(wú)非就是兩個(gè)：分類(lèi)和定位。

■2.1 分類(lèi)原理比較

在分類(lèi)過(guò)程中，R-CNN 采用選擇性搜索的方式產(chǎn)生候選框，再使用分類(lèi)器對(duì)每個(gè)候選區(qū)域進(jìn)行特征提取，使用預(yù)先訓(xùn)練的CNN 提取區(qū)域的特征，最后采用線性回歸的方法來(lái)判斷候選物體的類(lèi)別，這種方式速度較慢，且容易造成數(shù)據(jù)丟失。Fast R-CNN 雖是利用整圖一次性提取候選框的方式，在整個(gè)識(shí)別分類(lèi)的過(guò)程中使用了2 個(gè)不同的CNN 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特征提取，導(dǎo)致速度依然不夠理想。YOLOv1 是一個(gè)end-to-end 的檢測(cè)分類(lèi)算法，即將目標(biāo)檢測(cè)任務(wù)轉(zhuǎn)化為回歸問(wèn)題。它采用全卷積神經(jīng)網(wǎng)絡(luò)將整個(gè)圖像作為輸入，同時(shí)預(yù)測(cè)多個(gè)邊界框和類(lèi)別，僅使用1 個(gè)CNN 網(wǎng)絡(luò)就能輸出目標(biāo)物體的置信度得分和類(lèi)別得分，最后通過(guò)非極大值抑制（NMS）篩選最終檢測(cè)結(jié)果，檢測(cè)分類(lèi)速度高達(dá)45～155幀/秒，缺點(diǎn)在于定位精度不夠高。而YOLOv2 在模型中去除全連接結(jié)構(gòu)，不再使用滑動(dòng)搜索方式進(jìn)行特征提取，取而代之的是使用卷積層和池化層對(duì)最后的結(jié)果進(jìn)行預(yù)測(cè)，對(duì)每個(gè)候選區(qū)域預(yù)測(cè)一個(gè)獨(dú)立的類(lèi)別，同時(shí)引入Anchor box 的概念對(duì)不同尺度和比例的目標(biāo)邊界框進(jìn)行預(yù)測(cè)，然后同樣使用非極大值抑制（NMS）篩選檢測(cè)結(jié)果，在YOLOv1 的高速度的基礎(chǔ)上進(jìn)一步提高檢測(cè)準(zhǔn)度。

■2.2 定位原理比較

在定位過(guò)程中，在R-CNN 是采用選擇性搜索的算法對(duì)候選區(qū)域進(jìn)行劃分。選擇性搜索是一種基于圖像分割的算法，通過(guò)將圖像分割成若干個(gè)像素塊，并將相似度較高的像素塊來(lái)合并形成候選區(qū)域。對(duì)于每個(gè)候選區(qū)域，R-CNN 使用預(yù)訓(xùn)練的CNN（如AlexNet 或VGG）對(duì)候選區(qū)域進(jìn)行特征提取，然后使用支持向量機(jī)（SVM）或線性回歸器進(jìn)行目標(biāo)分類(lèi)和邊界框回歸，從而實(shí)現(xiàn)目標(biāo)定位。Fast R-CNN 通過(guò)RoI (Region of Interest) pooling 層將選擇性搜索生成的候選區(qū)域映射到固定大小的特征圖上，并將每個(gè)RoI 映射為相同大小的特征向量。然后，這些RoI 特征向量傳入全連接層用于目標(biāo)分類(lèi)和邊界框回歸，最后經(jīng)過(guò)非極大值抑制（NMS）篩選出結(jié)果。在目標(biāo)定位方面Fast R-CNN 比R-CNN更高效。YOLOv1 是通過(guò)直接回歸目標(biāo)邊界框的位置實(shí)現(xiàn)定位的，將整個(gè)圖像劃分為網(wǎng)格，并預(yù)測(cè)每個(gè)網(wǎng)格的多個(gè)邊界框。每個(gè)邊界框由五個(gè)值組成：中心坐標(biāo)（x,y）、寬度（w）、高度（h）以及目標(biāo)置信度得分和多個(gè)類(lèi)別得分。通過(guò)預(yù)測(cè)這些值，YOLOv1 可以定位目標(biāo)的位置和大小。YOLOv2 則是在YOLOv1 的基礎(chǔ)上引入Anchor box 來(lái)預(yù)測(cè)邊界框的位置，模型再訓(xùn)練檢測(cè)之前已經(jīng)適應(yīng)不經(jīng)切換的高分辨率輸入。Anchor box 作為在各類(lèi)目標(biāo)檢測(cè)的網(wǎng)絡(luò)模型中作為先驗(yàn)框的存在，每次訓(xùn)練都會(huì)將輸入的圖片分成S＊S 的方格，每個(gè)方格圍繞中心生成5 個(gè)Anchor box，先驗(yàn)框與目標(biāo)框進(jìn)行一個(gè)交并比IOU 的計(jì)算得到閾值，小于閾值的歸屬于背景區(qū)域，大于閾值的歸屬于目標(biāo)區(qū)域，經(jīng)過(guò)K-means 聚類(lèi)之后的數(shù)據(jù)產(chǎn)生歸一化，回歸產(chǎn)生的框就是bounding box。先驗(yàn)框的應(yīng)用可以簡(jiǎn)化識(shí)別問(wèn)題，使網(wǎng)絡(luò)模型更容易學(xué)習(xí)；bounding box 作為檢測(cè)目標(biāo)的位置參數(shù)，能提取出目標(biāo)邊界框左上角坐標(biāo)[tx,ty]以及寬高[tw,th]。由bounding box 得到預(yù)測(cè)結(jié)果的轉(zhuǎn)換公式如下：

其中cx，cy 是grid cell 在feature map 左上角的坐標(biāo)，Pw，Ph 是Anchor box 相對(duì)原圖的寬高。

3 系統(tǒng)主要硬件和模型訓(xùn)練過(guò)程

■3.1 勘智K210 芯片簡(jiǎn)介

本設(shè)計(jì)使用勘智K210 芯片作為該系統(tǒng)的主控，兼顧數(shù)據(jù)處理、圖像處理等功能。該芯片采用RSIC-V 架構(gòu)，具備雙核64 位處理器，搭載FPIOA 可編程陣列，并配備豐富的外設(shè)接口，包括UART、SPI、I2C、PWM、GPIO 等。可根據(jù)不同需求結(jié)合不同的編程語(yǔ)言，能夠?qū)崿F(xiàn)神經(jīng)網(wǎng)絡(luò)計(jì)算、人臉識(shí)別、特征檢測(cè)等功能，具有低功耗、低價(jià)格、高性能的特點(diǎn)，其高效的AI 加速和圖像處理能力，加快終端感知數(shù)據(jù)處理，并減少數(shù)據(jù)傳輸壓力，可廣泛應(yīng)用于工業(yè)、園區(qū)等場(chǎng)景的智能識(shí)別系統(tǒng)。

表1 K210芯片性能參數(shù)表

■3.2 模型文件訓(xùn)練過(guò)程

本系統(tǒng)主要以Mx_YOLOv3 開(kāi)源工具作為本地模型訓(xùn)練平臺(tái)，配合其他工具完成訓(xùn)練集的制作和文件類(lèi)型的轉(zhuǎn)換。

（1）訓(xùn)練集制作和標(biāo)注

首先，通過(guò)采取攝像頭拍攝的方式收集生產(chǎn)現(xiàn)場(chǎng)環(huán)境下保護(hù)裝置屏面壓板的圖像數(shù)據(jù)，也可以從工業(yè)場(chǎng)景或模擬器中獲取。為提高攝像頭在不同場(chǎng)合光線下的識(shí)別成功率，以及從不同角度拍攝壓板返回重疊不規(guī)則特征圖像導(dǎo)致識(shí)別失敗的情況，采取環(huán)境、光線、角度多樣化進(jìn)行采樣，且采樣數(shù)量比例保持均衡的策略，確保圖像質(zhì)量良好，包含不同尺寸、狀態(tài)和顏色的壓板。

然后是對(duì)圖片進(jìn)行預(yù)處理，這個(gè)步驟能夠有效減少計(jì)算復(fù)雜度，提高模型訓(xùn)練效率。通過(guò)圖像的大小歸一化、調(diào)整、裁剪和增強(qiáng)等操作，以確保圖像具有一致的尺寸和質(zhì)量。此處使用圖形轉(zhuǎn)換工具將訓(xùn)練集處理為像素448×448、jpg 格式的方格圖片，并對(duì)壓板圖像進(jìn)行銳化，減少曝光面積等調(diào)整。

最后是標(biāo)注和文件標(biāo)簽。對(duì)于每張圖像，需要標(biāo)注其中的壓板位置和類(lèi)別信息。通常使用邊界框來(lái)標(biāo)注壓板的位置，即在圖像中用矩形框框出壓板的邊界。標(biāo)簽文件中保存著標(biāo)注信息，其中包含壓板的位置（邊界框坐標(biāo)）和類(lèi)別。此處根據(jù)壓板在不同狀態(tài)下的特征進(jìn)行框圖標(biāo)注，使用LabelImg 工具分別對(duì)訓(xùn)練集中投入、退出、備用的壓板框選出來(lái)進(jìn)行標(biāo)注，生成的xml標(biāo)簽文件則是供程序讀取信息。

（2）模型訓(xùn)練和參數(shù)選擇

配置好開(kāi)發(fā)環(huán)境后，在Mx_YOLOv3 平臺(tái)中選擇物體識(shí)別—YOLOv2 模型，相關(guān)參數(shù)設(shè)置參考表2。

表2 YOLOv2訓(xùn)練參數(shù)設(shè)置表

合理的Batch_size 數(shù)值能夠保證最大限度利用電腦內(nèi)存，提高訓(xùn)練速度，常見(jiàn)的設(shè)定值有32、64、128 等。Alpha 數(shù)值的設(shè)定則需要根據(jù)數(shù)據(jù)集的特點(diǎn)進(jìn)行調(diào)整，如果Alpha 值過(guò)小，目標(biāo)框的尺寸可能變小，導(dǎo)致漏檢的問(wèn)題。在訓(xùn)練中選擇合適的Alpha 值來(lái)保證目標(biāo)框大小與圖像尺寸之間的比例適當(dāng)，從而得到更好的訓(xùn)練效果。Epoch 是指整個(gè)訓(xùn)練集的訓(xùn)練次數(shù)，通常設(shè)置在30～100 之間，一般來(lái)說(shuō)損失函數(shù)loss 明顯收斂以及平均精度mAP 趨于穩(wěn)定之后，說(shuō)明模型基本達(dá)到充分訓(xùn)練的程度，此時(shí)應(yīng)當(dāng)防止訓(xùn)練次數(shù)過(guò)多導(dǎo)致過(guò)擬合問(wèn)題。

（3）文件轉(zhuǎn)換和燒錄

為了適配K210 芯片上的神經(jīng)網(wǎng)絡(luò)加速器，需要將訓(xùn)練好的模型文件，包括模型參數(shù)、權(quán)重和結(jié)構(gòu)等信息重新編碼，轉(zhuǎn)換成特定格式的k210model 文件。在Mx_YOLOv3平臺(tái)進(jìn)行模型訓(xùn)練，完成后自動(dòng)生成tflite 模型文件，使用NNCase0.1.0 工具將tflite 文件轉(zhuǎn)換為k210model 文件。

由圖3 可知，K210 內(nèi)部Flash根據(jù)功能和作用主要分成三大區(qū)域：固件區(qū)、模型區(qū)和文件系統(tǒng)區(qū)，將相應(yīng)文件在起始地址偏移量開(kāi)始燒錄即可。固件區(qū)通常燒錄用于系統(tǒng)啟動(dòng)的驅(qū)動(dòng)程序和用戶編寫(xiě)的應(yīng)用程序。模型區(qū)實(shí)際上是K210 芯片特有的AI RAM 存儲(chǔ)器，能夠快速加載和處理模型文件。

圖3 K210 內(nèi)部Flash 分區(qū)結(jié)構(gòu)圖

4 功能實(shí)現(xiàn)及優(yōu)化

■4.1 驅(qū)動(dòng)攝像頭

K210 最小系統(tǒng)板上集成了攝像頭處理單元（DVP）及攝像頭排線接口，支持OV2460、OV2560 等多種攝像頭，支持RGB565 像素格式、QVGA 幀面尺寸、亮度、飽和度、自動(dòng)增益模式設(shè)置。OV2460 是一款具有200 萬(wàn)像素的CMOS 圖像傳感器，在K210 芯片固件上相應(yīng)的攝像頭驅(qū)動(dòng)程序。攝像頭將采集的圖像數(shù)據(jù)傳輸?shù)教幚韱卧M(jìn)行預(yù)處理，然后作為輸入傳遞到Y(jié)OLOv2 模型中進(jìn)行目標(biāo)檢測(cè)。在完成攝像頭初始化配置后測(cè)試攝像頭能夠穩(wěn)定運(yùn)行。

■4.2 初始化YOLOv2

調(diào)用kpu.load(0x300000)加載模型文件，并將返回值填入YOLOv2 初始化函數(shù)kpu.init_yolov2(kpu_net,threshold,nms_value,Anchor_num,Anchor)，其中kpu_net 即kpu.load 的返回值，threshold 為輸出門(mén)限值，nms_value 為輸出交并比門(mén)限值，Anchor_num 為Anchor 錨點(diǎn)數(shù)，Anchor為模型訓(xùn)練前計(jì)算出來(lái)的錨點(diǎn)參數(shù)。

■4.3 測(cè)試效果及優(yōu)化

圖4、5、6是訓(xùn)練模型優(yōu)化前對(duì)模型進(jìn)行測(cè)試的識(shí)別結(jié)果，明顯看出識(shí)別準(zhǔn)確率不高，且有的樣本仍然識(shí)別失敗，無(wú)法正確框出檢測(cè)目標(biāo)。分析圖7 的loss 曲線圖發(fā)現(xiàn)經(jīng)過(guò)50 次Epoch 之后loss（藍(lán)色）、val_loss（橙色）曲線總體單調(diào)遞減呈收斂趨勢(shì)，數(shù)值處于0.6～0.8 之間，但局部區(qū)域出現(xiàn)明顯震蕩，存在過(guò)擬合現(xiàn)象，應(yīng)考慮增加樣本數(shù)量、減少特征無(wú)關(guān)像素的占比、提高訓(xùn)練集和測(cè)試集的關(guān)聯(lián)等等。

圖4 優(yōu)化前壓板投入狀態(tài)測(cè)試效果

圖5 優(yōu)化前壓板退出狀態(tài)測(cè)試效果

圖6 優(yōu)化前備用壓板測(cè)試效果

圖7 優(yōu)化前l(fā)oss、val_loss 曲線圖

如圖8 所示，在采取一系列措施進(jìn)行模型優(yōu)化后，loss（藍(lán)色）、val_loss（橙色）的曲線均呈收斂趨勢(shì)，且無(wú)明顯起伏，經(jīng)過(guò)30 次Epoch 之后數(shù)值均小于0.1。由圖9、10、11模型測(cè)試效果可看出，識(shí)別成功率和準(zhǔn)確率明顯提高。

圖8 優(yōu)化后loss、val_loss 曲線圖

圖9 優(yōu)化后壓板投入狀態(tài)測(cè)試效果

圖10 優(yōu)化后壓板退出狀態(tài)測(cè)試效果

圖11 優(yōu)化后備用壓板測(cè)試效果

■4.4 上機(jī)測(cè)試效果

圖12、13、14 是對(duì)三種不同狀態(tài)的壓板進(jìn)行實(shí)物識(shí)別之后在LCD 顯示屏反饋的效果，圖12 是壓板投入圖像，左下角顯示“yaban_on 0.8325”代表壓板投入狀態(tài)的概率為83.25%；圖13 是壓板退出圖像，左下角顯示“yaban_off0.9398”代表壓板退出的概率為93.98%；圖14 是備用壓板圖像，左下角顯示“yaban_none 0.9081”代表此為備用壓板的概率是90.81%。

圖12 壓板投入狀態(tài)檢測(cè)結(jié)果

圖13 壓板退出狀態(tài)檢測(cè)結(jié)果

圖14 備用壓板檢測(cè)結(jié)果

5 結(jié)束語(yǔ)

本文研究了一種由K210 芯片、OV2640 攝像頭和LCD彩色顯示屏組成的智能壓板狀態(tài)識(shí)別系統(tǒng)設(shè)計(jì)。該系統(tǒng)設(shè)計(jì)簡(jiǎn)潔、資源利用率高，通過(guò)攝像頭對(duì)生產(chǎn)環(huán)境下保護(hù)裝置屏面的壓板進(jìn)行圖像采集，輸入到訓(xùn)練好的YOLOv2 算法模型中能夠有效針對(duì)壓板投退狀態(tài)進(jìn)行檢測(cè)識(shí)別，并將結(jié)果顯示在LCD 屏幕上。經(jīng)過(guò)多次現(xiàn)場(chǎng)識(shí)別測(cè)試，目前可以快速、準(zhǔn)確顯示多個(gè)角度下壓板的不同狀態(tài)。未來(lái)將以提高單次識(shí)別保護(hù)裝置的壓板界面的速度為導(dǎo)向，采用算力更大，性能更強(qiáng)的人工智能模塊和檢測(cè)算法，提高真實(shí)場(chǎng)景下單臺(tái)保護(hù)裝置壓板狀態(tài)的檢測(cè)速度和準(zhǔn)確率。