機(jī)器視覺(jué)在電力及水利設(shè)施監(jiān)測(cè)中的應(yīng)用

李巖 李建 李丹 楊豪杰 劉海峰 蘇國(guó)芳

【摘 ?要】針對(duì)電力及水利行業(yè)人工巡檢效率低、實(shí)時(shí)性差的問(wèn)題，基于機(jī)器視覺(jué)模型，論文設(shè)計(jì)了針對(duì)電力設(shè)備及水利設(shè)施自動(dòng)檢測(cè)系統(tǒng)。系統(tǒng)使用YOLO V5模型，通過(guò)數(shù)據(jù)增強(qiáng)、數(shù)據(jù)訓(xùn)練，得到一種運(yùn)算量較小、準(zhǔn)確率較高的檢測(cè)模型。

【Abstract】Aiming at the problem of low efficiency and poor real-time performance of manual inspection in the power and water conservancy industry， based on the machine vision model， an automatic detection system for power equipment and water conservancy facilities is designed in this paper. The system uses the YOLO V5 model， through data enhancement and data training， a detection model with less computation and higher accuracy is obtained.

【關(guān)鍵詞】機(jī)器視覺(jué);YOLO V5;電力;水利

【Keywords】machine vision; YOLO V5; power; water conservancy

【中圖分類(lèi)號(hào)】TP18 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【文獻(xiàn)標(biāo)志碼】A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【文章編號(hào)】1673-1069（2021）12-0194-03

1 引言

隨著城市化進(jìn)程的加快，人民生活水平的提高，電力及水利行業(yè)在社會(huì)生活中的重要性不斷增加。確保電力及水利設(shè)施的安全，保障社會(huì)需要，具有重要的現(xiàn)實(shí)意義。傳統(tǒng)的檢測(cè)系統(tǒng)普遍使用人工巡檢的方式進(jìn)行工作。當(dāng)需要確定設(shè)備安全時(shí)，需要專(zhuān)業(yè)的巡查人員定期巡查，而人工監(jiān)測(cè)的工作方式效率低、占用資源、實(shí)時(shí)性差且容易出現(xiàn)漏檢，對(duì)設(shè)備的安全運(yùn)行帶來(lái)隱患。因此，使用機(jī)器視覺(jué)技術(shù)，利用捕捉的圖像對(duì)電力及水利設(shè)施進(jìn)行自動(dòng)監(jiān)測(cè)成為一種有效的解決方式。自動(dòng)檢測(cè)高效、實(shí)時(shí)、成本低且安全可靠。本文以采集到的電力設(shè)備及水利設(shè)施混凝土圖像為訓(xùn)練樣本，基于機(jī)器視覺(jué)方法，對(duì)電力設(shè)備運(yùn)行情況及水利設(shè)施混凝土裂縫情況進(jìn)行自動(dòng)監(jiān)測(cè)，人員只需對(duì)檢查結(jié)果進(jìn)行核查，高效、實(shí)時(shí)、成本低且安全可靠，具有一定的實(shí)用意義。

鄒雷（2014）使用BP神經(jīng)網(wǎng)絡(luò)對(duì)水下混凝土裂縫進(jìn)行識(shí)別;李若星（2018）使用Gabor濾波器來(lái)進(jìn)行濾波處理并提取特征并使用自適應(yīng)遺傳算法對(duì)混凝土的方法對(duì)混凝土裂縫進(jìn)行檢測(cè);竇一民（2020）使用特征增強(qiáng)算法Feature GANs及目標(biāo)檢測(cè)算法SSD對(duì)輸電線(xiàn)異物進(jìn)行檢測(cè);王斯凡（2018）使用支持向量機(jī)對(duì)門(mén)隔離開(kāi)關(guān)狀態(tài)進(jìn)行自動(dòng)判斷并使用深度學(xué)習(xí)模型VGGNet對(duì)電力系統(tǒng)中變壓器紅外成像中故障點(diǎn)進(jìn)行判斷。但是，電力設(shè)備及水利設(shè)施的自動(dòng)化檢測(cè)中，由于圖像運(yùn)算計(jì)算量較大，識(shí)別的實(shí)時(shí)性及準(zhǔn)確度都需要進(jìn)一步提高。因此，在保證目標(biāo)檢測(cè)準(zhǔn)確性的同時(shí)，提高目標(biāo)識(shí)別的實(shí)時(shí)性是電力和水利行業(yè)自動(dòng)檢測(cè)系統(tǒng)的發(fā)展方向。

2 總體設(shè)計(jì)

基于機(jī)器視覺(jué)的自動(dòng)監(jiān)測(cè)系統(tǒng)，主要由圖像采集、圖像處理及圖像輸出部分組成（見(jiàn)圖1）。圖像采集部分會(huì)自動(dòng)獲取監(jiān)測(cè)目標(biāo)圖像，如電力設(shè)備的運(yùn)行中的圖像、水利設(shè)施混凝土表面圖像等。圖像傳入系統(tǒng)圖像處理部分進(jìn)行處理，圖像處理部分一般由滿(mǎn)足算法計(jì)算力要求的處理器構(gòu)成。經(jīng)圖像處理計(jì)算，需要監(jiān)測(cè)目標(biāo)的位置及類(lèi)型會(huì)在圖像進(jìn)行標(biāo)注，經(jīng)輸出部分進(jìn)行輸出。專(zhuān)業(yè)巡查人員只需對(duì)疑似故障地點(diǎn)進(jìn)行檢查并處理，提高了監(jiān)測(cè)實(shí)時(shí)性，同時(shí)降低了漏檢的概率，具有一定的實(shí)際意義。

3 相關(guān)技術(shù)

3.1 機(jī)器視覺(jué)算法

隨著機(jī)器視覺(jué)領(lǐng)域近幾年的飛速發(fā)展，基于機(jī)器視覺(jué)技術(shù)的目標(biāo)檢測(cè)速度越來(lái)越快，準(zhǔn)確度不斷提高。目前有不少較為成熟的目標(biāo)檢測(cè)模型，如Fast CNN、SSD、RetinaNet、YOLO系列算法等。目標(biāo)檢測(cè)算法可以分為one-stage和two-stage兩種類(lèi)型，two-stage指的是檢測(cè)算法需要分兩步完成，首先需要獲取候選區(qū)域，然后進(jìn)行分類(lèi)，如R-CNN系列;與之相對(duì)的是one-stage檢測(cè)，可以理解為一步到位，不需要單獨(dú)尋找候選區(qū)域，典型的有SSD/YOLO。one-stage檢測(cè)算法具有速度快、計(jì)算量小等優(yōu)點(diǎn)，目前應(yīng)用越來(lái)越廣泛。

本文的目標(biāo)檢測(cè)采用了YOLO算法，YOLO算法具有運(yùn)算速度快、計(jì)算量小、識(shí)別準(zhǔn)確率高等優(yōu)點(diǎn)，是近年來(lái)發(fā)展較快的優(yōu)秀算法之一。YOLO算法發(fā)布以來(lái)，到目前共有V1到V5等多個(gè)模型。YOLO V5模型共有4個(gè)版本，可以適應(yīng)多種計(jì)算速度和精度要求。本設(shè)計(jì)采用了YOLO V5計(jì)算模型進(jìn)行目標(biāo)檢測(cè)。

3.2 YOLO目標(biāo)檢測(cè)模型

YOLO V5目標(biāo)檢測(cè)模型基于pytorch深度學(xué)習(xí)模型，較之前的檢測(cè)模型，是一種易于部署在嵌入式系統(tǒng)中的輕量化目標(biāo)檢測(cè)模型，具有速度快、計(jì)算量小、精度較高等特點(diǎn)。YOLO V5主要由backbone、neck、head三部分組成。

模型backbone由CSPNet（跨階局域網(wǎng)絡(luò)）實(shí)現(xiàn)，CSPNet可以有效緩解梯度消失問(wèn)題，支持特征傳播，減少網(wǎng)絡(luò)參數(shù)數(shù)量。Backbone中主要由focus層，卷積層、bottleneckCSP層及SPP層組成，如圖2所示。在模型backbone圖中輸入數(shù)據(jù)為640*640*3，經(jīng)過(guò)運(yùn)算，網(wǎng)絡(luò)輸出數(shù)據(jù)尺寸為20*20*1024。

模型的Neck結(jié)構(gòu)是路徑聚合網(wǎng)絡(luò)（PANET），PANET基于Mask R-CNN和FPN框架，用于生成特征金字塔。特征金字塔網(wǎng)絡(luò)能夠生成多種尺寸的檢測(cè)對(duì)象，可以較好地解決物體檢測(cè)中的多尺度問(wèn)題，同時(shí)不過(guò)多地增加模型的計(jì)算量，如圖3所示。輸入數(shù)據(jù)會(huì)生成多個(gè)尺寸的圖像。

YOLO模型使用GIoU作為目標(biāo)檢測(cè)位置預(yù)測(cè)的損失函數(shù)，公式（1）中，A為目標(biāo)預(yù)測(cè)框，B為目標(biāo)真實(shí)框，C為包含A和B的最小區(qū)域，公式（2）中，IoU為預(yù)測(cè)框A與真實(shí)框B的交并比。

4 模型訓(xùn)練

4.1 模型訓(xùn)練過(guò)程

目標(biāo)檢測(cè)模型需要經(jīng)過(guò)一定樣本的訓(xùn)練之后，才能夠有較好的檢測(cè)效果。模型訓(xùn)練過(guò)程如圖4所示。模型訓(xùn)練數(shù)據(jù)集分為訓(xùn)練集（Train）、訓(xùn)練測(cè)試集（Val）和驗(yàn)證集（Test）。模型訓(xùn)練先加載訓(xùn)練集數(shù)據(jù)進(jìn)行訓(xùn)練，訓(xùn)練完成后需要使用訓(xùn)練測(cè)試集數(shù)據(jù)進(jìn)行訓(xùn)練效果驗(yàn)證。如果訓(xùn)練效果能夠符合要求，需要使用驗(yàn)證集的數(shù)據(jù)進(jìn)行用戶(hù)測(cè)試。

4.2 數(shù)據(jù)集獲取

數(shù)據(jù)集分為公共數(shù)據(jù)集和自建數(shù)據(jù)集。公共數(shù)據(jù)集較為成熟且數(shù)據(jù)量大。自建數(shù)據(jù)集適用于對(duì)特殊目標(biāo)進(jìn)行識(shí)別訓(xùn)練。數(shù)據(jù)集的獲取有實(shí)地拍攝及網(wǎng)上搜集2種途徑。對(duì)于水利設(shè)施混凝土裂縫的數(shù)據(jù)集采用實(shí)地拍攝的方式獲?。ㄒ?jiàn)圖5），對(duì)于電力設(shè)備故障數(shù)據(jù)集采用實(shí)地拍攝和網(wǎng)上搜集相結(jié)合的方式獲取。

4.3 數(shù)據(jù)集標(biāo)注

對(duì)模型進(jìn)行訓(xùn)練的數(shù)據(jù)集，需要對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注之后進(jìn)行訓(xùn)練。LabelImg是對(duì)目標(biāo)識(shí)別數(shù)據(jù)進(jìn)行標(biāo)注的工具軟件，通過(guò)labelimg，可以對(duì)獲取到的圖像數(shù)據(jù)進(jìn)行目標(biāo)標(biāo)注。標(biāo)注樣本如圖6所示。

為進(jìn)一步提高訓(xùn)練的準(zhǔn)確率，對(duì)樣本使用數(shù)據(jù)增強(qiáng)技術(shù)，通過(guò)對(duì)樣本進(jìn)行部分遮擋、反轉(zhuǎn)等進(jìn)一步擴(kuò)充數(shù)據(jù)集，以達(dá)到更好的訓(xùn)練效果（見(jiàn)圖7）。

5 結(jié)果及分析

5.1 平臺(tái)及訓(xùn)練過(guò)程

本次實(shí)驗(yàn)選用矩池云及Colab云平臺(tái)進(jìn)行訓(xùn)練，使用平臺(tái)環(huán)境為：Xeon E5-2678處理器，64G內(nèi)存，NVIDIA GeForce GTX 2080Ti 16G獨(dú)立顯卡。Linux操作系統(tǒng)，python3.7，pytorch1.9開(kāi)發(fā)環(huán)境。

本次訓(xùn)練使用YOLO V5預(yù)訓(xùn)練目標(biāo)檢測(cè)模型作為知識(shí)源，240張數(shù)據(jù)圖片作為訓(xùn)練集，50張圖片作為測(cè)試集，輸入圖像尺寸為640×640，批處理大小設(shè)置為16，迭代次數(shù)設(shè)置為1500，初始學(xué)習(xí)率設(shè)為0.01，權(quán)重衰減率設(shè)為0.0005，IoU閾值設(shè)為0.5。

5.2 結(jié)果評(píng)價(jià)

精確率（precision）、召回率（recall）是目標(biāo)檢測(cè)模型的通用評(píng)價(jià)指標(biāo)。TP為模型預(yù)測(cè)為正且預(yù)測(cè)正確的目標(biāo)，F(xiàn)P為模型預(yù)測(cè)為負(fù)且預(yù)測(cè)錯(cuò)誤的目標(biāo)，F(xiàn)N為預(yù)測(cè)為負(fù)且預(yù)測(cè)錯(cuò)誤的目標(biāo)。精確率計(jì)算公式如式（5）所示。召回率計(jì)算公式如式（6）所示。

6 結(jié)論

針對(duì)電力設(shè)備及水利設(shè)施人工檢測(cè)困難、效率低、危險(xiǎn)系數(shù)高的問(wèn)題，本文設(shè)計(jì)了針對(duì)電力設(shè)備及水利設(shè)施自動(dòng)檢測(cè)系統(tǒng)。系統(tǒng)通過(guò)數(shù)據(jù)訓(xùn)練數(shù)據(jù)采集、增強(qiáng)，使用YOLO V5機(jī)器視覺(jué)模型訓(xùn)練，得到一種運(yùn)算量較小、準(zhǔn)確率較高的檢測(cè)模型。經(jīng)過(guò)實(shí)際測(cè)試，本系統(tǒng)具有成本低、實(shí)時(shí)性強(qiáng)、性能穩(wěn)定等優(yōu)點(diǎn)，具有一定的使用價(jià)值。

【參考文獻(xiàn)】

【1】鄒雷.基于機(jī)器視覺(jué)的混凝土結(jié)構(gòu)水下表面裂縫檢測(cè)技術(shù)的研究[D].宜昌：三峽大學(xué)，2014.

【2】李若星.基于機(jī)器視覺(jué)的混凝土裂縫檢測(cè)方法的研究[D].重慶：重慶大學(xué)，2018.

【3】竇一民.機(jī)器學(xué)習(xí)在輸電系統(tǒng)監(jiān)控圖像中的應(yīng)用研究[D].濟(jì)南：濟(jì)南大學(xué)，2020.

【4】王斯凡.基于機(jī)器視覺(jué)的電力設(shè)備識(shí)別與故障診斷技術(shù)研究[D].北京：華北電力大學(xué)，2018.

【5】蔣文萍，蔣珍存.基于多重遷移學(xué)習(xí)的Yolo V5初期火災(zāi)探測(cè)研究[J].消防科學(xué)與技術(shù)，2021（1）：109-112.

【6】王坤，房玉吉，劉華龍，等.基于YOLO-v5和ResNet的艙底水液位識(shí)別算法[J].船海工程，2020，49（06）：39-43.