基于深度學(xué)習(xí)模型小型化技術(shù)的輸電線路智能巡檢研究與應(yīng)用

馮 原，王曉迪，辛 穎，韓樹民

(百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司，北京 100193)

0 引 言

隨著城市化建設(shè)推進(jìn)和生活用電需求不斷增長，預(yù)計(jì)2020年中國輸電線路總長將超1 590 000 km，其中全國20%的輸電線路建設(shè)于無人區(qū)、山區(qū)等自然條件惡劣的地方。自然環(huán)境、惡劣天氣和外力破壞都可能對輸電線路造成嚴(yán)重?fù)p壞，引發(fā)大面積停電，造成嚴(yán)重的經(jīng)濟(jì)損失。由此可見，開展輸電線路在線巡檢應(yīng)用研究對于避免電網(wǎng)事故、保障線路安全至關(guān)重要。

以往，電力巡檢通常依賴人工，這一方式工作量大、勞動(dòng)強(qiáng)度高，同時(shí)工作效率較低，巡視質(zhì)量不一，且受惡劣天氣等外界因素影響，常常是事故發(fā)生了一段時(shí)間之后，才能發(fā)現(xiàn)并予以補(bǔ)救。基于深度學(xué)習(xí)和人工智能的電力輸電線路巡檢已經(jīng)展開了諸多研究與應(yīng)用。文獻(xiàn)[1]提出利用圖像自相似性進(jìn)行自學(xué)習(xí)單幅圖像超分辨(signal image super-resolution，SISR)，在不使用任何外部訓(xùn)練數(shù)據(jù)庫的情況下取得很好的超分辨性能，結(jié)合特征相似性有效提升電力設(shè)備狀態(tài)可視化檢測的精度。文獻(xiàn)[2]基于遷移學(xué)習(xí)的小樣本電力巡檢圖像處理方法，通過圖像裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)等數(shù)據(jù)增強(qiáng)技術(shù)對小樣本圖像進(jìn)行擴(kuò)充，同時(shí)采用生成對抗網(wǎng)絡(luò)(GAN)來擴(kuò)充基礎(chǔ)樣本，使用遷移學(xué)習(xí)技術(shù)將基于大規(guī)模圖像數(shù)據(jù)的預(yù)訓(xùn)練深度卷積模型進(jìn)行定制。文獻(xiàn)[3]提出了一套無人機(jī)巡檢系統(tǒng)，但是仍需要將圖像傳回至地面站才能處理。文獻(xiàn)[4-5]分別提出應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法訓(xùn)練模型,智能識別出輸電線路現(xiàn)場的安全隱患，建立起前端采集圖像、數(shù)據(jù)無線傳輸、后臺識別分析、隱患定向推送的智能監(jiān)控系統(tǒng)。文獻(xiàn)[6]深入探究了基于深度卷積神經(jīng)網(wǎng)絡(luò)Faster-RCNN的原理，進(jìn)行高壓輸電線路圖像識別。文獻(xiàn)[7]使用VGG-16 深度網(wǎng)絡(luò)進(jìn)行特征提取,并在最后一個(gè)卷積層后加入一個(gè)ROI 池化層優(yōu)化模型。文獻(xiàn)[8-9]增加設(shè)計(jì)邊緣數(shù)據(jù)處理層,在線處理部分障礙嚴(yán)重的巡檢圖像,通過圖像預(yù)處理技術(shù)處理剩余巡檢圖像,利用圖像投影提取輸電線路巡檢圖像特征,大幅度縮減了資源和時(shí)間的消耗，但是仍沒有解決模型在邊緣設(shè)備側(cè)運(yùn)行的目標(biāo)。

目前的研究與應(yīng)用集中在部署可視化監(jiān)拍裝置，再結(jié)合人工巡檢。隨著方案的規(guī)模化推廣，可有效地減少人員工作量和停電跳閘次數(shù)。但大多數(shù)設(shè)備拍照間隔均在半小時(shí)以上，采集真空期依然較長，對于短時(shí)隱患的預(yù)警及突發(fā)情況的追溯不足。換言之，時(shí)效落后、預(yù)警缺位等關(guān)鍵痛點(diǎn)，仍然未得到根本解決。火災(zāi)或工業(yè)機(jī)械造成高壓電網(wǎng)損壞等問題，依然會不可逆地為生活生產(chǎn)用電帶來影響，可以說是防不勝防。如果能讓智能分析設(shè)備真正“智能”起來，自動(dòng)識別電網(wǎng)設(shè)備周圍的安全隱患并主動(dòng)上報(bào)，這些問題就可以迎刃而解。

下面提供了一種基于深度學(xué)習(xí)模型小型化技術(shù)的電力輸電線路智能巡檢方案。將傳統(tǒng)的深度學(xué)習(xí)模型基于飛槳[10]的模型壓縮庫PaddleSlim[11]蒸餾、剪切、量化之后，在保持有效精度的情況下，極大地壓縮了模型的體積與所需要的資源。之后，將小型化之后的模型部署在端側(cè)推理引擎Paddle Lite中，實(shí)現(xiàn)了基于無源無線的移動(dòng)設(shè)備進(jìn)行處理分析，輕松地實(shí)現(xiàn)移動(dòng)端模型的部署，從而完成整個(gè)輸電通道智能巡檢預(yù)警系統(tǒng)的上線部署。最后，基于所述方案開展在某電力公司進(jìn)行了部署使用，驗(yàn)證了技術(shù)的可行性。

1 相關(guān)技術(shù)

提出的基于深度學(xué)習(xí)模型小型化技術(shù)的電力輸電線路巡檢研究與應(yīng)用，主要涉及以下幾個(gè)方面的關(guān)鍵技術(shù)。

1.1 PaddleSlim模型蒸餾技術(shù)

模型蒸餾是將復(fù)雜網(wǎng)絡(luò)中的有用信息提取出來，遷移到一個(gè)更小的網(wǎng)絡(luò)中去。原理見圖1。考慮到蒸餾策略對損失loss更敏感的情況，PaddleSlim 在提供基于傳統(tǒng)的蒸餾方法和基于 FSP(flow of solution procedure)蒸餾方法的同時(shí)，也支持了用戶自定義loss的蒸餾策略。針對不同任務(wù)，用戶可以根據(jù)實(shí)際情況定義自己的loss。蒸餾方法在分類、檢測等相關(guān)任務(wù)上驗(yàn)證精度收益明顯，如表1所示。

圖1 模型蒸餾原理

表1 模型蒸餾策略部分實(shí)驗(yàn)結(jié)果

1.2 PaddleSlim模型剪裁技術(shù)

在PaddleSlim中，進(jìn)行剪裁的主要步驟是在給定業(yè)務(wù)數(shù)據(jù)上對卷積網(wǎng)絡(luò)進(jìn)行敏感度分析，然后根據(jù)敏感度信息對網(wǎng)絡(luò)進(jìn)行剪裁。依次對單個(gè)卷積剪掉不同比例的通道數(shù)，觀察在測試數(shù)據(jù)上的精度損失，便可得出一個(gè)卷積層對測試數(shù)據(jù)所代表的任務(wù)的敏感度。

將多個(gè)卷積的敏感度繪制如圖2所示，其中，名為conv_10的卷積層的敏感度明顯低于其它卷積層，所以可以優(yōu)先剪裁該卷積層。

圖2 卷積層敏感度折線

PaddleSlim新增了一系列接口輔助用戶對敏感度進(jìn)行計(jì)算和操作，包括敏感度的計(jì)算、合并、存儲和讀取。用戶可以根據(jù)敏感度信息和根據(jù)敏感度信息繪制出的折線圖自行選取一組合適的剪裁率，選擇性的使用這些接口，對敏感度進(jìn)行多機(jī)多進(jìn)程的并行計(jì)算。

根據(jù)一組剪裁率對網(wǎng)絡(luò)進(jìn)行剪裁時(shí)，最大的難點(diǎn)就是正確處理concat、elemenwise add等操作，找出網(wǎng)絡(luò)中所有與被剪卷積相關(guān)的節(jié)點(diǎn)。通常的做法是進(jìn)行遍歷，PaddleSlim則采用了以網(wǎng)絡(luò)節(jié)點(diǎn)為視角的游走的方法，此方法相當(dāng)于把復(fù)雜網(wǎng)絡(luò)的遍歷任務(wù)分?jǐn)偨o了各個(gè)類型的網(wǎng)絡(luò)節(jié)點(diǎn)，從而提升了可擴(kuò)展性，理論上可以支持任意復(fù)雜的網(wǎng)絡(luò)。

如圖3所示，每種剪裁操作對應(yīng)實(shí)現(xiàn)一個(gè)walker類，單個(gè)walker工作流程：

圖3 PaddleSlim剪裁功能實(shí)現(xiàn)原理

1)感知某個(gè)輸入或輸出變化的信號；

2)根據(jù)輸入或輸出的變化，調(diào)整自身狀態(tài)；

3)根據(jù)輸入或輸出的變化，調(diào)整其它輸入和輸入的shape；

4)向關(guān)聯(lián)的所有walker發(fā)出信號。

除了提供剪裁接口，PaddleSlim還將提供網(wǎng)絡(luò)節(jié)點(diǎn)分組功能，支持用戶自定義的卷積組合重要性分析方法，以便用戶擴(kuò)展探索更高級的剪裁功能。基于敏感度剪裁方法的部分實(shí)驗(yàn)結(jié)果如表2所示。

表2 基于敏感度的剪裁方法的部分實(shí)驗(yàn)結(jié)果

1.3 PaddleSlim量化訓(xùn)練

量化訓(xùn)練(training aware)支持對卷積層、全聯(lián)接層、激活層、bias等的int8量化，原理如圖4所示。用戶可選擇只對權(quán)重進(jìn)行量化存儲來減小模型大小，也可選擇對整個(gè)計(jì)算過程進(jìn)行量化計(jì)算來加快速度。量化存儲可將模型大小減小到原來的1/4，量化計(jì)算在ARM-RK3288上基于PaddleLite可實(shí)現(xiàn)一倍的加速，在P4 GPU上基于TensorRT可實(shí)現(xiàn)3倍的加速。

圖4 PaddleSlim量化訓(xùn)練原理

1.4 Paddle Lite端側(cè)推理引擎

Paddle Lite端側(cè)推理引擎的架構(gòu)設(shè)計(jì)著重考慮了對多種硬件和平臺的支持，并且強(qiáng)化了多個(gè)硬件在一個(gè)模型中混合執(zhí)行的能力，多個(gè)層面的性能優(yōu)化處理，以及對端側(cè)應(yīng)用的輕量化設(shè)計(jì)。如圖5所示，Paddle Lite的架構(gòu)設(shè)計(jì)示意圖。其中，Analysis Phase 包括了MIR(Machine IR)相關(guān)模塊，能夠?qū)υ心Ｐ偷挠?jì)算圖針對具體的硬件列表進(jìn)行算子融合、計(jì)算裁剪在內(nèi)的多種優(yōu)化。Execution Phase 只涉及到Kernel 的執(zhí)行，且可以單獨(dú)部署，以支持極致的輕量級部署。

圖5 Paddle Lite架構(gòu)設(shè)計(jì)

將基于飛槳的模型壓縮庫PaddleSlim和端側(cè)推理引擎Paddle Lit，將小型化之后的模型部署在無源無線的移動(dòng)設(shè)備對輸電線路的圖像數(shù)據(jù)進(jìn)行處理分析，實(shí)現(xiàn)基于邊緣計(jì)算的輸電線路智能巡檢。

2 深度學(xué)習(xí)模型小型化技術(shù)的電力輸電線路智能巡檢方案

深度學(xué)習(xí)模型小型化技術(shù)的電力輸電線路智能巡檢方案中使用無源無線的移動(dòng)設(shè)備進(jìn)行處理分析。設(shè)備如圖6所示。

圖6 無源無線的移動(dòng)設(shè)備

這樣的移動(dòng)設(shè)備面臨算力小、功率低的問題。為了解決這些問題，引入目標(biāo)檢測one-stage的經(jīng)典方案yolo-v3。該模型源自飛槳目標(biāo)檢測庫PaddleDetection。最初使用基礎(chǔ)的yolo-v3，在芯片上模型占用內(nèi)存360 M，運(yùn)行速度是3500 ms，而方案中存量的移動(dòng)設(shè)備為8916芯片，只用200 M不到的空余內(nèi)存可用來支持。為了降低使用內(nèi)存、提高運(yùn)算效率，引入模型壓縮庫PaddleSlim工具對模型進(jìn)行裁剪、蒸餾和量化，從而達(dá)到降低模型大小、減少運(yùn)算耗時(shí)。模型處理流程如圖7所示。

圖7 基于Paddle Lite模型小型化設(shè)計(jì)

PaddleSlim通過分析各卷積層的敏感度得到各卷積核的適宜裁剪率，通過裁剪卷積層通道數(shù)來減少卷積層中卷積核的數(shù)量，實(shí)現(xiàn)減小模型體積、降低模型計(jì)算復(fù)雜度的作用。通過裁剪，使得模型的占用內(nèi)存大小由360 M降低至130 M。

為了使得小模型的準(zhǔn)確率不下降，使用PaddleSlim的蒸餾工具，對小模型進(jìn)行優(yōu)化。使用大模型(resnet34的骨架網(wǎng)絡(luò))作為教師網(wǎng)絡(luò)teacher，mobilenet-v3的骨架裁剪網(wǎng)絡(luò)作為學(xué)生網(wǎng)絡(luò)student，在不增加計(jì)算量的情況下，提升了裁剪后的小模型的準(zhǔn)確率。

同時(shí)使用PaddleSlim的量化工具，將神經(jīng)網(wǎng)絡(luò)中32位的全精度數(shù)據(jù)處理成8位或16位的定點(diǎn)數(shù)，同時(shí)結(jié)合硬件指定的乘法規(guī)則，就可以實(shí)現(xiàn)低內(nèi)存帶寬、低功耗、低計(jì)算資源占用以及低模型存儲需求等。最終將模型的占用內(nèi)存降低至122 M，處理時(shí)間也由3500 ms降低至2000 ms。

在模型小型化完成后，使用了端側(cè)推理引擎Paddle Lite作為移動(dòng)端設(shè)備的部署平臺。Paddle Lite的高易用性、廣泛的硬件支持和領(lǐng)先的性能，輕松實(shí)現(xiàn)移動(dòng)端模型的部署。使用Paddle Lite帶來的識別精度提升非常大，以吊車、塔吊等大型施工機(jī)械的識別為例，Paddle Lite可以達(dá)到96%的識別準(zhǔn)確率，而傳統(tǒng)前端智能分析僅有80%。另外，應(yīng)用Paddle Lite的方案功耗僅有0.4 W。

綜上，所提方案針對輸電線路巡檢及線路隱患模型進(jìn)行定制優(yōu)化提升，在低算力、低功耗下仍有較高推理性能。采用了云邊協(xié)同，可以隨著云端樣本更新和模型訓(xùn)練的迭代升級，進(jìn)一步優(yōu)化和適配識別算法的適用場景，不斷提升識別精度，降低漏報(bào)及誤報(bào)。

3 應(yīng)用實(shí)例

所提方案在國網(wǎng)某公司進(jìn)行了應(yīng)用部署與實(shí)踐。相比舊版的智能分析設(shè)備，所提方案可視化監(jiān)拍裝置拍照間隔從0.5 h縮短到5 min，且實(shí)現(xiàn)了圖像端側(cè)的邊緣智能分析，5 s內(nèi)就可以識別出吊車、導(dǎo)線異物、煙火、塔吊、各類施工機(jī)械等安全隱患，分析準(zhǔn)確率超過90%。同時(shí)模型大小縮小60%，綜合功耗也降低了30%。最關(guān)鍵的是，從發(fā)現(xiàn)隱患到報(bào)警的速度從幾小時(shí)縮短至20 s，電力工作人員得以及時(shí)反應(yīng)，避免造成生產(chǎn)生活的損失。

2020年年初，某郊區(qū)發(fā)生火情，正位于國家電網(wǎng)高壓線路下方，可視化監(jiān)拍裝置第一時(shí)間拍攝畫面并判斷為安全隱患(現(xiàn)場情況與識別結(jié)果如圖8所示)，并同步向當(dāng)?shù)貒W(wǎng)供電公司輸電工區(qū)運(yùn)檢室的值班人員發(fā)出告警信息，值班人員立刻申請線路緊急避險(xiǎn)，同時(shí)協(xié)調(diào)運(yùn)檢人員即刻趕往現(xiàn)場處理，一個(gè)多小時(shí)后，火情被及時(shí)撲滅，避免了一場災(zāi)難的發(fā)生，居民和工廠的用電也未受到影響。

圖8 火情現(xiàn)場畫面與識別結(jié)果

所提出的技術(shù)方案基于飛槳模型壓縮庫PaddleSlim和端側(cè)推理引擎Paddle Lite，很好地解決了模型難以在小內(nèi)存設(shè)備中運(yùn)行的問題，而且應(yīng)用識別效果良好，在實(shí)踐中取得了很好的效果。

4 結(jié) 語

所提出的一種使用無源無線的移動(dòng)設(shè)備，基于飛槳的模型壓縮庫PaddleSlim和端側(cè)推理引擎Paddle Lite的輸電線路智能巡檢方案，實(shí)現(xiàn)了將圖像分析部署于邊緣計(jì)算設(shè)備中，將可視化監(jiān)拍裝置拍照間隔從0.5 h縮短到5 min，大幅度提高了輸電線路智能巡檢、監(jiān)管的效率和質(zhì)量, 提高了輸電線路運(yùn)行安全。在某省電網(wǎng)公司開展的工程實(shí)踐應(yīng)用中，成功及時(shí)地進(jìn)行火情報(bào)警，避免了電網(wǎng)安全事故的發(fā)生，驗(yàn)證了方案的實(shí)用性與高效性。隨著研究與應(yīng)用的不斷深入，相信基于深度學(xué)習(xí)模型小型化技術(shù)的電力輸電線路智能巡檢方案可以更好地助力電網(wǎng)公司的安全管理工作，保障電網(wǎng)的平穩(wěn)運(yùn)行。