基于Nanodet-Plus 的智能抄表系統(tǒng)研究與設(shè)計(jì)

蔣善旗，康兵，倪嘉豪，鄧小珍，丁貴立，許志浩，黃智軒

（南昌工程學(xué)院，江西南昌 330099）

為實(shí)現(xiàn)“雙碳”目標(biāo)，電動(dòng)汽車作為緩解能源危機(jī)與環(huán)境污染的重要手段受到廣泛的關(guān)注[1]。隨著電動(dòng)汽車的不斷普及，大規(guī)模充電負(fù)荷將對(duì)小區(qū)或園區(qū)的供電造成巨大壓力，進(jìn)一步增加電網(wǎng)負(fù)荷峰谷差?？紤]臺(tái)區(qū)負(fù)荷曲線因用戶用電峰谷時(shí)段差異而具有峰谷特征，其實(shí)際負(fù)荷用電只占額定負(fù)荷的40%左右，因此，如何將“間歇性電動(dòng)車負(fù)載”轉(zhuǎn)變成具有“移峰填谷”能力的“智能負(fù)荷”以實(shí)現(xiàn)電動(dòng)汽車的有序充電規(guī)劃，是一個(gè)急需解決的問題[2]。

文獻(xiàn)[3]提出了基于改進(jìn)布谷鳥算法的電動(dòng)汽車換電站有序充電策略研究。文獻(xiàn)[4]提出了考慮多方利益的居民小區(qū)電動(dòng)汽車有序充電策略。文獻(xiàn)[5]提出了基于多目標(biāo)優(yōu)化模型的電動(dòng)汽車充電調(diào)度策略。然而以上方法均是在已知變壓器容量或調(diào)度容量的基礎(chǔ)上建立的充電模型，但是對(duì)于第三方充電管理平臺(tái)而言，容量信息卻是未知的。因此，為解決這一問題提出了基于機(jī)器學(xué)習(xí)的電能表信息識(shí)別方案。對(duì)于電能表識(shí)別算法，文獻(xiàn)[6]結(jié)合深度神經(jīng)網(wǎng)絡(luò)和多閾值軟切分的方法來識(shí)別電能表內(nèi)的信息。文獻(xiàn)[7]結(jié)合模板匹配和深度神經(jīng)網(wǎng)絡(luò)的方法來識(shí)別電能表內(nèi)的信息。文獻(xiàn)[8]采用Faster R-CNN 和U-Net相結(jié)合的方法來實(shí)現(xiàn)指針式儀表的讀數(shù)識(shí)別。上述文獻(xiàn)均提出了有效的儀表讀數(shù)識(shí)別方法，但是其目標(biāo)檢測(cè)模型均在PC 端部署，且目標(biāo)檢測(cè)模型較大，占用內(nèi)存過多，識(shí)別速度較慢，因此無法部署在嵌入式設(shè)備之中，依舊存在圖片從采集端到云端的傳輸過程。

1 系統(tǒng)總體設(shè)計(jì)

該智能抄表系統(tǒng)采用面向嵌入式設(shè)備的圖像信息識(shí)別方案，系統(tǒng)的整套圖片識(shí)別流程均在樹莓派內(nèi)完成，無需將圖片發(fā)送至云端進(jìn)行圖片識(shí)別，可以有效避免圖片傳輸過程中數(shù)據(jù)丟失以及傳輸速度慢等問題。智能抄表系統(tǒng)的總體功能框架如圖1 所示。該智能抄表系統(tǒng)所涉及的硬件部分主要有核心控制板（樹莓派4B）、OV5647 攝像頭模塊、電源模塊、攝像頭補(bǔ)光模塊、4G 無線通信模塊等。軟件部分則主要包括電能表識(shí)別算法以及后臺(tái)終端軟件的設(shè)計(jì)[9]。智能抄表系統(tǒng)的識(shí)別算法采用圖像識(shí)別的方式完成，通過調(diào)用樹莓派4B 內(nèi)的ncnn 模型來實(shí)現(xiàn)對(duì)電能表信息的識(shí)別。后臺(tái)終端軟件將對(duì)樹莓派識(shí)別出的電量信息進(jìn)行整合，并以特定的報(bào)文格式將整合得到的信息存儲(chǔ)至MySQL 數(shù)據(jù)庫(kù)中。

圖1 智能抄表系統(tǒng)的總體功能框架

圖2 FOCS的網(wǎng)絡(luò)架構(gòu)

2 系統(tǒng)硬件設(shè)計(jì)

2.1 主控模塊

智能抄表系統(tǒng)的核心控制單元為樹莓派4B，其控制芯片采用博通BCM2711，其運(yùn)行內(nèi)存為4 GB。樹莓派4B 作為一款開源的人工智能開發(fā)板，其運(yùn)行速度以及系統(tǒng)性能比起以往的樹莓派系列開發(fā)板以及其他類型的人工智能開發(fā)板均占有較大的優(yōu)勢(shì)，網(wǎng)絡(luò)上有關(guān)的開發(fā)資料也更為豐富。樹莓派4B 作為核心控制單元，主要功能是控制智能抄表系統(tǒng)的各項(xiàng)硬件外設(shè)，對(duì)捕獲的目標(biāo)圖片進(jìn)行預(yù)處理，搭載ncnn 模型的運(yùn)行環(huán)境，對(duì)ncnn 模型進(jìn)行推理及部署，最后調(diào)用ncnn 模型來識(shí)別輸入圖片的信息[10]。

2.2 電源模塊

由于樹莓派外設(shè)引腳自帶的5 V 電源功率較小，對(duì)于整個(gè)智能抄表系統(tǒng)而言，需要設(shè)計(jì)一個(gè)獨(dú)立的電源模塊為各項(xiàng)額定電壓為5 V 的硬件模塊提供電源。因此智能抄表系統(tǒng)的總輸入電源選用12 V-3 A的適配器進(jìn)行供電，通過MP2315 芯片將12 V 電源轉(zhuǎn)為5 V 電源，并利用輸出端的5 V 電源為整個(gè)系統(tǒng)供電。

2.3 圖像采集模塊

圖像采集模塊包括攝像頭補(bǔ)光模塊以及OV5647攝像頭模塊，圖片的有效輸入依賴于攝像頭模塊以及補(bǔ)光模塊，補(bǔ)光模塊可以根據(jù)實(shí)際環(huán)境的光線強(qiáng)弱調(diào)整補(bǔ)光燈的亮度，再根據(jù)安裝位置適當(dāng)調(diào)節(jié)攝像頭焦距，可達(dá)到獲取高質(zhì)量目標(biāo)圖片的效果，有利于ncnn 模型對(duì)電能表圖片的識(shí)別。

攝像頭模塊內(nèi)置OV5647 圖像傳感器，該圖像傳感器擁有500 萬像素，其數(shù)據(jù)傳輸方式選用并聯(lián)傳輸，通過FPC 連接線與樹莓派連接，可通過樹莓派調(diào)節(jié)攝像頭的曝光模式、快門速度、飽和度等多項(xiàng)參數(shù)，并通過樹莓派驅(qū)動(dòng)來完成圖片的拍攝。

2.4 數(shù)據(jù)傳輸模塊

智能抄表系統(tǒng)的數(shù)據(jù)傳輸功能通過4G 無線通信模塊完成，智能抄表系統(tǒng)中使用的4G 模塊型號(hào)為合宙Air724，其輸入電源的范圍為5～12 V，瞬間功率為7.5 W，平均功率為0.15 W。通過向4G 模塊中燒錄AT 固件，樹莓派可利用串口通信向4G 模塊內(nèi)寫入AT 指令來驅(qū)動(dòng)4G 模塊工作。4G 模塊根據(jù)不同的AT 指令可以選擇不同的數(shù)據(jù)傳輸協(xié)議，而系統(tǒng)最終以TCP 協(xié)議來傳輸數(shù)據(jù)。4G 模塊將樹莓派4B 識(shí)別出的電能表數(shù)據(jù)以字節(jié)流的形式發(fā)送至后臺(tái)終端軟件，其具體的發(fā)送方式為報(bào)文加密模式，其報(bào)文的具體組成內(nèi)容為報(bào)文頭、待發(fā)送數(shù)據(jù)、CRC-16 校驗(yàn)碼、報(bào)文尾。與此同時(shí)，后臺(tái)終端軟件只有采用相同的報(bào)文格式方可成功接收數(shù)據(jù)內(nèi)容。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 電能表信息識(shí)別算法設(shè)計(jì)

Nanodet 是在FOCS 算法的基礎(chǔ)上發(fā)展而來的一種速度超快且輕量級(jí)的移動(dòng)端Anchor-free 目標(biāo)檢測(cè)模型，而Nanodet-Plus 則是在Nanodet 的基礎(chǔ)上對(duì)標(biāo)簽匹配策略、模型結(jié)構(gòu)、訓(xùn)練Trick 等進(jìn)行了優(yōu)化。相較Nanodet 而言，Nanodet-Plus 訓(xùn)練得到的模型文件的識(shí)別精度與速度均有較大的提升[11]。

FCOS 算法可直接通過逐像素點(diǎn)回歸的方法對(duì)目標(biāo)進(jìn)行檢測(cè)，這種檢測(cè)方式無需錨框和建議框，性能高于大多數(shù)基于錨框的檢測(cè)算法。在上述目標(biāo)檢測(cè)的基礎(chǔ)上，F(xiàn)COS 采用類似于多級(jí)特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）的預(yù)測(cè)，能有效提高召回率，進(jìn)而解決訓(xùn)練過程中重疊預(yù)測(cè)框?qū)е碌念A(yù)測(cè)結(jié)果報(bào)錯(cuò)問題，提高目標(biāo)檢測(cè)的精度[12]。FOCS的網(wǎng)絡(luò)架構(gòu)如圖1 所示。該網(wǎng)絡(luò)主要由主干網(wǎng)絡(luò)、多級(jí)特征金字塔網(wǎng)絡(luò)、檢測(cè)頭三部分組成，其中C3、C4 和C5 表示主干網(wǎng)絡(luò)的特征映射，即主干網(wǎng)絡(luò)對(duì)輸入圖像進(jìn)行特征提取所得到的特征圖。P3-P7 是用于最終預(yù)測(cè)的特征級(jí)別。H、W分別為特征圖的高度和寬度。例如，所有電能表圖片的輸入大小都是512×512。

Nanodet-Plus 網(wǎng)絡(luò)架構(gòu)如圖3 所示。其中，預(yù)測(cè)類別中的C 表示類別數(shù)。相較于FCOS 網(wǎng)絡(luò)架構(gòu)，Nanodet-Plus 最大的不同是增加了輔助訓(xùn)練模塊（Assign Guidance Module，AGM），同時(shí)摒棄了FCOS的標(biāo)簽分配策略，進(jìn)而轉(zhuǎn)向動(dòng)態(tài)軟標(biāo)簽分配。其網(wǎng)絡(luò)層neck 使用了Ghost-PAN 架構(gòu)，Ghost-PAN 中的Ghost 模塊是一種實(shí)現(xiàn)輕量級(jí)神經(jīng)網(wǎng)絡(luò)的方法，使得深度神經(jīng)網(wǎng)絡(luò)可以在保證算法表現(xiàn)能力的基礎(chǔ)上，將網(wǎng)絡(luò)移植到一些計(jì)算能力相對(duì)較弱的移動(dòng)設(shè)備上。Ghost-PAN 架構(gòu)能夠更好地融合不同尺度的特征[13]。頭部的回歸和標(biāo)簽預(yù)測(cè)仍然繼承文獻(xiàn)[14]提出的Generalized Focal Loss，該函數(shù)能夠去掉FCOS的中心度分支，省去這一分支上的大量卷積，從而減少檢測(cè)頭的計(jì)算，非常適合移動(dòng)端的輕量化部署。

圖3 Nanodet-Plus網(wǎng)絡(luò)架構(gòu)

上述的AGM 僅由四個(gè)3×3 的卷積組成，使用深度學(xué)習(xí)歸一化方式[15]（Group Normbalization，GN）作為Normalize 層，并在不同尺度的Feature Map 間共享參數(shù)。由于共享參數(shù)，且并非是深度可分離卷積，因此AGM 所消耗的訓(xùn)練資源非常少。

使用AGM 預(yù)測(cè)的分類概率和檢測(cè)框會(huì)輸入到動(dòng)態(tài)軟標(biāo)簽分配策略[16]（Dynamic Soft Label Assigner，DSLA）中計(jì)算Matching Cost。代價(jià)函數(shù)由classification cost、regression cost 以及distance cost 三部分組成，最終的代價(jià)函數(shù)如式（1）所示:

其中，λ為regression cost 的調(diào)制系數(shù)，Ccls=CE(P,Ysoft)×(Ysoft-P)2，Creg=-lnIou，Cdis=。

基于以上改進(jìn)，Nanodet-Plus 由于其輕量化的設(shè)計(jì)和非常小的參數(shù)量，在邊緣設(shè)備（嵌入式設(shè)備）和CPU 設(shè)備上擁有可觀的推理速度。

以電能表信息識(shí)別為例，對(duì)于該識(shí)別算法的實(shí)現(xiàn)，首先需要獲取初始樣本數(shù)據(jù)集；構(gòu)建由ShuffleNet V2 主干網(wǎng)絡(luò)、Ghost-PAN 網(wǎng)絡(luò)、回歸分類預(yù)測(cè)頭構(gòu)成的Nanodet-Plus 目標(biāo)檢測(cè)網(wǎng)絡(luò)；以初始樣本數(shù)據(jù)集作為訓(xùn)練樣本，訓(xùn)練目標(biāo)檢測(cè)網(wǎng)絡(luò)；得到目標(biāo)檢測(cè)網(wǎng)絡(luò)的pth 模型，將其轉(zhuǎn)換為onnx 模型，再轉(zhuǎn)換為nccn 模型。將得到的ncnn 模型在樹莓派4B上進(jìn)行部署與推理；最后在樹莓派4B 內(nèi)調(diào)用ncnn 模型檢測(cè)電能表圖片。識(shí)別算法引入輕量級(jí)ShuffleNet V2 主干網(wǎng)絡(luò)特征提取方式能獲得更多的目標(biāo)特征，同時(shí)引入Ghost-PAN 網(wǎng)絡(luò)來更好地融合不同尺度的特征，且將訓(xùn)練獲得的pth 模型轉(zhuǎn)換為更適合在嵌入式設(shè)備中部署的ncnn 模型，可以在資源緊張、算力有限的樹莓派4B 等嵌入式設(shè)備中有效實(shí)現(xiàn)電能表信息的識(shí)別。

3.2 后臺(tái)軟件設(shè)計(jì)

后臺(tái)終端軟件采用C#編程語言進(jìn)行設(shè)計(jì)，基于TCP/IP 協(xié)議、Socket 通信搭建控制臺(tái)應(yīng)用程序。該軟件的主要功能是對(duì)臺(tái)區(qū)電表內(nèi)的信息進(jìn)行收集并存儲(chǔ)，并通過4G 模塊與采集設(shè)備建立聯(lián)系，每臺(tái)設(shè)備對(duì)應(yīng)一個(gè)臺(tái)區(qū)考核電表，采集設(shè)備獲取到電能表內(nèi)的有效信息后，借助4G 模塊，通過TCP 協(xié)議將采集到的信息發(fā)送至終端軟件上。最后該軟件會(huì)將收集到的所有信息都保存至MySQL 數(shù)據(jù)庫(kù)中，以待Web 端或手機(jī)APP 讀取所獲得的電能表數(shù)據(jù)。后臺(tái)終端軟件的可視化界面如圖4 所示。

圖4 后臺(tái)終端軟件可視化界面

4 系統(tǒng)功能測(cè)試

智能抄表系統(tǒng)設(shè)計(jì)完成后需要進(jìn)行整體的系統(tǒng)功能測(cè)試，系統(tǒng)功能測(cè)試主要包括識(shí)別算法的測(cè)試以及后臺(tái)終端軟件數(shù)據(jù)接收測(cè)試。使用支架將智能抄表裝置固定在電能表正前方，通過定時(shí)拍照來獲取電能表圖片，并識(shí)別出所獲取圖片上的電量信息。最終4G 模塊將識(shí)別出的電量信息、拍照時(shí)間、電能表ID 等數(shù)據(jù)傳輸至后臺(tái)終端軟件中。后臺(tái)終端軟件成功接收數(shù)據(jù)后將數(shù)據(jù)存至MySQL 數(shù)據(jù)庫(kù)中，以供智慧充電管理平臺(tái)讀取相應(yīng)的數(shù)據(jù)。經(jīng)驗(yàn)證，智能抄表裝置可實(shí)現(xiàn)閉環(huán)操作，軟件及硬件運(yùn)行正常，后臺(tái)終端軟件能正常接收到數(shù)據(jù)。圖像識(shí)別算法的運(yùn)行效果如圖5 所示。后臺(tái)終端軟件數(shù)據(jù)接收情況如圖6 所示。測(cè)試次數(shù)與識(shí)別率的關(guān)系曲線圖如圖7 所示。

圖5 圖像識(shí)別算法的實(shí)際效果

圖6 后臺(tái)終端軟件數(shù)據(jù)接收情況

圖7 測(cè)試次數(shù)與識(shí)別率的關(guān)系曲線圖

5 結(jié)論

經(jīng)過實(shí)際的系統(tǒng)功能測(cè)試，該智能抄表系統(tǒng)的識(shí)別算法能夠在不同角度、不同光照環(huán)境下實(shí)現(xiàn)對(duì)電能表信息的提取，即便電能表表面存有灰塵或存在反光，該算法依舊有效；該算法可在嵌入式設(shè)備（樹莓派4B）中運(yùn)行，無需將圖片上傳至云端識(shí)別，可有效減少圖片傳輸過程中需要的時(shí)間以及數(shù)據(jù)傳輸過程中數(shù)據(jù)“丟包”的風(fēng)險(xiǎn)。最終的文字識(shí)別準(zhǔn)確率平均可達(dá)95%，數(shù)字識(shí)別的準(zhǔn)確率平均可達(dá)98%。