劉映群 黃嘉源 何卓恒 李創(chuàng)銘 陳日源



收稿日期:2023-10-09
基金項目:2023年廣東省科技創(chuàng)新戰(zhàn)略專項資金(“攀登計劃”專項資金)(pdjh2023b0845);2022年廣東省大學生創(chuàng)新創(chuàng)業(yè)訓練計劃(S202213919003)
DOI:10.19850/j.cnki.2096-4706.2024.07.024
摘? 要:針對近年野外露營存在的環(huán)境及安全隱患等問題,設計一種基于PaddlePaddle深度學習的野外露營安全裝置。首先采用卷積神經(jīng)網(wǎng)絡訓練模型,然后通過圖像識別分類技術進行識別。文中以動物分類識別為例,通過對不同種類動物圖片進行訓練來改進模型,并對模型識別及分類的準確性進行驗證,最終精度為0.96以上。經(jīng)測試,采用的模型在動物圖像分類中有較好效果,能滿足課題設計要求。
關鍵詞:PaddlePaddle;卷積神經(jīng)網(wǎng)絡;圖像識別分類;野外露營安全裝置
中圖分類號:TP391.4;TP181 文獻標識碼:A 文章編號:2096-4706(2024)07-0113-05
A Field Camping Safety Device Based on PaddlePaddle Deep Learning
LIU Yingqun1, HUANG Jiayuan2, HE Zhuoheng3, LI Chuangming4, CHEN Riyuan1
(1.Guangdong Open University (Guangdong Polytechnic Institute), Guangzhou? 510091, China; 2.School of Intelligent Manufacturing and Electrical Engineering, Guangzhou Institute of Science and Technology, Guangzhou? 510540, China;
3.School of Electrical and Computer Engineering, Nanfang College Guangzhou, Guangzhou? 510970, China;
4.Zhongshan Camry Electronic Company Limited, Zhongshan? 528400, China)
Abstract: Aiming at the problems of environment and safety hazards in field camping in recent years, a field camping safety device based on PaddlePaddle Deep Learning (DL) is designed. Firstly, a Convolutional Neural Networks is used to train the model, and then image recognition and classification techniques are used for recognition. Taking animal classification and recognition as an example in the paper, the model is improved by training images of different types of animals, and the accuracy of model recognition and classification is verified. The final accuracy is above 0.96. After testing, the model used has shown good performance in animal image classification and can meet the requirements of the project design.
Keywords: PaddlePaddle1; Convolutional Neural Networks; image recognition and classification; field camping safety device
0? 引? 言
近幾年野外露營市場迅速擴張,野外帳篷需求也同步激增。目前,市面上多數(shù)野外帳篷以解決用戶“住”為主,忽略了“安全”問題,如霍少澤等[1]提出一種基于單片機的智能帳篷,實現(xiàn)露營環(huán)境狀態(tài)數(shù)據(jù)監(jiān)測,武艷等[2]設計了露營帳篷安全監(jiān)測系統(tǒng),實現(xiàn)對帳篷周邊環(huán)境狀態(tài)進行監(jiān)測,監(jiān)測信息通過液晶屏顯示,并在危險時刻進入報警狀態(tài)。雖都使得帳篷更加智能化,但在安全方面還尚有不足,如缺乏對帳篷周圍具體環(huán)境狀態(tài)的智能視覺分析處理,用戶除了掌握基本的監(jiān)測數(shù)據(jù)外,在野外露營的帳篷應該能夠達到保障用戶的基本安全。而在野外,潛在最大威脅為野獸,張雪瑩等[3]、楊銘倫等[4]與周文萱等[5]分別提出了對野生動物進行識別分類的方法。
本文設計一種基于PaddlePaddle深度學習的野外露營安全裝置,實現(xiàn)對露營周圍環(huán)境的監(jiān)測,保證用戶安全。本文以物聯(lián)網(wǎng)傳感器實時監(jiān)測環(huán)境狀態(tài)以及對圖像中的動物進行識別分類為例,通過PaddlePaddle深度學習平臺,構建基于卷積神經(jīng)網(wǎng)絡訓練模型和導入動物數(shù)據(jù)集,將以此為例介紹野外露營安全監(jiān)測裝置。
1? 裝置環(huán)境監(jiān)測系統(tǒng)設計
基于PaddlePaddle深度學習的野外露營安全裝置外觀結構設計如圖1所示,通過使用伸縮桿對裝置進行體積壓縮,可大幅提升裝置其攜帶性。同時,通過對裝置進行斜面設計,可提高其雨水泄流能力。內部主要由環(huán)境監(jiān)測系統(tǒng)與視覺處理單元組成,環(huán)境監(jiān)測系統(tǒng)主要為傳感器集成電路板,通過多傳感器融合實現(xiàn)溫濕度檢測、移動物體距離檢測與驅趕等功能。視覺處理單元則對圖像進行收集與處理,針對移動物體進行分類處理,再根據(jù)處理結果判斷出的移動物體危險程度執(zhí)行相關操作。
該傳感器集成電路板上以STM32f103ZET6為MCU,其配備64 KB SRAM、512 KB FLASH、2個基本定時器、4個通用定時器、2個高級定時器、2個DMA控制器(共12個通道)、3個SPI、2個IIC、5個串口、1個USB、1個CAN、3個12位ADC、1個12位DAC、1個SDIO接口、1個FSMC接口以及112個通用IO口[6],還有超聲波傳感器電路、DHT11溫濕度傳感器電路、照度傳感器電路、蜂鳴器電路與穩(wěn)壓電路等;視覺處理單元采用Raspberry Pi 4B主板,4 GB的RAM,滿足對圖像高速處理的要求,并配備千兆以太網(wǎng)以及板載雙頻Wi-Fi/藍牙5.0,可進行設備之間無線高速數(shù)據(jù)傳輸。
2? 裝置電路設計
2.1? 視覺處理單元
本裝置視覺處理部分采用Raspberry Pi 4B,該主板擁有強大性能以及豐富的外設,其主頻最高可達1.5 GHz,并搭載4 GB內存容量可同時運行多線程任務。該主板具備攝像頭接口和無線網(wǎng)絡傳輸接口,可輕松連接攝像頭模塊并實現(xiàn)無線高速信號傳輸。同時,該主板可與主控MCU進行通信,以實現(xiàn)傳感器數(shù)據(jù)包的無線傳輸。本裝置將訓練模型部署于該主板,以實現(xiàn)端側AI視覺環(huán)境分析處理。視覺處理單元介紹如圖2所示。
2.2? 降壓穩(wěn)壓電路
采用LMR14020SDDAR器件作為裝置降壓穩(wěn)壓電路,該器件輸入電壓范圍:4~40 V;調壓輸出穩(wěn)定3.3 V,2 A持續(xù)輸出電流,40 ?A超低工作靜態(tài)電流,非常適合電池供電類系統(tǒng),并且在關斷狀態(tài)下具有1 μA的超低電流,可進一步延長電池使用壽命,符合本裝置供給降壓穩(wěn)壓需求,電路如圖3所示。
2.3? 環(huán)境照度傳感器電路
本裝置環(huán)境照度傳感器電路采用BH1750FVI器件,用于采集環(huán)境光照數(shù)據(jù)。該器件擁有高精度數(shù)據(jù)采集以及低功耗能力,可精準測量1~65 535 Lux輸入光范圍,并通過IIC BUS接口與主控MCU進行通信,可實時讀取16位光照度數(shù)字信號,經(jīng)過主控MCU邏輯分析后及時通過小程序反饋用戶當前環(huán)境光照變化情況。環(huán)境光照度監(jiān)測電路如圖4所示。
2.4? 溫濕度傳感器電路
本裝置溫濕度傳感器電路采用DHT11數(shù)字型高精度器件,其溫度測量范圍為0~50 ℃,精度為±2 ℃、濕度測量范圍為20~90%RH,精度為±5%RH。該器件擁有體積小巧以及功耗較低的特點,可通過主控MCU對環(huán)境進行數(shù)據(jù)采集分析,實時監(jiān)測當?shù)販貪穸茸兓闆r。環(huán)境溫濕度監(jiān)測電路如圖5所示。
2.5? 物體測距監(jiān)測電路
本裝置物體測距監(jiān)測電路采用HC-SR04超聲波器件,該器件可達2~400 cm的非接觸式測距范圍,其精度高達3 mm。當傳感器監(jiān)測到有物體靠近時,會向主控MCU發(fā)出信號,此時主控MCU下發(fā)指令驅動裝置電機,進而轉動至該物體位置,進行視覺分析處理。通過傳感器位置判斷后再喚醒攝像頭,可提供準確物體定位的同時進一步降低裝置整體運行功耗。超聲波監(jiān)測電路如圖6所示。
2.6? 驅趕電路
針對視覺分析處理結果,聯(lián)調主控MCU發(fā)送特定的信號波,使得蜂鳴器發(fā)出相應鳴叫聲,實現(xiàn)有效地提醒用戶有物體靠近的情況,以及針對某種動物的特定頻率鳴叫聲驅趕,維護用戶露營區(qū)域安全。蜂鳴器電路如圖7所示。
3? 裝置電路設計
3.1? 圖像處理
PaddlePaddle基于百度多年的業(yè)務和技術,集深度學習訓練、基礎模型庫等技術、資源于一體,成為在主流深度學習框架中唯一完全國產化的產品[7],如孫玉梅等人提出的基于PaddlePaddle的遙感智能視覺平臺[8]、謝美英[9]和李玥瑤等人[10]提出的口罩佩戴識別等,國內也有很多企業(yè)基于PaddlePaddle研發(fā)出豐富的行業(yè)應用。本文基于PaddlePaddle進行圖像識別分類,而對于其中的圖像特征提取采用卷積神經(jīng)網(wǎng)絡[11,12]的方式。
圖像識別分類結果分為幾種情況:1)檢測到危險程度低無威脅時,該裝置不會報警。2)檢測到危險程度中等時,該裝置進行自動驅趕并記錄相關信息,不提醒用戶。3)檢測到危險程度高且具有威脅性時,將識別數(shù)據(jù)傳輸?shù)絾纹瑱C主控板和用戶手機上,同時觸發(fā)報警提醒用戶,警示用戶做好相應的緊急應對措施。處理流程圖如圖8所示。
3.2? 控制端小程序
該裝置還配有控制端小程序,用戶可利用小程序控制照明燈板、獲取環(huán)境監(jiān)測系統(tǒng)的數(shù)據(jù)以及控制視覺處理單元,極大方便用戶操控裝置。小程序如圖9所示。
4? 實驗框架設計
4.1? 數(shù)據(jù)集獲取來源
數(shù)據(jù)集主要通過網(wǎng)絡爬蟲執(zhí)行,設定腳本對瀏覽器進行虛擬訪問,自動爬取滿足課題需求的動物信息,爬取的所有動物信息將被系統(tǒng)存儲,對信息進行分析、篩選、審查獲取其有效信息,并將爬取信息存放至設定文件夾中,最終形成數(shù)據(jù)采集閉環(huán)[10]。
4.2? 實驗方式的設計
本課題實驗組選取4類較為常見的野生動物物種作為實驗識別對象,分別是斑馬、大象、犀牛與蛇。使用PaddlePaddle平臺進行標注,對圖像進行框選標注,最終得到1 500張4類野生物種圖像。將數(shù)據(jù)集按照9:1的比例變成訓練集和測試集,其中90%的數(shù)據(jù)用于訓練,10%的數(shù)據(jù)用于測試[10]。
4.3? 部署PaddlePaddle平臺
使用PaddlePaddle平臺,創(chuàng)建新的動物訓練模型[13],導入網(wǎng)絡爬蟲爬取的動物信息,添加動物類別標簽,分別對不同標簽進行初次人工標注,當人工標注數(shù)量達到30%左右時,啟動PaddlePaddle平臺提供的智能標注功能對動物數(shù)據(jù)集進行自動預標注,通過主動學習等待一段時間后方可針對展示的預標注結果進行二次人工篩選調整,當標注數(shù)據(jù)符合預期后,選擇一鍵標注,導出標注好的數(shù)據(jù)信息。
啟動PaddlePaddle平臺中免費的訓練環(huán)境,對動物數(shù)據(jù)集進行分割及迭代訓練,選擇該模型下已訓練的基準模型版本,在數(shù)據(jù)應用場景不變的情況下,擴充數(shù)據(jù)提升模型訓練效率和精確度,根據(jù)已訓練版本的指標數(shù)據(jù)對下一輪次訓練及時進行數(shù)據(jù)調整。
獲取理想數(shù)據(jù)模型后,將訓練模型部署至設備端,選擇本地部署—通用小型設備—SDK(純離線服務)—通用ARM。
5? 訓練結果分析
5.1? 模型評估
精準度是檢測預測模型是否正確的重要指標,MAP(Mean Average Precision)是物體檢測(Object Detection)算法中衡量算法效果的指標。通過對數(shù)據(jù)集進行15輪次迭代訓練,以及將每一次訓練所得精準度值、MAP值和召回率進行記錄,最后將訓練好的模型與測試模型進行測試優(yōu)化。
如表1所示,隨著輪次的增加,測試模型精確率也基本穩(wěn)定在0.96以上,訓練模型、MAP數(shù)值符合最終課題要求。由本次舉例的動物識別實驗數(shù)據(jù)得出:訓練模型達到了野生動物高精度識別的要求,因此,識別效果達到課題預期的理想效果[10]。
2)MAP:不同閾值下的實驗得到P-R曲線,曲線下的面積為Average Precision(AP)值。“mean”意思為每類的平均AP值得MAP值,范圍在[0,1]區(qū)間,越接近1則表示模型效果越好。3)召回率:{某類樣本正確預測為該類的樣本數(shù)}占{標注為該類的總樣本數(shù)}的比率。
5.2? 模型預測
預測流程主要為:1)部署環(huán)境。2)放入標注好的訓練集。3)放入預測集到訓練模型中進行預測。4)將預測結果輸出。如圖10、圖11所示,對于具有迷惑性的動物圖像,模型依舊成功識別出了該動物類型,并且能夠隨著訓練次數(shù)與數(shù)據(jù)集的提升而不斷提高識別性能。因此,可以證明課題中高精度的野生動物識別實驗成功。
6? 結? 論
本文基于PaddlePaddle深度學習平臺,設計以圖像識別分類為主的野外露營安全裝置,介紹了裝置組成電路與軟件設計原理,并以某一類需要識別的物體(動物)進行舉例驗證,實驗采用PaddlePaddle平臺進行。經(jīng)測試,識別精準度基本穩(wěn)定在0.96以上,滿足設計要求。
其次,此次實驗只針對動物進行識別,暫未對其他物體進行實驗,但從實驗結果來看,該方法也適用于其他物體,下一步的研究目標為其他物體的識別。同時,該設計、識別原理也適用于安防或者需要對圖像進行處理的作業(yè)場景。
參考文獻:
[1] 霍少澤,胡立夫,袁育蒙,等.一種基于單片機的智能帳篷 [J].中國科技信息,2022(8):80-82.
[2] 武艷,崔凡輝,程文磊.露營帳篷安全監(jiān)測系統(tǒng)設計 [J].江蘇科技信息,2016(35):67-68.
[3] 張雪瑩,張浩林,韓瑩瑩,等.基于深度學習的野生動物監(jiān)測與識別研究進展 [J].野生動物學報,2022,43(1):251-258.
[4] 楊銘倫,張旭,郭穎,等.基于YOLOv5的紅外相機野生動物圖像識別 [J].激光與光電子學進展,2022,59(12):382-390.
[5] 周文萱,胡龍?zhí)遥瑥埫簦?基于YOLO的小型動物識別系統(tǒng)設計 [J].計算機時代,2019(3):22-25.
[6] 林玩杰,李水峰,毛立夫,等.基于STM32智能家居控制系統(tǒng)的設計 [J].電子設計工程,2019,27(24):176-180.
[7] 馬艷軍,于佃海,吳甜,等.飛槳:源于產業(yè)實踐的開源深度學習平臺 [J].數(shù)據(jù)與計算發(fā)展前沿,2019,1(5):105-115.
[8] 孫玉梅,劉昱豪,邊占新,等.深度學習PaddlePaddle框架支持下的遙感智能視覺平臺研究與實現(xiàn) [J].測繪通報,2021(11):65-69+75.
[9] 謝美英.一個基于PaddlePaddle深度學習框架的口罩佩戴圖像識別模型 [J].現(xiàn)代信息科技,2022,6(4):111-114.
[10] 李玥瑤,周金治,王楊.基于PaddlePaddle和CNN的戴口罩人臉識別系統(tǒng)設計 [J].現(xiàn)代信息科技,2022,6(11):82-85.
[11] PaddlePaddle飛漿.卷積神經(jīng)網(wǎng)絡基礎 [EB/OL].[2022-10-27].https://aistudio.baidu.com/aistudio/projectdetail/474522?channelType=0&channel=0.
[12] 顏冰.基于卷積神經(jīng)網(wǎng)絡人臉識別實現(xiàn)策略 [J].網(wǎng)絡安全技術與應用,2022(6):47-49.
[13] 魏甫豫,張振宇,梁桂珍.基于卷積神經(jīng)網(wǎng)絡下昆蟲種類圖像識別應用研究 [J].河南師范大學學報:自然科學版,2022,50(6):96-105.
作者簡介:劉映群(1978—),男,漢族,廣東潮州人,副教授,碩士,研究方向:物聯(lián)網(wǎng)應用技術;通訊作者:黃嘉源(2001—),男,漢族,廣東汕頭人,本科在讀,研究方向:電子信息工程;何卓恒(2002—),男,漢族,廣東佛山人,本科在讀,研究方向:電氣及其自動化;李創(chuàng)銘(1993—),男,漢族,廣東潮州人,學士,研究方向:物聯(lián)網(wǎng)應用技術;陳日源(2003—),男,漢族,廣東湛江人,研究方向:電子信息技術。