基于嵌入式AI的森林火災圖像檢測系統設計

潘 驍,王 勛,蘇冬勝,封李紅,王 軍

(1.廣西生態工程職業技術學院,廣西 柳州 545004;2.廣西師范大學,廣西 桂林 541004)

0 引言

森林資源是人類賴以生存的重要資源[1]。我國幅員遼闊,森林資源和植物類型極為豐富。而森林火災突發性強,破壞性大,直接破壞林業產業鏈中上游的林木資源,對生態環境與人類生命財產安全造成極大的威脅[2]。為了避免森林火災造成的經濟財產損失,降低森林火災帶來的威脅,國內外十分重視在森林火災檢測技術方面的研究探索。

目前,已有的森林火災監測主要有人工巡檢、瞭望臺監護、傳感器感應、護林飛機、無人機航拍和衛星遙感監測等多種方法。這些方法對于森林這種廣范圍、高空間且復雜的環境,難以避免空間、時間、天氣以及設備高成本局限等問題[3]。隨著計算機視覺技術的快速發展,當前火災煙霧和火焰識別與檢測均在計算機上應用卷積神經網絡完成,并沒有在終端設備上實現。本文基于嘉楠科技自主研發的堪智K210嵌入式AI微控制器,在K210上運行YOLO卷積神經網絡對白天森林火災早期煙霧和夜間火焰進行識別,從而及時預警,在森林火災的防范中具有較好的應用價值。

1 系統方案設計

本系統采用K210芯片作為主控模塊。K210芯片內部包含KPU(Knowledge Processing Unit)通用神經網絡處理器,內置卷積、批歸一化、激活以及池化運算單元[4],支持YOLO、mobilenet等卷積神經網絡實現物體的識別[5]。

首先,系統搜集森林火災煙霧圖片,將圖片上的煙霧圖像進行標注,然后通過Tensorflow深度學習開源框架得到Kmodel格式的訓練模型文件,最后編寫MicroPython程序,調用YOLOv2-Tiny卷積神經網絡和模型文件,并將模型文件和MicroPython程序部署到K210微控制器上,即可通過攝像頭識別檢測煙霧。系統設計流程如圖1所示。

圖1 系統設計流程

2 系統硬件設計

2.1 K210模塊

堪智 K210是嘉楠科技自主研發的一款采用RISC-V處理器架構Dual Core 64 bit內核,使用臺積電超低功耗的28 nm先進制程,主頻400 MHz,內置8 MB的SRAM,其中6 MB通用SRAM,2 MB AI專用SRAM,并支持TensorFlow、Keras 、Darknet、Caffe等主流深度學習框架,總算力可達 1 TOPS。K210內置多種硬件加速單元(KPU、FPU、FFT 等),其中KPU是一種神經網絡處理器,能夠在先前訓練的模型上加快推理過程。KPU內置卷積、批歸一化、激活和池化運算單元,實時工作的最大固定點模型大小為5～5.9 MiB,并支持1×1和3×3卷積內核[6]。pyAI-K210模塊核心板如圖2所示。

圖2 K210模塊核心板

2.2 圖像采集與顯示模塊

本系統的圖像采集模塊采用Omni Vision公司的OV2640 COMS高清攝像頭。OV2640具有單片UXGA攝像頭和影像處理器的所有功能,UXGA圖像最高達到15幀/秒,SVGA可達 30幀/秒,CIF可達60幀/秒,支持圖像同時輸出到 KPU 和顯示屏。K210模塊的DVP接口可以與兼容DVP接口的OV2640攝像頭相連接,通過SCCB 協議配置攝像頭寄存器,即可采集圖像。

顯示模塊采用2.8寸TFT彩色LCD顯示屏,使用8位并口總線進行通信。圖像采集與顯示模塊如圖3所示。

3 YOLOv2-Tiny

在深度學習圖像目標檢測算法中,YOLO卷積神經網絡圖像檢測算法相比于其他兩階段 CNN 算法,YOLO將目標檢測看成一個回歸問題,在模型的輸入輸出端對圖像進行規范。YOLO通過輸入端將圖片輸入網絡,在輸出層利用CNN全局特征完成目標檢測,同時完成邊界框回歸[7]。YOLO 是第一個單階段目標檢測方法,也是第一個實現了實時目標檢測的方法。

本系統采用YOLOv2-Tiny作為目標檢測網絡。YOLOv2-Tiny目標檢測模型是由Redmon等[8]在2017年提出的,在YOLO的基礎上加入了細粒度特性和多尺度訓練并簡化網絡,提高了平均精度、定位的準確以及召回率。YOLOv2的簡化版YOLOv2-Tiny只有 9 個卷積層、6個最大池化層以及最后1層的檢測層,非常適用于移動和嵌入式設備[9]。YOLOv2-Tiny的網絡結構如圖4所示。

圖4 YOLOv2-Tiny網絡結構

4 軟件設計

在MaixPy IDE開發平臺上進行MicroPython程序設計。首先導入sensor、image、 lcd、 time、KPU等相關庫,然后進行攝像頭傳感器和LCD的初始化配置,最后打開攝像頭進行圖像采集,運行YOLOv2-Tiny卷積神經網絡進行目標檢測。當檢測煙霧和火焰目標時,對目標進行畫矩形識別[10]。主要程序代碼如下:

task=None

task = kpu.load(model_addr)#加載模型文件

kpu.init_yolo2(task, 0.5, 0.3, 5, anchors) #初始化YOLOv2-Tiny網絡,其中0.5為threshold值, 0.3為box_iou 門限值,5為錨點數,anchors為錨點參數

while(True):

img = sensor.snapshot()#采集圖像

objects = kpu.run_yolo2(task, img)#運行YOLOv2-Tiny網絡

if objects:

for obj in objects:

pos = obj.rect()#獲得目標矩形框位置

img.draw_rectangle(pos,color=(255,0,0))

img.draw_string(pos[0],pos[1],"%s : %.2f" %(labels[obj.classid()], obj.value()), scale=2, color=(255, 0, 0))#顯示標簽信息

img.draw_string(0, 200, 'FPS: '+str(clock.fps()), color = (255, 255,255), scale = 2,mono_space = False) #顯示幀數

lcd.display(img)#顯示圖片

5 系統測試

5.1 模型訓練

首先,收集森林火災煙霧圖像410張,火焰圖像共400張,其中80%作為訓練集,20%作為測試集。其次,對圖像中的煙霧和火焰形態進行數據標注,并建立“Smog”和“Fire”標簽。最后,在Maix Hub在線Tensorflow深度學習框架上設置訓練超參數:迭代次數為180次,批數據量大小設置為32,最大學習效率為0.001。模型訓練結果如圖5所示。

圖5 模型訓練損失和平均準確率

5.2 目標識別

將訓練好的文件通過nncase工具將其轉換為kmodel格式文件,和main.py程序文件一起保存至SD卡根目錄下,并插入pyAI-K210硬件模塊,將模塊通電測試。通過攝像頭對100張森林火災煙霧和100張火焰圖像進行采集,其中,正確識別檢測到煙霧形態91張,識別檢測火焰形態90張,準確率分別為91%和90%。部分煙霧及火焰檢測結果分別如圖6—7所示。

圖6 森林火災煙霧識別結果

圖7 森林火焰識別結果

6 結語

本文設計的基于K210嵌入式AI的森林火災圖像檢測系統,在K210上運行YOLOv2-Tiny網絡,加載訓練好的模型文件,通過攝像頭采集圖像并識別檢測,在本測試集下煙霧和火焰識別檢測準確度分別達91%和90%。系統具有本地計算、響應速度快、非接觸式、無時空限制、檢測范圍廣等優點,便于對森林火災早期煙霧和火焰進行檢測,為嵌入式AI技術在森林火災檢測工作中的應用提供技術參考。