基于YOLO2模型的冰箱食品管理系統(tǒng)的研究與設(shè)計

劉琪琪 完瑪揚措

摘 要：在忙碌的生活中，并非所有人對食品的存儲都有著良好的習(xí)慣。這不僅會造成食物的浪費，還會導(dǎo)致人們（尤其是安全意識較低群體）誤食過期食品，而引發(fā)安全問題。本文圍繞如何有效解決冰箱的食品存儲問題為核心，主要講述了利用基于YOLO2模型的K210芯片，通過訓(xùn)練冰箱食物模型，實現(xiàn)冰箱食物的智能管理。

關(guān)鍵詞：YOLO2;冰箱;K210

隨著電子信息技術(shù)的高速發(fā)展，人工智能、物聯(lián)網(wǎng)技術(shù)在人們生活中涉及的領(lǐng)域越來越廣泛，冷鏈系統(tǒng)的智能化因此得到高速發(fā)展。冰箱不僅活躍在人們的生活視野中，而且是連接冷鏈系統(tǒng)與家用電器的應(yīng)用橋梁。它的推廣性高，用戶的使用頻率高，比其他冷鏈系統(tǒng)更加普及，為家用食品的存儲提供了很大的便利。該系統(tǒng)基于YOLO2模型，利用可推廣性和適用性高的圖像識別技術(shù)，通過卷積神經(jīng)網(wǎng)絡(luò)的一般適用性解決不同食物存在的偏差;其本身處理精度和靈活性較高，適用面寬。本項目著眼于人們?nèi)粘＝】担瑫r達(dá)到減少人們?nèi)粘Ｉ钪幸蚍泵ν浭澄锎娣艜r間造成的生活垃圾的目的。

一、設(shè)計概述

該系統(tǒng)通過改裝的K210自身防霧攝像頭，識別使用者所放入和拿出的食物，對各類食物圖像進(jìn)行采集，將各類食物利用神經(jīng)網(wǎng)絡(luò)的方法，人工訓(xùn)練對放入冰箱的食物圖像進(jìn)行采集。利用數(shù)據(jù)庫技術(shù)，收集各類食物保鮮期信息，存儲常用食物的基本信息，通過Wi-Fi模塊反饋初次識別日期時間，并對不同食物放入起始點開始計時，在使用者拿出食物時，進(jìn)行二次識別，比較食物存儲時長，判斷過期與否;利用TTS語音模塊及時反饋給使用者該食物的保鮮狀況等信息，從而實現(xiàn)冰箱對食品的存儲管理，避免食物的浪費和過期現(xiàn)象。

二、YOLO2模型

YOLO模型是一個先進(jìn)的實時目標(biāo)檢測系統(tǒng)，YOLO2模型在YOLO基礎(chǔ)上加以改進(jìn)。YOLO2模型利用大型分類數(shù)據(jù)集ImageNet擴(kuò)大目標(biāo)檢測的數(shù)據(jù)種類，用高分辨率圖像訓(xùn)練分類網(wǎng)絡(luò)，模型自動選擇合適的先驗框長、寬，將預(yù)測的偏移量限制在一個網(wǎng)格范圍內(nèi)。多尺度輸入圖像，采用聯(lián)合訓(xùn)練機(jī)制，混合來自檢測和分類數(shù)據(jù)集的圖像進(jìn)行訓(xùn)練。檢測網(wǎng)絡(luò)可分為三個階段：在ImageNet數(shù)據(jù)集上Finetune分類模型訓(xùn)練;調(diào)整網(wǎng)絡(luò)輸入，繼續(xù)分類訓(xùn)練;修改分類網(wǎng)絡(luò)為檢測網(wǎng)絡(luò)，繼續(xù)模型訓(xùn)練。

本項目食物模型的訓(xùn)練流程大致為：將不同種類食物圖像采集、訓(xùn)練并制作初始樣本模型，需要盡可能多地輸入圖像，獲得多尺度特征圖，以提高精準(zhǔn)度;對圖像進(jìn)行分割、卷積運算、歸一化等操作來得到不同食物模型，達(dá)到目標(biāo)檢測的目的;最后進(jìn)行實物檢測，檢驗識別時間，精度是否合理，進(jìn)行再次修改及調(diào)試。

圖1 YOLO2模型訓(xùn)練大致流程圖

三、硬件設(shè)計

（一）KPU-K210

本項目采用kendryte k210芯片為主控芯片，是一個集成了機(jī)器視覺和機(jī)器聽覺的片上系統(tǒng)（SoC），采用雙核64位處理器，具有更好的功耗性能、穩(wěn)定性和可靠性。其開發(fā)環(huán)境基于MicroPython，通過串口寫腳本，下載好一次固件，只用窗口和固件進(jìn)行交互就能夠使用。該開發(fā)板開源項目少、體積小、十分簡便，可容納神經(jīng)網(wǎng)絡(luò)模型。在本項目中它起著主要中央控制作用，通過它來調(diào)控冰箱識別管理系統(tǒng)的運行，對使用者放入、拿出食物的過程進(jìn)行及時反饋，實現(xiàn)對食物圖像的檢測判斷作用。

（二）TTS語音模塊

該模塊將儲存的文件轉(zhuǎn)換成自然語音輸出，常與聲音識別程序一起使用。中文TTS系統(tǒng)包括語音處理和語音合成兩部分，利用中文韻律等相關(guān)知識對中文語句進(jìn)行合理轉(zhuǎn)換，語音合成通過查詢中文語音庫得到語音。該模塊在本項目中起著對食物過期與否等信息的輸出作用。

本項目需要實現(xiàn)在冰箱中檢測食物種類，由于冰箱內(nèi)外溫差較大會影響拍攝精度，則需在鏡頭前增加涂層防霧膜，在增加采光的同時減少霧氣對于圖像的干擾，增加圖像的清晰度和可見距離，延長攝像頭使用壽命。本項目需要實現(xiàn)對事物實時檢測，Wi-Fi模塊內(nèi)置TCP/IP協(xié)議棧和IEEE802.11協(xié)議棧，能夠?qū)崿F(xiàn)用戶串口到無線網(wǎng)絡(luò)之間的轉(zhuǎn)換。因此，使用內(nèi)置Wi-Fi模塊聯(lián)網(wǎng)獲取更新時間。本項目使用SD卡存儲食物保鮮信息并記錄時間，SD卡以命令形式來控制讀寫操作，擁有高記憶容量、快速數(shù)據(jù)傳輸率、滿足基礎(chǔ)的數(shù)據(jù)存儲要求且成本低、極大的移動靈活性以及很好的安全性，對于本項目簡單的食物信息容量要求完全足夠。

四、總體流程

流程大致分為五個過程：

（1）不同食物模型的訓(xùn)練;

（2）食物放入冰箱，進(jìn)行檢測;

（3）檢測成功，存儲該食物信息并記錄初始時間點;

（4）使用者從冰箱中取出已檢測的食物，反饋二次時間點，得到食物新鮮狀態(tài)信息;

（5）通過語音模塊輸出。

五、項目特色

本項目程序可以在較短的時間內(nèi)部署到用戶的產(chǎn)品中，給產(chǎn)品帶來人工智能，所涉及的冰箱食物不易分辨，而yolo2模型能夠直接同時輸出定位和分類結(jié)果，將目標(biāo)檢測作為回歸任務(wù)解決。

（1）本項目切合現(xiàn)實需要，為冰箱的功能進(jìn)一步優(yōu)化。

（2）本項目著眼于人們?nèi)粘＝】狄矞p少了人們?nèi)粘Ｉ钪幸蚍泵ν浭澄锎娣艜r間造成的生活垃圾。

（3）本項目利用智能識別、圖像處理等技術(shù)，貼近當(dāng)前社會電子信息產(chǎn)品的發(fā)展趨勢。

基金項目：西北民族大學(xué)中央高校基本科研業(yè)務(wù)費資助本科生科研創(chuàng)新項目（項目編號：XBMU-BYL20202）