智能水果識(shí)別稱重系統(tǒng)設(shè)計(jì)

廣東海洋大學(xué)寸金學(xué)院 姚信光 舒秀蘭 李勤渝 呂品弘 周 煊 馬昌運(yùn)

在普通超市的水果售賣過程中，傳統(tǒng)電子稱不具備視覺功能，需要人工輔助進(jìn)行稱重，不僅效率低下，而且操作過程繁瑣。針對(duì)這種情況并綜合顧客體驗(yàn)，本設(shè)計(jì)提出了一種由OPENMV視覺識(shí)別模塊、stm32f767主控芯片、語(yǔ)音模塊、RGB電容觸摸屏、稱重模塊構(gòu)成的水果稱重識(shí)別系統(tǒng)，結(jié)合圖像處理技術(shù)自動(dòng)識(shí)別水果種類并稱重計(jì)算相應(yīng)價(jià)格后顯示在RGB電容觸摸屏上，再通過語(yǔ)音模塊播報(bào)，實(shí)現(xiàn)自動(dòng)稱重、報(bào)價(jià)的功能。實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)操作方便，識(shí)別過程精準(zhǔn)，在商場(chǎng)的水果銷售中具有一定的市場(chǎng)應(yīng)用價(jià)值。

顧客在超市選購(gòu)水果完畢后，需要由售貨員在傳統(tǒng)電子稱上選擇單價(jià)后稱重并粘貼條碼，操作過程繁瑣、人工成本高、效率低下。此外，還有半自助式電子稱，即由顧客自行選擇對(duì)應(yīng)單價(jià)后稱重并粘貼條碼，也存在價(jià)格選擇錯(cuò)誤等問題。

隨著計(jì)算機(jī)視覺的發(fā)展，圖像識(shí)別技術(shù)的不斷成熟，本設(shè)計(jì)將視覺功能與傳統(tǒng)電子秤相結(jié)合采用OPENMV模塊實(shí)現(xiàn)自動(dòng)選擇識(shí)別，通過顏色、大小、相識(shí)度進(jìn)行逐層掃描，高效的識(shí)別出對(duì)應(yīng)的水果種類，通過電子稱重裝置，讀取水果重量，根據(jù)水果單價(jià)顯示在RGB屏幕上，并通過語(yǔ)音識(shí)別播報(bào)識(shí)別結(jié)果和稱重價(jià)格，從而實(shí)現(xiàn)自動(dòng)化

圖1 RGB人機(jī)交互系統(tǒng)框圖

水果稱重，減少排隊(duì)，大大提升了顧客滿意度。

1 系統(tǒng)硬件設(shè)計(jì)

1.1 主控芯片

主控芯片為高性能ARM Cortex-M7系列STM32F767，具有2 MB Flash、216 MHz CPU、ART加速器、一級(jí)緩存，在系統(tǒng)接收到OpenMV識(shí)別結(jié)果信息后，通過人機(jī)交換，將識(shí)別到的信息，以UI圖像的形式傳遞到RGB電容觸摸屏，并與稱重結(jié)果和對(duì)應(yīng)的水果價(jià)格進(jìn)行語(yǔ)言報(bào)價(jià)。

1.2 電容觸摸屏

目前電極的形狀坐標(biāo)的定位算法有三種引用：

電容觸摸屏的結(jié)構(gòu)，設(shè)為正方形（1點(diǎn)為左下角，2點(diǎn)為左上角，3點(diǎn)右上角，4點(diǎn)右下角），其中以1、4電極的交點(diǎn)為坐標(biāo)原點(diǎn)，觸摸屏的長(zhǎng)、寬分別為：a、b，正方形左、上、右、下表示觸摸屏4個(gè)電極輸出的電流分別為：I1、I2、I3和I4。

RGB電容觸摸屏，總線為I2C總線，通過4個(gè)接口來(lái)實(shí)現(xiàn)對(duì)應(yīng)的信息傳遞，降低接口使用，通過RGB電容屏實(shí)現(xiàn)彩色屏幕顯示，將對(duì)應(yīng)的窗口顯示到觸摸屏，客戶使用觸摸屏后，系統(tǒng)感知對(duì)應(yīng)的信息傳遞給主控芯片，將對(duì)應(yīng)的信息和窗口打印到RGB電容觸摸屏上，實(shí)現(xiàn)人機(jī)交換。如圖1所示。

1.3 語(yǔ)音系統(tǒng)設(shè)計(jì)

語(yǔ)音系統(tǒng)將采集的聲音放入模塊中進(jìn)行儲(chǔ)存，不需要用戶進(jìn)行錄音訓(xùn)練，只需要把識(shí)別的關(guān)鍵詞語(yǔ)以字符串的形式傳送進(jìn)芯片，即可以在下次識(shí)別中立即生效。通過語(yǔ)音識(shí)別 ASR技術(shù)，將關(guān)鍵字形成鍵詞語(yǔ)列表識(shí)別的技術(shù)，通過語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音模型分析來(lái)建模成數(shù)學(xué)模型，經(jīng)過反復(fù)訓(xùn)練提取基元語(yǔ)音的細(xì)節(jié)特征，以及提取各基元間的特征差異。得到在統(tǒng)計(jì)概率最優(yōu)化意義上的各個(gè)基元語(yǔ)音特征。如圖2所示。

圖2 語(yǔ)言播報(bào)系統(tǒng)框圖

1.4 電壓稱重系統(tǒng)

通過電橋的受力，使電橋的應(yīng)變片受到壓縮或著拉伸的形變，使電橋內(nèi)的阻值發(fā)生變化，使得產(chǎn)生對(duì)應(yīng)的差動(dòng)信號(hào)，再通過芯片內(nèi)部的ADC模塊計(jì)算出對(duì)應(yīng)的電壓值，從而計(jì)算出對(duì)應(yīng)的稱重物體的重量，從告知系統(tǒng)稱重水果的重量。

2 系統(tǒng)軟件設(shè)計(jì)

通過Openmv IDE和MDK keil5分別實(shí)現(xiàn)，視覺模塊信息控制和主控芯片人際交互控制，以及語(yǔ)言報(bào)價(jià)。

顧客在RGB電子觸摸屏上選擇對(duì)應(yīng)的稱重模式后，系統(tǒng)感知對(duì)應(yīng)的程序，先通過IIC協(xié)議對(duì)電子稱重模塊進(jìn)行采集稱重結(jié)果，再使用USART接口協(xié)議對(duì)OPENMV進(jìn)行水果識(shí)別功能選擇，將識(shí)別結(jié)果利用USART傳回STM32主控芯片，再通過已知水果當(dāng)前價(jià)格，進(jìn)行計(jì)算本次稱重水果的總價(jià)，將水果的總價(jià)通過語(yǔ)音報(bào)價(jià)和RGB觸摸屏顯示出來(lái)。如圖3所示。

圖3 系統(tǒng)軟件設(shè)計(jì)流程圖

結(jié)語(yǔ)：本系統(tǒng)采用的STM32、OPENMV分別作為主控芯片和視覺模塊，利用圖像處理技術(shù)對(duì)應(yīng)水果的顏色、大小、相識(shí)度進(jìn)行逐層分類，能快速識(shí)別出水果種類、稱重并且通過語(yǔ)音模塊進(jìn)行報(bào)價(jià)。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)具有識(shí)別響應(yīng)快，識(shí)別精度高的優(yōu)點(diǎn)，有效縮短顧客的購(gòu)買等待時(shí)間的同時(shí)也為零售連鎖店或大型賣場(chǎng)節(jié)約人力成本，提高管理效率。