基于嵌入式設備的超市蔬果結算儀

暨若昀

（東北大學秦皇島分校控制工程學院，河北 秦皇島 066003）

0 引言

目前，水果蔬菜等商品的售賣，大多數商場和百貨商店仍然采用店員手動輸入商品編碼的方式計算出蔬果總價，然后貼上條形碼，再去到收銀臺統一結賬[1]。

一方面，傳統的人工稱重采用人工記錄價格、排隊稱重等方式，在購買人數較多時效率很低，存在人力物力的浪費，極大降低了顧客的購物體驗。另一方面，傳統商場以及大型的百貨商店依然延續人工清點、人工柜面支付等模式，在交易量較大時商家管理效率十分低下。

目前來看，現階段人工智能技術主要是在GPU平臺上進行，在現實應用場景中，配備了GPU的設備價格較為昂貴。本系統結合物聯網技術和深度學習技術在嵌入式平臺jetson nano上進行實現，其體積小，性能優越，部署方便的優點適用于超市或商場的靈活應用場景。

1 系統整體方案

本文基于購物交易的一般環節，提取出顧客與商家兩類用戶。對于顧客來說，較慢的交易速度勢必降低其購物體驗；對于商家來說，在管理個人店鋪時，存在商品量大、交易量大、客戶量大的問題，導致無法有效對銷量、收益、商品進行實時地管理與監控[2]。

面向顧客，本系統結合物聯網技術、YOLOv4算法的圖像識別技術，并使用了性能強大的小型嵌入式開發板jetson nano和單片機開發板Arduino uno，顧客在微信小程序上即可獲取訂單進行支付，為顧客打造了購物時無人收銀、智能稱重結算的購物新體驗。

面向商家，本系統設計出以數據為基礎的管理端，在線實時地監控商品銷量、商品效益、商品信息等數據。

本系統的工作流程是：顧客預先將選購的商品放上電子稱，利用稱重模塊自動稱得商品的質量，通信模塊獲取質量數據，并將該數據傳輸到jetson nano，jetson nano一方面接收該質量數據，另一方面基于YOLOv4算法對商品進行精準預測，經過數據分析與處理，將識別結果和質量數據上傳至服務器。接著，服務器對其進行邏輯處理，并將封裝的對象數據保存在數據庫中，便于后續用戶對訂單信息的獲取。用戶通過登錄微信小程序，點擊獲取訂單便可以支付，此外，還可以查看相關信息，例如，已支付信息、未支付信息、商品單價等[3]。

本文將研究并實現基于jetson nano嵌入式設備的蔬果結算儀，系統主要分為硬件部分、小程序部分、Web管理端部分。算法上選擇的是卷積神經網絡YOLOv4，通過對數據集的訓練與測試，實現對百貨商店蔬果的精準識別與云端結算。

2 系統設計

2.1 硬件平臺介紹

本系統劃分了6個模塊，分別是：稱重模塊、通信模塊、物體檢測識別模塊、服務器數據庫模塊、顧客小程序模塊，商家Web管理模塊。

（1）稱重模塊。稱重模塊主要包括稱重傳感器、HX711模塊、arduino uno主控模塊、lcd1602顯示屏模塊，稱得商品的質量，并顯示在lcd1602屏上。

（2）通信模塊。通信模塊主要包括esp8266芯片，采用AP的工作模式，在接收到質量數據后，作為服務器，等待物體檢測識別模塊作為客戶端接入，并傳送質量數據。

（3）物體檢測識別模塊。物體檢測識別模塊主要由小型嵌入式開發板jetson nano搭配CSI攝像頭構成，對目標商品進行檢測與識別，得到識別結果。此外，還作為客戶端接入esp8266芯片，接收esp8266獲得的質量數據，并將質量數據與種類識別結果打包上傳至服務器。

（4）服務器數據庫模塊。服務器采用springboot輕量級框架，數據庫則是采用開源的關系型數據庫管理系統MySQL，該模塊主要是對稱重模塊的所測得的質量數據以及物體檢測識別模塊所測的物體種類數據進行邏輯處理，并將其封裝的對象數據保存在數據庫中，方便用戶獲取。

（5）顧客小程序模塊。用戶在移動端小程序界面中獲取訂單信息：商品種類、商品質量、商品單價、需支付等，點擊確認便可實現一鍵支付。

2.2 算法選擇

由于超市人流量較大，對識別準確度與實時性的要求提高，因此在處理速度與精度的選擇上，處理速度越快，精度越高，就會越適應人類快節奏生活下超市現階段購買現狀。現階段基于物聯網和深度學習技術的目標檢測算法分為兩類：一類是two-stage目標檢測算法，另一類是one-stage目標檢測算法。本系統選擇的是基于one-stage的目標檢測算法YOLOv4，原因是one-stage的目標檢測算法可以一邊產生候選識別區域，一邊直接進行分類和回歸。

本系統采用的YOLOv4是在YOLOv3算法基礎上的加強。YOLOv4劃分為Input、Backbone、Neck、Head四個部分。

（1）Input采用 Mosaic實現數據增強。Mosaic實現原理是在輸入圖片集中隨機選取 4 張圖片進行隨機縮放，隨機裁剪，隨機扭曲，然后將它們拼接起來，其目的是豐富樣本數據集。

（2）Backbone采用 CSPNet網絡結構，用 concat 代替 Add，提取更豐富的特征。

（3）Neck在 YOLOv3 的基礎上增加了一個自底向上的 PANet 結構，特征圖的尺寸是通過卷積的方式實現的（改變滑動窗口的步長）。

（4）Head用CIOU Loss取代Iou Loss。CIOU Loss的思想是：第一步，在兩個框最外層再畫一個最小的矩形框，求出這個框的對角線的距離，這個距離就能衡量兩個框的距離；第二步，求出兩個框中心點的歐式距離，通過該歐式距離能衡量兩者的相交情況。

圖1 CIOU示意圖

3 模型訓練結果與分析

3.1 模型訓練

初始的水果數據集來自于coco公開數據集，共2.4萬張圖片，并在此基礎上增加6 000張自己的數據集，制成新的數據集。網絡共迭代15萬次，模型趨于收斂，測試準確度在99.4%以上。loss曲線逐漸趨近于零表示模型逐漸收斂，右邊是我們用測試集對模型測試的結果，召回率約為99.4%表示模型識別準確度很高。

在水果數據集中隨機選取85%的圖片作為訓練集，25%的圖片作為測試集，生成train.txt，val.txt，est.txt和trainval.txt四個文件。在訓練時安裝并編譯darknet源碼，加入已創建好的數據集進行訓練。

3.2 識別結果

在經過150 000次迭代后，loss曲線逐漸趨于0，模型逐漸首聯，loss值逐漸趨于穩定。使用50 000次迭代后的權重文件在測試集上進行測試，測試準確度在99.4%以上，召回率為99.4%，表示測試準確度很高，基本滿足對超市稱重現狀顧客的需求。

圖2 橘子識別結果

表1 水果識別結果

4 結束語

隨著當今社會和科技的發展，商鋪和超市也將越來越智能化和信息化，商家往往希望投入最少的人力和物力以獲取最大的收益，所以設備的智能化也成為當今超市和商鋪發展的主流。同時，對于銷售量、銷售收益，以及商品信息的管理越來越趨向于自動化，這樣既可以減少人力的投入，也可以減少出現錯誤的概率。

伴隨著人們生活節奏的加快，人們往往希望減少等待的時間，如果超市和商鋪使用平常的電子秤去結算，通常都會造成長時間的等待，而這種較慢的交易速度勢必會影響到顧客的購物體驗。

所以一款集智能化和信息自動化為一體的商品智能結算系統將會成為商鋪和超市未來青睞的商品。