基于深度學(xué)習(xí)與圖像識別技術(shù)的商品智能計(jì)價系統(tǒng)設(shè)計(jì)

摘 要：文中構(gòu)建了一種智能商品購物系統(tǒng)，該系統(tǒng)融合了深度學(xué)習(xí)與ROS框架。系統(tǒng)采用ResNet圖像識別技術(shù)，能夠精準(zhǔn)辨識30種不同類別的水果。此外，系統(tǒng)還憑借著ROS的通信優(yōu)勢與ARM嵌入式架構(gòu)，實(shí)現(xiàn)了實(shí)時商品稱重、自動計(jì)價以及提供詳盡的購物信息反饋。這不僅提升了消費(fèi)者的體驗(yàn)，還推動商超朝著無人化、智能化的運(yùn)營方向發(fā)展，契合新零售時代的需求。

關(guān)鍵詞：深度學(xué)習(xí)； ROS框架； ResNet； 圖像識別； 計(jì)價系統(tǒng)； 智能購物

中圖分類號：TP368.1 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2025）07-00-04

0 引 言

傳統(tǒng)超市購物車往往存在結(jié)賬排隊(duì)時間長、缺乏人機(jī)交互機(jī)制的問題，這在一定程度上會影響顧客的購物體驗(yàn)[1]。如今，智能化浪潮席卷而來，圖像識別技術(shù)取得顯著進(jìn)展，其應(yīng)用領(lǐng)域不斷拓展，功能也日益強(qiáng)大。把人工智能圖像識別技術(shù)融入超市購物車體系，無疑是順應(yīng)了行業(yè)發(fā)展趨勢，既能為顧客和超市工作人員提供便利，又能顯著提升人們在購物過程中的愉悅度和參與感。

在圖像識別技術(shù)的多元應(yīng)用場景里，商品識別格外引人注目。圖像識別技術(shù)能夠?qū)D片信息加以分析處理，精準(zhǔn)判定商品的種類，這不但有力地提升了商品的流通效率，而且顯著縮短了顧客結(jié)賬的等待時間[2-3]。本項(xiàng)目的目標(biāo)是把融合深度學(xué)習(xí)算法與ROS（Robot Operating System）框架的圖像識別技術(shù)運(yùn)用到超市購物車系統(tǒng)中，以實(shí)現(xiàn)對各類商品的即時識別。此外，通過配套的軟件開發(fā)，該系統(tǒng)還能實(shí)現(xiàn)購物車預(yù)約、商品詳情查詢、實(shí)時賬單瀏覽等功能，全方位營造智能化購物環(huán)境，極大地提升顧客在消費(fèi)過程中的互動體驗(yàn)和滿意度。

1 系統(tǒng)需求分析

1.1 功能需求分析

本系統(tǒng)設(shè)計(jì)集成了商品識別與移動應(yīng)用（APP）兩大功能模塊。前者實(shí)現(xiàn)商品圖像采集與智能識別，后者實(shí)現(xiàn)購物車預(yù)約、商品信息查閱與賬單追蹤查詢等全方位便捷服務(wù)。具體功能需求分析如下：

（1）商品圖像拍攝功能。用戶在選取待識別商品后會觸發(fā)識別請求，系統(tǒng)隨即向攝像頭節(jié)點(diǎn)發(fā)布拍攝指令。攝像頭接收到指令后捕捉商品圖像，并將此高清圖片信息回傳至系統(tǒng)，完成圖像采集服務(wù)。

（2）商品圖像識別功能。系統(tǒng)對接收到的商品圖像予以處理，借助有效的算法識別圖像特征區(qū)域，依靠深度學(xué)習(xí)技術(shù)辨別商品類別，隨后將識別結(jié)果實(shí)時反饋到APP界面。此外，為保障數(shù)據(jù)安全存儲，系統(tǒng)會實(shí)時更新本地?cái)?shù)據(jù)庫，并進(jìn)行云備份以確保數(shù)據(jù)的完整性和可用性。

（3）購物車預(yù)約功能。用戶通過藍(lán)牙連接啟用APP中的掃碼用車服務(wù)，實(shí)現(xiàn)對購物車的遠(yuǎn)程連接與實(shí)時使用權(quán)限獲取。

（4）商品信息查閱功能。用戶通過APP即可獲取各類商品的詳盡信息，包括當(dāng)前售價、貨架位置等關(guān)鍵數(shù)據(jù)，便于用戶快速定位商品并做出購買決策。

（5）賬單追蹤查詢功能。當(dāng)用戶將選購商品放入購物車后，系統(tǒng)會自動記錄商品重量、數(shù)量等信息，并依據(jù)預(yù)設(shè)計(jì)費(fèi)規(guī)則實(shí)時計(jì)算賬單總額。用戶可在APP內(nèi)查看購物車商品明細(xì)及累計(jì)費(fèi)用。

1.2 性能需求分析

本系統(tǒng)設(shè)計(jì)重點(diǎn)關(guān)注識別準(zhǔn)確率、實(shí)用性、安全性與經(jīng)濟(jì)性四項(xiàng)性能指標(biāo)。

（1）識別準(zhǔn)確率：系統(tǒng)整合神經(jīng)網(wǎng)絡(luò)模型、深度學(xué)習(xí)算法與ROS框架，以此提升商品識別的精確度，確保在復(fù)雜場景中也能夠穩(wěn)定、準(zhǔn)確地識別各類商品。

（2）實(shí)用性：為保證系統(tǒng)的實(shí)用性，智能識別功能設(shè)計(jì)注重簡便易用，力求快速、準(zhǔn)確地獲取商品信息。APP界面遵循用戶友好原則，使顧客能輕松通過屏幕與導(dǎo)購車互動，便捷地查找、選購商品。

（3）安全性：在用戶隱私保護(hù)方面，系統(tǒng)嚴(yán)格確保用戶注冊信息及商品識別記錄僅對用戶本人及授權(quán)管理員可見，以保障用戶信息的安全性和私密性。

（4）經(jīng)濟(jì)性：在成本控制方面，選用性價比高的器件模塊，既兼顧成本效益，又確保其性能與可靠性滿足系統(tǒng)運(yùn)行要求。充分利用現(xiàn)有網(wǎng)絡(luò)和通信技術(shù)，通過手機(jī)APP和藍(lán)牙通信，最小化額外硬件投入。

2 系統(tǒng)功能設(shè)計(jì)

2.1 系統(tǒng)總體設(shè)計(jì)

基于ROS的水果商品識別計(jì)價系統(tǒng)整體設(shè)計(jì)包含商品稱重、商品識別和商品計(jì)價顯示三大模塊，其總體框架如圖1所示。該系統(tǒng)實(shí)現(xiàn)了完整流程，即用戶將商品放入商品識別模塊，系統(tǒng)識別商品并計(jì)算出價格供用戶結(jié)算。整個功能架構(gòu)由客戶端與服務(wù)器端兩部分構(gòu)成。其中，客戶端負(fù)責(zé)商品圖片信息和重量信息的采集，以及商品計(jì)價信息的實(shí)時顯示；服務(wù)器端則主要負(fù)責(zé)商品圖片的識別處理與商品價格的計(jì)算。

為實(shí)現(xiàn)上述功能體系，本文采用ROS的分布式通信框架，將系統(tǒng)分為五個核心功能節(jié)點(diǎn)：商品稱重節(jié)點(diǎn)、商品拍照節(jié)點(diǎn)、圖片識別節(jié)點(diǎn)、商品計(jì)價節(jié)點(diǎn)以及商品顯示節(jié)點(diǎn)。這些節(jié)點(diǎn)間的交互與數(shù)據(jù)調(diào)用均依托于ROS提供的基礎(chǔ)通信機(jī)制——話題、服務(wù)與動作，形成有機(jī)協(xié)作網(wǎng)絡(luò)。此架構(gòu)關(guān)系如圖2所示。

2.2 重要功能設(shè)計(jì)

系統(tǒng)中實(shí)現(xiàn)了商品稱重、圖像分類、分布式通信等關(guān)鍵模塊，核心技術(shù)包括基于深度學(xué)習(xí)方法的圖像識別技術(shù)與基于ROS框架的多節(jié)點(diǎn)通信技術(shù)。

2.2.1 基于深度學(xué)習(xí)方法的圖像分類功能設(shè)計(jì)

該功能依托集成了眾多成熟的圖像識別模型與便捷功能函數(shù)的Pytorch框架構(gòu)建。

本文采用當(dāng)前領(lǐng)域內(nèi)經(jīng)典的殘差神經(jīng)網(wǎng)絡(luò)模型構(gòu)建圖像識別模型，選用ResNet18框架[4]。ResNet18框架結(jié)構(gòu)簡潔且具備高效識別能力，它包含1個無Shortcut的卷積層、4層殘差塊以及1個全連接層。ResNet18已集成于Pytorch框架下的torch庫，所以在訓(xùn)練階段可直接調(diào)用該預(yù)置模型。

在模型的工作流程里，ResNet18的池化層負(fù)責(zé)從水果圖像中提取特征向量，進(jìn)而生成各類商品的Logit得分，這些得分再經(jīng)過Softmax函數(shù)處理以完成分類。鑒于識別模型的部署需求，本文把預(yù)先訓(xùn)練好的原生Pytorch模型轉(zhuǎn)化為通用的ONNX模型中間格式[5]。這一轉(zhuǎn)換有助于模型的個性化優(yōu)化以及跨平臺部署，能夠有效避免直接導(dǎo)出模型時可能產(chǎn)生的結(jié)構(gòu)與算子不兼容的問題，比如在非最大值抑制（NMS）等后處理中可能出現(xiàn)的大規(guī)模條件判斷操作等潛在障礙。

構(gòu)建整個圖像識別系統(tǒng)的過程可歸納為三個核心環(huán)節(jié)：啟動圖像捕獲、執(zhí)行圖像分類以及展示識別結(jié)果。這三個環(huán)節(jié)分別由各自專用的軟硬件組件協(xié)同實(shí)現(xiàn)。

圖像捕獲模塊：當(dāng)將商品置于識別系統(tǒng)配備的電子秤上時，電子秤會將稱重信息轉(zhuǎn)化為數(shù)字信號，并交由STM32單片機(jī)處理，STM32通過串口通信將信號發(fā)送至樹莓派上位機(jī)。一旦商品質(zhì)量超過預(yù)設(shè)閾值，樹莓派便會觸發(fā)攝像頭進(jìn)行拍攝。

圖像分類模塊：該模塊負(fù)責(zé)接收樹莓派傳入的圖像信息并進(jìn)行識別。模塊使用帶GPU的工控機(jī)，并利用已訓(xùn)練好的ResNet18殘差神經(jīng)網(wǎng)絡(luò)，輸出各分類的識別置信度，并通過排序算法確定最可能的水果類別。

識別結(jié)果傳輸與展示：此模塊負(fù)責(zé)存儲圖像識別結(jié)果并將結(jié)果呈現(xiàn)在顯示屏上，同時實(shí)時傳輸至消費(fèi)者的APP中。

對于模型預(yù)測部分，本文使用Sigmoid激活函數(shù)得到預(yù)測結(jié)果的Logit分?jǐn)?shù)[6]。此分?jǐn)?shù)實(shí)質(zhì)上代表了系統(tǒng)對某一特定類別的原始置信度量，如式（1）所示：

系統(tǒng)在獲得Logit分?jǐn)?shù)后，運(yùn)用Softmax函數(shù)將原始分?jǐn)?shù)轉(zhuǎn)換為概率分布，如式（2）所示。此概率得分能夠清晰反映系統(tǒng)對商品屬于各類別的置信度，為后續(xù)分類判斷提供量化依據(jù)。

式中：zi是Logit中的第i個元素；σ（x）i是Softmax函數(shù)的輸出，表示商品屬于第i個類別的概率。

2.2.2 基于ROS框架的多節(jié)點(diǎn)協(xié)調(diào)工作

該功能基于ROS Noeti框架構(gòu)建[7]。系統(tǒng)被劃分為四個核心功能節(jié)點(diǎn)，各節(jié)點(diǎn)通過通信機(jī)制共同實(shí)現(xiàn)整體功能。這四個節(jié)點(diǎn)分別為：商品稱重、商品拍照、商品識別及商品計(jì)價與顯示[8-12]。這些節(jié)點(diǎn)間的協(xié)作實(shí)現(xiàn)了商品識別和商品信息實(shí)時顯示兩大核心功能。

在商品識別環(huán)節(jié)，商品稱重節(jié)點(diǎn)作為信息發(fā)布者，通過ROS話題發(fā)布商品重量數(shù)據(jù)。商品拍照節(jié)點(diǎn)作為訂閱者，訂閱該重量信息。當(dāng)檢測到商品存在時，商品拍照節(jié)點(diǎn)與商品識別節(jié)點(diǎn)利用ROS服務(wù)功能進(jìn)行分布式通信，完成商品圖像的捕捉與識別。

在商品信息提供方面，通過商品識別、商品稱重、商品計(jì)價與商品顯示四個節(jié)點(diǎn)聯(lián)動，共同完成商品識別信息的字典對照、按重量計(jì)價計(jì)算、液晶屏實(shí)時打印以及APP端信息同步傳輸。

3 系統(tǒng)軟件設(shè)計(jì)

3.1 APP設(shè)計(jì)

近年來，隨著5G技術(shù)的日益成熟，智能手機(jī)逐漸具備高速數(shù)據(jù)傳輸能力。在此背景下，該項(xiàng)目創(chuàng)新性地開發(fā)了一款以便攜式電子設(shè)備為平臺，利用圖像識別技術(shù)將數(shù)據(jù)實(shí)時上傳至云端進(jìn)行高效處理的軟件服務(wù)。

設(shè)計(jì)的APP旨在全面提升用戶交互體驗(yàn)，使其能夠便捷地獲取商品信息、管理購物車及查詢賬單等，顯著提升了產(chǎn)品的實(shí)用價值。用戶在個人中心不僅可以輕松完成注冊、登錄與個人信息維護(hù)，還能隨時查閱過往購物歷史、下載支付憑據(jù)等詳細(xì)記錄。如圖3所示，APP界面共包含五大核心板塊：首頁、掃車界面、模式選擇頁面、商品詳情頁以及用戶中心頁，旨在為用戶提供直觀、流暢的操作路徑。

3.2 APP控制

用戶首先通過掃描購物車二維碼實(shí)現(xiàn)登錄。當(dāng)消費(fèi)者在搜索欄輸入關(guān)鍵詞以查找某商品時，系統(tǒng)將及時提供該商品的價格、庫存位置等關(guān)鍵信息。當(dāng)商品被放入購物車后，主控制器會立即獲取其重量與數(shù)量數(shù)據(jù)，并將這些數(shù)據(jù)傳輸至APP界面顯示；同時，APP會據(jù)此實(shí)時計(jì)算并顯示購物總金額及詳細(xì)的賬單構(gòu)成。

當(dāng)購物者決定結(jié)賬并點(diǎn)擊“買單”按鈕時，APP通過藍(lán)牙模塊發(fā)起下單請求，并負(fù)責(zé)接收生成的支付二維碼。隨后，該支付二維碼會被呈現(xiàn)在APP界面上，使得用戶能夠方便地使用微信或支付寶掃描二維碼完成支付手續(xù)。

4 系統(tǒng)調(diào)試與結(jié)果

表1展示了水果商品識別模型可辨識的水果品種及其對應(yīng)的測試集分類準(zhǔn)確度。測試集的商品圖片是人工在不同光照下，每次對同一種類的多個樣品隨機(jī)選擇的條件下拍攝而成的，基本滿足測試集充分且能代表整個數(shù)據(jù)集的要求。該識別系統(tǒng)的準(zhǔn)確率普遍達(dá)到了預(yù)期標(biāo)準(zhǔn)，這充分證明其在實(shí)際應(yīng)用中具備可靠性和高效性。

圖4展示的是ONNX格式下的ResNet18模型結(jié)構(gòu)，圖5為商品識別示例及置信概率圖。由此可以看出，該項(xiàng)目中的水果商品識別系統(tǒng)具有廣泛的識別能力、較高的分類精確度，其模型結(jié)構(gòu)和識別過程清晰，整體性能穩(wěn)定且高效，具備在實(shí)際應(yīng)用中推廣使用的條件。

5 結(jié) 語

首先，本項(xiàng)目以深度學(xué)習(xí)算法為依托，其識別系統(tǒng)有著強(qiáng)大的模式識別與學(xué)習(xí)能力，可精準(zhǔn)、高效地鑒別各類商品，從而確保識別結(jié)果的準(zhǔn)確性與可靠性。該算法模型經(jīng)訓(xùn)練與優(yōu)化后，能在復(fù)雜的商超環(huán)境中迅速捕獲并解析商品特征，為后續(xù)的自動化流程奠定堅(jiān)實(shí)基礎(chǔ)。

其次，本項(xiàng)目選取ROS作為系統(tǒng)通信架構(gòu)。ROS在同一局域網(wǎng)內(nèi)具備簡便快捷的通信機(jī)制，本項(xiàng)目充分利用這一機(jī)制，確保商品識別信息能夠?qū)崟r、低延遲傳輸，這一特性完美契合商品識別系統(tǒng)在固定環(huán)境內(nèi)快速響應(yīng)的需求。同時，這也極大地提升了系統(tǒng)的整體運(yùn)行效率與穩(wěn)定性，使識別系統(tǒng)在復(fù)雜商超環(huán)境中的部署與維護(hù)變得更加便捷。

此外，本系統(tǒng)在設(shè)計(jì)時充分考慮用戶友好性與實(shí)用價值。識別出的商品信息可即時、清晰地呈現(xiàn)于用戶界面，方便顧客查閱與確認(rèn)，從而實(shí)現(xiàn)商品識別過程的透明化與可視化，進(jìn)一步提升商超購物體驗(yàn)的智能化水平。

綜上所述，本項(xiàng)目將深度學(xué)習(xí)算法的強(qiáng)大識別能力和ROS通信框架的高效交互特性相融合，再結(jié)合嵌入式技術(shù)，成功構(gòu)建出一款適用于商超場景的商品識別系統(tǒng)雛形。這一創(chuàng)新成果有力地推動了商超運(yùn)營去人工化和智能化的進(jìn)程，為構(gòu)建智能化商超環(huán)境提供了極具潛力的技術(shù)支撐。

參考文獻(xiàn)

[1]劉海洋，夏鯤，童銳，等.基于ARM的自主跟隨無人結(jié)賬一體化智能購物車[J].農(nóng)業(yè)裝備與車輛工程，2024，62（2）：94-98.

[2]王豐茂，吳戀，王雪，等.基于人工智能的果蔬識別及種植指導(dǎo)系統(tǒng)[J].物聯(lián)網(wǎng)技術(shù)，2024，14（3）：98-101.

[3]劉孟，劉劍勇，黃長勇，等.基于人工智能的圖像識別技術(shù)研究[J].電工技術(shù)，2023（6）：84-86.

[4] ODUSAMI M， MASKELI NAS R， DAMA?EVI IUS R， et al. Analysis of features of Alzheimer’s disease： detection of early stage from functional brain changes in magnetic resonance images using a finetuned ResNet18 network [J]. Diagnostics， 2021， 11（6）： 1071.

[5] SHRIDHAR A， TOMSON P， INNES M. Interoperating deep learning models with ONNX. jl [C]// Proceedings of the JuliaCon Conferences. [S.l.]： [s.n.]， 2020： 59.

[6] SHARMA S， SHARMA S， ATHAIYA A. Activation functions in neural networks[J]. Towards data Science， 2017， 6（12）： 310-316.

[7] QUIGLEY M， CONLEY K， GERKEY B， et al. ROS： an open-source Robot Operating System [J]. ICRA workshop on open source software， 2009， 3： 5.

[8]李昊璇，閆新艷.基于深度殘差收縮網(wǎng)絡(luò)的商品圖像識別[J].測試技術(shù)學(xué)報，2021，35（4）：294-299.

[9]李林琛，李雪艷.開源 ROS 智能導(dǎo)航機(jī)器人[J]. 信息與電腦，2018（13）：75-77.

[10] QUIGLEY M， GERKEY B， SMART W D. Programming robots with ROS： a practical introduction to the robot operating system [M]. [S.l.]： O'Reilly Media Inc， 2015.

[11]林宏偉，陳琪媚，曾仕峰，等. 基于 ROS 的無人派件機(jī)器人設(shè)計(jì)[J]. 物聯(lián)網(wǎng)技術(shù)，2020，10（3）：70-71.

[12]詹潤哲，姜飛. 基于 ROS 與深度學(xué)習(xí)的移動機(jī)器人目標(biāo)識別系統(tǒng)[J]. 電子測試，2018（15）：70-71.

收稿日期：2024-04-27 修回日期：2024-05-30

基金項(xiàng)目：國家級大學(xué)生創(chuàng)新訓(xùn)練計(jì)劃項(xiàng)目（SJ202310698072）

作者簡介：胡耀宇（2002—），男，研究方向?yàn)殡姎夤こ碳捌渥詣踊?/p>

王榆銘（2002—），女，研究方向?yàn)殡姎夤こ碳捌渥詣踊?/p>

劉晨雨（2002—），女，研究方向?yàn)殡姎夤こ碳捌渥詣踊?/p>

黃安俊（2004—），男，研究方向?yàn)殡姎夤こ碳捌渥詣踊?/p>

鄭 杰（2003—），男，研究方向?yàn)樽詣踊?/p>

高昕悅（1994—），女，碩士，工程師，研究方向?yàn)殡妼W(xué)基礎(chǔ)課程的實(shí)驗(yàn)教學(xué)。