基于視覺識別的口罩售賣機器人

摘要：該文設(shè)計了一款基于機器視覺技術(shù)的智能口罩售賣機器人，采用K210作為機器人視覺模塊的主控芯片，EC600N芯片作為機器人的4G模塊，運用以三角測量法為主要算法的激光雷達(dá)LD14來實現(xiàn)循跡、避障和跟隨等功能，通過Wi-Fi互聯(lián)實現(xiàn)手機控制機器人運動。

關(guān)鍵詞：K210；4G模塊；激光雷達(dá)；機器人；EC600N芯片

doi：10.3969/J.ISSN.1672-7274.2024.08.005

中圖分類號：TP 242" " " " " " " " "文獻(xiàn)標(biāo)志碼：B" " " " " " 文章編碼：1672-7274（2024）08-00-03

A Mask Selling Robot Based on Visual Recognition

FENG Zhanbo， SHAN Chaoying， HE Shuyang， MIAO Yiheng

（School of Information and Control Engineering， Shenyang University of Urban Construction， Shenyang 110167， China）

Abstract： This article designs an intelligent mask sales robot based on machine vision technology. The K210 is used as the main control chip of the robot vision module， and the EC600N chip is used as the 4G module of the robot. The laser radar LD14， which uses triangulation as the main algorithm， is used to achieve tracking， obstacle avoidance， and following functions. The mobile phone controls the robot's movement through Wi-Fi interconnection.

Keywords： K210; 4G module; lidar; robots; EC600N chip

為了加強人們的衛(wèi)生防護，構(gòu)建健全的公共衛(wèi)生體系，本文設(shè)計了一款基于視覺技術(shù)的智能口罩售賣機器人。傳統(tǒng)的口罩售賣機器存在諸多局限性，如只能在特定位置擺放，無法根據(jù)用戶需求靈活提供服務(wù)。這些機器無法提醒未佩戴口罩的用戶佩戴口罩，購買過程不便捷，運行耗電較大，無法檢測用戶體溫或提供特定類型的口罩。基于機器視覺識別的口罩售賣機器人可以減少人力資源的耗費，提高檢測人員佩戴口罩情況的效率，增強人們的公共衛(wèi)生安全意識。

1" "基于視覺識別的口罩售賣機器人的總

體設(shè)計方案

1.1 機器人的功能描述

基于視覺識別的口罩售賣機器人可自動監(jiān)測人員是否佩戴口罩以及體溫，減少工作人員的工作量[1]。機器人可在監(jiān)測的過程中進行口罩的售賣，機器人配置了多個口罩存儲艙，用戶可通過其隨時購買多種類型的口罩，以滿足不同年齡人員需求。

基于視覺識別技術(shù)的口罩售賣機器人一共有兩種工作方式。第一種是在商場、飛機場等場所出入口定點檢測人員是否佩戴口罩，對未佩戴口罩人員發(fā)出語音提醒，提醒人員佩戴口罩，并跟隨未佩戴口罩人員提供售賣服務(wù)。第二種是搭配機器人運動系統(tǒng)中的循跡功能在商場等休閑場所中按規(guī)劃的路線進行實時檢測未佩戴口罩的人員，同時對未佩戴口罩的人員發(fā)出語音提醒，提醒人員佩戴口罩，并對未佩戴口罩人員提供售賣服務(wù)。

1.2 總體設(shè)計方案

基于視覺識別技術(shù)的口罩售賣機器人，其核心在于K210主控單元的精準(zhǔn)指揮。運用YoLo目標(biāo)檢測算法，精準(zhǔn)識別目標(biāo)顧客。機器人配備了多套系統(tǒng)，視覺識別系統(tǒng)能夠準(zhǔn)確判斷顧客需求，體溫檢測系統(tǒng)保障公共衛(wèi)生安全，語音播報系統(tǒng)提供及時的信息反饋，人機交互系統(tǒng)讓溝通更加順暢。機械傳動系統(tǒng)與機器人運動系統(tǒng)協(xié)同工作，確保口罩快速、準(zhǔn)確地送達(dá)顧客手中。這一系列功能的實現(xiàn)，不僅提升了售賣效率，也為顧客帶來了更智能、更便捷的購物體驗[2]。設(shè)計后的機器人如圖1所示。

2" "主控單元的模塊設(shè)計

此款機器人采用k210作為主控芯片，k210使用臺積電（TSMC）超低功耗的28納米先進制程，具有雙核64位處理器，擁有較好的功耗性能，穩(wěn)定性與可靠性，是機器視覺與機器聽覺的系統(tǒng)級芯片（SoC）。圖像采集模塊采用標(biāo)準(zhǔn)OV2640攝像頭同時將圖像上傳至k210主控，通過Yolo目標(biāo)檢測法以判斷目標(biāo)是否佩戴口罩，將目標(biāo)是否佩戴口罩的結(jié)果以圖片的形式傳輸至LCD屏幕，若目標(biāo)未佩戴口罩屏幕上會用紅框標(biāo)記目標(biāo)并顯示NO Mask，若目標(biāo)佩戴口罩則會用綠框標(biāo)記，語音播報模塊會根據(jù)主控k210處理后的結(jié)果進行相應(yīng)的語音提醒，若目標(biāo)被判斷未佩戴口罩，將會發(fā)出語音提醒：“請佩戴口罩，感謝配合[3]。”

3" "數(shù)據(jù)處理單元的模塊設(shè)計

3.1 人臉口罩識別模塊設(shè)計

該機器人使用MySQL數(shù)據(jù)庫作為其數(shù)據(jù)存儲和管理系統(tǒng)，所有的數(shù)據(jù)都被存儲在MySQL數(shù)據(jù)庫中，包括用戶數(shù)據(jù)、系統(tǒng)配置和其他相關(guān)數(shù)據(jù)。搭載的MySQL數(shù)據(jù)庫可以輕松地處理大量數(shù)據(jù)，同時提供了快速和可靠的數(shù)據(jù)訪問，其可為本系統(tǒng)提供高效、可靠和安全的數(shù)據(jù)存儲和管理功能[4]。

Yolo模型采用預(yù)定義預(yù)測區(qū)域的方法來完成目標(biāo)檢測，將原始圖像劃分為7×7共49個網(wǎng)格（grid），每個網(wǎng)格允許預(yù)測出2個邊框（boundingbox，包含某個對象的矩形框）。將98個預(yù)測區(qū)，很粗略地覆蓋了圖片的整個區(qū)域，就在這98個預(yù)測區(qū)中進行目標(biāo)檢測。得到這98個區(qū)域的目標(biāo)分類和回歸結(jié)果，再進行NMS就可以得到最終的目標(biāo)檢測結(jié)果[5]。

3.2 語音播報模塊設(shè)計

語音播報模塊使用卷積神經(jīng)網(wǎng)絡(luò)作為基本算法，卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)能力，能夠按其階層結(jié)構(gòu)對輸入信息進行平移不變分類，因此也被稱為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)。與常規(guī)神經(jīng)網(wǎng)絡(luò)不同，卷積神經(jīng)網(wǎng)絡(luò)的各層中的神經(jīng)元是三維排列的，通過編程實現(xiàn)KPU能加載和運行各種現(xiàn)成的AI算法模型，實現(xiàn)各種機器視覺等功能。其中，卷積神經(jīng)網(wǎng)絡(luò)主要分為輸入層、卷積層、卷積核[6]。

輸入層功能是輸入圖像等信息，卷積神經(jīng)網(wǎng)絡(luò)主要處理圖像信息，對于輸入圖像，將其轉(zhuǎn)換為對應(yīng)的二維矩陣。卷積層是在得到圖片二維矩陣后，提取其中特征，卷積操作就會為存在特征的區(qū)域確定一個高值，否則確定一個低值。這個過程需要通過計算其與卷積核（Convolution Kernel）的乘積值來確定。卷積核也是一個二維矩陣，此二維矩陣比輸入圖像的二維矩陣要小或相等。卷積核通過在輸入圖像的二維矩陣上移動，整個過程是一個降維過程，通過卷積核的不停移動計算，提取圖像特征[7]。

卷積神經(jīng)網(wǎng)絡(luò)對識別的圖像進行處理，反饋信號給語音模塊，語音模塊據(jù)此進行工作。

3.3 人體體溫檢測模塊設(shè)計

該機器人采用熱紅外攝像頭作為檢測元件，現(xiàn)在常用的檢測體溫方式有兩種—接觸式與非接觸式。當(dāng)人體發(fā)熱時人體內(nèi)的分子與原子的熱運動會隨溫度升高而加劇，并會向外輻射出一定波長的電磁波（即熱輻射）。通過熱紅外攝像頭獲取人體體溫信息，經(jīng)過主控芯片k210的處理后將結(jié)果顯示到屏幕上。使用熱紅外攝像頭的優(yōu)點在于無需近距離接觸目標(biāo)即可檢測體溫，避免人與人接觸加劇病毒的傳播[8]。

3.4 Wi-Fi網(wǎng)絡(luò)控制模塊設(shè)計

通過Wi-Fi可將用戶的物理設(shè)備連接到網(wǎng)絡(luò)上，進行互聯(lián)網(wǎng)或局域網(wǎng)通信，實現(xiàn)聯(lián)網(wǎng)功能。通過Wi-Fi可以實現(xiàn)手機與機器人網(wǎng)絡(luò)互連，實時檢測機器人的行動軌跡，在特定情況發(fā)生時用手機控制機器人的行動。

3.5 4G通信模塊設(shè)計

EC600N 4G模塊在口罩自動售賣系統(tǒng)中扮演著至關(guān)重要的角色。當(dāng)小程序后臺接收到購買口罩的指令后，這一指令會迅速通過EC600N傳輸至貨道機。貨道機接收到信號后，立即啟動工作，精準(zhǔn)地將口罩推送到取貨口，從而高效完成售賣流程。

3.6 機器人主要運動模塊設(shè)計

該機器人采用激光雷達(dá)LD14以實現(xiàn)運動過程中的循跡、避障、跟隨的功能。激光雷達(dá)LD14使用三角測量法，可進行每秒2 300次的測距。每次測距時，LD14從一個固定的角度發(fā)射出激光，激光遇到目標(biāo)物體后被反射到接收單元。通過激光、目標(biāo)物體、接收單元形成的三角關(guān)系，從而解算出距離。獲取到距離數(shù)據(jù)后，LD14會融合角度測量單元測量到的角度值組成點云數(shù)據(jù)，然后通過無線通信將點云數(shù)據(jù)發(fā)送到外部接口。同時電機驅(qū)動單元會驅(qū)動電機，通過PID算法閉環(huán)控制到指定的轉(zhuǎn)速。

3.7 自動跟隨模塊設(shè)計

整套系統(tǒng)采用激光雷達(dá)LD14和K210模塊相互協(xié)同工作，通過K210采集圖像信息，傳輸信號給激光雷達(dá)LD14，然后通過計算距離實現(xiàn)跟隨功能，跟隨功能有以下三種模式：定點檢測、循跡軌道檢測、跟隨對應(yīng)人員。

3.8 手動控制模塊設(shè)計

整套系統(tǒng)采用Wi-Fi模塊ESP8266，將手機設(shè)備連接到Wi-Fi無線網(wǎng)絡(luò)上，進行互聯(lián)網(wǎng)或局域網(wǎng)通信，在手機端實現(xiàn)對機器人運行方向的控制。

4" "物聯(lián)網(wǎng)模塊設(shè)計

該機器人采用物聯(lián)網(wǎng)模塊，將每日系統(tǒng)檢測出未佩戴口罩人員情況的數(shù)據(jù)上傳至云端服務(wù)器，可以隨時通過手機App進行查詢。同時手機App可以對機器人進行實時監(jiān)控與手動控制，手機App同步機器人攝像頭收集的圖像，同時可以通過手機App上的手動遙感控制機器人的行動，方便管理員進行遠(yuǎn)程操控，當(dāng)發(fā)生意外時可以手動停止機器人工作。

用戶需要購買口罩時，用手機掃描機器人上面的二維碼進入小程序，可在小程序內(nèi)下單，同時機器人采用4G通信技術(shù)接收購買口罩的指令后，將小程序購買口罩的信號傳輸?shù)紼C600N芯片中，EC600N芯片把反饋信號傳到貨道機，貨道機開始運行，將口罩傳送至商品出口，讓用戶十分方便地能取到商品。小程序的界面如圖2所示。

該機器人可以通過視覺檢測技術(shù)檢測出人員是否配戴口罩，若檢測出未佩戴口罩人員，機器人會進行智能跟隨，并進行語音提醒，發(fā)出“請佩戴好口罩，感謝配合”語音。機器人跟隨系統(tǒng)在不同場所會發(fā)生改變，例如，在商場門口人流量大的地方會變?yōu)檠E路線，進行提醒人們佩戴口罩；在機場出入口會變?yōu)槎c檢測是否佩戴口罩。當(dāng)用戶需要購買口罩，可以掃描機器人身上的二維碼，進入微信小程序，可以在小程序中購買四種類型的口罩，分別是醫(yī)用口罩、普通口罩、兒童口罩和N95口罩。

5" "結(jié)束語

本文設(shè)計的基于機器視覺技術(shù)的口罩售賣機器人，相較于傳統(tǒng)口罩售賣機器，具有顯著優(yōu)勢。它能夠沿軌跡行駛或原地售賣，解決了固定地點銷售口罩的限制問題。該機器人還配備了語音模塊，能在人流密集地區(qū)的出入口及時提醒人們佩戴口罩。對于未佩戴口罩的人員，機器人能夠跟隨并進行語音提醒，使其意識到佩戴口罩的重要性。當(dāng)遇到有需要購買口罩的用戶時，機器人能夠隨時提供口罩售賣服務(wù)。該產(chǎn)品采用的是可重復(fù)使用的蓄電池供電，功耗較低，更不會對環(huán)境產(chǎn)生污染，符合可持續(xù)發(fā)展的需要。

參考文獻(xiàn)

[1] 王智，潘強，邢濤．面向物聯(lián)網(wǎng)的實體實時搜索服務(wù)綜述[J]．計算機應(yīng)用研究，2011（6）：2001-2005，2010

[2] 姜文博，白劍虹，蘭天宇．智能自動售貨機高校營銷方案的策略研究[J]．環(huán)球市場，2018（2）：124.

[3] 徐彬懷．基于ROS的云機器人微服務(wù)架構(gòu)軟件平臺的設(shè)計與實現(xiàn)[D]．杭州：浙江理工大學(xué)，2021.

[4] 曾超，鄭茜穎，程樹英．基于VINS-Mono的室內(nèi)機器人定位系統(tǒng)[J]．傳感器與微系統(tǒng)，2011（11）：85-88.

[5] 李永勇，肖剛軍．一種基于智能終端的機器人控制方法[P]．中國專利：CN202110152818.5，2021-06-11.

[6] 郝睿，李瑞，史瑩晶，等．基于多傳感器融合的系統(tǒng)自我定位與地圖重建[J]．無線電工程，2024（1）：206-215.

[7] 翁嘉鑫，何堅強，陸群．基于ROS平臺的移動機器人自主導(dǎo)航技術(shù)研究[J]．自動化技術(shù)與應(yīng)用，2023（4）：5-8.

[8] 朱成杰，張東升．基于2D-SLAM算法的機器人建圖定位分析[J]．無線互聯(lián)科技，2022（20）：115-119.

課題項目：沈陽城市建設(shè)學(xué)院大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目，基于視覺識別的口罩售賣機器人（202313208001）；本文得到大學(xué)生創(chuàng)新創(chuàng)業(yè)項目202313208001資助。

作者簡介：馮湛博（2002—），男，遼寧鞍山人，本科，主要研究領(lǐng)域為智能控制算法。

單超穎（1986—），女，山東高密人，副教授，碩士，主要研究領(lǐng)域為智能控制算法。

何抒陽（2002—），男，遼寧朝陽人，本科，主要研究領(lǐng)域為智能控制算法。

繆易衡（2003—），男，江蘇常熟人，本科，主要研究領(lǐng)域為智能控制算法。