基于Jetson的機(jī)器人智能安全防護(hù)系統(tǒng)設(shè)計(jì)*

萬燕英，陳澤濤，劉文波

（廣州鐵路職業(yè)技術(shù)學(xué)院信息工程學(xué)院，廣州 510430）

0 引言

目前機(jī)器人在工業(yè)生產(chǎn)、商業(yè)服務(wù)等領(lǐng)域發(fā)揮著重要作用，是企業(yè)增效降本的有效手段之一。據(jù)國際機(jī)器人聯(lián)合會(huì)（IFR）統(tǒng)計(jì)數(shù)據(jù)顯示，截止到2020年，全球工業(yè)機(jī)器人的運(yùn)營存量創(chuàng)下了300多萬臺(tái)的新紀(jì)錄。隨著工業(yè)化進(jìn)程不斷深入，出現(xiàn)了較多的人機(jī)共融場(chǎng)景，如圖1所示。人機(jī)共融是指人和機(jī)器人同處一個(gè)自然空間里工作，緊密協(xié)調(diào)地共同完成工作。人機(jī)共融生產(chǎn)方式，不再是人類單純地下指令給機(jī)器人，而是讓機(jī)器人變成人類的伙伴。在傳統(tǒng)的工業(yè)機(jī)器人逐漸取代單調(diào)、重復(fù)性高、危險(xiǎn)性強(qiáng)的工作之時(shí)，人機(jī)共融的理念也將會(huì)慢慢滲入各個(gè)工業(yè)領(lǐng)域[1-3]。因此，人機(jī)共融、人機(jī)協(xié)作將是機(jī)器人未來最重要的發(fā)展趨勢(shì)。

圖1 工業(yè)生產(chǎn)之人機(jī)共融場(chǎng)景

人機(jī)共融的顯著特征是機(jī)器人和環(huán)境高度適應(yīng)，在非結(jié)構(gòu)動(dòng)態(tài)環(huán)境能更好地理解人的行為意圖，并在一定的規(guī)則下實(shí)現(xiàn)人機(jī)、機(jī)器人群體間的交互與協(xié)同作業(yè)。這對(duì)機(jī)器人安全防護(hù)技術(shù)提出了更高的要求，機(jī)器人安全防護(hù)手段也成為實(shí)現(xiàn)人機(jī)共融的核心技術(shù)指標(biāo)之一[4-6]。

機(jī)器視覺技術(shù)作為人工智能的一個(gè)重要分支，已被廣泛應(yīng)用于各類智能安防、先進(jìn)輔助駕駛等領(lǐng)域。它可獲取物體的尺寸數(shù)據(jù)，具有識(shí)別精度高、幾何特征突出、數(shù)據(jù)信息豐富等特點(diǎn)[7-8]。同時(shí)，隨著視覺傳感器大規(guī)模制造，其硬件成本也已較低。因此，本文設(shè)計(jì)基于Jet-son的機(jī)器人智能安全防護(hù)系統(tǒng)，利用機(jī)器視覺技術(shù)來預(yù)測(cè)機(jī)器人與人類之間可能發(fā)生的碰撞，并控制機(jī)器人及時(shí)響應(yīng)減速或停機(jī)指令以避免人機(jī)碰撞，保障人機(jī)安全。

1 系統(tǒng)總體結(jié)構(gòu)及工作原理

本系統(tǒng)主要包括主體和磁吸式法蘭兩部分，主體通過自身顆粒強(qiáng)磁鐵背板直接吸附在機(jī)器人上方的磁吸式法蘭上，以實(shí)現(xiàn)快速安裝部署和主體的位置調(diào)節(jié)。如圖2所示，系統(tǒng)通過網(wǎng)線與POE交換機(jī)連接，且POE交換機(jī)為其供電。系統(tǒng)主體用于投射機(jī)器人工作區(qū)域以直觀警示、實(shí)時(shí)監(jiān)控是否有人員非法闖入機(jī)器人工作區(qū)域等。上位機(jī)通過VNC軟件可遠(yuǎn)程連接至本系統(tǒng)，用以設(shè)置機(jī)器人工作區(qū)域、調(diào)整投影燈的警示范圍、轉(zhuǎn)儲(chǔ)監(jiān)控視頻、調(diào)整兩自由度云臺(tái)監(jiān)控視角等。

圖2 系統(tǒng)應(yīng)用示意圖

當(dāng)系統(tǒng)檢測(cè)到人員非法進(jìn)入機(jī)器人工作區(qū)域時(shí)，則驅(qū)動(dòng)語音報(bào)警模塊發(fā)出一定頻率的警告信號(hào)、同時(shí)發(fā)送指令至機(jī)器人控制器使機(jī)器人減速或停機(jī)。無人員入侵時(shí)，本系統(tǒng)不影響機(jī)器人的正常工作。

2 硬件設(shè)計(jì)

本系統(tǒng)硬件部分主要包括主處理器模塊、冗余處理器模塊、投影燈警示模塊、視覺傳感器模塊、語音報(bào)警模塊、通訊模塊、電源模塊、數(shù)據(jù)存儲(chǔ)模塊、看門狗模塊、兩自由度云臺(tái)模塊、顆粒強(qiáng)磁鐵背板模塊等，其組成框圖如圖3所示。

圖3 系統(tǒng)硬件組成框圖

2.1 處理器模塊

由于系統(tǒng)屬于安全等級(jí)較高的設(shè)備，其自身的可靠性極為重要。因此，采用主處理器和冗余處理器的雙機(jī)架構(gòu)。

選用低成本、高性能、高能效的AI處理器Jetson Nano為主控，其內(nèi)置一塊四核Cortex-A57 CPU和一塊128核Maxwell架構(gòu)的GPU。高性能的GPU為深度學(xué)習(xí)算法提供算力強(qiáng)勁的運(yùn)行載體，在運(yùn)行多個(gè)神經(jīng)網(wǎng)絡(luò)AI算法的同時(shí)，可處理來自多個(gè)高清傳感器的數(shù)據(jù)。Jetson Nano不僅提供了以太網(wǎng)、USB2.0/3.0、HDMI、MIPI CSI、SPI、UART、GPIO等豐富的硬件接口，而且還支持一系列主流的AI框架和算法，如TensorFlow、PyTorch等，使開發(fā)人員能夠方便地將AI模型和框架集成到產(chǎn)品中，快速實(shí)現(xiàn)圖像識(shí)別、目標(biāo)檢測(cè)、姿勢(shì)估計(jì)、語義分割、視頻增強(qiáng)和智能分析等強(qiáng)大功能[9]。

冗余處理器使用STM32F407ZGT6，兩個(gè)處理器間通過串行SPI總線方式進(jìn)行定期數(shù)據(jù)交互和校驗(yàn)。當(dāng)某一處理器發(fā)生數(shù)據(jù)校驗(yàn)出錯(cuò)或未響應(yīng)時(shí)，另一處理器立即通過RS485總線或安全I(xiàn)O觸發(fā)外部報(bào)警信號(hào)，使得外部被監(jiān)控對(duì)象緊急停機(jī)，并輸出異常報(bào)警信號(hào)。

2.2 通訊模塊

通訊模塊用于和機(jī)器人控制器進(jìn)行控制命令交互。為適應(yīng)各類機(jī)器人控制器接口，本系統(tǒng)提供以太網(wǎng)、RS485、安全I(xiàn)O模塊3種方式。其中，以太網(wǎng)采用TCP/IP協(xié)議通訊，RS485采用Modbus協(xié)議通訊，安全I(xiàn)O模塊采用PNP三線常閉電平信號(hào)通訊。如圖4所示，Jetson Nano以太網(wǎng)單元的外圍電路只需增加網(wǎng)絡(luò)變壓器和RJ45連接器。

圖4 系統(tǒng)以太網(wǎng)單元電路圖

2.3 視覺傳感器模塊

視覺傳感器用于實(shí)時(shí)監(jiān)控機(jī)器人工作區(qū)域。本系統(tǒng)選用有效像素約808萬的背照式CMOS視覺傳感器IMX219，其視場(chǎng)角可達(dá)160°，能滿足拍攝幀率180幀/s高速視頻，具有高靈敏度、高幀率拍攝等特點(diǎn)。視覺傳感器模塊通過CSI接口和Jetson Nano連接，其硬件電路如圖5所示。

圖5 系統(tǒng)視覺單元電路圖

2.4 云臺(tái)及投影燈模塊

兩自由度云臺(tái)模塊用于調(diào)節(jié)視覺傳感器的視角，包括偏航角度軸、俯仰角度軸。每軸均采用34型步進(jìn)電機(jī)來驅(qū)動(dòng)，通過Jetson Nano GPIO引腳發(fā)送脈沖信號(hào)至步進(jìn)電機(jī)驅(qū)動(dòng)芯片LV8728MR來控制電機(jī)轉(zhuǎn)動(dòng)。如圖6所示，視覺傳感器安裝于云臺(tái)俯仰軸上，俯仰軸再安裝于偏航軸上，則視覺傳感器可獲得2自由度的運(yùn)動(dòng)控制。

圖6 系統(tǒng)云臺(tái)模塊結(jié)構(gòu)示意圖

投影燈警示模塊用于投射機(jī)器人工作區(qū)域、警示人員禁止闖入，通過黃、紅兩種燈光顏色將機(jī)器人工作區(qū)域投影為黃色報(bào)警區(qū)域、紅色報(bào)警區(qū)域，并通過調(diào)節(jié)鏡片距離來設(shè)定投影區(qū)域的范圍。

3 軟件設(shè)計(jì)

本系統(tǒng)軟件基于Ubuntu18 OS環(huán)境開發(fā)，主要包括人員入侵檢測(cè)算法和外設(shè)控制程序兩部分。其中人員入侵檢測(cè)采用深度學(xué)習(xí)方法實(shí)現(xiàn)，具體而言，YOLO算法檢測(cè)人員、DeepSORT算法進(jìn)行人員定位和軌跡跟蹤[10]。外設(shè)控制程序包括雙CPU冗余控制、云臺(tái)驅(qū)動(dòng)、視頻壓縮存儲(chǔ)、語音播報(bào)、可靠性冗余校核、外部通訊、參數(shù)配置、系統(tǒng)日志以及主框架程序等。軟件架構(gòu)如圖7所示。

圖7 軟件架構(gòu)示意圖

3.1 人員入侵檢測(cè)算法設(shè)計(jì)

YOLO是當(dāng)前發(fā)展最為迅速的目標(biāo)檢測(cè)算法。相比二階段算法如Faster-RCNN，一階段YOLO算法通過省略粗定位過程而調(diào)整骨干網(wǎng)絡(luò)可獲得更優(yōu)性能[11]，尤其是基于PyTorch框架的YOLOv5兼顧了輕量級(jí)和高準(zhǔn)確度的特點(diǎn)。

DeepSORT是多目標(biāo)跟蹤中常用到的一種算法。相較于常規(guī)的基于特征的圖像處理算法，該算法具有重復(fù)檢測(cè)更穩(wěn)定、算法結(jié)構(gòu)更簡(jiǎn)單的特點(diǎn)，特別在目標(biāo)交叉時(shí)ID交換和目標(biāo)消失后重識(shí)別的問題上有較好效果。

故本系統(tǒng)選用YOLOv5和DeepSORT作為人員入侵目標(biāo)檢測(cè)算法模型。

3.1.1 算法流程

算法總體流程是：首先，Jetson Nano讀取視覺傳感器的視頻流，并將每幀視頻數(shù)據(jù)寫入視頻隊(duì)列。其次，YOLOv5算法從隊(duì)列中取出當(dāng)前數(shù)據(jù)幀送入主干網(wǎng)絡(luò)Backbone。Backbone負(fù)責(zé)運(yùn)動(dòng)目標(biāo)的特征提取，包括Focus、BttlenCSP、SPP三個(gè)模塊。再次，由頸部網(wǎng)絡(luò)Neck對(duì)主干網(wǎng)絡(luò)所提取的特征進(jìn)行增強(qiáng)，所采用的模塊是PANet路徑聚合結(jié)構(gòu)。然后，頭部網(wǎng)絡(luò)Head分別對(duì)原圖像進(jìn)行了8倍、16倍和32倍下采樣，并分別生成3個(gè)不同大小的特征向量，用來檢測(cè)不同大小的目標(biāo)。最后，由DeepSORT算法對(duì)YOLOv5算法輸出的預(yù)測(cè)框信息進(jìn)行目標(biāo)特征建模、匹配和跟蹤，輸出人員入侵的檢測(cè)結(jié)果。算法工作流程如圖8所示。

圖8 算法流程圖

3.1.2 YOLO算法實(shí)現(xiàn)

（1）軟件環(huán)境搭建

選取操作系統(tǒng)為Ubuntu18.04，在Ubuntu環(huán)境下通過指令分別安裝軟件包：Anaconda3、PyTorch1.8.0、Python3.8、Cuda10.2、cuDnn8.2.0。以PyTorch為例，其安裝過程如下：

S1.創(chuàng)建一個(gè)新的名為yolov5＿wyy的虛擬環(huán)境：

conda create-n yolov5＿wyy python==3.7

source activate yolov5＿wyy

S2.安裝PyTorch，torchvision：

conda install pytorch==1.8.0 torchvision==0.9.0

S3.驗(yàn)證pytorch和torchvision是否正確安裝完。

（2）模型訓(xùn)練

按照如圖9所示數(shù)據(jù)存儲(chǔ)的目錄格式，對(duì)包含人員的機(jī)器人作業(yè)圖片進(jìn)行處理和存儲(chǔ)。人員標(biāo)注采用labelimg軟件，其中圖片和標(biāo)簽文件的名字一一對(duì)應(yīng)，標(biāo)簽文件的形式為類別、中心點(diǎn)x、中心點(diǎn)y、邊框?qū)挾葁、邊框高度h。

圖9 數(shù)據(jù)存儲(chǔ)的目錄格式

修改yolov5＿wyy目錄下面的data和models兩個(gè)模板文件，在yolov5＿wyy.yaml文件中修改factory、robots、nc以及names四行，分別對(duì)應(yīng)的是訓(xùn)練圖片的路徑、驗(yàn)證圖片的路徑、總數(shù)量以及類別。然后在models目錄下面修改yolov5s.yaml文件，主要修改nc變量。最后，通過以下命令即可訓(xùn)練本文所需模型：python train.py--img 640--batch 16–epochs 5--data./data/yolov5＿wyy.

.yaml--cfg./models/yolov5s.yaml--weights weighs/yolov5s.pt。

（3）模型測(cè)試

模型訓(xùn)練完成后，將runs/exp/weights下的模型（文件名后綴為pt）復(fù)制在yolov5文件夾下。運(yùn)行命令：python detect.py--weights yolov5＿wyy.pt--source../project＿train＿data/

/images/Robots＿img，對(duì)模型進(jìn)行測(cè)試。

3.1.3 DeepSORT算法實(shí)現(xiàn)

本系統(tǒng)基于Yolov5＿DeepSort＿Pytorch開源軟件實(shí)現(xiàn)人員的定位和追蹤，其代碼可從該地址獲?。篽ttps://github.com/mikel

-brostrom/Yolov5＿DeepSort＿Pytorch.git。

Yolov5＿DeepSort＿Pytorch的DeepSORT算法流程主要包括4個(gè)階段[12]。

（1）檢測(cè)階段：分析YOLOv5輸入的視頻幀，識(shí)別屬于特定類型的對(duì)象，給出分類和坐標(biāo)。

（2）軌跡處理和狀態(tài)估計(jì)階段：提取表觀特征和運(yùn)動(dòng)特征，表觀特征用于比對(duì)以避免ID Switch，運(yùn)動(dòng)特征便于卡爾曼濾波對(duì)其進(jìn)行預(yù)測(cè)；同時(shí)，使用軌跡預(yù)測(cè)器預(yù)測(cè)該目標(biāo)的下一個(gè)位置。

（3）相關(guān)性度量階段：表觀特征和運(yùn)動(dòng)特征用來計(jì)算兩個(gè)目標(biāo)之間的相似性。

（4）級(jí)聯(lián)匹配階段：計(jì)算前后兩幀目標(biāo)之前的匹配程度（利用匈牙利算法和級(jí)聯(lián)匹配），為每個(gè)追蹤到的目標(biāo)分配ID。

本文結(jié)合YOLOv5目標(biāo)檢測(cè)和DeepSORT目標(biāo)追蹤算法，通過設(shè)置基本閾值參數(shù)控制軌跡預(yù)測(cè)的歐式距離，以實(shí)現(xiàn)人員入侵檢測(cè)和跟蹤功能。

3.2 外設(shè)控制程序設(shè)計(jì)

外設(shè)控制程序主要包括雙CPU冗余控制、云臺(tái)驅(qū)動(dòng)、外部通訊、視頻處理、語音播報(bào)、參數(shù)配置及日志等。

（1）雙CPU冗余控制

為提高系統(tǒng)可靠性，本系統(tǒng)采用Jetson Nano和STM32F407ZGT6構(gòu)成雙機(jī)冗余控制方式。Jetson Nano為主處理器，STM32F407ZGT6處于熱備形式，兩者通過SPI總線通訊[13]。利用校驗(yàn)算法相互監(jiān)視對(duì)方的運(yùn)行狀況和通訊情況，一旦發(fā)現(xiàn)對(duì)方故障，當(dāng)即發(fā)出報(bào)警，經(jīng)過RS485總線或安全I(xiàn)O接口控制機(jī)器人停機(jī)，并將異常狀態(tài)信息寫入系統(tǒng)日志。

（2）云臺(tái)驅(qū)動(dòng)

設(shè)計(jì)PWM線程任務(wù)控制GPIO分別輸出脈沖和方向信號(hào)至LV8728MR，以驅(qū)動(dòng)步進(jìn)電機(jī)轉(zhuǎn)動(dòng)。其工作流程是，第一次上電開機(jī)時(shí)，系統(tǒng)控制每個(gè)軸的步進(jìn)電機(jī)往正方向運(yùn)行到機(jī)械限位，并將機(jī)械限位設(shè)定為原點(diǎn)位置。然后根據(jù)系統(tǒng)已保存的參數(shù)，運(yùn)行至工作角度。在遠(yuǎn)程調(diào)整模式下，通過上位機(jī)可以點(diǎn)動(dòng)每個(gè)軸，以設(shè)定最佳的視覺傳感器監(jiān)控位置。

（3）外部通訊

通訊模塊包括USB、以太網(wǎng)、RS485以及安全I(xiàn)O接口。USB用于U盤方式拷貝監(jiān)控視頻等文件。以太網(wǎng)用于連接上位機(jī)軟件進(jìn)行參數(shù)配置，也可連接機(jī)器人輸出監(jiān)控信號(hào)。以太網(wǎng)作為監(jiān)控信號(hào)輸出時(shí)，采用TCP/IP協(xié)議與機(jī)器人通訊。Jetson Nano和STM32F407ZGT6同時(shí)擁有對(duì)RS485和安全I(xiàn)O的控制權(quán)，在系統(tǒng)正常時(shí)，僅由Jetson Nano輸出信號(hào)。當(dāng)系統(tǒng)故障時(shí)，STM32F407ZGT6通過RS485和安全I(xiàn)O同時(shí)輸出報(bào)警信號(hào)。

（4）視頻處理

視頻處理模塊創(chuàng)建3個(gè)線程，T1線程負(fù)責(zé)讀取視頻流，T2線程進(jìn)行YOLOv5算法處理，T3線程負(fù)責(zé)壓縮和存儲(chǔ)視頻流數(shù)據(jù)。

T1線程利用OpenCV庫接口函數(shù)從視覺傳感器獲取視頻流，將每幀視頻數(shù)據(jù)先后寫入到Q1、Q2隊(duì)列中。其中Q1送至T3進(jìn)行視頻處理和存儲(chǔ)，Q2送至T2進(jìn)行YOLOv5算法處理。當(dāng)算法檢測(cè)到人員入侵時(shí)，T2線程將添加檢測(cè)框的視頻幀數(shù)據(jù)送至T3進(jìn)行標(biāo)記處理和存儲(chǔ)。

（5）語音播報(bào)

語音播報(bào)模塊根據(jù)人員入侵檢測(cè)結(jié)果播報(bào)對(duì)應(yīng)的語音提示，系統(tǒng)中事先存儲(chǔ)錄制好的音頻文件，通過調(diào)用Ubuntu系統(tǒng)提供的音頻播放API實(shí)現(xiàn)語音播放功能。

（6）參數(shù)配置及日志

為方便遠(yuǎn)程或遠(yuǎn)距離調(diào)試參數(shù)以及查看系統(tǒng)日志文件，本系統(tǒng)提供VNC后臺(tái)服務(wù)供上位機(jī)PC遠(yuǎn)程連接，用戶僅需在上位機(jī)PC上安裝VNC軟件，輸入智能防護(hù)系統(tǒng)的IP地址即可遠(yuǎn)程操控其參數(shù)和日志文件。

4 實(shí)驗(yàn)與分析

為測(cè)試系統(tǒng)的有效性，搭建了基于安全防護(hù)系統(tǒng)的機(jī)器人測(cè)試平臺(tái)。通過設(shè)定機(jī)器人警示區(qū)、危險(xiǎn)區(qū)等不同工作區(qū)域以驗(yàn)證對(duì)入侵人員識(shí)別以及分級(jí)報(bào)警的準(zhǔn)確性。

機(jī)器人工作區(qū)域分為3個(gè)部分，最外圓和中間圓之間的環(huán)形區(qū)域?yàn)榫緟^(qū)，當(dāng)系統(tǒng)檢測(cè)到人員進(jìn)入該區(qū)域?qū)⒖刂茩C(jī)器人減速。中間圓和最內(nèi)圓之間的環(huán)形區(qū)域?yàn)槲ｋU(xiǎn)區(qū)，一旦系統(tǒng)監(jiān)測(cè)到人員入侵該區(qū)域則驅(qū)使機(jī)器人立即停止運(yùn)行。

測(cè)試結(jié)果如圖10—12所示。圖10顯示，當(dāng)機(jī)器人工作區(qū)域沒有人或者人員處于警示區(qū)之外時(shí)，系統(tǒng)不影響機(jī)器人的正常工作。此時(shí)，系統(tǒng)將實(shí)時(shí)追蹤該入侵人員的動(dòng)態(tài)位置但不發(fā)出任何報(bào)警指令。

圖10 機(jī)器人正常工作狀態(tài)

由圖11可知，當(dāng)人員局部或全部處于警示區(qū)內(nèi)時(shí)，系統(tǒng)控制機(jī)器人減速到額定速度的30%。若人員局部或全部處于危險(xiǎn)區(qū)內(nèi)，系統(tǒng)驅(qū)使機(jī)器人立即停機(jī)。如圖12所示，人員在危險(xiǎn)區(qū)的位置發(fā)生變化時(shí)，機(jī)器人位姿已不再變化，處于停止?fàn)顟B(tài)。

圖11 人員入侵警示區(qū)域后機(jī)器人減速

圖12 人員入侵危險(xiǎn)區(qū)域后機(jī)器人停機(jī)

實(shí)驗(yàn)結(jié)果表明，本系統(tǒng)能夠有效區(qū)分人員和運(yùn)動(dòng)的機(jī)器人，準(zhǔn)確識(shí)別、定位及跟蹤入侵機(jī)器人工作區(qū)域的人員，并可靠控制機(jī)器人響應(yīng)相應(yīng)的安全處理措施。

5 結(jié)束語

本文針對(duì)人機(jī)共融、協(xié)同作業(yè)場(chǎng)景的安全防護(hù)問題，設(shè)計(jì)了一種基于Jetson和深度學(xué)習(xí)算法的智能安全防護(hù)系統(tǒng)。該系統(tǒng)利用Jetson作為主控平臺(tái)，搭建視覺傳感器、網(wǎng)絡(luò)通訊、視頻存儲(chǔ)、云臺(tái)驅(qū)動(dòng)等外圍模塊。借助YOLO和DeepSORT算法實(shí)現(xiàn)了人員的實(shí)時(shí)且準(zhǔn)確的識(shí)別、定位及跟蹤。系統(tǒng)通過投影燈分級(jí)投射機(jī)器人工作區(qū)域以警示，在檢測(cè)到人員闖入時(shí)語音報(bào)警，并控制機(jī)器人減速或停止運(yùn)行以避免人機(jī)碰撞。本系統(tǒng)安裝部署簡(jiǎn)單、魯棒性高、識(shí)別準(zhǔn)確、使用友好，為提高人機(jī)安全提供了一種有效手段，對(duì)人機(jī)協(xié)作普遍推廣具有積極地促進(jìn)作用。