一種基于深度學習的地鐵消殺機器人

尹邦政，唐揚波，單梓琪

（廣州鐵路職業技術學院，廣東 廣州 510080)

0 引言

當前，公共場所的衛生防控措施變得尤為重要，地鐵作為人流高度密集的城市大運量公共交通工具，地鐵車廂常態化的消毒殺菌已成為運營管理工作的一部分。目前各地鐵公司基本都是采用人工方式進行車廂消殺，或者配合使用紫外燈滅菌。人工方式消殺通過人工將消毒液噴灑到需要消殺的空間區域，這種方式費時費力，效率低，且存在消殺效果難以監控的問題，同時消殺人員還有被感染的風險隱患；紫外燈消殺需要持續相對較長的時間，且容易對人體造成傷害，限制了其應用場景。現有的消殺機器人大多采用移動底盤加噴霧消毒或者移動底盤加紫外燈的方式消毒，這種消殺機器人存在消殺模式單一、適用場景有限、消殺不全面等問題。

目前市面上的消殺機器人普遍只具備噴霧消殺的功能，只能對空間進行無識別無差別化的空氣消殺[1]，而在實際環境中，對于公共場所中多人觸碰的物體比如門把手、電梯扶手、電梯按鈕、臺面、桌面、地鐵扶手、地鐵拉環等存在著病毒集中的風險，是傳染環節中非常關鍵的一環，普通的空氣噴霧消殺往往無法覆蓋這些物體，使消殺不徹底，給病毒傳播留下極大的隱患。因此，如何對地鐵車廂中對易感關鍵部位消殺才是消殺機器人的痛點所在，本論文提出了一套基于機器視覺的物體識別算法結合機器人以及機械臂的控制裝置，實現了對病菌集中物體的識別，通過控制機器人移動以及機械臂的移動，使消殺噴嘴靠近病菌物體表面并進行近距離的噴霧消殺，實現精準消殺功能。

目前，深度學習作為一種新興技術廣泛應用于圖像分類和目標檢測[2]。近年來，基于深度學習的目標檢測算法被廣泛地應用于各種自動化應用中[3]，如變電站智能機器人[4]、鐵路信號機房巡檢機器人[5]、采摘機器人[6]等。然而，目前的研究主要集中在移動服務機器人在與消殺無關的識別和抓取上[7]。很少有研究討論過集成視覺模塊數據進行運動規劃和操作用于地鐵應用中。本論文研究的目的是開發一種全自動的消殺機器人，用于清潔和消殺地鐵扶手、拉環、座椅等多人接觸物體，以避免直接接觸細菌或病毒。為了實現這個目的，我們開發了一個輕量級的深度學習框架，用于檢測特定物體，檢測模塊的輸出通過運動規劃和手臂操作算法來完成消殺任務。

1 消殺機器人組成

1.1 硬件組成

機器人硬件架構主要由移動底盤、霧化裝置、消殺裝置、紫外燈消殺裝置四大部分組成，如圖1所示。

圖1 消殺機器人結構圖

1)移動底盤，用于控制移動機器人的環境數據采集、算法運行、運動和消殺執行。它由主機、4G 無線路由器、激光雷達、超聲波雷達、電機驅動板、慣性測量單元、電機組件、電池及電源管理組件等組成。

機器人移動底盤由差分輪式滾輪、電機驅動、電池及電源管理組成；主控由上位機和下位機組成，上位機由x86控制器實現，是機器人平臺的核心，實現機器人的感知數據處理和運行控制，導航、定位、避障的算法運行等；傳感器包含里程計、陀螺儀、加速度計、超聲波傳感器、碰撞傳感器、紅外傳感器、激光雷達、高清攝像頭、深度攝像頭等組成，為機器人提供各種外部感知。

2)霧化裝置，用于放置預設濃度的待處理消毒液，并對待處理消毒液進行霧化，得到待處理液滴，然后將待處理液滴噴射到周圍空間環境中。霧化裝置由水箱、霧化器、噴頭組成，水箱規格為16L霧化器置于水箱中，220V 交流電源由底盤的電源管理組件提供，可以通過電源控制霧化器的開和關；3個噴頭連接霧化器。

3)消殺裝置，用于當噴霧消殺機器人識別到目標物體，并利用移動底盤控制噴霧消殺機器人移動至預設位置時，調整機械臂的位置與方向，使得噴嘴朝向目標物體，同時關聯噴霧裝置，以獲得待處理液滴，并結合移動底盤的移動、機械臂的旋轉和噴嘴對待處理液滴的噴射，完成對目標物體的全方位噴霧消殺。目標消殺裝置由六軸機械臂、噴嘴、噴管、霧化開關、深度攝像頭和工控處理機組成。

工控處理機負責圖像信息的采集和處理、識別算法的運行和機械臂控制，是整個機器人的核心處理器，它由Intel i7 CPU(16GB RAM,256GB SSD)、華碩h110i-plus主板和NVIDIA GPU(GTX16504G) 組成，運行系統由Linux 16.04(Ubuntu) 和ROS Kinetic組成。

4)紫外燈消殺裝置，用于紫外線殺菌。由一條紫外線燈管組成，紫外線波長為253.7nm，單支燈40W，1m處紫外線輻照強度150μW/cm2。

1.2 目標物體識別

為了快速準確地識別車廂中病毒集中物體，如座椅、立柱、扶手、吊環等乘客接觸區域或物體，需要通過攝像頭采集圖像信息，對圖像信息進行分析處理，快速判斷該物體是否屬于識別物體。

作為機器視覺領域的核心問題之一,目標檢測和識別的任務是找出圖像中所有的目標（物體），并確定它們的位置和大小。由于各類物體有不同的外觀、形狀、姿態，加上成像時光照、遮擋等因素的干擾，目標檢測一直是機器視覺領域最具有挑戰性的問題。因此，從本質上來說，目標檢測包含兩個主要任務：物體圖像的識別和物體在圖像中的定位。

物體識別分為兩個任務，一個是尋找場景中待訓練物體，并且用矩形框標注物體所在圖像的區域，另一個任務是識別標注物體的類別。該過程稱為物體檢測。由于YOLOv5代碼運行速度快且無須很大運行空間[8]，因此我們選擇采用基于YOLOv5 卷積神經網絡完成圖像識別。

YOLOv5首先將整個圖像中物體特征均勻的劃分成大小為7×7 的卷積神經網格，每個網格作為錨框分別產生多個輸入檢測框。然后將輸入特征映射到卷積神經網絡中，得到相應的特征區域圖后，將特征數據送回卷積網絡，然后采用全連接層，將每個特征區域的輸入特征值分別映射得到相同大小的物體特征區域圖，對每個輸入檢測框的特征類別和每個檢測框的特征值進行回歸。

1.3 目標物體定位

在YOLOv5源碼中根據對象數組序號篩選出需要處理的對象，并把目標坐標對（目標框左上角和右下角坐標）發送到kinect_view 包（一個負責處理深度相機kinect2.0深度數據的ROS包）。在kinect_view 中通過ROS 的publish-subscriber 機制，接收Kinect_bridge包發布的RGB圖像與深度圖像以及描述信息，并把每個像素點結合深度信息轉化為點云數據。

根據YOLOv5 傳送的坐標信息，在kinect_view 中計算出目標對象與機器人的相對坐標，并通過ROS的Actionclient-Actionserve 機制，把相對坐標傳送到move_base包。

在move_base包中將目標坐標系先轉化為全局坐標系，然后設置目標點并喚醒路徑規劃線程，同時將坐標信息goal 發布給可視化工具rviz，在設置完控制頻率、時間標志位之后開始檢測是否有搶占目標。當有新的目標到來，則設置當前狀態為PLANNING并執行上述過程，轉化坐標系、喚醒路徑規劃線程并發布目標給rviz。若沒有搶占目標則重置狀態、設置為搶占式任務。

在路徑線程被喚醒后，為了判斷機器人是否到達目標點、通過tf接口獲取從里程計和激光數據得出的當前位姿；在地圖數據超時，即觀測的傳感數據不夠新，則停止機器人。

1.4 精準消殺

根據物品識別與定位系統求得的目標物品的相對坐標與環境圖像信息，分析抓取平臺的任務目標，綜合環境數據，對機械臂的動作進行運動規劃，完成機械臂末端到目標物體的靠近動作。根據環境信息中的目標點和機械臂與目標點之間的障礙物位置關系進行軌跡規劃，并結合地形數據明確當前工作環境中機械臂的允許工作空間。根據目標物品的位姿狀態選取合適的移動方式，確保將機械臂末端安全地推伸到目標物品前。通過中央信息處理模塊連接視覺傳感器等對抓取目標過程進行實時調控。在ROS 機器人操作系統上調取相關硬件設施，創建信息交互節點，設計路徑規劃算法，完成機械臂移動平臺的搭建。根據識別物體的坐標，機器人移動到已識別物體的一定距離后，將機械臂末端移動并靠近識別物體，開啟噴霧功能，將消毒藥水準確地噴灑到識別物體上，達精準消殺目的。

2 試驗測試

根據《動車組、列車及工程車輛清洗消毒管理技術指引》，對地鐵車廂地板、扶手、座椅等物體的日常性消毒分為列車車廂空氣消毒、車廂內部物表消毒和折返站列車折返后消毒三種。本作品滿足地鐵車廂的三種消殺要求，重點對車廂內部物表消毒進行了測試驗證，選取了車廂內部乘客接觸最多的扶手、吊環進行了驗證測試。

測試分為三個階段，如圖第一個階段為深度框架訓練階段，首先要采集大量的待識別物體的照片，通過邊界框標注后進行CNN訓練，訓練后再進行模型的測試，經過反復的驗證修改，使模型的識別率精度在90%以上；第二個階段為建圖和導航階段。在車廂進行消殺前，移動機器人需要在車廂進行運行，通過激光雷達數據進行二維地圖的創建，創建完地圖后，機器人即可在創建的地圖中進行導航運行；第三個階段為識別和消殺階段。機器人在車廂中導航運行，攝像頭實時采集運行過程的圖像信息，采集的數據通過目標識別算法進行實時運算處理，確定圖像信息中是否包含目標物體特征，如果有則就獲取目標物體的坐標信息，通過控制機器人移動和機械臂的移動，使機械臂末端的噴嘴接近目標物體，再控制噴嘴開關進行近距離的噴霧消殺，達到精準消殺效果。

采用英特爾實感深度攝像機，在不同的角度和不同的光照條件下，以機器人的視角采集地鐵車廂中的吊環和扶手數據集圖像。

在迭代次數較大條件下，使用Kaggle 數據集對YOLOv5進行訓練，本作品針對地鐵車廂中的扶手、吊環等物體進行目標識別，采集5 500+的測試集圖片數據用于訓練，并且通過裁剪、旋轉、增加噪聲等方法對采集到的數據集進行增強，最終獲取了20 704張數據樣本，其中包含扶手的樣本有10 505 張，包含吊環的樣本有10 199張，按照YOLO 算法所需的格式進行人工數據標注。

通過對原有數據集數據進行此類拓展即可得到大量新的訓練數據，有效提升模型訓練集大小，在原有訓練集較小的條件下快速提升目標檢測效果，通過測試，YOLOv5平均識別速度達到6ms，平均識別精度達95%，如圖2。

圖2 地鐵車廂把手識別測試

3 結束語

本文設計出一種利用視覺識別并實現被識別目標物體自動精準消殺的移動機器人。精準消殺相比普通消殺機器人的空氣消殺，具有以下優勢：第一，精準消殺能夠以較小的消毒水藥量和較低的消毒水濃度實現對病菌集中物體的徹底消殺，消殺效果更好，消殺成本更低；第二，精準消殺過程友好，不需要避開人流，只對病菌集中物體表面進行近距離的消殺；消殺后，空氣中和物體表面的殘留消毒藥水較少，對人的身體健康和環境影響小；視覺識別算法采用了基于CNN 的深度學習方法，生成了被識別物體的一組坐標。利用這些坐標，利用ROS系統生成機器人的操作空間，并制定機械臂的運動規劃。通過一系列的模擬和實驗，通過離線和在線測試了該技術的準確性。在這兩種情況下，計算出的檢測準確率均在90%以上。在地鐵列車上成功地進行了實時實驗，驗證了所提框架的有效性。通過該機器人的應用，助力地鐵等人員密集場所的消毒清潔工作，切斷傳染源，保證出行衛生安全。