基于YOLO的托盤孔位置識別研究

杜開源，劉 淼，姜星宇，汪 辰，葉 晉，張志剛

基于YOLO的托盤孔位置識別研究

杜開源，劉 淼*，姜星宇，汪 辰，葉 晉，張志剛

（上海工程技術大學 機械與汽車工程學院，上海 201620）

在物流領域中，無人駕駛叉車逐漸被廣泛應用。無人駕駛叉車需要具備一項非常重要的功能，即可檢測到裝載貨物用的托盤孔的位置，從而使叉車插入托盤來運輸貨物，其中機器學習算法被廣泛用于自動檢測物體的位置領域，如孔洞的位置檢測。文章介紹了使用YOLO和樹莓派開發深度學習識別托盤孔位置的方法，采用YOLOv5模型，通過自建的托盤數據集對模型進行訓練，并將算法部署到嵌入式設備中，實現了托盤孔識別。實驗結果表明，在滿足實時性能的要求下，對托盤孔識別準確率為88%左右，與當前行業主要使用的方法相比，具有低成本高速度的特點。

無人駕駛叉車；機器學習；YOLO；樹莓派；叉車托盤

自動駕駛叉車是一種無需司機即可運輸貨物或零件的設備，其特點為節省人工成本、加快貨物流通、有效利用空間等。因此，在工廠、物流領域和配送中心等地方被越來越廣泛地使用。使用自動駕駛叉車時需將要移動或提升的物品和設備放置在托盤上，隨后使用自動駕駛叉車前面的叉子來提升和移動托盤，能夠穩定地提升物體。過去，叉車由專人駕駛，叉子可直接放在托盤孔上來提升物體，大多數情況下，托盤的形狀為長方形，故托盤孔很容易被識別，但是要移動的物體也有類似托盤的形狀，所以需要找到托盤孔位置的檢測方法。

當前公開的國內文獻中，與叉車托盤孔識別有關的研究較少，例如趙俊宏用RGB-D相機和激光雷達作為檢測傳感器，分別實現了單傳感器條件下和多傳感器融合條件下的托盤姿態估計，但成本較高[1]；武文漢用深度相機以及視覺標簽實現了不同場景下的托盤檢測，但需要外部標簽輔助，具有一定的局限性[2]。

檢測裝載貨物的托盤孔的位置和方向，便于插入叉車進行貨物搬運，是自動駕駛叉車非常重要的功能。機器學習算法被用于自動檢測托盤孔等物體的位置，其中，YOLO（You Only Look Once）算法被廣泛使用。本文識別的是托盤孔，并且要在微型計算機樹莓派上實現，對識別速度的要求比較高，故使用YOLOv5算法，同時，把計算機上訓練的模型移植到樹莓派上，最后測試得到實驗結果。

1 算法簡介

1.1 CNN簡介

卷積神經網絡（Convolution Neural Networks, CNN）是人工智能研究中深度學習領域流行的算法之一，神經網絡模型可直接對圖像、視頻、文本或聲音進行分類。它的特點是在保持圖像空間信息的同時，能夠有效地識別相鄰圖像的特征，并能從具有多種濾鏡的圖像中提取和學習特征。CNN的基本結構由卷積層和全連接層組成。特征的提取是依次通過多個卷積層，逐步提取更高層次的特征。最終的分類結果由全連接層提取的高級特征決定。因為它提取的是適合訓練數據的高層次特征，能很好地適應各種變化，因此被應用在圖像識別領域，并顯示出很高的性能。典型的CNN配置如圖1所示。

圖1 卷積神經網絡配置

圖2顯示了卷積的操作。對于圖像特征提取而言，濾波器首先對輸入數據進行迭代，隨后計算卷積平方，并使用計算結果來創建特征圖。濾波器是在圖像中尋找特征的一個常用參數，通常被定義為一個方形矩陣，如（4,4）或（3,3）。在CNN中，所有層的參數，包括濾波器，都要經過訓練。在本研究中，托盤孔圖像被用來提取特征并使其在YOLO中可被檢測到。

圖2 卷積操作特征圖

池化層將卷積層的輸出數據作為輸入，用于縮小輸出數據的大小或突出某些數據。有三種處理池化層的方法：即最大池化、平均池化和最小池化，它的工作原理為收集方形矩陣特定區域內的最大值或在特定區域內取平均值。

1.2 YOLO算法簡介

YOLO物體檢測算法被用來識別托盤和檢測托盤孔位置，是一種基于CNN的物體檢測算法，它使用監督學習算法來預測單一圖像中物體的類型和位置，并具有只看整個圖像一次就能檢測到物體的特點[3]。

MobileNet是TensorFlow開發的一系列基于移動設備優化的計算機視覺模型，旨在考慮移動設備或嵌入式應用程序在受限資源下有較好的精度。這些模型被設計為小型化、低功耗、參數化，以滿足設備的資源限制。ShuffleNetV2中提出了一個關鍵點，即在移動設備的運行速度不僅要考慮FLOPs，還有考慮其他因素，如內存訪問成本（memor yaccess cost）和平臺特點（platform characterics）。GhostNet將相同顏色特征圖通過廉價的線性操作得到另一個相同顏色特征圖，即使用更少的參數來生成同等數量的特征圖，如圖3所示[4]。

圖3 Ghost模塊

以YOLOv5部署到邊緣設備為目的，在YOLOv5網絡框架中添加輕量化網絡模型，分別為MobileNetV3、ShuffleNetV2和GhostNet。

2 算法訓練

2.1 數據集的收集

為了下一步的研究做準備，本文收集的用于識別托盤中心圖像數據集的例子使用如圖4所示的方式進行采集，即將托盤放在某一位置后，在各個采樣點將連接在計算機上的相機拍攝的圖像分成若干幀，生成有標記的圖像數據集，用于監督學習。采集的圖像在整個圖像個數中，按照60%的室內和40%的室外的比例收集圖像。收集到的數據集的圖像總數為1 000張，其中600張室內訓練數據和400張室外訓練數據，用于訓練托盤孔學習器。

圖4 數據集收集的采樣點

2.2 訓練實驗

2.2.1 實驗平臺

利用標簽圖像在計算機上進行了深度學習，實驗硬件環境為英特爾酷睿i7-9750H處理器，英偉達GTX1650顯卡，16 G內存；軟件環境為Win10系統，Python3.7，所使用的深度學習框架為PyTorch。

2.2.2 訓練結果和分析

圖5顯示了圖像標簽中用于識別托盤孔位置的對象類別。

圖5 用于監督學習托盤的所有對象類的定義

訓練圖像的標記即將托盤的中心點分類為0類，托盤的正面為1類，托盤孔為2類，通過將托盤的每個部分分為三類進行監督學習，可以在托盤被識別時提取每個物體的類型和位置。

使用Tensorboard對訓練好的模型的托盤識別精度進行了性能驗證。通過計算平均準確率（mean Average Precision, mAP）和卷積矩陣來評估模型的準確性，這兩個指標在物體識別研究中通常用于檢查性能[5]。利用訓練和測試數據集進行200次迭代時，如圖6所示，mAP值約為88%。

圖6 訓練和測試數據集的mAP值變化曲線

圖7 訓練的托盤孔檢測模型的卷積矩陣

圖7顯示了使用Tensorboard計算卷積矩陣的結果。訓練后的模型顯示了準確的預測率，正確預測實際托盤孔的概率為100%，托盤和托盤中心也顯示出83%和77%的概率，即正確預測了實際的托盤和托盤中心。

當前，無人叉車行業主要使用RGB-D照相機和激光雷達進行托盤識別，其傳感器大且昂貴，點云數據處理時間較長。本研究使用低成本傳感器，達到相同的準確率。

3 樹莓派的實驗

本文使用樹莓派4B開發板進行研究，其可以安裝操作系統，具有計算機的一些基本功能，可以看作一臺微型計算機。同時，選擇SCI攝像頭Raspberry Pi Camera Module v2，此攝像頭具有五百萬像素索尼IMX219傳感器，視頻拍攝質量高[6]。

在Windows10環境下使用PyTorch深度學習框架實現算法的改進與訓練，獲得訓練好的模型權重后，將算法與模型權重部署到樹莓派上[7]。如果想要在樹莓派嵌入式平臺上運行此模型，需要通過代碼將pb模型文件轉換為tflite文件[8]。使用模型移植后的tflite模型文件，對托盤孔位置進行檢測。實驗結果表明，YOLO算法模型在嵌入式平臺部署成功。

然后，將上述收集的數據集，既1 000張托盤圖像在樹莓派中進行托盤孔檢測，得出每個模型處理1 000張圖像所需時間，并計算出每秒處理圖像的平均張數。

如表1所示，在工作站上，MobileNetV3的時間最短為74.51 s，ShuffleNetV2的時間最長為83.62 s，時間相差為9.11 s，在樹莓派上，Shuffle NetV2的時間最長為2 239.26 s，MobileNetV3的時間最短為636.37 s，兩者結果差異較大。這表明在樹莓派平臺中，ShuffleNetV2這種復雜的網絡并不適用，而GhostNet這種輕量模型更為適用。

表1 各個模型在工作站和樹莓派上的運行速度

4 結論

本文通過將YOLOv5算法與基于Raspberry Pi設計的攝像頭檢測叉車托盤孔位置。在電腦端得到托盤孔位置的訓練模型，精度達到88%，然后將算法移植到樹莓派上，可以檢測出托盤孔位置，為下一步的相關研究做好基礎準備。

[1] 趙俊宏.倉儲智能叉車托盤識別與拾取系統研究[D].廣州:華南農業大學,2018.

[2] 武文漢.基于視覺的倉儲托盤檢測方法研究[D].上海:上海交通大學,2018.

[3] REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137- 1149.

[4] LIU W,ANGUELOV D,ERHAN D,et al.SSD:Single Shot Multibox Detector[C]//Proceedings of the European Conference on Computer Vision.Berlin:Springer,2016: 21-37.

[5] CHEN S,LIU Y,GAO X,et al.Mobile FaceNets: Effici- ent CNNs for Accurate Real-time Face Verification on Mobile Devices[J].ArXiv,2018:1804.07573.

[6] 李學賓.基于樹莓派的實時目標檢測[D].武漢:華中科技大學,2019.

[7] 王少韓,劉淼.基于YOLOv5和樹莓派的火災識別研究[J].農業裝備與車輛工程,2022,60(8):115-118.

[8] 高東英.基于樹莓派4B的實時目標檢測[J].無線電, 2021(7):37-40.

A Study on the Detection of Pallet Hole Location Using YOLO

DU Kaiyuan, LIU Miao*, JIANG Xingyu, WANG Chen, YE Jin, ZHANG Zhigang

( School of Mechanical and Automotive Engineering,Shanghai University of Engineering Science, Shanghai 201620, China )

In the logistics industry, while unmanned forklifts is gradually being applied. A very important feature of unmanned forklifts is the ability to detect the position of the pallet holes used for loading, so that the forklift can insert the pallets to transport the cargo. Machine learning algorithms are widely used to automatically detect the position of an object, such as the location of a hole. This paper describes the development of a deep learning approach to identifying the position of pallet holes using YOLO and Raspberry Pi. The model uses the YOLOv5 model, and the model is trained with a self-built pallet dataset, and the algorithm is deployed into an embedded device to achieve pallet hole recognition. The experimental results show that the recognition accuracy of pallet hole is around 88% while meeting the real-time performance requirements, which is low cost and high speed compared to the main methods currently used in the industry.

Unmanned forklift; Machine learning; YOLO; Raspberry Pi; Forklift pallet

TP312

A

1671-7988(2023)21-17-04

10.16638/j.cnki.1671-7988.2023.021.004

杜開源（2001－），男，研究方向為汽車電子，E-mail:862723635@qq.com。

劉淼（1978－），男，博士，講師，研究方向為汽車電子，E-mail:liumiao@sues.edu.cn。

上海工程技術大學校級大學生創新項目（cx2201012）。