利用深度學習估算托盤方位坐標

2024-11-01 00:00:00豆憨群劉淼孫可唐海洋吳運學徐梓晨

科技資訊 2024年18期

摘要：在工程機械領域，需要應用信息通信技術和人工智能等智能技術，使用這些技術的工程機械數量也在不斷增加。因此，利用深度學習來識別從托盤邊界框中提取的像素坐標，并利用像素尺寸變化與托盤邊界框坐標之間的比例關系以及通過攝像頭深度識別的托盤孔來估算托盤坐標的方法，其結果表明托盤的相對坐標估算可以達到要求的精度。

關鍵詞：叉車托盤深度學習托盤坐標

中圖分類號：TP312

EstimationofPalletOrientationCoordinatesUsingDeepLearning

DOUHanqun1LIUMiao1*SUNKe1TANGHaiyang1WUYunxue1XUZichen1

SchoolofMechanicalandAutomotiveEngineering，ShanghaiUniversityofEngineeringScience，ShanghaiCity，201620China

Abstract：Inthefieldofconstructionmachinery，itisnecessarytoapplyintelligenttechnologiessuchasInformationCommunicationtechnologyandArtificialIntelligence，andthenumberofconstructionmachineryusingthistechnologyisincreasing.Therefore，itusesDeepLearningtoidentifythepixelcoordinatesextractedfromthepalletboundingboxandusesthemethodofestimatingpalletcoordinatesusingtheproportionalrelationshipbetweenpixelsizechangesandpalletboundingboxcoordinates，aswellasthetrayholesidentifiedbycameradepthrecognition，theresultsshowthattherelativecoordinateestimationofthepalletcanbeachievedwiththerequiredaccuracy.

KeyWords：Forklift;Pallet;DeepLearning;Palletcoordinate

在工業場所和物流倉庫中運輸貨物和托盤的叉車需要多種技術才能實現無人駕駛。作為無人駕駛的關鍵技術之一，識別叉車相對位置的能力是一項重要的核心技術，研究人員正在積極開展利用模塊化單個傳感器和視覺傳感器組成的分布式控制系統以及基于射頻識別（RadioFrequencyIdentification，RFID）傳感器的位置識別和進場軌跡生成來估計目標位置的研究。檢測裝載貨物的托盤的位置和方向，便于插入貨叉進行貨物搬運，是無人叉車非常重要的功能。

本研究利用深度學習的監督學習方法構建了一個物體檢測器，用于基于圖片來檢測托盤位置并計算托盤坐標，這是無人駕駛叉車基于自主性的技術之一，研究利用監督學習器識別托盤并估算托盤在圖片上的坐標[1]。

1托盤檢測系統

1.1深度學習物體檢測算法的環境

利用標簽圖像在電腦上進行了深度學習，實驗硬件環境為英特爾酷睿i7-9750H處理器，英偉達GTX1650顯卡，16G內存；軟件環境為Win10系統，Python3.7，所使用的深度學習框架為PyTorch。

1.2深度學習物體檢測算法

YOLO物體檢測算法用于識別托盤和托盤孔中心。YOLO是一種深度神經網絡算法，采用監督學習算法，基于卷積神經網絡（ConvolutionalNeuralNetwork，CNN）結構，可預測單張圖像中物體的類型和位置。YOLO算法由卷積層（ConvolutionalLayer）和全連接層（Fully-ConnectedLayer）組成，網絡結構如圖1所示。本研究采用YOLO算法是因為它具有簡單、快速的特點，在卷積層中提取圖像中的特征，在全連接層中定位檢測對象的邊界框位置并進行分類，這是網絡的最終輸出。

1.3驗證托盤數據集

為進一步研究做準備，本文中收集的用于識別托盤中心的圖像數據集的例子如圖2所示方式進行采集，即將托盤放在某一位置后，在各個采樣點將連接在電腦上的相機拍攝的圖像分成若干幀，生成有標記的圖像數據集，用于監督學習。采集的圖像在整個圖像個數中，按照60%的室內和40%的室外的比例收集圖像。收集到的數據集的圖像總數為1000張，其中600張室內訓練數據和400張室外訓練數據用于訓練托盤孔學習器[2]。

學習未知物的標簽被分為0類，代表托盤的中心；1類，代表托盤的前部；2類，代表托盤的孔。將托盤的每個部分分為三類進行監督學習的優勢在于，在識別托盤時可以提取每個物體的類型和位置坐標。為了驗證訓練模型的性能，通過得出平均精度（mAP）來評估模型的準確性，這是物體識別研究中常用的性能指標。深度學習模型使用了Yolov5s模型，該模型被稱為YOLO模型中最輕的模型，通過在訓練和驗證數據集上迭代200次，獲得了約88%的平均精確度[3]。

2托盤坐標估算

2.1單攝像頭的距離估算

無人叉車或AGV中托盤的檢測和定位是物流操作和材料處理中的一個重要問題。

使用攝像頭估算物體距離有兩種方法：基于三維攝像頭的距離估算和基于二維攝像頭的距離估算。基于三維立體相機的距離估算存在硬件成本高、處理時間長的缺點，因為距離估算算法復雜。因此，近年來人們積極研究2D單攝像頭，通過降低硬件配置成本和使用快速處理速度來實時估計汽車和貨物等物體的距離。

本研究中，二維攝像機檢測到的YOLO物體邊界框的像素大小隨距離的變化情況，即當采樣攝像頭接近托盤時的變化情況。采樣從3m距離接近托盤時檢測到的邊界框坐標，可以發現像素大小隨著攝像頭與物體之間距離的增加而成正比增加。這表明可以利用距離與物體像素大小之間的比例關系來估算距離，即使用一個比例公式來估算距離，該公式使用的關系是：深度學習識別的物體的方框大小與其距離成線性比例[4]。

實驗是在攝像頭靠近距離托盤300cm處開始估算距離的，實驗結果如表1所示。從表1中可以看出，當托盤距離小于或等于110cm或大于250cm時，攝像頭的距離估計誤差會增大。

2.2托盤坐標估算

一般來說，在物流工作環境中，估算托盤的坐標是非常重要的，不僅可以估算托盤與叉車的距離，還可以估算托盤的接近角，以便正確地進入和拾取貨物的貨叉。在本文中，使用了根據托盤在攝像頭獲取的圖片上的位置，并通過關系式來估算角度的方法[5]。

實驗從攝像頭估算托盤接近角度的示意圖，圖3所示顯示了攝像頭與托盤前方的夾角θ，實驗展示了托盤位于攝像頭左側和右側時如何估算角度。以攝像機獲取的圖像底部中心（h2，v2）到托盤底部中心（h1，v1）的距離L為斜邊得到一個三角形，并利用托盤中心到屏幕底部（h3，v3）的垂線Y計算出接近方位角，如公式1所示[6]。

在實驗中，攝像機被放置在X軸的原點，托盤朝向前方，如圖4所示，然后相對于攝像機的行進方向，托盤分別在2.0m、1.5m和1.0m處向左和向右水平移動50cm、測量托盤在實際空間中的角度和利用深度學習識別坐標和估算的角度（x，y，θ）。

從圖5可看出，在2m和1.5m處，對托盤方位角度的估算是準確的；而在1.0m處，由于鏡頭畸變，托盤離屏幕越來越近，估算角度的誤差也越來越大。

從圖5的結果可以確認，深度學習識別的托盤圖片提取的坐標可以估算托盤位置的角度。另外，通過角度估算，還可以確認托盤位置坐標（X，Y），如圖6所示。

圖6和圖7中的結果表明，根據托盤的實際位置，當托盤位于攝像機的左側和右側時，角度和距離估算值相似。

因此，實驗結果表明，托盤接近方位角θ的估算平均誤差為20%，接近角的估算最小誤差為10%。即，將接近角估算方法應用于無人駕駛叉車，在靜態條件下估算托盤的接近方位角是可行的。

3結語

在工程機械領域，無人叉車或AGV中托盤的檢測和定位是物流操作和材料處理中的一個重要問題。這就需要應用信息和通信技術以及人工智能等智能技術。在本研究中，利用深度學習預測托盤孔的中心。本研究的主要結果如下。

（1）將托盤的每個部分分為3類，利用深度學習進行CNN神經網絡訓練，從攝像頭圖像中檢測托盤和托盤孔。

（2）計算了從托盤底部中心到托盤孔中心的距離，發現預測中心的誤差在±5mm以內，這取決于與托盤的接近距離。

（3）使用深度學習來識別托盤邊界框，并提取像素坐標，進而估算出距離和接近方位角，可知估算托盤坐標的方法可行。

參考文獻

[1]王少韓.基于YOLOv5和樹莓派的火災識別研究[J].農業裝備與車輛工程.2022，60（8）：115-118.