基于多傳感器融合的智能分揀搬運車

趙恩波 于家旺 王曉鵬 曲強

摘要：設計了一款能夠自動識別和搬運貨物的機器人，該裝置主要利用點位圖來確定貨物的位置，通過路 徑規劃來尋找最短搬運路徑。在運動過程中，采用編碼器測量車輪轉動的速度、陀螺儀二重積分測量小車 3 個方向的加速度、光流測量小車相對于環境的運動速度，最終通過卡爾曼濾波對這 3 個數據進行融合，實 現對該裝置位置信息的實時獲取。識別方面采用 TensorFlow 深度學習框架對識別的對象進行分類，該模型 利用卷積神經網絡和注意力機制，提高了識別的準確性和速度。

關鍵詞：多傳感器融合；自動識別；卷積神經網絡

中圖分類號：TP242.2 文獻標識碼：A

0 引言

隨著工業化和信息化的發展，智能分揀搬運車 在物流、制造、倉儲等領域的應用越來越廣泛。智 能分揀搬運車是一種能夠自主識別、抓取、運輸和 放置不同物品的機器人，其可以提高生產效率、降 低人力成本、減少人為錯誤和安全風險。智能分揀 搬運車的關鍵是將攝像機頭、激光雷達、超聲等感 應器的數據進行有效整合，從而準確地識別出周圍 的環境及物體，并對其進行有效定位。本文基于機 器視覺技術，結合 OpenCV 視覺庫和 TensorFlow 深度學習框架，設計并實現了視覺引導分揀搬運作 業解決方案 [1]。

1 產品結構、組成與基本功能

1.1 裝置結構與組成

該裝置是基于多傳感器融合的智能分揀搬運 車，其組成結構為小車底盤、機械臂，貨物分揀倉 機械機構如圖 1 所示。

1.2 基本功能

1.2.1 已知貨物位置情況下搬運分揀貨物

智能分揀搬運車能夠自主達到物品附近，對需 要搬運的物品進行拾取和搬運，完成之后，可以 自動回庫等待下一次任務。智能分揀搬運車的車身 搭載串口 Wi-Fi 模塊，可以使用語音控制其到某一 位置進行搬運。識別分揀過程中，若貨物搬運結 束，可使用語音指揮分揀搬運車完成最后的任務并 回庫。

1.2.2 自動避障功能

運動過程中智能分揀搬運車如果遇到一些障礙 物，會自動停止，并嘗試繞過障礙物，以免車身與 障礙物發生碰撞。

2 產品設計

2.1 點位圖識別

裝置出發之前，有兩種確定貨物位置信息的 方案：一是為其提供貨物點位圖，其點位圖不一 定為精準坐標，大致坐標即可；二是通過電腦麥 克風使用語音控制小車到貨物附近，實現自動分 揀搬運。

智能分揀搬運車正上方搭載一個 OpenArt Mini 進行點位圖識別，其旁邊有 LED 燈帶進行補 光，從而提高攝像頭識別的準確率。代碼邏輯為 搜索黑色矩形框，在矩形框內尋找黑色圓點，并 求出黑色圓點到直線的距離，最終求出各個點的 位置坐標。

2.2 路徑規劃與速度規劃

采用深度體感攝像頭三維 RGBD 相機，其不僅 可以傳輸視頻，還能進行深度學習。如圖 2 所示， 以識別車道線為例，首先使用攝像頭拍攝一段車道 線的視頻，然后通過 OpenCV 將視頻每幀裁剪成一 張照片，從而形成圖片數據庫。

UNet 編碼—解碼網絡結構可以有效提取圖像的 特征信息 [2]，并利用這些特征信息構建高效的模 型。將原始圖像以及相關的標記信息輸入 UNet，以便更好地實現對圖像的識別。UNet 是一種常用 于圖像分割任務的深度學習架構，其第一個主要功 能是對數據進行特征抽象，而第二個主要功能是對 數據進行采集。通過神經網絡訓練得到的模型訓練 效果圖如圖 3 所示。

2.3 多數據融合

2.3.1 編碼器定位法

編碼器定位法是一種常用的位置估計方法，主 要用于測量旋轉或線性運動的位移和位置。這種設 備使用正交編碼器，其基于傳統的定位算法，但沒 有考慮編碼器的運行路徑信息。因此，設備模擬精 確性不佳。當機器人處于靜止狀態并進行旋轉運動 時，隨著運行速率的增加，其精確性會下降。由于 麥克納姆輪的特性，在實際應用過程中會出現打滑 的現象，從而造成定位不準，所以多傳感器數據融合顯得尤為重要。本文將探討一種全新的、結合正 交編碼器和慣性測量單元（inertial measurement unit， IMU）的機器人室內定位技術 [3]。

2.3.2 陀螺儀定位法

陀螺儀定位法是一種慣性導航方法，用于測量 和跟蹤物體的角速度和角度變化，從而推測物體的 姿態和位置信息。本裝置使用九軸陀螺儀，除了能 夠測量角速度信息，還能夠測量加速度等其他信 息。已知 3 個方向的加速度，便可對其進行二重積 分求位移距離。

2.3.3 卡爾曼濾波融合數據

基于已經獲取的 3 個位移量，為了進一步提高 位移量估計精度，提出了數據驅動與卡爾曼濾波融 合的估計方法 [4]。只需通過卡爾曼濾波融合成更為 準確的數據，實現過程如下。

步驟1：設狀態向量為 [x，y，u，v]。其中，x、 y 表示位置，u、v 表示速度。

步驟 2：設狀態轉移矩陣為 A，描述狀態向量 的變化關系。

步驟 15：通過卡爾曼增益的方式，對預測的狀態協方差矩陣進行有效的改變和調整。

其中，Pc 為修改后的狀態協方差矩陣，I 為單位 矩陣。

步驟 16：重復執行步驟 8 ～ 15，融合每個時 間步的光流、編碼器和陀螺儀數據，得到融合后的 位移和速度估計結果。

將數據采集之后換算成位移距離導入 MATLAB， 并對其數據進行融合。

2.4 貨物分揀

智能分揀搬運車搭載一個可旋轉的儲物倉，為 了任務運行得更流暢，搬運貨物均為卡片，儲物 倉放置卡片較為便利，后續如需裝載其他貨物，可 以增加儲物倉的面積。將所有貨物收集到儲物倉 中，便開始進入分類環節。本次任務設定 5 個分類 區，分別為整體區域的上、下、左、右和車載。儲 物倉中搭載電磁鐵，可以控制儲物門的開關，一旦 到達分類區域，打開儲物門即可將貨物放到指定 區域。

3 結語

人工智能、物聯網和“工業 4.0”的出現，引 發了一場顛覆性的變革，《中國制造 2025》的推出， 使得智能電子控制在物流行業的普及更加迅速，其 不僅改變了原有的搬運、分揀、裝配過程 [5]，而且 還極大地提升了整個行業的效率和質量。多傳感器 融合是一個復雜的問題，涉及傳感器的選擇、校 準、配準、數據融合、狀態估計等多個方面，需要 綜合考慮傳感器的性能、成本、可靠性等因素。本 文旨在研究基于多傳感器融合的智能分揀搬運車的 設計與實現，探索適用于不同場景和任務的多傳感 器融合方案，提高智能分揀搬運車的感知和控制 能力。

參考文獻

[1] 龍健寧 . 基于機器視覺的智能物流分揀搬運系統的研 究與應用 [D]. 廣州：華南理工大學，2021.

[2] 劉惠中，鄧富龍，劉茜茜，等 . 基于 Res-UNet 算 法的螺旋溜槽精礦帶識別分割方法研究 [J]. 有色金屬 （選礦部分），2024（2）：70-80.

[3] 胡天林，陳志偉，趙德博，等 . 基于編碼器與慣性 測量單元的定位系統設計 [J]. 實驗室研究與探索， 2022，41（5）：83-87，284.

[4] 李德俊 . 基于數據驅動與卡爾曼濾波融合的動力電 池 SOC 估計方法研究 [D]. 蕪湖：安徽工程大學， 2023.

[5] 張林 . 基于 51 單片機的智能分揀搬送系統設計 [J]. 江蘇通信，2021，37（4）：126-128.