基于STM32F4的智能分揀機器人設計與實現

李 海，王星馳，田英杰

基于STM32F4的智能分揀機器人設計與實現

李 海，王星馳，田英杰

（電子科技大學成都學院 微電子技術系，四川 成都 611731）

為實現對快遞包裹進行智能分揀和精準定位，設計了一款基于STM32F4+STM32F7的智能分揀機器人。采用OpenMV3攝像頭進行物體信息搜索，使用STM32F7單片機進行圖像數據信息處理以及信息發送，采用STM32F4作為機器人主控芯片，用來進行小車電機控制、自動避障、自動規劃路線、串口數據接收和舵機控制，雙CPU之間采用串口通信，使用四舵機機械臂進行物體的抓取以及搬運。經過多次實測，該系統可以精準識別目標物體，然后搬運到指定位置，并且速度快、精度高，可進行大量包裹智能分揀工作。

智能分揀機器人；單片機；傳感器；STM32F4；OpenMV3

隨著電子商務的飛速發展，快遞業成為快速成長的行業。為降低快遞企業的人力資源成本、提高快遞包裹的分揀速度、減少人員勞動強度，本文設計了快遞包裹智能分揀和搬運機器人系統[1]。該系統運用單片機、攝像頭、驅動電機、四舵機機械臂以及自動控制識別等技術，實現了道路環境的檢測、路線的自動規劃、對目標物體的抓取以及自動搬運等功能。經過多次實測，該機器人系統抓取精確度高、搬運速度快、抗干擾性強、成本較低，適用于倉庫分揀、物品搬運、全自動人工智能餐廳等作業。

目前市面上的搬運機器人大多需要有固定的軌道。配套軌道不但增加了設備成本，而且在物品意外掉落軌道外時，機器人難以處理。本文開發的機器人系統使用攝像頭進行物體識別，不需要固定的行走路線，對于環境適應性強，對于意外突發情況的處理能力強[2]。

1 系統的模塊化設計

智能分揀機器人在軟件和硬件上均采用模塊化設計，主要由主控模塊、視頻采集模塊、電機驅動模塊、電源模塊、機械臂模塊組成。系統總體框圖如圖1所示。

1.1 主控制模塊

采用STM32F407單片機作為主控芯片，STM32F765作為輔助控制芯片。由STM32F765控制OpenMV3攝像頭進行圖像數據采集，并將數據通過串口傳送給STM32F407主控芯片[3]，然后由STM32F407規劃最佳路線、控制電機實現前進至目標物體位置，控制機械臂抓取目標物體，并將其放至指定位置。

圖1 系統總體框架圖

1.2 視頻采集模塊

采用OpenMV3攝像頭進行視頻數據采集，使用python語言對STM32F765進行編程。OpenMV3攝像頭易于使用，并有大量庫函數供調用和修改。視頻數據處理原理是：采集的圖像經攝像頭內的感光組件電路進行處理，轉化成為數字信號供計算機識別[4]，然后由軟件進行圖像還原。在獲取圖像之后，通過查找目標物體的形狀和顏色進行目標物體識別，在找到目標物體之后，在圖片上建立坐標系，并將目標物體坐標經串口發送給STM32F407主控芯片。

1.3 自動避障模塊

智能分揀機器人采用單目攝像頭和紅外對管組成雙避障系統，可以最大限度地發現和識別障礙物并進行避讓。自動避障模塊可以選用參考物，利用參考物的尺寸比例計算與目標物體的距離[5]。紅外對管測距原理是通過改變電位器修改紅外線反射距離，通過改變單片機引腳電平來傳遞障礙物信息[6]。

1.4 電機驅動模塊

選用帶編碼器的直流減速電機，通過調節PWM波的占空比來控制電機的轉速。電機與STM32F4之間的連接如圖2所示。

圖2 電機驅動電路圖

1.5 機械臂模塊

使用四舵機機械臂，第一個舵機控制機械臂爪的豎直轉向，第二個舵機控制機械臂爪的彎曲程度，第三個舵機控制機械臂爪的水平轉向，第四個舵機控制機械臂爪的開合。

1.6 電源模塊

電源模塊為單電源供電模式，采用16.8 V的航模電池供電，通過2個LM2596降壓模塊將電壓降至5 V和3.3 V，分別給傳感器和單片機供電[7]。該供電方式可以保證機器人有一定的續航時間。如果要增加機器人的工作時間，可以用更大容量的電池替換航模電池，并且替換快捷、方便。降壓電路如圖3所示。

2 軟件系統的設計

智能分揀機器人軟件設計主要包含攝像頭圖像采集、目標距離識別、舵機控制、電機驅動和自動避障等模塊的編程。

2.1 攝像頭測距算法

攝像頭有兩方面的作用：一是監測物體，測出物體與小車之間的距離；二是識別物體的形狀和大小。

圖3 降壓電路

攝像頭測距原理如圖4所示。

在攝像頭與鏡頭中，m是鏡頭與攝像頭的距離

根據式（1）和式（2）可以得到：

在真實環境中，幾何關系為：

圖4 攝像頭測距原理圖

將公式（4）代入式（3），得：

即：實際距離和攝像頭里的像素成反比，簡化后，距離等于一個常數與直徑的像素的比值。通過這種算法可以得到機器人與目標物體之間的實際距離。根據對目標距離的計算可以得出測距的核心Python源碼。

2.2 物體形狀和顏色識別算法

首先，攝像頭獲取要分揀和搬運的目標物體的圖像，然后對目標物體進行LAB顏色識別，獲取目標物體的顏色組合。獲得顏色組合后再由攝像頭獲取目標物體的形狀，將獲得的目標圖像通過9×9均值濾波器進行去噪[8]，然后二值化圖像，得到對應圖像的數據進行編程計算。二值化圖像和二值化算法Python源碼如圖5所示。

(a) 目標原始圖像(b) 目標二值化圖像(c) 二值化算法源碼

其中image.binary(thresholds[,invert=False[,zero= False[,mask=None[,to_bitmap=False[,copy=False]]]]])函數根據像素是否在閾值列表thresholds的閾值內，將圖像中的所有像素設置為黑色或白色。thresholds 必須是[(lo, hi), (lo, hi), …, (lo, hi)]定義要追蹤的顏色范圍。對于灰度圖像，每個元組需要包含最小灰度值和最大灰度值。本文僅考慮落在這些閾值之間的像素區域。對于RGB565圖像，每個元組需要有6個值(l_lo，l_hi，a_lo，a_hi，b_lo，b_hi)，分別是 L、A和B通道的最小值和最大值。為方便使用，此功能將自動修復交換的最小值和最大值。

如果元組大于6個值，則忽略其余值；相反，如果元組太短，則假定其余閾值處于最大范圍。然后提取目標邊框信息，采集棱角數量、直線數量以及分布在像素點上的相對坐標。在記錄目標圖形特征之后，使用攝像頭重新獲取圖片，與目標物體進行相同的算法處理，然后記錄所獲得的棱角數量、直線數量以及分布在像素點上的相對坐標。如果與之前記錄的數據成比例，則識別成功。

2.3 機器人控制與檢測

運用狀態機的編程思路，設立狀態標志位。小車有尋找目標、抓取目標和搬運3種狀態。在系統初始化結束后，默認標志位為1，定義為尋找目標狀態；在找到目標之后更改標志位為2，定義為抓取目標狀態；在抓取目標成功后，狀態標志位修改為3，定義為搬運目標狀態。

2.4 程序流程圖

智能分揀機器人系統工作流程如圖6所示。

圖6 系統流程圖

系統上電后先進行初始化，機器人原地旋轉尋找目標物體。在發現目標物體后，向目標物體行進，在到達離物體設定距離時，使用機械臂抓取目標物體，然后將物體放到指定位置。機器人在行進途中遇到非目標物體障礙物時，將重新規劃路線以繞過障礙物。

2.5 電機驅動調速代碼

本設計通過調節PWM波的占空比來調節電機轉速[9-10]，通過控制兩個電機的轉速來控制機器人左轉右轉。機器人行駛控制代碼如下：

3 實物測試與結果

3.1 測試方案

（1）先進行硬件電路的檢測，確保電路無虛焊、漏焊；然后進行模塊測試，確保各個模塊的參數傳送正確。各個模塊的功能確保無誤后，進行系統的整體軟硬件聯調，確保各個整體系統連接的正確性。

（2）設定目標物體，將符合算法的顏色及形狀的物體進行無規則位置擺放，并指定最終目標區域；在機器人行進路徑上放置障礙物，檢測機器人自動避障功能；設立干擾目標物，檢測機器人識別抓取目標的準確性。

3.2 測試結果

經過多次測試，智能分揀機器人總體性能良好，OpenMV3攝像頭獲取圖片后可以準確提取有效信息，精準識別目標物體并且排除干擾項，成功建立平面直角坐標系并將目標物體坐標通過串口傳送至主控芯片。主控芯片能夠準確地控制電機，使機器人行進至距離目標物體指定的位置，并控制機械臂進行目標物抓取，抓取目標后通過識別標志物將物體放置在指定位置。機器人在行進途中遇到障礙物可以重新規劃路線并成功避開障礙物[11-12]。

4 結語

基于STM32F4的智能分揀機器人采用OpenMV3攝像頭，可以實現目標追蹤，采用STM32F407和STM32F765雙處理器處理數據，使數據的處理不會互相干擾。通過實驗測試，該智能機器人可以良好地實現分揀功能，且運行穩定性好、抗干擾能力強。

[1] 金琦淳，任俊，袁明新，等.復雜競賽任務中的自動分揀搬運機器人系統設計[J]. 輕工機械，2019, 37(2): 17–23, 28.

[2] 馬文凱，吳耀華，吳穎穎，等. 基于進化算法的跨巷道多層穿梭車倉儲系統的研究[J]. 機械工程學報，2019, 55(8): 216–224.

[3] 賈英輝，耿濤，徐光憲，等. 基于STM32的多氣體傳感器檢測光傳輸創新實驗系統設計[J]. 實驗技術與管理，2018, 35(7): 31–33.

[4] 宮浩，張秀再，胡敬鋒. 一種基于深度學習的遙感圖像分類及農田識別方法[J]. 現代電子技術，2019(8): 179–182, 186.

[5] 韓團軍. 基于STM32RCT6的無線地面智能排障小車的設計[J]. 實驗技術與管理，2018, 35(6): 151–155.

[6] 杜青，喬延華，韓淼，等. 基于金屬檢測的智能循跡小車設計[J]. 現代電子技術，2018, 41(17): 119–122.

[7] 艾皖東，盧浩，陳振斌，等. 基于導航系統的自動尋跡智能小車研究[J]. 汽車技術，2018(5): 1–5.

[8] 顏珂斐，杜娥. 物聯網智能家居的遠程視頻監控系統設計[J]. 實驗技術與管理，2018, 35(3): 151–153.

[9] 楊建民，趙玫，楊洪勇，等. 電磁導航智能尋跡小車方向控制算法的分析與應用[J]. 科學技術與工程，2016, 16(33): 71–78.

[10] 劉龍，李建奇，魏光宇，等. 基于圖像識別的自主尋跡智能小車設計[J]. 湖南文理學院學報（自然科學版），2016, 28(3): 62–66, 70.

[11] 陳小中，冒志建. 高校智能視頻監控實訓平臺設計探究[J]. 實驗室研究與探索，2019, 38(1): 128–132.

[12] 湯知日，常勝. 機器學習FPGA硬件實驗設計[J]. 實驗技術與管理，2018, 35(12): 152–155.

Design and realization of intelligent sorting robot based on STM32F4

LI Hai, WANG Xingchi, TIAN Yingjie

(Department of Microelectronics Technology, Chengdu University of Electronic Science and Technology, Chengdu 611731, China)

In order to realize the intelligent sorting and precise positioning of parcels,an intelligent sorting robot based on STM32F4+STM32F7 is designed. The OpenMV3 camera is used for object information search, and the STM32F7 SCM is adopted for image data processing and information transmission, STM32F4 is used as the main control chip of the robot, which is used for car motor control, automatic obstacle avoidance, automatic route planning, serial data reception, steering gear control, and serial communication between two CPUs. Four steering gear manipulators are applied to grasp and carry objects. After many tests, the system can accurately identify the target object and then move it to the designated location. It has high speed and precision and can carry out a large amount of intelligent parcel sorting work.

intelligent sorting robot; SCM; sensor; STM32F4; OpenMV3

TN02-34

A

1002-4956(2019)10-0155-04

10.16791/j.cnki.sjg.2019.10.037

2019-04-16

四川省教育廳2018年科研項目（18ZB0245）

李海（1986—），男，四川通江，碩士，講師，主要從事人工智能和智能控制的研究工作。