基于強化學習的機器人智能路徑規劃*

謝文顯，孫文磊，劉國良，徐洋洋

(新疆大學機械工程學院，烏魯木齊 830047)

0 引言

隨著工業4.0逐步普及，各制造工廠都依靠自動化生產線逐漸實現智能化。為降低生產成本、提高焊接的效率和精度、減輕作業的強度和風險，人工焊接已基本被焊接機器人所取代。而作為降低成本和提高效率的前提，對焊接路徑進行合理的規劃必不可少。目前，對焊接機器人路徑規劃的研究大都在算法上進行改進來縮短路徑規劃的時間，這些算法可大致分為傳統路徑規劃算法，如A*算法、D*算法、RRT算法等；以及仿生智能路徑規劃算法，如遺傳算法(GA)、果蠅優化算法(FOA)、粒子群算法(PSO)等。孫靈碩[1]運用改進的RRT-Connect算法，有效地避免了隨機樹在路徑搜索過程中陷入凹形障礙區域所造成的算法性能下降的問題。裴躍翔等[2]引入一種結合模擬退火算法的篩選操作來改進基本遺傳算法，增強算法局部搜索能力，改善了GA容易陷入局部最優、搜索過程比較慢以及效率低下的問題。姚江云等[3]提出改進人工蜂群算法，用Lévy (萊維) 分布代替偵查蜂尋找新蜜源的過程中原有0～1之間的隨機分布，使焊接機器人在較短的時間內搜索到全局最優路徑。

雖然上述算法已經發展的較為成熟，但它們只能規劃出固定場景下的最優路徑，當機器人所在環境發生變化后，機器人需要重新認識環境后才能進行路徑規劃，這無疑會消耗大量的時間。針對現實中機器人在應用時所面對的多變的環境，若能讓機器人通過訓練學會某種策略，使其即使面對全新的環境也能直接進行路徑規劃，不僅會增加機器人的適應性，還能節省大量的人力物力資源，進而提高工作的效率。……