探究磁導(dǎo)航AGV深度強(qiáng)化學(xué)習(xí)路徑跟蹤控制方法

楊雯

（山東愛(ài)普電氣設(shè)備有限公司，山東 濟(jì)南 250101）

引言

自動(dòng)引導(dǎo)小車(chē)AGV（automatedguidedvehicle），是現(xiàn)代物流系統(tǒng)中的重要成員，它具有自動(dòng)化集成度高、柔性好、可靠性高、自動(dòng)導(dǎo)航運(yùn)行、安裝便利及使用方便等特點(diǎn)。AGV的導(dǎo)航方式眾多，包括視覺(jué)導(dǎo)航、GPS導(dǎo)航、激光導(dǎo)航、磁帶導(dǎo)引。其中磁帶導(dǎo)引由于實(shí)現(xiàn)簡(jiǎn)單，造價(jià)便宜，抗干擾能力強(qiáng)在工程領(lǐng)域應(yīng)用最廣。

一、AGV總體結(jié)構(gòu)和控制系統(tǒng)組成

本文設(shè)計(jì)的磁導(dǎo)航AGV由本體結(jié)構(gòu)、電氣控制單元和傳感器檢測(cè)單元三部分組成。AGV本體結(jié)構(gòu)為六輪式結(jié)構(gòu)，由位于車(chē)體中部驅(qū)動(dòng)單元的兩驅(qū)動(dòng)輪和前后四個(gè)萬(wàn)向輪組成。兩驅(qū)動(dòng)輪由兩個(gè)步進(jìn)電機(jī)通過(guò)差速驅(qū)動(dòng)實(shí)現(xiàn)AGV直行、轉(zhuǎn)向、避障等運(yùn)動(dòng)。

電控單元中采用西門(mén)子S7-200系列PLCCPU224XP作為主控制器，用PTO脈沖輸出方式完成AGV加速啟動(dòng)和減速停止時(shí)的步進(jìn)電機(jī)控制，PWM脈沖輸出方式完成軌跡跟蹤時(shí)的電機(jī)控制。傳感器檢測(cè)單元由用于磁條路徑檢測(cè)的磁傳感器和用于避障的超聲波傳感器和接觸式防撞傳感器組成，其中磁傳感器為AGV的“眼睛”，通過(guò)讀取磁條獲取小車(chē)位置和偏移狀態(tài)信息，主控制單元通過(guò)對(duì)其所得到的信息進(jìn)行分析，得到不同偏移狀態(tài)時(shí)的電機(jī)控制量，從而達(dá)到對(duì)AGV準(zhǔn)確控制的目的。

二、路徑跟蹤深度強(qiáng)化學(xué)習(xí)控制策略

路徑跟蹤問(wèn)題馬爾科夫建模強(qiáng)化學(xué)習(xí)是一類(lèi)用于解決馬爾可夫決策過(guò)程MDP）問(wèn)題的算法集合，需將目標(biāo)任務(wù)轉(zhuǎn)化為MDP問(wèn)題才能應(yīng)用強(qiáng)化學(xué)習(xí)算法。包括4個(gè)部分的設(shè)計(jì)，分別為智能體、狀態(tài)空間、動(dòng)作空間與獎(jiǎng)勵(lì)函數(shù)，智能體在本文中即為第一章所描述的AGV模型。

（一）智能體狀態(tài)空間設(shè)計(jì)

考慮到磁導(dǎo)航AGV通常只能得到磁感應(yīng)器中心點(diǎn)與磁條中心點(diǎn)的偏差距離這一外界信息。所以在感應(yīng)信息缺乏的情況下，若只利用傳感器當(dāng)前的觀(guān)測(cè)信號(hào)作為狀態(tài)表示，其狀態(tài)表示只能反映AGV車(chē)身一點(diǎn)與磁條的距離，并不能體現(xiàn)AGV車(chē)身方向與磁條路徑方向之間的夾角。上述問(wèn)題也被稱(chēng)為混淆狀態(tài)問(wèn)題，該狀態(tài)表示不滿(mǎn)足馬爾科夫特性。于是考慮加入最近N步的歷史狀態(tài)共同構(gòu)建狀態(tài)表示。

（二）智能體動(dòng)作空間設(shè)計(jì)

由于AGV由轉(zhuǎn)向驅(qū)動(dòng)輪驅(qū)動(dòng)，因此對(duì)AGV的控制輸出為驅(qū)動(dòng)輪轉(zhuǎn)動(dòng)力矩與驅(qū)動(dòng)輪轉(zhuǎn)向力矩，兩個(gè)力矩分別控制主動(dòng)輪的轉(zhuǎn)速與方向。伺服電機(jī)可輸出的力矩范圍是比較大的，若直接使用輸出力矩大小作為智能體的動(dòng)作輸出空間可能導(dǎo)致兩個(gè)問(wèn)題，其一是由于連續(xù)的動(dòng)作行為是被獨(dú)立隨機(jī)選擇的所以在訓(xùn)練的過(guò)程中智能體可能會(huì)連續(xù)輸出兩個(gè)差距較大的力矩值，這種情況可能會(huì)對(duì)電機(jī)的使用壽命造成影響，其二是智能體的動(dòng)作空間越大其訓(xùn)練的時(shí)間也會(huì)越長(zhǎng)，原因是導(dǎo)致探索的狀態(tài)空間變大了。

（三）策略函數(shù)參數(shù)更新方法

策略函數(shù)的更新使用了確定性策略梯度算法。確定性策略的梯度的存在，確定性策略梯度的提出避免了算法在動(dòng)作空間上的積分計(jì)算，使得策略梯度的估計(jì)效率大大的超過(guò)了隨機(jī)策略梯度算法。與隨機(jī)策略不同的是確定性策略的動(dòng)作輸出不存在隨機(jī)性，無(wú)法對(duì)狀態(tài)空間進(jìn)行探索，所以在使用確定性策略算法時(shí)需要在輸出動(dòng)作時(shí)加入隨機(jī)的探索噪音以實(shí)現(xiàn)對(duì)狀態(tài)空間的探索。

三、算法執(zhí)行流程

算法在應(yīng)用前需要進(jìn)行一段時(shí)間的訓(xùn)練，并在算法收斂后結(jié)束該階段。最終得到的策略函數(shù)即為將當(dāng)前AGV的狀態(tài)輸入映射為動(dòng)作輸出的路徑跟蹤控制器。訓(xùn)練階段結(jié)束后只保留策略函數(shù)部分作為AGV的路徑跟蹤控制器。基本步驟如下：（1）獲取AGV狀態(tài)信號(hào)st輸入到策略函數(shù)網(wǎng)絡(luò)中；（2）策略函數(shù)接收輸入狀態(tài)信號(hào)st后生成動(dòng)作at作為輸出，在加入探索噪音后返回給AGV執(zhí)行；（3）AGV執(zhí)行動(dòng)作at后得到獎(jiǎng)勵(lì)rt與下一個(gè)狀態(tài)st＋1，組合前一時(shí)刻狀態(tài)信號(hào)st并加入歷史信號(hào)后組成經(jīng)驗(yàn)樣本e（St，at，rt，St＋1）存儲(chǔ)到大小為1×10 4的經(jīng)驗(yàn)緩存池中；（4）從經(jīng)驗(yàn)緩存池中隨機(jī)采樣一個(gè)batch的經(jīng)驗(yàn)樣本用于訓(xùn)練；（5）使用采樣的經(jīng)驗(yàn)樣本，用式（12）計(jì)算損失函數(shù)；（6）通過(guò)隨機(jī)梯度下降的優(yōu)化方法最小化損失函數(shù)來(lái)更新值函數(shù)逼近網(wǎng)絡(luò)QSt，at｜（）ω的參數(shù)ω；（7）通過(guò)確定性策略梯度算法式來(lái)更新策略函數(shù)網(wǎng)絡(luò)μst｜（）θ的參數(shù)θ。

結(jié)語(yǔ)

仿真結(jié)果及分析路徑跟蹤仿真中使用了兩個(gè)半徑分別為6m與4m的圓弧連接3段直線(xiàn)作為跟蹤路徑。首先在訓(xùn)練階段中，考慮到磁條傳感器的寬度通常為20cm，其最大測(cè)量誤差為±10cm。所以將誤差允許范圍限定為±10cm，當(dāng)AGV的跟蹤誤差大于±10cm時(shí)則判定出軌并結(jié)束本次跟蹤任務(wù)，將AGV重置為誤差在±10cm范圍內(nèi)的隨機(jī)初始狀態(tài)，進(jìn)入下次迭代。AGV每次出軌或是行駛完跟蹤路徑的全程則為一次完整的。在模型性能驗(yàn)證中，AGV的起點(diǎn)坐標(biāo)為（9.9.0），初始誤差設(shè)置為0.1m，去除探索噪音只保留策略函數(shù)部分作為控制輸出。