基于改進(jìn)強(qiáng)化學(xué)習(xí)的無(wú)人機(jī)規(guī)避決策控制算法

Tajmihir Islam Teethi，盧 虎，閔 歡，卞志昂

(空軍工程大學(xué)信息與導(dǎo)航學(xué)院，陜西 西安 710077)

0 引言

無(wú)人機(jī)自主飛行、自主導(dǎo)航是提高無(wú)人系統(tǒng)智能化水平的重要基礎(chǔ)。在與真實(shí)世界的交互過(guò)程中，避障是無(wú)人機(jī)應(yīng)當(dāng)具有的最基本的功能之一。目前，很多無(wú)人機(jī)廠商，如中國(guó)的大疆、法國(guó)的PARROT等公司也都將自主避障能力作為其無(wú)人機(jī)產(chǎn)品的一項(xiàng)重要技術(shù)指標(biāo)。當(dāng)前，無(wú)人機(jī)的自主避障主要是通過(guò)機(jī)載傳感器獲取障礙物的距離、位置、速度等有效信息，再根據(jù)障礙物信息自主規(guī)劃出合理的路徑，從而保證其在運(yùn)行的過(guò)程中避開(kāi)障礙[1-2]。

傳統(tǒng)的無(wú)人機(jī)自主避障技術(shù)主要由障礙感知與避障規(guī)劃兩大功能模塊組成。障礙感知是指無(wú)人機(jī)通過(guò)機(jī)載傳感器實(shí)時(shí)獲取周邊障礙物的信息。避障所常用的傳感器主要包括超聲波傳感器、激光雷達(dá)、雙目視覺(jué)傳感器等。SLAM(simultaneous localization and mapping)技術(shù)可以為避障提供更加豐富全面的地圖環(huán)境信息，因此在近幾年的研究中，SLAM技術(shù)被廣泛應(yīng)用于移動(dòng)機(jī)器人自主導(dǎo)航避障[3-4]。但基于SLAM的避障方法仍需要手動(dòng)調(diào)試大量的構(gòu)圖模型參數(shù)以達(dá)到良好的建圖效果和可靠的路徑規(guī)劃，且在一架無(wú)人機(jī)上調(diào)試好的一套構(gòu)圖參數(shù)，由于平臺(tái)、傳感器載荷等的性能差異并不完全適用于另一架無(wú)人機(jī)。

當(dāng)前，人工智能正在飛速發(fā)展，基于強(qiáng)化學(xué)習(xí)的避障方法通過(guò)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端動(dòng)作決策，使得無(wú)人機(jī)避障無(wú)須“額外”的建圖過(guò)程，取而代之的是一種即時(shí)自主的行為，并且避免了復(fù)雜的建模和大量的參數(shù)調(diào)整，而且因其不需要建圖的特性，此類(lèi)基于學(xué)習(xí)的避障方法也能更好地適應(yīng)于未知無(wú)圖的應(yīng)用場(chǎng)景[5-6]。

1 強(qiáng)化學(xué)習(xí)的馬爾可夫決策表示

強(qiáng)化學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一大分支[7]，其基本思想是，智能體在完成某項(xiàng)任務(wù)時(shí)，通過(guò)動(dòng)作與環(huán)境進(jìn)行交互，環(huán)境在動(dòng)作的作用下會(huì)返回新的狀態(tài)和獎(jiǎng)勵(lì)值，獎(jiǎng)勵(lì)值越高說(shuō)明該動(dòng)作越好，反之則說(shuō)明該動(dòng)作應(yīng)該被舍棄，經(jīng)過(guò)數(shù)次迭代之后，智能體最終會(huì)學(xué)到完成某項(xiàng)任務(wù)的最優(yōu)策略。強(qiáng)化學(xué)習(xí)基本的原理框架如圖1所示。

圖1 強(qiáng)化學(xué)習(xí)基本原理框架Fig.1 The principle framework of reinforcement learning

圖2 馬爾可夫決策過(guò)程示例Fig.2 An example of Markov decision process

在強(qiáng)化學(xué)習(xí)中，從初始狀態(tài)S1到終止?fàn)顟B(tài)的序列過(guò)程S1，S2，…，ST，被稱(chēng)為一個(gè)片段，一個(gè)片段的累積獎(jiǎng)勵(lì)定義為式(1)，式中，rτ為智能體在τ時(shí)刻從環(huán)境獲得的即時(shí)獎(jiǎng)勵(lì)值，T為智能體達(dá)到終止?fàn)顟B(tài)時(shí)的時(shí)刻

(1)

除此之外，強(qiáng)化學(xué)習(xí)還在馬爾可夫決策過(guò)程的基礎(chǔ)上，定義了智能體的策略π(a|s)，策略π表示的是智能體在狀態(tài)s下的動(dòng)作的概率分布，其定義為：

π(a|s)=P[At=a|St=s]。

(2)

強(qiáng)化學(xué)習(xí)的目的就是通過(guò)不斷試錯(cuò)來(lái)改善智能體的策略π(a|s)，以最大化其獲得的累積獎(jiǎng)勵(lì)，因此引入了值函數(shù)來(lái)評(píng)價(jià)某個(gè)策略獲得的累積獎(jiǎng)勵(lì)。一般來(lái)說(shuō)值函數(shù)分為兩種：狀態(tài)值函數(shù)(V函數(shù))和狀態(tài)動(dòng)作值函數(shù)(Q函數(shù))。V函數(shù)的定義是，從狀態(tài)s開(kāi)始，使用策略π得到的期望獎(jiǎng)勵(lì)值，其定義式

Vπ(s)=E[Gt|St=s]。

(3)

Q函數(shù)的定義為，從狀態(tài)s開(kāi)始，執(zhí)行動(dòng)作a，然后使用策略π得到的期望獎(jiǎng)勵(lì)值，其定義式

Qπ(s，a)=Ε[Gt|St=s，At=a，π]。

(4)

最終得到V函數(shù)的貝爾曼期望方程

Vπ(s)=E[rt+γVπ(St+1)|St=s]。

(5)

貝爾曼期望方程將V函數(shù)的求取分為了兩部分，一部分是當(dāng)前的即時(shí)獎(jiǎng)勵(lì)rt，另一部分是后繼狀態(tài)St+1的V值。同理，也可以推導(dǎo)出Q函數(shù)的貝爾曼期望方程

Qπ(s，a)=E[rt+γQπ(St+1，At+1)|St=s，At=a，π]。

(6)

定義最優(yōu)值函數(shù)為所有策略中最大的值函數(shù)，即

V*(s)=maxπVπ(s)，

(7)

Q*(s，a)=maxπQπ(s，a)。

(8)

2 基于改進(jìn)強(qiáng)化學(xué)習(xí)的無(wú)人機(jī)規(guī)避決策控制算法

2.1 無(wú)人機(jī)視覺(jué)避障的馬爾可夫決策模型

無(wú)人機(jī)視覺(jué)避障的強(qiáng)化學(xué)習(xí)問(wèn)題可以表述為無(wú)人機(jī)通過(guò)視覺(jué)傳感器與環(huán)境交互的馬爾可夫決策過(guò)程：無(wú)人機(jī)獲取當(dāng)前時(shí)刻t的視覺(jué)圖像st，根據(jù)策略π(a|s)執(zhí)行動(dòng)作at，觀測(cè)環(huán)境反饋的獎(jiǎng)勵(lì)值rt，然后轉(zhuǎn)移到后繼狀態(tài)st+1，其中t∈(0，T]，at∈A，A為智能體的動(dòng)作集，T為每個(gè)交互片段的終止時(shí)刻。

Qπ(st，at)=E[Gt|st，at，π]。

(9)

根據(jù)貝爾曼期望方程，當(dāng)前Q值可以進(jìn)一步通過(guò)當(dāng)前獎(jiǎng)勵(lì)和后繼狀態(tài)的Q值求出：

Qπ(st，at)=E[rt+γQπ(st+1，at+1)|st，at，π]。

(10)

智能體的動(dòng)作決策依據(jù)是每個(gè)動(dòng)作的最優(yōu)Q值：

Q*(st，at)=maxπQπ(st，at)=maxπE[Gt|st，at，π]。

(11)

因此，將Q函數(shù)的貝爾曼期望方程進(jìn)一步轉(zhuǎn)化為貝爾曼最優(yōu)方程的形式，即當(dāng)前的最優(yōu)Q值可以通過(guò)當(dāng)前獎(jiǎng)勵(lì)和后繼狀態(tài)的最優(yōu)Q值中的最大值求出：

(12)

在求得每個(gè)狀態(tài)動(dòng)作對(duì)(st，at)的最優(yōu)Q值之后，智能體便可以在不同的輸入狀態(tài)下進(jìn)行最優(yōu)動(dòng)作決策，從而生成最優(yōu)策略π*(a|s)，其決策的核心思想是貪婪思想，即選擇輸入狀態(tài)下最大的最優(yōu)Q值所對(duì)應(yīng)的動(dòng)作作為最優(yōu)動(dòng)作：

(13)

2.2 深度Q網(wǎng)絡(luò)的改進(jìn)方法

在強(qiáng)化學(xué)習(xí)問(wèn)題中，狀態(tài)是智能體選擇動(dòng)作的重要依據(jù)，狀態(tài)的設(shè)置可以是智能體對(duì)環(huán)境的觀測(cè)，也可以是智能體的自身狀態(tài)。在無(wú)人機(jī)避障過(guò)程中，無(wú)人機(jī)需要感知與障礙物之間的距離，因此選擇無(wú)人機(jī)視覺(jué)傳感器采集的深度圖作為無(wú)人機(jī)的狀態(tài)。

為了能使無(wú)人機(jī)更好地做出合理的決策，設(shè)計(jì)無(wú)人機(jī)的狀態(tài)為連續(xù)抓取深度圖組成的深度圖堆，如圖3所示。這樣設(shè)計(jì)的好處在于使?fàn)顟B(tài)中既包含了深度信息又隱含了無(wú)人機(jī)的運(yùn)動(dòng)信息，考慮到無(wú)人機(jī)運(yùn)行時(shí)的實(shí)時(shí)性，最終決定以連續(xù)抓取4幀深度圖來(lái)組成一個(gè)深度圖堆。

圖3 無(wú)人機(jī)狀態(tài)空間設(shè)置Fig.3 State space configuration of drone

動(dòng)作空間是無(wú)人機(jī)能夠執(zhí)行的具體動(dòng)作，為了使網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練能得到更加可靠的避障策略，需要以無(wú)人機(jī)能及時(shí)規(guī)避障礙為目標(biāo)，合理地設(shè)計(jì)無(wú)人機(jī)的動(dòng)作空間。本文所設(shè)計(jì)的離散動(dòng)作空間如圖4所示，分為前進(jìn)和轉(zhuǎn)向兩大動(dòng)作組。前進(jìn)動(dòng)作組控制無(wú)人機(jī)的前進(jìn)速度，其中包含快速前進(jìn)和慢速前進(jìn)2個(gè)動(dòng)作：v∈(4，2)m/s。轉(zhuǎn)向動(dòng)作組控制無(wú)人機(jī)偏航角速率，其包含快速左轉(zhuǎn)、左轉(zhuǎn)、停止轉(zhuǎn)向、右轉(zhuǎn)、快速右轉(zhuǎn)5個(gè)動(dòng)作：yawrate∈(π/6，π/12，0，-π/12，-π/6)rad/s。動(dòng)作空間總共包含7個(gè)動(dòng)作，通過(guò)前進(jìn)動(dòng)作和轉(zhuǎn)向動(dòng)作的組合共能生成10種動(dòng)作指令，基本包含了無(wú)人機(jī)常見(jiàn)的機(jī)動(dòng)方式。

圖4 無(wú)人機(jī)離散動(dòng)作空間Fig.4 Discrete action space of drone

為了提高訓(xùn)練過(guò)程的穩(wěn)定性和學(xué)習(xí)效率，本節(jié)結(jié)合double Q-learning[10]和dueling network[11]方法，設(shè)計(jì)了用于無(wú)人機(jī)視覺(jué)避障的D3QN(dueling double DQN)網(wǎng)絡(luò)，如圖5所示。

圖5 無(wú)人機(jī)視覺(jué)避障D3QN網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 D3QN network structure for drone visual obstacle avoidance

本文所設(shè)計(jì)的D3QN網(wǎng)絡(luò)的輸入是連續(xù)4幀的深度圖，尺寸為160×128×4，經(jīng)過(guò)3層卷積神經(jīng)網(wǎng)絡(luò)提取特征后，按照dueling network分為兩個(gè)數(shù)據(jù)流，再通過(guò)兩層全連接層，網(wǎng)絡(luò)的最終輸出是動(dòng)作空間內(nèi)各個(gè)動(dòng)作的Q值。網(wǎng)絡(luò)的損失函數(shù)為：

(14)

網(wǎng)絡(luò)規(guī)避訓(xùn)練算法如下：

1：初始化在線網(wǎng)絡(luò)權(quán)重參數(shù)θ，初始化目標(biāo)網(wǎng)絡(luò)權(quán)重參數(shù)θ-=θ；

2：初始化記憶回放單元D；

3：For episode=1,Mdo；

4：讀取初始狀態(tài)st；

5：Fort=1,Tdo；

6：計(jì)算當(dāng)前狀態(tài)下所有動(dòng)作的Q值Q(st，a，θ)，a∈A；

7：根據(jù)小概率ε選擇隨機(jī)動(dòng)作at∈A，否則選擇動(dòng)作at=argmaxa∈AQ(st，a，θ)；

8：無(wú)人機(jī)執(zhí)行動(dòng)作a，觀測(cè)獎(jiǎng)勵(lì)值和后繼狀態(tài)rt和后繼狀態(tài)st+1；

9：將五元組{st，at，rt，st+1，reset}存入D，reset用于判斷st+1是否終止?fàn)顟B(tài)；

10：狀態(tài)轉(zhuǎn)移st=st+1；

11：從記憶回放單元隨機(jī)采樣n個(gè)樣本數(shù)據(jù){st，at，rt，st+1，reset}i，i=1，…，n；

12：計(jì)算YtDDQN=

14：每C步更新目標(biāo)網(wǎng)絡(luò)參數(shù)θ-=θ。

3 實(shí)驗(yàn)驗(yàn)證與分析

3.1 仿真平臺(tái)搭建

為了驗(yàn)證本文所提出的視覺(jué)自主避障算法的可行性與有效性，在AirSim仿真平臺(tái)[12]上開(kāi)展了無(wú)人機(jī)避障仿真實(shí)驗(yàn)。

無(wú)人機(jī)視覺(jué)自主避障的訓(xùn)練環(huán)境，為40 m×40 m×30 m的方盒世界，如圖6所示，其全局坐標(biāo)系位于方盒的中心，無(wú)人機(jī)的初始位置設(shè)置于坐標(biāo)系的原點(diǎn)，然后在其中布置了三種不同形狀的障礙物，在訓(xùn)練環(huán)境中以算法訓(xùn)練無(wú)人機(jī)感知障礙、規(guī)避障礙的能力。隨后搭建了如圖7所示的泛化測(cè)試環(huán)境，測(cè)試場(chǎng)景1在訓(xùn)練環(huán)境的基礎(chǔ)上，對(duì)原來(lái)的3個(gè)柱形障礙物進(jìn)行了移動(dòng)，測(cè)試場(chǎng)景2則是在方盒世界中加入了更多的障礙物。

圖6 無(wú)人機(jī)避障訓(xùn)練環(huán)境 Fig.6 UAV obstacle avoidance training environment

圖7 泛化測(cè)試場(chǎng)景Fig.7 Generalization test scenario

為了測(cè)試基于D3QN的無(wú)人機(jī)導(dǎo)航避障算法能力，搭建了如圖8所示的未知測(cè)試場(chǎng)景：無(wú)人機(jī)按照從初始位置→目標(biāo)位置的路徑執(zhí)行多航點(diǎn)任務(wù)，導(dǎo)航途中面臨多個(gè)障礙物，以模擬復(fù)雜城市低空復(fù)雜場(chǎng)景。

圖8 未知測(cè)試場(chǎng)景Fig.8 Unknown test scenario

3.2 網(wǎng)絡(luò)性能對(duì)比

首先，為了分析所設(shè)計(jì)的D3QN網(wǎng)絡(luò)的優(yōu)勢(shì)，分別采用了D3QN、DDQN、DQN三種不同網(wǎng)絡(luò)在訓(xùn)練環(huán)境中進(jìn)行訓(xùn)練，網(wǎng)絡(luò)訓(xùn)練的硬件條件為CPU：2.70 GHz×8，GPU：RTX2080ti 11 GB，三種網(wǎng)絡(luò)訓(xùn)練的總片段數(shù)均設(shè)置為1 000，每次從記憶回放單元采樣32個(gè)樣本數(shù)據(jù)進(jìn)行梯度下降，訓(xùn)練過(guò)程中的獎(jiǎng)勵(lì)值曲線如圖9所示。

可以看出，D3QN模型最先開(kāi)始收斂(約600片段)，DDQN和DQN收斂較慢(約800片段)，D3QN的訓(xùn)練速度相比DDQN和DQN提升了約25%，并且平均每個(gè)片段的累積獎(jiǎng)勵(lì)高于DDQN和DQN模型；DDQN相比于DQN，兩者的收斂速度相差不大，但DDQN的平均獎(jiǎng)勵(lì)水平高于DQN。這可能是由于D3QN和DDQN模型都運(yùn)用了Double Q-learning，改善了DQN的過(guò)估計(jì)問(wèn)題，給予智能體更多的探索機(jī)會(huì)，使其能夠獲得更高的獎(jiǎng)勵(lì)值。綜合對(duì)比來(lái)看，D3QN模型的訓(xùn)練效率最高，達(dá)到了預(yù)期的改進(jìn)效果。

圖9 不同網(wǎng)絡(luò)訓(xùn)練獎(jiǎng)勵(lì)曲線對(duì)比Fig.9 Comparison of reward curves for different network training

3.3 規(guī)避決策控制算法泛化測(cè)試

為了進(jìn)一步測(cè)試訓(xùn)練好的D3QN網(wǎng)絡(luò)的泛化性能，接下來(lái)分別在泛化測(cè)試場(chǎng)景1和2中加載D3QN網(wǎng)絡(luò)模型，并運(yùn)行算法進(jìn)行實(shí)際飛行測(cè)試，簡(jiǎn)明起見(jiàn)僅給出場(chǎng)景1的飛行過(guò)程中記錄的運(yùn)動(dòng)軌跡以及無(wú)人機(jī)的轉(zhuǎn)向控制動(dòng)作，如圖10所示。

圖10 泛化測(cè)試結(jié)果Fig.10 Generalization test results

在場(chǎng)景1的泛化測(cè)試中，無(wú)人機(jī)沒(méi)有事先對(duì)環(huán)境構(gòu)建全局地圖，由記錄的運(yùn)行軌跡可以看出，無(wú)人機(jī)在未知的新環(huán)境下也能進(jìn)行無(wú)碰撞的自主飛行，通過(guò)學(xué)習(xí)得到的規(guī)避決策能力具有較好的自適應(yīng)性，在圖10(b)記錄的轉(zhuǎn)向控制動(dòng)作中雖然出現(xiàn)了較多的跳變現(xiàn)象，但是其不影響整體的避障性能。

綜上可以看出，本文算法訓(xùn)練出的避障策略，對(duì)環(huán)境的改變具有較好的自適應(yīng)能力，訓(xùn)練后的D3QN網(wǎng)絡(luò)也表現(xiàn)出了較好的泛化性能。

3.4 導(dǎo)航避障算法測(cè)試

為了進(jìn)一步測(cè)試把規(guī)避決策應(yīng)用到具體任務(wù)中的表現(xiàn)性能，在搭建的圖8的未知測(cè)試場(chǎng)景中對(duì)算法進(jìn)行了測(cè)試，測(cè)試結(jié)果如圖11所示。

從仿真測(cè)試結(jié)果可以看出，無(wú)人機(jī)在執(zhí)行航點(diǎn)導(dǎo)航任務(wù)的過(guò)程中，能夠判斷出前方是否存在障礙，并能做出合理決策，及時(shí)進(jìn)行規(guī)避，在避開(kāi)障礙之后繼續(xù)朝著設(shè)置的航點(diǎn)飛行。

圖11 飛行軌跡(多航點(diǎn)任務(wù))導(dǎo)航避障算法測(cè)試飛行軌跡Fig.11 Flight trajectory (multi-waypoint task) navigation obstacle avoidance algorithm test flight trajectory

相比于基于地圖和規(guī)劃的避障方法，基于學(xué)習(xí)的避障方法直接根據(jù)圖像作出相應(yīng)決策，其優(yōu)勢(shì)在于不依賴(lài)地圖，能較好地適用于未知無(wú)圖的環(huán)境。但是在建圖良好的情況下，基于地圖和規(guī)劃的避障方法可以依據(jù)規(guī)劃好的路徑，控制無(wú)人機(jī)以盡可能快的速度飛行，其動(dòng)作連續(xù)，控制更加精準(zhǔn)，最大運(yùn)行速度可達(dá)10 m/s。而在本章的仿真實(shí)驗(yàn)中，考慮到圖像處理、網(wǎng)絡(luò)計(jì)算量以及動(dòng)作空間的離散性，無(wú)人機(jī)自主飛行的最大速度為4 m/s。

4 結(jié)論

無(wú)人機(jī)規(guī)避決策的導(dǎo)航控制問(wèn)題是無(wú)人機(jī)的核心技術(shù)之一，論文研究成果有助于進(jìn)一步完善無(wú)人機(jī)智能化、集群化的相關(guān)算法與技術(shù)，提升無(wú)人機(jī)中低空飛行的導(dǎo)航控制性能。但本文提出的基于改進(jìn)強(qiáng)化學(xué)習(xí)的無(wú)人機(jī)視覺(jué)避障算法，仍有較大性能提升空間。如文中提出的D3QN網(wǎng)絡(luò)只能輸出離散動(dòng)作空間，且只適用于旋翼無(wú)人機(jī)，為了進(jìn)一步提升避障控制的精準(zhǔn)程度以及算法的通用性，還應(yīng)當(dāng)研究旋翼無(wú)人機(jī)和固定翼無(wú)人機(jī)飛行控制的共性與區(qū)別，設(shè)置維度更大的動(dòng)作空間來(lái)組合形成不同的運(yùn)動(dòng)模式，或是改用基于策略梯度的深度強(qiáng)化學(xué)習(xí)算法學(xué)習(xí)連續(xù)化的避障策略；其次是所提避障算法從仿真到真實(shí)環(huán)境的泛化問(wèn)題，在仿真器中訓(xùn)練無(wú)人機(jī)避障時(shí)，仿真器所提供的深度圖過(guò)于理想，不存在任何噪聲，實(shí)踐中應(yīng)對(duì)其進(jìn)行加噪聲處理，從而使仿真器提供的環(huán)境更加逼近真實(shí)環(huán)境。上述問(wèn)題都有待進(jìn)一步的深入研究、技術(shù)拓展并逐步完善。