基于行為的機器人自學習方法研究

寧 祎，閆 銘，杜寬森

（河南工業大學 機器人研究所，鄭州 450007）

0 引言

自從20世紀80年代中后期，Brooks等人把行為學引入機器人研究領域以來，基于行為的控制方法以其簡單、實用、易于實現等優點迅速成為機器人研究的熱點。時至今日，已有不少可喜的研究成果[1,2]。但許多對基于行為的機器人研究都是在已知環境參數的情況下對行為選擇算法進行各種智能控制方面的設計與優化研究[3～5]，不能實現機器人實時的在線學習。

本文提出一種在線學習方法，不給機器人初始化行為信息，而由機器人在行動過程中不斷總結經驗，自我學習，并能修正錯誤，以使自身更加適應各種不可預知的環境。

1 機器人模型

要讓機器人能自主學習行為，并對行為做出評價，這不僅要求機器人有基本的測距裝置，也要有簡單的碰撞檢測裝置。所以，本文以廣茂達能力風暴個人機器人為基礎，稍做改裝，只保留該機器人的驅動機構和碰撞檢測裝置（即微動開關）。機器人驅動機構（底盤結構）如圖1所示。該機器人有2組減速電機組，2個萬向輪，4個微動開關組成的碰撞檢測傳感器，1組鋰電電池[6]。

圖1 機器人驅動機構

圖2 微動開關

微動開關用于對機器人的碰撞檢測，以對機器人所做出的行為動作進行評價。微動開關分別位于機器人的左前、右前、左后、右后四個位置，微動開關如圖2所示。它們和機器人外周的懸掛式活動圓環共同組成了碰撞檢測裝置。

給機器人加裝超聲波傳感器，用于探測機器人與障礙物的距離，即感知周圍環境信息。傳感器分布示意圖如圖3所示。機器人一共有7個超聲波傳感器，編號S1～S7，相鄰兩個傳感器之間的夾角為30度。

圖3 傳感器分布示意圖

圖4 機器人坐標系

機器人由單片機控制。運行時，把機器人看作是一個圓，其半徑為r=10cm，機器人所在的位置坐標以圓心坐標來表示。構建機器人坐標系，如圖4所示。簡單起見，把機器人設置成始終以一個固定的速度v=10cm/s前進。

2 機器人行為設計

在基于行為的機器人學中，機器人的控制系統由一系列的行為構成。行為是為了完成特定任務的控制單元。每個行為根據所要完成的任務進行特定的感知，并輸出行為的控制命令。就目前大多數對行為機器人的研究來看，主要把機器人的行為分為目標趨向行為、避障行為、沿墻走行為和漫步行為等。

本文為了研究在線學習方法的效果，把機器人的行為只設計為避障、漫步和沿墻走這三種。不要目標趨向行為是因為本文主要是為了驗證機器人的自學習路徑規劃問題，暫時不考慮目標尋找問題。其結構如圖5所示。

圖5 本文設計采用的行為選擇機制

3 自學習方法

3.1 方法設計

機器人所采用的超聲波傳感器的有效范圍為10cm～4m之間。我們把機器人周圍的環境信息，即機器人與障礙物的距離分為三個等級：近（距離D≤15cm，用N表示）、中（15cm

機器人在行進過程中不斷的探測自己與周圍障礙物的距離。當有傳感器探測到離障礙物距離為中或近時，則根據探測到距離最近的傳感器所對應的角度值θi，讓機器人旋轉相應的角度θ（或-θ），然后沿著這一方向運行，行進一段距離后沒有發生碰撞，則認為這種判斷是正確的，把這種判斷與所對應的環境信息記錄下來，初始權值為0.1，最大權值為1；若行進一段距離后發生了碰撞，則認為這種判斷不正確，回到做出判斷前的位置，然后旋轉30°+θ（或-（30°+θ）），再行進一段距離，做出判斷；若還不能避免碰撞，則旋轉角度再增大30°（或-30°），直到不再碰撞，記錄信息與行為。行為學習流程圖如圖6所示。

圖6 行為自學習流程圖

其中，θi是傳感器i所測得的與障礙物的距離最近的傳感器對應的角度值，并且θi是θ的函數，即θi與θ滿足以下關系：

n初始化為0，如果第一次作出的行為決策不正確，則n會自加1，以使機器人旋轉更大的θ角。直到機器人判定此行為決策正確為止。

在機器人做出行為判斷后，到底行進多遠的一段距離才算合適呢？根據傳感器探測到的機器人與障礙物的最小距離D，如果機器人轉角30度行進，則機器人會在轉角后移動的最小碰撞檢測距離D1。如圖7(a)所示。由圖可計算得出D1的最小值為。如果機器人轉角60度行進，則機器人會在轉角后移動的最小碰撞檢測距離為D2。如圖7(b) 所示。由圖可計算得出D2的最小值為D2=2D。如果機器人正前方有障礙物，則機器人會左轉或右轉90度，我們設定此時機器人的最小碰撞檢測距離為D3=D。因為碰撞傳感器是物理裝置，在其實現功能時會有一個檢測反應距離存在，所以我們給每一個最小碰撞檢測距離都加上微動開關的反應距離d=3cm。由上，我們得出最小碰撞檢測距離Dis與旋轉角θ間的關系為：

在最小碰撞檢測距離Dis內，若沒有發生碰撞，則認為該行為與環境相符合，即適應該環境，記錄信息，以便后來查詢。若在最小碰撞檢測距離Dis內發生了碰撞，則認為該行為不符合該環境，不記錄或做出懲罰。

圖7 最小碰撞檢測距離

3.2 學習鞏固

機器人有一個行為處理信息表，這個表初始化是空的，第一次查找是找不到任何信息的，直到有一條學習成功的信息被記錄下來為止。當表中有信息時，則先查表中的信息。如果只查到一條符合當前環境的信息表，則按查到的處理情況做出行為決策，若選擇該行為后無碰撞發生，給該行為權值加0.1（最高為1），即給該行為一個行為獎賞；若有碰撞發生，給該行為權值減0.1（最小為0，在確定行為權值為0后會刪除該記錄），即給該行為一個行為懲罰。如果查表得到不止一個符合條件的信息，則比較權值，誰的權值大就以誰的行為來輸出，并根據運行結果做出相應的獎賞與懲罰。

4 實驗測試

本文所提出的機器人自學習方法的總流程如圖8所示。首次運行環境示意圖如圖9所示。經過一段時間測試后，獲取機器人第一次運行信息表中的信息，如表1所示。

結合運行環境示意圖分析表中信息，當機器人正前方有障礙物時（位置1），機器人隨機選擇了向左轉向90度，并記錄下來。當機器人走到位置2時，機器人探測到障礙物離60度方向角最近，所以選擇了向左轉向30度行進。行進到位置3時，探測到障礙物離30度方向角最近，所以選擇了向左轉向60度行進。當行進到位置7時，探測到正前方有障礙物，并選擇了已有的向左轉向90度信息執行。自此點后，機器人一直在一個小區域內運行（圖9中的機器人位置6，7，8，9所圍成的區域），所以可見表1中第一條信息的權值為1，第二、三條信息的權值只是0.2。與此同時，由第四條信息權值為1可見機器人很好的實現了沿墻走的行為選擇。

圖8 總流程圖

圖9 機器人首次運行軌跡示意圖

表1 第一次運行機器人信息表

在分析第一次運行結果以后，我們可以發現機器人對運行規則有較好的認識與執行。為進一步驗證規則，得到更多的信息，我們在原有信息的基礎上對其運行環境稍做改變，再進行實驗，如圖10所示。運行一段時間后得出信息表如表2所示。

圖10 改變運行環境后的運行軌跡示意圖

表2 第二次運行機器人信息表

分析第二次運行示意圖和得到的信息表，我們發現在第一次運行表的基礎上增加了三條信息，且各條信息的權值都為最高。這是因為機器人一直在沿著位置1一直到位置11所示的線路運行，且各個行為均選擇正確，沒有受過懲罰。至此，機器人信息表已基本建立完成，能夠適應示意圖中運行環境。

5 結束語

本文提出機器人行為選擇自學習方法，在機器人對環境的感知過程中讓機器人不斷累積經驗，并把經驗總結成規則記錄下來，以便碰到相同環境信息時查找并執行。經實驗測試，在簡單環境中能夠得到比較理想的結果。雖然如此，但仔細分析，發現還是少了一些信息：如當機器人正前方有障礙物時沒有向右轉的信息。這就需要我們結合實際情況并通過認真分析表中得到的結果，對機器人信息表做個補充與完善，以使機器人更適應運行環境。

這種方法以簡單環境為前提，實現起來比較容易，以后可逐漸增加環境障礙，為研究復雜環境下機器人自學習方法提供一個新的思路。

[1] 惲為民.基于行為的機器人學[J].華中科技大學學報(自然科學版),2004,10(32):15-19.

[2] 王義萍,陳慶偉,胡維禮.機器人行為選擇機制綜述[J].機器人.2009,9:472-480.

[3] 張惠娣,劉士榮,俞金壽.基于動力學系統方法的自主移動機器人行為設計[J].華東理工大學學報.2008,12：843-849.

[4] 謝敬,傅衛平,李德信,等.動態環境下基于行為動力學的移動機器人路徑規劃[J].西安理工大學報.2008,4(24)：411-414.

[5] 郝冬,劉斌.基于模糊邏輯行為融合路徑規劃方法[J].計算機工程與設計.2009,30(3):660-663.

[6] 上海廣茂達機器人公司.能力風暴智能機器人操作手冊[Z].2005.