基于視覺的機器人自主泊位系統研究

周菁

（中國電子科技集團公司第二十研究所雷達部西安710068）

基于視覺的機器人自主泊位系統研究

周菁

（中國電子科技集團公司第二十研究所雷達部西安710068）

針對日益增高的對機器人自主性的要求，以及視覺系統在自主泊位方面的研究還相對較少的現狀，論文提出一種基于視覺的機器人自主泊位系統。該系統由視覺子系統、基于bang-bang控制方案的導航子系統、位姿校準子系統、和行為協調狀態機組成。論文提出的機器人自主泊位系統能使移動機器人自主運動并?？康接扇斯俗R物指定的特定位置上。該系統的潛在應用包括機器人自行前往續能站以解決機器人能源自治問題，無人船到港泊位問題等，具有重要的軍事和民用價值。物理實驗結果表明，該泊位系統設計正確，滿足實時性要求，易于實現。

視覺系統；自主泊位；位姿校準

Class NumberTP242

1 引言

輪式自主移動機器人是一個具備外部環境感知、自主決策和導航行駛的一體化綜合系統。機器人對外部環境的感知按照傳感器類型可分為被動感知和主動感知兩種。其中依靠對可見與不可見光成像的方法進行感知的模式稱為被動感知，例如使用CCD相機的視覺系統；而使用聲納、激光、雷達等主動收發脈沖信號的傳感器進行探測的模式稱為主動感知。基于視覺系統的主動感知具有信息量大、智能程度高的優點，即使經圖像壓縮處理丟棄大部分信息后，也比激光等主動傳感器更精確［1］。因此，視覺系統在機器人焊接、分揀［2］、裝配［3］、智能制造［4］等方面具有廣泛的應用，但在自主泊位上的研究還相對較少。機器人自主泊位是指移動機器人自主運動到特定的位置和方向位姿的過程［5］。讓機器人自行前往續能站進行自主泊位是機器人解決能源自治問題的關鍵環節，具有重要軍事和民用價值。本文提出一種基于視覺的機器人自主泊位系統，該系統由視覺子系統、基于bang-bang控制方案的導航子系統、位姿校準子系統、和行為協調狀態機組成。

2 機器人視覺子系統

1973年，Shirai和Inoue提出利用視覺系統采集的圖像來獲取關于某景物或動作的描述和控制數據的概念［6］。本文所設計的機器人視覺子系統完成對圖像的自動采集與分析，將獲得的泊位標識物位置作為反饋信息以完成機器人泊位任務。

2.1 視覺子系統的組成

機器人視覺子系統的組成如圖1所示。

原始圖像由視覺子系統逐步處理和分析，完成對標識物的分割、提取、定位、符號性描述等，最終生成機器人執行泊位任務時所依賴的信息。該子系統由四個模塊組成，按照從左到右的順序依次為：

1）圖像金字塔模塊：壓縮圖像以提高信息處理速度；

2）反向投影模塊：基于顏色直方圖的目標分割；

3）外接矩形模塊：目標提??；

4）行為信息生成模塊：生成與標識物方位相關信息。

圖1描述的視覺子系統具有瀑布式信息獲取模式，體現在每個模塊的輸出都會服務于下一個模塊。設視覺傳感器獲取的一幀原始圖像表示為FS，令FS作為輸入信號進入管道，經過模塊1-2之后，機器人完成了目標分割工作F′S=δ1-2()

FS，產生目標的反向投影圖像F′S輸入下一模塊；經過模塊1-2-3之后，機器人完成了目標提取工作F″=δ(F′)，產生目標的輪廓和外界矩形的圖像S3SF″輸入下一模塊；經過模塊1-2-3-4之后，產生S標識物位置數據。

2.2 行為信息生成模塊

本文中行為信息指由機器人所在出發地運動到標識物所在目的地的導航信息。它定義在機器人的圖像平面（Image plane）中，依靠幾何原理計算而得。將圖2中左邊的真實圖像至于如右圖表示的圖像平面中分析。

在機器人圖像平面中，點R=（Rx，Ry）表示機器人中心，點I=（Ix，Iy）表示圖像平面中心，點T=（Tx，Ty）表示目標坐標，其中目標坐標定義為目標的外接矩形邊界框的中心點坐標。行為信息N=[α，δ]由圖像平面中心I和機器人中心R兩點決定的線段與機器人中心R與目標坐標T兩點決定的線段之間夾角∠IRT（簡稱∠α）的大小和方向定義。

1）運動角度

角度變量∠α的值由余弦定理計算得到：

2）運動方向

方向變量表示為δ，規定-1表示機器人的運動方向向左，+1表示機器人的運動方向向右：

3 基于bang-bang控制方案和行為的導航子系統

如圖2所示，已知機器人行為信息中運動角度∠α是由視覺系統得到的當前圖像中機器人R與目標T之間的夾角。機器人要駛向并最終停在泊位，必須實現自主導航，讓自己在靠近泊位T的同時不偏離。規定在行駛過程中R與目標T之間的偏差不大于臨界值φ*=10°，否則R就要進由控制器C修正R的位姿，C的輸入控制量pv的賦值由bang-bang控制方案決定，導航子系統的工作原理由如下算法表示：

算法1基于bang-bang控制方案和機器人行為的導航算法

其中機器人Do_adjustment行為由姿態校準子系統控制，設原始角集合X={α}，校正角集合Y={φ||φ|≤φ*}，姿態控制C由映射C:X?Y表示。

4 位姿校準模塊

為了使機器人R能夠運動到標識物T所在的目的地，本文設計控制器C來校正機器人的位姿，因此控制器C稱為“位姿校準”（Pose-Adjustment，PA）控制器，它使得機器人的位姿在校正后能夠正面對準目標。PA控制器方框圖由圖3給出，由PID控制實現閉環控制。PA控制器第一次運行時的控制流與后續不同，在第一次循環時，開關S1處于開狀態，開關S2選擇路徑a-b1；在后續控制中，控制器的輸入增加了由上一次循環產生的誤差，因此開關S1處于閉狀態，開關S2選擇路徑a-b2。

PA控制器作為每次循環的最終輸出控制信號的是機器人的旋轉時間。機器人的轉動速度表示為ω=α·v，其中α為運動信息角的大小，v表示機器人的單位轉動速度，所以PA控制系統本質上是通過控制轉動時間來控制轉動角度的。PA控制系統的具體實現由算法2闡述，系統所涉及參數如表1所示。其中i代表循環次數，O(i)代表第i次循環的旋轉角度，t(i)代表旋轉的持續時間，ω是機器人的轉動速度，與角度α成正比，α越大轉動速度越大，反之亦然，ceil（x）表示上取整函數。

算法2位姿校正PID控制算法

表1PA控制系統參數說明

5 行為協調狀態機

機器人通過行為狀態機來描述其邊走邊看（Look_then_move）的行為邏輯，去協調其在泊位過程中的姿態調整行為、前進直行行為、泊位完成行為、和失敗放棄行為。

5.1 圖像特征提取

在機器人導航行駛的中判別自己是否到達泊位標志物位置是自主泊位的重要環節。因此需要定義圖像特征，將由視覺系統實時獲取的圖像特征信息與預先給定的圖像特征信息直接進行在線比較，根據誤差來判斷任務的完成。因此首先需要在圖像中定義出機器人成功完成目標任務的一組特征。

在目標圖像（goal image）的特征參數選擇上，視覺系統具有處理大量圖像數據的壓力，而機器人終端執行器的反應確是實時的，因此視覺系統采用目標原語特征，如目標輪廓（contours）［7～9］或者區域（regions）、中心（centroid）等［10～11］，以達到加快視覺系統處理速度的目的，縮短機器人反應時間，達到實時性要求。

定義1圖像特征是指一組在圖像平面上定義的原語，表示為V=[p1，p2，p3，…，pm]。在本文中令m=3，(p1，p2)表示任務的中心坐標，p3表示任務的面積，設目標圖像的特征向量表示為V*=[Tx，Ty，TA]，當前圖像的特征向量表示為V=[tx，ty，tA]。

5.2 示教策略

本文通過示教策略（Teach-by-showing strategy）對直接定義在圖像特征空間中的目標特征信號賦值，需要人為定義泊位完成場景和示教圖像，由圖4所示。定義1已經選擇泊位標識物的中心坐標和面積作為圖像特征。對目標圖像特征信號賦的值是人為教授給機器人的泊位成功時的圖像特征值。圖4（a）表示的是泊位完成的場景，相應的圖4（b）表示的是用于教授機器人泊位完成的示教圖像，記錄此時目標圖像的特征信號值，作為示教值。

已知目標圖像的特征向量為V*=[Tx，Ty，TA]，當前圖像特征向量為V=[tx，ty，tA]，機器人將實時測量得到的圖像特征與由示教圖像賦值的目標圖像特征直接進行在線比較，得到誤差E，用以確定機器人是否達到泊位控制效果。設，誤差定義為

5.3 行為狀態機

機器人在進行泊位的過程中，按行為的不同將機器人劃分為處在四種不同的狀態中，即S={S1，S2，S3，S4}。其中狀態S1表示姿態校正，S2表示前進，S3表示泊位完成，S4表示失敗放棄，行為之間的轉移由狀態轉移條件T={T1，T2，T3}決定。有限狀態機∑=(S，S0，T，F)是根據機器人Look_then_move策略建模的，其中S0={S1}表示初始狀態是姿態校正行為，F={S3，S4}表示最終狀態的集合，即機器人成功泊位或丟失目標泊位失敗。

由式（3）可知，機器人通過比較目標圖像特征V*和實時圖像特征V的差距來判斷是否已經成功泊位，差距表示為兩種特征之間的加權歐氏距離η(V，V*)，定義為

其中fi1是標識物在圖像平面的坐標，fi2是標識物在圖像平面的的面積，wi是相應的權重，i=1，2。

圖5所示的有限狀態機描述了機器人在四個狀態之間的轉換，其中Tj(j=1，2，3)表示狀態轉換的條件，分別為T1:|α|≤φ*，ξ(t)，T3:A≡0，其中lt→im∞P(t)=[μ1，μ2，…，μj，…，μN]是當前圖像中機器人與目標之間的夾角，d是差距閾值，A是目標的面積，狀態之間的轉移由表2描述。

表2 狀態轉移表

6 結語

本文提出一種基于視覺的機器人自主泊位系統，該系統由視覺子系統、基于bang-bang控制方案的導航子系統、位姿校準模塊和行為協調狀態機組成。過程演示如圖6所示，其中參數的賦值如下：w1=0.4，w2=0.6，f21=［40，40］，f22=600，d= 10。機器人首先需要發現綠色泊位標識物，駛向目標，最終完成泊位。機器人在判斷出自己成功地完成任務之后，做一個大轉彎的動作表明已經成功了，因此物理實驗結果證明了該方法的有效性。

［1］丁輝，付夢印.基于標志點識別的自主車視覺導航［J］.光學技術，2005，31（6）：864-867

［2］倪鶴鵬，劉亞男，基于機器視覺的Delta機器人分揀系統算法［J］.機器人，2016，38（1）：49-55.

［3］鄭魁敬，潘春瑩，機器人裝配中的視覺引導定位技術研究［J］.制造技術與機床，2016，3：84-90，.

［4］王耀南，陳鐵健，智能制造裝備視覺檢測控制方法綜述［J］.控制理論與應用，2015，32（3）：273-286，.

［5］陳鳳東，洪炳镕，一種基于圖像的移動機器人泊位方法［J］.機器人，2010，32（2）：166-170，.

［6］Y.Shirai and H.Inoue.Guiding a robot by visual feedback in assembling tasks［J］.Pattern Recognit.，1973，5：99-108.

［7］B.Espiau and P.Rives，Closed-loop recursive estimation of 3D features for a mobile vision system［C］//Proc.IEEE Int.Conf.on Robotics Automat.（Raleigh，NC），1987，3：1436-1443.

［8］C.L.Fennema and W.B.Thomson.Velocity determination in scenes containing several moving objects［J］.Computer Graphics Image Process，1979，9：301-315.

［9］A.L.Gilbert et al.，A real-time video tracking system［J］. IEEE Trans.Pattern Anal.Machine Intell.，1980，1：47-56.

［10］P.Rives，Dynamic vision：Theoretical capabilities and practical problems［C］//Proc.NATO Workshop Kinematic and Dynamic Issues in Sensor Based control（Italy），Oct.1987：251-280.

［11］L.E.Weiss，Dynamic visual servo control of robots：An adaptive image based approach［R］.Carnegie-Mellon Univ.，Pittsburgh，PA，Tech.Rep.CMU-RI-TR-84-16，1984.

Research of Vision-based Robot Autonomous Docking System

ZHOU Jing
（Radar Department，20th Research Institute of China Electronics Technology Group，Xi'an710068）

A vision-based autonomous docking system is proposed is this paper in view of the increasing demand for robot autonomy and the research of autonomous docking based on vision system is relatively few.The proposed system consists of a vision subsystem，a navigation subsystem based on the bang-bang control scheme，a pose-adjustment subsystem，and a state machine for behavior coordination.In this paper，the autonomous docking system can make the mobile robot move and dock to the specific location autonomously，which is specified by the artificial marker.The potential applications of the system include to allow the robot go to the renewable energy station by itself to solve the energy autonomy，and the problem of unmanned ship autonomous docking and so on.The experimental results show that the system is correct and meets the real-time requirements。

vision-based system，autonomous docking，pose adjustment

TP242

10.3969/j.issn.1672-9730.2017.06.008

2016年12月7日，

2017年1月18日

自然科學基金（編號：61403311）資助。

周菁，女，博士，助理工程師，研究方向：多智能體系統。