機器人遠程控制中的視覺建模與仿真引導策略研究

郭寧波，張偉軍，蔣如飛

(上海交通大學機械與動力工程學院 ,上海 200240)

0 引言

隨著經濟發展與科技進步，機器人越來越多地應用于工業生產、特種任務、家庭作業等諸多場景。特別是在一些危險任務中，機器人扮演著非常重要的角色，有效地減少了傷亡事故，提高了工作效率，降低了經濟損失[1]。但由于機器人的發展還未達到理想水平，無法具有完全的自主智能，所以由人對機器人實行遠程操控，利用攝像頭等傳感器反饋現場信息，佐以部分的智能算法，是現在的主流控制方法[2]。

但由于攝像頭反饋的現場圖像信息不可避免地具有死角，而且受限于攝像頭的位姿狀態，影響觀測視角，對遠程操控帶來了諸多不便，甚至還會引發重大安全事故。

為解決傳統機器人遠程控制方法的弊端，本文研究了利用雙目相機對作業現場實時仿真建模的控制系統。雙目相機對現場作業目標進行觀測，反饋深度圖與灰度圖，利用視覺算法，推算出相機與目標的相對位置，實時地在控制軟件中進行虛擬仿真建模。再通過坐標系變換，推算出目標與作業機器人之間的相對位置，最后在操作界面上做出提示，引導操作者完成對機器人的遠程控制。

1 機器人作業平臺

機器人作業平臺包括載體承重平臺，主、從機械臂系統，帶有雙目相機的觀測臂，裝有專用末端工具的支架等。系統整體如圖1所示。

圖1 機器人作業平臺

作業任務是將平臺由載體平臺送至高空中高壓線附近，再遠程控制機械臂，將線夾放置于高壓線的裸露部分。由于載體平臺只能將作業平臺送至大約位置，即高壓線與作業平臺的相對位置并不固定，而且基于平臺的平穩性需求，載體平臺完成運動后就立即鎖死，無法進一步微調，所以剩下的作業無法提前示教完成，需要由人遠程控制主、從機械臂完成任務，這對操作人員的臨場操作能力有很大的考驗。

為簡化操作流程，降低控制難度，本文使用雙目相機對高壓線進行觀測，解算出高壓線與雙目相機的相對位置關系，在操作界面上實時仿真顯示出來，并利用運動學規劃算法推算出作業目標位姿，引導操作者完成操作。主要流程如圖2所示。

圖2 作業流程

2 雙目視覺算法

雙目視覺算法是利用2個左右平行放置的相機，模擬人類視覺原理，使用雙目視覺補償合并計算的方法[3-4]。一般視覺算法只是對二維圖像進行算法處理，雙目立體視覺算法是利用雙目相機獲取的2張二維圖像，基于視差原理，計算獲取物體的三維信息，對物體的三維形狀進行建模。

2.1 立體視覺幾何原理

由于左、右相機擺放位置不同，同一目標點在相機中的成像肯定存在差異，和人類視覺原理類似，這部分成像的坐標差，通常被稱為視差，其視覺原理如圖3所示。利用左、右2個相機在同一時刻拍下目標點P(x,y,z)的圖像，設左相機和右相機上的圖像坐標分別為P左=(x左,y左)，P右=(x右,y右)。假定兩攝像機在同一個平面上，則特征點P的左右圖像的坐標y坐標相同，統一記作y，設相機焦距為f，基線距為B，則由三角幾何關系可得

圖3 雙目立體視覺原理

(1)

則視差為

D=x左-x右

(2)

由此可計算出P在雙目相機坐標系下的三維坐標為

(3)

2.2 雙目校正

由于制造、裝配等原因，相機的位置和姿態存在一定的誤差，而這些誤差會影響立體建模的精度，因此需要對雙目系統參數進行校正。

相機標定的參數可以分為內參和外參。內參包括相機的焦距、像素點大小和相機畸變屬性等，用于像素坐標系和相機坐標系間的轉換。外參主要描述相機的空間位置，即相對于世界坐標系的旋轉矩陣和平移向量。雙目校正是根據攝像頭標定后獲得的單目內參數據和雙目外參數據，分別對左右視圖進行消除畸變和行對準，使得左右視圖的成像兩攝像頭光軸平行，原點坐標一致，對極線行對齊、左右成像平面共面，將左右視圖調整成完全平行對準的理想形式[5]。

雙目立體匹配中，利用極線約束法可限制對應點的搜索一定落在對應圖像相應極線上，可將搜索范圍進行降維，從二維降到一維，并可以進一步限制在一定的范圍內，可有效降低匹配的搜索代價，提高算法運行效率。極線定義如圖4所示，其中Ol和Or為兩攝像機光心，Pl和Pr為P在兩成像平面的投影點，對極點el和er為兩相機光心連線與兩成像平面的交點，則OlOrP為對極平面，elPl和erPr為對極線。

圖4 極線定義

而雙目校正可將所有的極線水平并對齊，這樣在沿極線搜索時，只需沿著單個軸進行搜索即可，其沿該坐標軸坐標的差值即為二者的視差，雙目校正后的極線效果如圖5所示。

圖5 規范化極線機構方式示意

本文使用arUco標定板，該標記的外圍都有一組黑色邊框，同時內部有確定該標記ID的二維矩陣，黑色的邊框能加速標記在圖像中的檢測速度，內部的二維編碼能提供唯一識別該標記，同時進行錯誤檢測和錯誤修復。標記的大小確定了內部矩陣的大小，例如4×4大小的標記有16個bit。其檢測結果返回圖片中4個角點的位置以及標記的ID號。利用左、右相機粗略平行擺放后對標定板進行拍攝，由于已知兩者成像之差，再微調相機位置進行校正。

校正后，左右極線水平對準，2條極線即兩光軸相互平行，成像平面共面，兩極點相交于無窮遠處，有效降低誤差，并提高計算效率。

3 仿真與引導系統

3.1 作業現場仿真

作業環境建模分為2部分，第1部分是既定的作業平臺的虛擬建模，使用3D MAX畫圖軟件對作業平臺中的載體平臺、機械臂、支架、專用工具進行1∶1的建模，再導出為obj格式，才可以被仿真平臺支持，在導出時需設定模型的原點和旋轉軸，并不可直接設定為模型的質心，而是要根據現實中物體真實的旋轉軸進行設定，否則導入后實現的旋轉與真實旋轉相悖。模型導入仿真平臺后，按現實中的相對位置進行組合，還原作業平臺中物體的擺布，虛擬仿真與現實對照如圖6所示。

圖6 虛擬仿真與現實對照

仿真平臺與機器人實現通信后，利用機器人傳回的各個關節角度信息，設定虛擬機器人對應關節的角度，實現實時的虛擬仿真同步效果。

第2部分是高壓線的建模，利用雙目視覺算法，對現場采集的深度圖與灰度圖進行處理，運用目標識別技術，可利用高壓線特征提取目標點位，獲得高壓線與雙目相機的相對位置關系。再通過一系列的坐標轉換，由高壓線點位相對于雙目相機坐標系轉換到作業平臺坐標系，最后轉換到虛擬模型全局坐標系，獲得高壓線在虛擬環境坐標系中的位置信息。

在仿真平臺中，利用點位信息，初始化預先保存的高壓線模型，實時在操作界面上進行顯示，流程如圖7所示。利用虛擬仿真技術還原現場信息，經測量，誤差在1 cm以內，線徑為1.77 cm，精確度滿足要求。

圖7 基于雙目相機的三維重建流程

高壓線實際在高空中并不是完全張緊，由于重力的緣故，出現部分彎曲的情況，所以必須采集多個位置點位，才可以滿足精確性要求。但由于渲染引擎的限制，過多的點位會造成系統資源不足，實時顯示會出現頓卡，影響操作體驗，所以需要調整返回的點位數量，尋求最佳解。

當采集的點位過于稀疏時,可能會造成高壓線的虛擬建模不連續，破壞仿真效果，系統會在線檢測缺失的高壓線部分，用兩邊點位進行插值處理，再重新按上述步驟生成三維模型，使得仿真效果盡可能真實。

虛擬仿真相較于直接相機觀察的優勢在于可以實時對場景無死角地進行觀察。通過移動仿真平臺中的虛擬相機，改變虛擬場景在操作界面的投影顯示，實現全方位的觀測。

3.2 在線引導策略

通過事先進行的示教實驗，可以求得機械臂能夠在高壓線上運作的可行操作范圍，并與3.1節得到高壓線位置關系進行匹配，得出實際操作范圍，并在仿真模型中進行顯示，利用提示框圈出，實際模型材質修改為醒目的紅色，如圖8所示。

圖8 在線引導輔助運行顯示

線夾的放置要求線夾按照固定的位姿才可安全、順利地放置于高壓線之上，所以在虛擬仿真界面要顯示出目標位姿與當前位姿，將抽象的數據信息具象化，這是傳統遠程操控利用攝像頭無法獲取的，也是本系統的一大優勢。確定位置后，對兩者進行連線，實時顯示在操作界面中，并顯示兩者三維坐標的差值，提示操作者末端移動的正確性。

由于此作業屬于特種作業范疇，作業時高壓線不斷電，所以要求控制系統必須采用遙控方式，并設定應急措施，防止危險情況發生。操作者操控機械臂末端，在虛擬仿真模型的引導下，將線夾放置于高壓線上的目標位置，完成任務。

4 實驗驗證

通過實驗，對上述算法應用于控制策略設計進行驗證。首先利用雙目相機獲取目標物體的深度圖與灰度圖，如圖9所示。

圖9 相機獲取灰度圖與深度圖

然后對深度圖進行特征圖像匹配，獲取多段高壓線的空間位置信息，結果如圖10所示。

圖10 灰度圖特征處理結果

將反饋得到的點位信息輸入仿真平臺，對其進行仿真建模，根據顯示的虛擬模型與實物進行對比，發現虛擬建模共使用28個節點信息，其中有2個點位發生明顯偏移，造成連線不光滑，如圖11所示，對其進行忽略處理后，與實物基本保持一致。

圖11 虛擬仿真

5 結束語

設計了基于雙目視覺的實時仿真機器人遠程控制系統，經過多次實驗，證明該機器人可由操作者順利地完成指定任務，操作簡便，安全可靠，很好地達到了預期。雙目視覺精度在1 cm以內，實時仿真系統并未出現頓卡，而且可以對作業現場的虛擬模型進行零死角的觀測，相較于傳統攝像頭觀測更具臨場感。控制策略中的實時引導功能極大地增加了控制系統的交互性，簡化操作流程，提高了工作效率，在傳統機器人遠程控制模式基礎上實現了創新。