融合機器視覺和觸覺的機器人自動接線方法研究

趙 恒，陳清淼，李成鋼，楊衛(wèi)星

(1. 國網(wǎng)江蘇省電力有限公司電力科學(xué)研究院，江蘇 南京 211103；2. 國網(wǎng)電力科學(xué)研究院武漢南瑞有限責(zé)任公司，湖北 武漢 430074)

開關(guān)、連接線、控制面板等電氣設(shè)備是發(fā)電機組、輸電線路、變電站、配電室、自動化機器、工業(yè)廠房和民用住宅的基本組件。在實際應(yīng)用場景中，由于接線任務(wù)操作的復(fù)雜性、接線設(shè)計的可變性以及小批量或多頻次的重復(fù)接線操作，開關(guān)等電氣設(shè)備接線通常由人工手動操作完成。

在傳統(tǒng)的電氣裝配過程中，操作者需要從預(yù)先準(zhǔn)備好的線圈中取出特定規(guī)格的導(dǎo)線，再將其金屬端子插入對應(yīng)連接器或目標(biāo)開關(guān)的插孔中。然而，現(xiàn)有的傳統(tǒng)人工接線方法主要面臨兩方面問題：一是接線過程十分依賴操作人員的技術(shù)水平，用工成本高且操作過程需要耗費大量時間和精力；二是接線工作存在較高危險性，電網(wǎng)接線操作人員通常需要帶電作業(yè)或在高空環(huán)境下進(jìn)行接線操作，這對安全生產(chǎn)提出了極高要求。

實際上，隨著機器學(xué)習(xí)、大數(shù)據(jù)等技術(shù)的快速發(fā)展，市場上也出現(xiàn)了一些自動接線方法[2-5]，電網(wǎng)接線機器人是替代操作人員在不斷電、高空或狹小空間下更換線路零部件或進(jìn)行電線連接操作的高度自動化設(shè)備[18-19]。例如，SYNDY機器人[6]可自動完成開關(guān)柜的接線操作，但受限于機械臂末端執(zhí)行器尺寸和移動性，該接線方法對開關(guān)柜中組件間的空間要求較高；KA自動接線系統(tǒng)可完成電線與螺絲釘?shù)膶樱欢摲椒ㄒ箝_關(guān)處于水平位置，對電氣設(shè)備的定位提出了較高要求，許多場景下并不能很好地完成接線操作；在Nguyen等人的研究工作中[1]，提出了一種基于計算機視覺的機器人自動接線方法。實際上，現(xiàn)有大多數(shù)機器人自動接線系統(tǒng)主要依賴機器視覺，但受操作空間、光線以及雜亂背景等因素影響，僅依靠視覺系統(tǒng)很難保證接線操作的準(zhǔn)確性，該問題在開關(guān)柜等狹小空間中尤為突出。

綜上所述，為了克服傳統(tǒng)手動接線以及現(xiàn)有機器人自動接線方法的缺陷，研究如何以一種自動化方式完成狹小空間電氣設(shè)備接線操作，降低用工成本、讓操作人員遠(yuǎn)離危險是十分有必要的。本文開發(fā)基于機器視覺[7-10]和觸覺傳感器[11-14]的機器人自動接線方法，該方法融合了視覺和觸覺兩種智能感知技術(shù)，兩者協(xié)同互補，機器視覺系統(tǒng)通過卷積神經(jīng)網(wǎng)絡(luò)識別電線端子、連接器等組件，觸覺傳感器則整合經(jīng)過訓(xùn)練的多層感知機，通過量化導(dǎo)線與電氣組件間的碰撞來判斷電線是否準(zhǔn)確接入[20-22]。本文提出的方法能夠在狹小空間中完成接線操作的自動識別、抓取和插入，通過現(xiàn)場試驗證明了自動接線方法的優(yōu)越性和有效性。

1 機器人自動接線任務(wù)描述

本文采用視覺-觸覺-機械臂工作模式，主要面向開關(guān)柜等有限作業(yè)空間的導(dǎo)線插入[23-25]。自動接線機器人由工業(yè)機械臂(帶機械手)、雙目攝像頭、觸覺傳感器和工控機等組件構(gòu)成[15-16]。兩個攝像頭分別位于機械臂的側(cè)面和正面近末端，側(cè)面攝像頭主要用于提供導(dǎo)線與連接器的近距離視圖，正面近末端攝像機可完成導(dǎo)線端識別和位置姿態(tài)估計，觸覺感知器位于機械臂末端，主要用于采集導(dǎo)線與連接器的碰撞信息，并通過多層感知機來判斷觸碰類別，指導(dǎo)導(dǎo)線準(zhǔn)確插入接線器中，整個操作過程由視覺系統(tǒng)和觸覺系統(tǒng)協(xié)同完成。該機器人自動接線臂結(jié)構(gòu)如圖1所示。

圖1 機器人自動接線臂結(jié)構(gòu)

機器人在運動過程中會收集視覺信息和觸覺信息，為了完成導(dǎo)線端識別、抓握及插入等操作，本文采用了卷積神經(jīng)網(wǎng)絡(luò)和多層感知機算法來處理機械臂捕獲的視覺、觸覺信息，兩者協(xié)同互補，共同指導(dǎo)機械臂將導(dǎo)線插入開關(guān)柜內(nèi)部組件的連接器中。文中提出的基于機器視覺和觸覺傳感器的機器人自動接線方法具體可分為以下四個步驟：

(1)機械臂近末端攝像頭采集視頻圖像，利用自訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)檢測導(dǎo)線端口，并通過三角測量法對導(dǎo)線端進(jìn)行位姿估計；

(2)在步驟1基礎(chǔ)上，利用多層感知機(MLP)對觸覺感知器接收到的碰撞進(jìn)行分類，判斷機械臂末端是否夾住導(dǎo)線；

(3)根據(jù)攝像頭提供的視覺信息調(diào)整導(dǎo)線端位置，使得導(dǎo)線與連接器盡可能在同一水平線；

(4)再次根據(jù)觸覺傳感器反饋的碰撞信息，利用預(yù)先訓(xùn)練好的分類器對碰撞類型進(jìn)行識別，最終將導(dǎo)線插入對應(yīng)的連接器中。

基于上述四個步驟，可完成導(dǎo)線的識別、抓取和插入，整個自動接線過程如圖2所示，四個步驟依次進(jìn)行，接線過程融合了視覺信息、觸覺感知、深度學(xué)習(xí)和機器學(xué)習(xí)算法，大大提高了接線效率和自動化水平。

2 融合機器視覺和觸覺感知器的自動接線算法

本節(jié)主要介紹文中提出的融合機器視覺和觸覺傳感器的自動接線算法，詳細(xì)論述算法中的每一個步驟，包括線端檢測、導(dǎo)線抓握、位置修正及插入。此外，本節(jié)還將介紹自動接線方法中機器視覺和觸覺感知系統(tǒng)中采用的深度學(xué)習(xí)模型和機器學(xué)習(xí)算法。

為了更好地展示自動接線過程，理解算法中各模塊的相關(guān)性，圖2展示了整個算法的流程。各部分之間相互關(guān)聯(lián)，呈遞進(jìn)關(guān)系，共同支撐起機器人自動接線系統(tǒng)。

圖2 自動接線流程圖

2.1 基于Faster R-CNN的電線檢測及位姿估計

在實際應(yīng)用場景中，開關(guān)柜中的電線通常以統(tǒng)一的排列方式存儲在線槽或某個區(qū)域中，機械臂的抓手可以抓住每根電線而不會與其他電線或障礙物發(fā)生碰撞。然而，由于電線自身可能的彎曲，機器人需要定位電線端口并以足夠的精度估計其姿態(tài)，以便后續(xù)抓取、修正等操作。

該模塊主要基于目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN完成電線端口檢測。在本文中我們創(chuàng)新性地引入注意力機制，以便Faster R-CNN更準(zhǔn)確地定位電線端口位置，圖3展示了該網(wǎng)絡(luò)的基本架構(gòu)。

圖3 引入注意力機制的Faster R-CNN目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)圖

接下來，通過訓(xùn)練完成的深度神經(jīng)網(wǎng)絡(luò)來檢測導(dǎo)線端口的位置，并通過工控系統(tǒng)不斷變換機械臂位置，獲取多個2D檢測框信息。雖然某些高端攝像頭可以重建導(dǎo)線端口的3D信息，但這對攝像頭周圍的光線、背景等有很高要求，因此通過檢測網(wǎng)絡(luò)獲取的2D信息來從空間上重建目標(biāo)對象的3D位置是更可靠的。在本節(jié)中，我們采用三角測量算法建立目標(biāo)對象的3D坐標(biāo)，理論上，如果我們已知圖像In中目標(biāo)對象的齊次坐標(biāo)yn，則只需要兩個視點即可獲得準(zhǔn)確地三角測量結(jié)果。為了更準(zhǔn)確的表示目標(biāo)位置，本文將Faster R-CNN輸出的正方形檢測框的中心作為2D參考特征，對于不同角度的檢測，可以計算中心點的三角射線rn，即相機參考系中的單位向量，對應(yīng)所選的二維特征如下：

rn=‖A-1yn‖

(1)

其中，A表示機械臂末端相機的內(nèi)部參考系矩陣，即相機自身位置參數(shù)，相機參考系中心cn與三角射線rn共同生成3D視圖。因此，給定一組線ln，最近的點O，即是與所有線的距離最小的點，可以通過如下公式計算：

(2)

為了驗證相機從不同角度獲取的圖像對最終的檢測結(jié)果的影響，本文通過相機與端口平行和正交兩個方向來獲取圖像，并掃描紅、黃、藍(lán)三種顏色的導(dǎo)線，試驗中從30個不同角度收集圖像，通常情況下，當(dāng)相機平行于圖像平面時可以獲得最佳檢測結(jié)果。此外，為了評估相機與目標(biāo)對象間距離對檢測結(jié)果的影響，我們使用蓋洛普等人提出的立體視覺誤差算法進(jìn)行估量：

(3)

其中，η是估計誤差，d表示距離，f是機器人攜帶相機的焦距，b是基線，ηt是視覺誤差。由于可以通過移動機械臂來控制相機位姿，因此可以根據(jù)實際情況選擇不同的(d,b)組合，為了計算導(dǎo)線端口的3D位姿，我們首先定義如下泛型函數(shù)：

υ(y0,…,yn,C0,…,Cn)=O

(4)

υ(·)為函數(shù)體，y0到y(tǒng)n表示n個不同圖像的二維特征，該式主要用來表示導(dǎo)線端口的三維向量。此外，為了更準(zhǔn)確和直觀地建立參考坐標(biāo)系，本文提出四步參考系估計法：

1)在檢測的目標(biāo)區(qū)域中引入自適應(yīng)閾值，只保留大于閾值的檢測框；

2)對檢測區(qū)域圖像進(jìn)行二值化處理，突出導(dǎo)線位置和姿態(tài)；

3)旋轉(zhuǎn)檢測區(qū)域，使得導(dǎo)線端口與放行檢測框最近的邊保持垂直；

4)對二值圖像進(jìn)行正交回歸，估算最優(yōu)的擬合線：

L={x,y)|y=mx+q}

(5)

式中m和q分別表示回歸曲線的系數(shù)和偏差項。接下來，我們使用如下公式推斷導(dǎo)線端的二維參考系：

Hw=(yw,θw)=(yw,tan-1(m))

(6)

其中，Hw表示檢測到線端初始位置，θw表示檢測框的旋轉(zhuǎn)角度，m與公式(5)中的擬合系數(shù)相同，通過該式可得到中心齊次坐標(biāo)yw，并基于公式(5)估計在機器人參考系中的3D位姿。最后，我們計算從不同視角收集的導(dǎo)線圖像的三維點：

Ow=υ(yw{1,…,n},C{1,…,n})

(7)

Oc=υ(yc{1,…,n},C{1,…,n})

(8)

其中，yc是從不同角度檢測到的導(dǎo)線端的齊次坐標(biāo)。進(jìn)一步，我們計算與導(dǎo)線終端對稱軸方向一致的單位向量以及：

(9)

線端位姿的最終估計如下：

(10)

其中，Vwz=Wwx×(±ux),ux=[1 0 0]T表示相對于機器人參考系的前進(jìn)方向。

2.2 基于觸覺感知的導(dǎo)線抓握

眾所周知，當(dāng)導(dǎo)線被機械手的中心位置抓握時，最容易將導(dǎo)線插入目標(biāo)端口中。然而，這種理想情況往往很難實現(xiàn)，在真實場景中，導(dǎo)線末端處于自由空間，難免會觸碰到其他導(dǎo)線或障礙物。因此，本節(jié)主要在2.1節(jié)基礎(chǔ)上，基于已知的導(dǎo)線檢測和位姿估算結(jié)果，通過機器學(xué)習(xí)算法對導(dǎo)線與機械手的觸碰信息進(jìn)行分類，進(jìn)而判斷導(dǎo)線是否處于機械手的正確位置。

在本文中，我們選用多層感知機分類器(MLP)對觸覺感知信息進(jìn)行分類。綜合考慮計算復(fù)雜度以及模型大小，MLP神經(jīng)網(wǎng)絡(luò)由一個輸入層、兩個隱藏層和一個輸出層組成，分別對應(yīng)16、8、4和2個神經(jīng)元，具體結(jié)構(gòu)如圖4所示：

圖4 自搭建的多層感知機結(jié)構(gòu)圖

我們首先通過觸覺傳感器將觸碰信息量化成一個4×4矩陣，為了能夠?qū)?shù)據(jù)輸入多層感知機分類器，進(jìn)一步將矩陣轉(zhuǎn)換成16維矩陣。模型輸出的是一組布爾值，b屬于0、1，1表示導(dǎo)線被抓握在一個合理的范圍內(nèi)，0表示機械手未正確抓握導(dǎo)線：

(11)

其中，θ(┻Hw)表示以二維參考系┻Hw為基準(zhǔn)的角度，lmin和lmax是相對于機械臂允許范圍內(nèi)的導(dǎo)線終端的移動閾值。

2.3 導(dǎo)線端口位姿修正及插入

在導(dǎo)線端口位姿修正方面，本文利用距離指標(biāo)來評估導(dǎo)線端口位姿對線插入的影響，并通過三維空間坐標(biāo)系進(jìn)行修正[15]。基于相機自身坐標(biāo)系和機械手位置，抓取平面(即抓取后導(dǎo)線所在的平面)與插入處的距離可以由dw=camOzee得到，其中Ozee是相機坐標(biāo)系中的z分量。得到dw值后，從齊次坐標(biāo)到三維坐標(biāo)系的轉(zhuǎn)換可通過公式(12)完成：

γ(y)=O=γ([αν1]T)=

(12)

其中，y=[αν1]T是二維坐標(biāo)系下的齊次坐標(biāo)，O是對應(yīng)的三維坐標(biāo)點，cx，cy，fx，fy分別是原始攝像機中的位置參數(shù)。因此，基于給定的接線端相對于機械臂末端的位置，根據(jù)上式可依次計算三維坐標(biāo)系下的對應(yīng)分量。參考三維坐標(biāo)下的導(dǎo)線末端位置移動機械臂，使得導(dǎo)線與標(biāo)準(zhǔn)參考系保持相對一致。

在導(dǎo)線插入方面，為了檢測導(dǎo)線端口是否與接線端接觸，并在導(dǎo)線插入的最終階段修正導(dǎo)線軌跡，我們利用機器學(xué)習(xí)算法對觸覺傳感器傳回的碰撞矩陣進(jìn)行分析。此外，在導(dǎo)線與其他物體碰撞過程中受向心力和切向力的共同作用，我們通過文獻(xiàn)[25]中描述的觸覺傳感器對力進(jìn)行區(qū)分，因為它們分別與測量的壓力圖的對稱和不對稱變化有關(guān)。因此，在碰撞中，被抓物體(即導(dǎo)線)的運動方向與4×4分類矩陣提供的信號xt之間存在著很強的相關(guān)性。基于此，xt被用于訓(xùn)練回歸器，該回歸器能夠輸出用于表示觸覺傳感器中碰撞力大小的標(biāo)量值。

為了選擇最優(yōu)回歸器，我們訓(xùn)練了隨機森林(RF)，多層感知機(MLP)，支持向量回歸(SVR)三種機器學(xué)習(xí)模型，并從已知位姿和真實場景中收集碰撞數(shù)據(jù)，這些數(shù)據(jù)用于預(yù)測與沖撞力相關(guān)的真實值。圖5展示的是經(jīng)過1000組數(shù)據(jù)訓(xùn)練不同回歸器得到的準(zhǔn)確率曲線，表1展示的000是在均方誤差(MSE)和動態(tài)時間規(guī)整(DTW)上的結(jié)果。通過圖表展示的結(jié)果可以看出，MLP可以更準(zhǔn)確地量化導(dǎo)線端與目標(biāo)接線位置的碰撞信息。值得注意的是，本階段采用回歸器來量化碰撞信息，而不是簡單地進(jìn)行分類，主要是為了區(qū)分實際碰撞與摩擦。

圖5 不同模型碰撞識別對比

表1 三個模型在MSE和DTW指標(biāo)上的對比結(jié)果

3 自動接線任務(wù)評估

為了驗證本文提出的自動接線方法的有效性，我們選用開關(guān)柜作為實驗場所，不僅進(jìn)行了整體接線實驗，還根據(jù)算法中的主要步驟進(jìn)行了有針對性的消融實驗。

首先，我們評估視覺信息對導(dǎo)線末端檢測的有效性。在2.1節(jié)我們介紹了視覺特征提取模型，基于Faster R-CNN進(jìn)行導(dǎo)線檢測，圖6的柱狀圖展示的是在各個開關(guān)柜上的準(zhǔn)確率。從圖6中展示的對比結(jié)果可以看出，五個開關(guān)柜均達(dá)到了90%以上的檢測準(zhǔn)確率，最高的4號開關(guān)柜為93.87%，受光線等因素影響，在各開關(guān)柜上的檢測準(zhǔn)確率略有差異。

其次，我們評估觸覺信息對機械臂末端的導(dǎo)線抓握，以及在導(dǎo)線插入時對導(dǎo)線角度調(diào)整的影響。圖7展示的是在標(biāo)準(zhǔn)插線流程中，多層感知機的輸出，模型的原始輸入是觸覺傳感器收集到的碰撞數(shù)據(jù)。通過曲線變化可以看出，MLP在5個開關(guān)柜中其的輸出均超過了0.5的閾值，這證明通過觸覺傳感器的指導(dǎo)，機械臂末端在大多數(shù)情況下可以準(zhǔn)確抓握導(dǎo)線，且僅需要25s左右的時間就可以達(dá)到穩(wěn)定抓握狀態(tài)。

圖6 改進(jìn)的Faster R-CNN在各開關(guān)柜中導(dǎo)線識別率對比

此外，我們也進(jìn)行了導(dǎo)線的角度調(diào)整實驗，圖8展示的是機械臂根據(jù)視覺信息以及三維坐標(biāo)系對導(dǎo)線末端的角度調(diào)整，其中紅色虛線為坐標(biāo)系的水平參考線，綠色線為機械臂抓握導(dǎo)線后的角度調(diào)整，藍(lán)色線為基于視覺信息的角度對正。通過曲線圖能夠很直觀的看到機器人能夠有效調(diào)整導(dǎo)線末端的角度，使得電線與參考系處于幾乎同一水平面，這給接下來的導(dǎo)線插入提供了良好基礎(chǔ)。

圖7 多層感知器在各開關(guān)柜中的碰撞檢測對比

圖8 機械臂對導(dǎo)線末端角度調(diào)節(jié)

最后，我們對整個自動接線流程進(jìn)行測試，驗證本文提出的融合機器視覺和觸覺傳感器自動接線方法的有效性。實驗中，我們選用了直徑為2.5mm和3.0mm兩種尺寸的導(dǎo)線，選定五個開關(guān)柜，按照第二章介紹的算法分別完成兩種導(dǎo)線的接線操作，每個開關(guān)柜都對應(yīng)15次實驗。受空間限制，表2僅展示了兩個開關(guān)柜的接線結(jié)果。

表2 在不同長度和角度前提下的自動接線情況

表中展示的是直徑3mm導(dǎo)線的接線實驗，其中e表示導(dǎo)線的偏斜角度，d表示導(dǎo)線超出機械臂末端的距離，p表示導(dǎo)線是否在機械臂的操作下準(zhǔn)確插入接線孔，其中T表示準(zhǔn)確插入，F(xiàn)表示未插入。通過上表列出的插入結(jié)果，自動接線的成功率被展示在表3中。

表3 各開關(guān)柜中自動接線成功率對比

通過在5個開關(guān)柜中全流程的自動接線實驗，平均接線成功率達(dá)到73.33%，開關(guān)柜4的成功率甚至達(dá)到80.00%。

基于以上實驗結(jié)果，充分證明了本文提出的自動接線方法的有效性，機器視覺和觸覺感知信息在機器人接線操作中發(fā)揮了重要作用。

4 結(jié) 論

為了提供機器人自動接線問題的解決方案，提出了融合機器視覺和觸覺傳感器的機器人自動接線方法。首先，基于改進(jìn)的Faster R-CNN目標(biāo)檢測模型對導(dǎo)線進(jìn)行識別，從而實現(xiàn)對導(dǎo)線端口的定位，然后，根據(jù)觸覺傳感器獲取的碰撞信息，通過多層感知機(MLP)分類算法對碰撞類型進(jìn)行判斷，以實現(xiàn)機械手對導(dǎo)線的準(zhǔn)確抓握，最后，利用三維坐標(biāo)系修正導(dǎo)線端口的位姿，并再次通過觸覺傳感器和帶有回歸器的MLP指導(dǎo)導(dǎo)線的最終插入。為驗證整體接線算法的有效性，基于開關(guān)柜場景進(jìn)行一系列仿真實驗，所提出的方法能夠較為準(zhǔn)確地完成導(dǎo)線與連接器的自動接線操作，這為開關(guān)柜等作業(yè)空間有限的工作場所提供了可靠保障，大大節(jié)省了人力，降低了人工作業(yè)風(fēng)險。