基于注意力機(jī)制的實時性抓取檢測算法*

郝 宸， 田 瑾， 韓 華， 吳 飛， 李洪芹

(上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海 201620)

0 引 言

近年來，深度神經(jīng)網(wǎng)絡(luò)在機(jī)器人抓取檢測的應(yīng)用研究取得了重大進(jìn)展。美國康奈爾大學(xué)Lenz I等人[1]借鑒深度學(xué)習(xí)在圖像處理中的成功經(jīng)驗，提出了基于深度學(xué)習(xí)的抓取檢測方法。與傳統(tǒng)的人工經(jīng)驗抽取樣本點特征相比，基于深度學(xué)習(xí)的機(jī)器人抓取檢測方法可以自動學(xué)習(xí)識別和提取抓取點位姿和抓取角度[2]。目前的研究方向是如何將深度學(xué)習(xí)方法用來學(xué)習(xí)不同物體的姿態(tài)和角度，預(yù)測出多個抓取位姿來找到最佳抓取點的位置和抓取角度[3]。

基于深度學(xué)習(xí)的方法，Lenz I等人[1]首先采用滑動窗口的方法搜索抓取框用于抓取檢測中，在Cornell數(shù)據(jù)集上達(dá)到73.9 %的檢測準(zhǔn)確率，但由于類似隨機(jī)列舉法的搜索方式，使得重復(fù)計算，因此,模型運行緩慢，無法實時抓取檢測。

Redmon J等人[4]摒棄了滑動窗口的方法進(jìn)行抓取預(yù)測，使用單階段網(wǎng)絡(luò)應(yīng)用于圖像塊的計算中，直接預(yù)測抓取點位姿坐標(biāo)，并同一時間預(yù)測多個抓取角度，但這種方法由于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)結(jié)構(gòu)的復(fù)雜性存在模型較大的缺陷。Kumra S等人[5]將整個圖像輸入到CNN中進(jìn)行抓取預(yù)測，并使用預(yù)訓(xùn)練模型ResNet50提取抓取特征，可以達(dá)到較好的檢測準(zhǔn)確性，但是由于需要大量模型學(xué)習(xí)的參數(shù)，導(dǎo)致網(wǎng)絡(luò)模型與計算量都很大。

Chu F J等人[6]提出了一種多物體抓取場景模型，首次使用ResNet50對輸入圖像提取抓取特征，使得物體檢測中Faster_RCNN、YOLO等可以用于機(jī)器人抓取場景中，模型準(zhǔn)確率達(dá)到96 %，運行速度比之前的方法快，由于模型較深導(dǎo)致模型較大。

Morrison D等人[7]提出一種輕量級抓取模型，抓取姿態(tài)是以像素為單位的圖像，與之前模型相比，速度快，但準(zhǔn)確性不高；Woo S等人[8]提出一個通用的注意力模塊，在空間和通道上進(jìn)行特征提取，防止細(xì)節(jié)信息的丟失。

綜上所述，目前基于CNN的抓取位姿預(yù)測方法主要集中在結(jié)合CNN模型,如AlexNet[9],ResNet[10]等提高抓取檢測準(zhǔn)確性，訓(xùn)練網(wǎng)絡(luò)需要許多參數(shù)，難以滿足實時性要求[11,12]。受Morrison等人啟發(fā)，使用易于訓(xùn)練和快速反應(yīng)的輕量級網(wǎng)絡(luò)模型處理抓取問題。

為了提高模型的靈敏性和預(yù)測的準(zhǔn)確性，本文設(shè)計了一個輕量級的網(wǎng)絡(luò)模型，并將一種新注意力機(jī)制即雙注意力模型(double attention model,DAM)與輕量級網(wǎng)絡(luò)相結(jié)合，提升抓取性能。

1 注意力機(jī)制的實時抓取算法

1.1 抓取問題

如圖1所示，圖像g={p,θ,w,q}，其中,p為抓取中心的直角坐標(biāo)的位置(x,y,z),θ為抓取繞Z軸的旋轉(zhuǎn)角度，w為抓手，q為抓取的質(zhì)量，代表抓取成功的機(jī)會。假設(shè)輸入的是RGB圖像，需要計算抓取g圖像，根據(jù)相機(jī)的固有參數(shù)和手眼校準(zhǔn)后，抓取g計算，由等式(1)表示

圖1 抓取圖

(1)

式中Mco為對象像素的變換坐標(biāo)轉(zhuǎn)換為相機(jī)坐標(biāo)，MRC為從相機(jī)坐標(biāo)轉(zhuǎn)換為機(jī)器人坐標(biāo)。

1.2 抓取網(wǎng)絡(luò)模型結(jié)構(gòu)

本文的網(wǎng)絡(luò)模型采用編碼與解碼的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行卷積提取特征，如圖2所示。

圖2 抓取網(wǎng)絡(luò)模型結(jié)構(gòu)

編碼層進(jìn)行卷積操作提取特征，解碼層由卷積層和反卷積層構(gòu)成進(jìn)行特征恢復(fù)，網(wǎng)絡(luò)模型中使用兩次注意力機(jī)制，改善網(wǎng)絡(luò)性能。主要過程是通過正向卷積層提取圖像網(wǎng)絡(luò)，捕獲足夠大的感知領(lǐng)域，并整合注意力機(jī)制去抑制反卷積層中相應(yīng)的無關(guān)背景區(qū)域?qū)樱瑪U(kuò)大了顯著性和改善網(wǎng)絡(luò)的性能。

1.3 DAM

為了提升模型性能，本文設(shè)計了一種輕量級的網(wǎng)絡(luò)模型并將DAM融合到網(wǎng)絡(luò)模型中，在防止細(xì)節(jié)信息的丟失的同時提升特征表示能力。在特征提取時，分別沿著空間與通道維度對輸入的特征圖G進(jìn)行注意力權(quán)重分配得到新特征Gc,Gs進(jìn)行特征融合之后輸出新特征G′。

如圖3所示，在上部分是通道注意力(channel attention)模塊，將輸入特征圖,首先基于寬度和高度全局最大池化和平均池化得到兩個通道結(jié)果，并將這兩個通道結(jié)果拼接在一起，在經(jīng)過卷積層之后，使用Sigmoid激活函數(shù)得到權(quán)重系數(shù)Fc與特征圖G做乘法，得到縮放后的新特征Gc。公式如下

圖3 DAM結(jié)構(gòu)

Fc(G)=σ(φ(Avgpool(G)+Maxpool(G)))

(2)

Gc=Fc(G)G

(3)

式中σ為Sigmoid激活函數(shù)，φ為卷積層，Avgpool為平均池化，Maxpool為最大池化。

在下部分是空間注意力模塊,將輸入特征圖G(feature G)，首先經(jīng)過一個通道維度的全局最大池化和平均池化得到兩個通道結(jié)果，在經(jīng)過一個卷積層后，使用Sigmoid激活函數(shù)得到權(quán)重系數(shù)Fs與特征圖G做乘法，得到縮放后的新特征Gs。上部分與下部分進(jìn)行加和操作。公式如下

Fs(G)=σ(φ(Avgpool(Maxpool(G))))

(4)

Gs=Fs(G)G

(5)

式中σ為Sigmoid激活函數(shù)，φ為卷積層，Avgpool為平均池化，Maxpool為最大池化。

最后，將兩個維度縮放后的新特征進(jìn)行特征融合得到新特征G′，公式如下

G′=Gs+Gc

(6)

2 實驗與評估

本文選用的是Cornell數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，該數(shù)據(jù)集有885張圖片,其中244種不同種類物體，每種物體都有不同的位置和姿態(tài)的圖片。數(shù)據(jù)集對每張圖片標(biāo)記目標(biāo)物體的抓取位置，共標(biāo)記5 110個抓取矩形框和2 909個不可用與抓取的矩形框，每張圖像都標(biāo)有多個抓取狂，適合本文逐像素的抓取表示。

2.1 數(shù)據(jù)處理

Cornell數(shù)據(jù)集有多個種類物體，但數(shù)據(jù)量較小，為了評估完整的抓取圖，將一個圖像代表一種抓取，并使用隨機(jī)裁剪、縮放和旋轉(zhuǎn)的方法來處理數(shù)據(jù)集去生成關(guān)聯(lián)的抓取圖，使得每個RGB圖像對應(yīng)三個抓取特征圖：質(zhì)量圖、寬度圖、角度圖。

1)質(zhì)量圖：抓取質(zhì)量q設(shè)置為0～1，對的抓取表示為1和其他像素值為0，在每個像素中，計算每個像素的抓取質(zhì)量。質(zhì)量越高，抓取成功率越高。

3)角度圖：每個抓取矩形的角度范圍[-π/2,π/2]，繞Z軸真實抓取角度是[-π/2,π/2]，模型預(yù)測出圖像旋轉(zhuǎn)坐標(biāo)的抓取角度，則可以計算出旋轉(zhuǎn)角度θ。

2.2 評估指標(biāo)

先前工作有兩種常用的評價方法評估網(wǎng)絡(luò)模型對Cornell數(shù)據(jù)集的抓取檢測效果：點度量[13]和矩形度量[14]。點度量是計算到中心的距離預(yù)測到每個基本事實的中心抓取，若距離小于某個閾值，則被認(rèn)為成功抓取。而點度量沒有考慮到角度，因此本文使用矩形度量指標(biāo)，當(dāng)預(yù)測的矩形框滿足以下兩個條件時，則該抓取框可用于抓取物體：

1)抓取角度與標(biāo)注框的抓取角度在30°以內(nèi);

2)預(yù)測的抓取和Jaccard系數(shù)大于25 %，公式如下

(7)

2.3 模型訓(xùn)練

本文模型方法不使用預(yù)訓(xùn)練模型，在該模型上學(xué)習(xí)的參數(shù)很少，增加了模型的靈敏性。本文實驗是在11 GB內(nèi)存的NVIDIA GTX2080Ti上運行，數(shù)據(jù)集分為兩部分，訓(xùn)練集是90 %，交叉驗證集是10 %。Batch size設(shè)置為8，epoch設(shè)置為30，使用Adam_GC方法[15]，學(xué)習(xí)率設(shè)置為0.001來優(yōu)化模型。

為了取得良好效果，模型融合了注意力機(jī)制，最終生成質(zhì)量圖、寬度圖、角度圖，根據(jù)這三個圖計算出抓取框圖(如圖4所示)。經(jīng)過融合注意力機(jī)制的模型輸出的特征圖細(xì)節(jié)信息更為清晰，生成的抓取框圖準(zhǔn)確性高。

圖4 模型訓(xùn)練結(jié)果抓取

如圖5所示，為了說明模型融合注意力機(jī)制的效果，本次實驗在數(shù)據(jù)集上進(jìn)行有無注意力機(jī)制模型的比較，在訓(xùn)練損失方面，本文使用注意力機(jī)制的模型方法下降更快，沒有注意力機(jī)制模型容易過擬合。在IoU上,注意力機(jī)制模型的IoU都高于0.6，融合注意力機(jī)制大大提高了模型的精確度。

圖5 不同方法訓(xùn)練結(jié)果對比

圖5訓(xùn)練結(jié)果中，灰色線表示模型沒有融合注意力機(jī)制，黑色線表示模型融合注意力機(jī)制。

2.4 實驗結(jié)果與分析

2.4.1 注意力模塊性能分析實驗

本文的Baseline是基于FCN[16]的網(wǎng)絡(luò)模型，其中：L1表示空洞卷積，L2表示DAM。對比結(jié)果如表1所示，在Conrnell數(shù)據(jù)集上，可以看出同時使用空洞卷積與DAM的效果最佳。

表1 不同方法在Conrnell數(shù)據(jù)集上的準(zhǔn)確率

2.4.2 與其他算法的不同閾值的性能對比實驗

由于Jaccard閾值對準(zhǔn)確率有影響，本文模型方法與其他閾值進(jìn)行比較，結(jié)果如表2所示，可以看出隨著閾值的提高，準(zhǔn)確率是下降趨勢。相比于Morrison的模型，即使在閾值為0.45時，也能達(dá)到82.3 %。

表2 不同方法和閾值不同在Cornell數(shù)據(jù)集上的準(zhǔn)確率

2.4.3 與其他算法的性能對比

針對工業(yè)環(huán)境的實時要求，不僅需要較高的準(zhǔn)確性而且需要較快的響應(yīng)時間，結(jié)果如表3所示。在Cornell Gras-ping數(shù)據(jù)集上，閾值為0.25時，與其他模型相比，本文模型的準(zhǔn)確率達(dá)到97.7 %，響應(yīng)速度的每秒處理幀數(shù)(fps)達(dá)到46.43。

表3 不同方法與本文方法在Cornell數(shù)據(jù)集中的結(jié)果

3 結(jié)束語

針對在工業(yè)環(huán)境中，機(jī)器人實時性抓取目標(biāo)物體[17]，本文提出了一種基于輕量級神經(jīng)網(wǎng)絡(luò)，進(jìn)行逐像素預(yù)測物體的抓取點位置及抓取角度。在抓取檢測中，將DAM與輕量級網(wǎng)絡(luò)相結(jié)合，防止細(xì)節(jié)信息的丟失和提升特征表示能力；在訓(xùn)練損失上是下降更快以及不容易過擬合。在Cornell數(shù)據(jù)集上實驗證明：相比于使用AlexNet和ResNet的網(wǎng)絡(luò)模型，本文網(wǎng)絡(luò)結(jié)構(gòu)更加簡單，檢測算法的實時性更好的同時，保持較高的檢測準(zhǔn)確率。在接下來的研究方向是如何使用小樣本學(xué)習(xí)與強(qiáng)化學(xué)習(xí)做抓取檢測。