基于RP-ResNet網絡的抓取檢測方法

趙景波 邱騰飛 朱敬旭輝 劉信潮

(青島理工大學 山東 青島 266000)

0 引 言

人類可以準確、快速抓取任意姿態的不規則物體,但這對機器人而言卻是一個重大的挑戰。自然環境下機器人快速抓取不同樣式、姿態的物體是實現人機協作的重要步驟,這一問題的解決不僅將推動機器人技術在部件裝配、搬運等工業領域廣泛應用,也將增強輔助機器人的可使用性。機器人抓取包括感知、計算和抓取。作為起點,知道要抓取哪個對象以及如何抓取是必不可少的。因此,機器人準確而快速地檢測候選對象,將有助于更好地規劃抓取路徑,提高基于抓取操作任務的整體性能。

深度學習的提出對機器人抓取研究起到了巨大的推動作用。Jiang等[1]為基于特定物體設計視覺特征,使用機器學習的方法完成機器人抓取任務;Lenz等[2]是第一個使用深度學習的方法并提出使用滑動窗口完成抓取點檢測,與傳統方法相比,該方法可以自主完成抓取特征的學習。上述方法在Cornell[3]數據集上達到73.9%的準確率。然而采用滑動窗口的方法會導致搜索抓取區域耗費時間長且計算量大。

Redmon等[4]摒棄了傳統的抓取框預測方法,充分利用AlexNet[5]網絡在圖像識別上特有的能力,從輸入圖像整體上獲得抓取框圖,完成檢測任務。Kumra等[6]沿用了Redmon等[4]的檢測方法,使用了最新提出的ResNet- 50[7]檢測目標物的抓取特征,抓取準確率提高了1.21%。這兩種方法都使用了較為復雜的網絡,利用網絡強大的特征提取能力,有效提升了抓取準確率。

Chu等[8]提出旋轉抓取框的方法達到96%的準確率,平均檢測時間為120 ms,在小目標抓取識別上效果較差。

Ren等[9]提出的faster-rcnn在fast-rcnn[10]的基礎上將feature extraction、proposal提取、bounding box、regression、classification都整合在了一個網絡中,使得綜合性能有較大提高,在檢測速度方面尤為明顯。其中區域全卷積網絡(Region-based fully convolutional network)使深度神經網絡對特征信息的利用進入了一個新的臺階。文獻[11-13]在整幅圖像上共享計算,在數據集的訓練與實驗中取得了較好的效果,目前已經應用到目標識別中。

Redmon等[14]提出的YOLOv3網絡是由Darknet53和YOLO層兩部分,分別用于提取物體特征與多尺度預測。檢測精度達到了96.51%,因其107層的網絡深度使其檢測時間達到了0.13 s,雖然改進后的Ligth-YOLOv3網絡大大縮短了檢測時間,但是檢測精度卻受到了影響。

國際上涌現了大量的優秀網絡模型,具有代表性的包括AlexNet[5]、ZF[15]、VGG[15]、GoogleNet[16]、ResNet[7]和YOLOv3等,所有網絡模型都可根據需要設計成不同的深度以適應實際的需要。國內外學者的抓取檢測算法已經達到了不錯的效果,但是仍然存在兩個問題:(1) 高準確率下檢測抓取框時間過長,無法滿足抓取檢測實時性的要求;(2) 容易忽略目標物的小部位信息,檢測抓取框偏大,精度不足。

為解決上述問題,設計一種區域建議實時抓取檢測網絡(RP-ResNet)。該網絡以殘差網絡ResNet- 50為基礎,在區域抓取建議(RPN)[9]思想的啟發下,將ResNet- 50的前30層作為特征提取的第一階段,其目的在于生成整幅圖像的抓取建議,加強對低層次信息的利用,第30層后加入SENet[17]結構和金字塔池化結構[18]增加了小物體檢測抓取的準確性。在確保檢測精度的前提下,充分融合高低層的特征信息,加強了檢測抓取框的能力。

1 圖像空間中的抓取框描述

給定一個新物體的RGB圖像,識別目標潛在的最優抓取配置。圖1所示的是5維抓取矩形抓取表示法,它簡化了7維表示法,描述了一個平行抓取器在抓取物體之前的位置、夾爪打開距離和方向。公式表示如下:

G={x,y,h,w,θ}

(1)

圖1 圖像空間中的抓取框描述

圖1中,(x,y)表示為平行抓取器的中心位置,h和w分別表示為平行夾爪的位置和夾爪張開距離,θ為w方向和水平方向的夾角。機械手抓取的準確性除了與抓取框的標注點有關外,還與框圖的大小有一定聯系,過大的抓取框直接影響了機械夾板的實際張開大小以及機械夾板抓取中心位置的選取,進而降低了目標物抓取的成功率。

2 RP-ResNet模型

2.1 抓取流程與模型

深度相機獲取含有抓取物體的RGB和RGD圖像,將RGB圖像信息經過數據增強、調整輸入大小等操作后輸入給PR-ResNet網絡,生成抓取框圖,機械臂根據網絡輸出信息定位抓取點完成抓取操作。

圖2 目標抓取區域算法實時檢測流程

其中,RP-ResNet模型如圖3所示。

圖3 RP-ResNet網絡模型

RP-ResNet模型第一階段的檢測受區域建議網絡(RPN)[10]的啟發,共享ResNet- 50的中間卷積層(第30層)的特征圖。將共享卷積層與區域建議網絡輸出一起輸入到ROI中,取消了ROI區域對感興趣區域的再次計算。

第二階段在網絡第30層后按照圖4所示加入SENet-改進型金字塔池化結構,在每個殘差模塊后加入SENet模塊,增強通道間的聯系,并使用改進型空間金字塔池化結構融合高低層信息,增強網絡特征的利用率,強化小物體的檢測精度,達到提高檢測準確率的目的。

圖4 SPPN-ResNet

2.2 區域建議網絡

區域建議網絡模型如圖5所示。

圖5 區域建議網絡模型

傳統的區域建議網絡會進行兩次任務分類和邊框回歸任務,第一次是在RPN內部,使用k×k的滑動窗口,產生2k(類別)的分類圖和4k(邊界框)的通道分數圖;將分類結果與共享特征圖譜一起送入ROI之后,會進行第二次任務分類和邊框回歸。為了更有效地處理區域建議,減小計算量,將ROI池化層集成到RP-ResNet網絡,共享前一層的特征圖譜,避免了ROI對感興趣區域的再次計算。

抓取建議網絡的工作原理是在特征映射的每個錨定處,使用k×k比例的滑動窗口(本文使用的是3×3)檢測邊界框形狀,并把輸入特征圖的維度轉化為256維,然后進行same padding操作,進而輸出兩個特征圖,分別是2k通道的特征圖和4k通道的邊界框。實驗中發現,使用較小的滑動窗口可以對物體細節以及小物體進行掃描,使區域提議更準確。

經過處理的響應圖按得分的高低劃分成不同的通道,得分高的通道(所在區域的相對空間位置通道中)分成K2個區域,所有區域單獨進行平均池化操作后再一次整體平均池化。對于大小為w×h的ROI,一個bin的大小為W/h×W/h,最后一層卷積層生成每類大小為K2個得分圖,ROI第(i,j)個bin區域(0≤i,j≤k-1),第c個類別的池化響應如式(2)所示。

式中:(i,j)是第c類rc(i,j)的bin的池化響應;zi,j,c為k2(c+1)個得分圖的輸出;(x0,y0)為ROI的左上角坐標;n為bin里的像素總數;Θ為網絡參數。

2.3 SENet強化網絡

SENet結構如圖6所示,SENet通過增強模塊之間的聯系、強化特征信息提高檢測準確度。為進一步減少、壓縮每個特征圖的參數量,在整體上使用平均池化,把輸出的特征圖經擠壓轉換為能夠體現全局特征的實數。然后通過兩個卷積層完成降維與升維操作,第一個卷積層將特征維度降低到原來的C/r,為了增加它的非線性的目的,使用了ReLU激活函數;第二層卷積操作是為了將特征圖恢復到原有的維度,為了得到歸一化權重,在模塊的末端使用了Sigmoid激活函數,最后通過通道加權恢復到原有的特征通道,對原始特征進行重標定。轉換公式如下:

sc=Fex(z,W)=σ(W2δ(W1,zc))

(4)

式中:zc為第c層特征壓縮后的特征;uc為第c層的特征u;δ為激活函數。

圖6 SENet結構模型

2.4 改進型空間金字塔池化結構

圖像空間金字塔是圖像的多尺度處理,利用多分辨率分解并表征圖像的強有力簡單結構,針對深度神經網絡低層次語義信息弱、位置清晰,高層次語義信息強、位置模糊的特點,增強小目標物抓取識別的效果,使用了改進型空間金字塔池化結構[18],如圖7所示。傳統特征金字塔特征提取過程中,使用統一尺寸圖像作為輸入,多尺度提取出固定大小的特征向量。為了適應深度神經網絡不同位置圖像尺寸的變化,獲取更加豐富的特征信息,改進型空間金字塔池化層分別使用了2×2、2×2、4×4不同的分辨率對池化層進行了特征提取,經過max polling分別得到4、4、16個不同維度的特征向量,級聯后輸出24維度融合金字塔池化信息。改進后的空間金字塔池化結構提升了網絡模型的輸出尺寸,在特征重構的結果中保留了大量的目標物低級形狀、紋理等特征,最終經過不同層級的信息融合,有效提高了物體細節的辨識精度。

圖7 改進型空間金字塔池化結構

3 抓取檢測

在深層網絡提取特征信息之后,最后一個階段為確定抓取配置,設αl表示Softmax層后的第l類概率,βl表示相應的預測抓取邊界框。定義抓取形態預測的損失函數(gcr)為:

式中:Lgcr-cls是抓取角分類的交叉熵損失(gcr-cls);Lgcr-reg是權重為λ2的抓取邊界框(gcr-reg)的l1回歸損失;βc是真值抓取邊界框。

4 實驗與評價

點度量和矩形度量是兩種常用的衡量抓取效果的方法。文中采用的是矩形度量方法,當滿足以下兩個條件時,候選框抓取配置正確:

(1) 預測的抓取角度與標注真值框的抓取角度之差小于30°。

(2) Jaccard相似系數大于0.25,其中計算如式(7)所示。

式中:gp為抓取角度;gt為標注真值框角度。

4.1 實驗數據集

實驗數據集是以Cornell數據集為基礎,其中包含244個不同物體的885幅圖像,每個物體都在不同方位或者姿態下拍攝了多幅圖像,每個不同的圖像都被多次標記,對應于物體的抓取可能。

為了擴充數據集,獲取更加全面的實驗數據進一步測試網絡的性能,對Cornell數據集進行了以下兩種方式劃分:

方式1:按照數據集中排列的順序進行隨機劃分成訓練集和驗證集,驗證集中包含模型訓練中出現過的不同擺放角度的同一物體,用來驗證網絡檢測物體能力的泛化性。

方式2:將Cornell數據集中的物體按照種類的不同進行劃分,驗證集不包含在訓練集中,驗證集的種類是模型從未見過的,用來驗證網絡對新物體的檢測能力。

4.2 數據預處理

在數據準備方面,對Cornell數據集進行了廣泛的數據擴充。首先,對圖像進行中心裁剪以獲得351×351區域。然后,裁剪后的圖像在0到360度之間隨機旋轉,中心裁剪到321×321的大小。旋轉后的圖像在x和y方向隨機平移50個像素。預處理為每幅圖像生成1 000個增強數據。最后將圖像調整為227×227,以適應ResNet- 50體系結構的輸入。

4.3 模型訓練的實現

網絡的訓練環境為Ubuntu系統,使用顯卡GTX980進行加速,學習率的初值設置為0.001;學習衰減策略為“step”,步長為3 000;學習變化率為0.1,最大迭代次數為43 000;使用梯度下降法作為整個模型的訓練方法。當網絡接近最優值時,為減小因學習率過大產生的震蕩,因此當迭代次數在40 000到43 000時,學習率衰減為原先的十分之一,即為0.000 1,確保網絡進一步地收斂,逐步逼近最優值。為了提高訓練效率,首先對Cornell數據集進行了預處理,以適應ResNet- 50網絡的輸入格式,然后使用COCO2014數據集上的ResNet- 50的預訓練權重。其他參數的使用標注高斯分布作為初始值。

4.4 實驗結果與分析

圖8為Cornell數據集在RP-ResNet網絡運行的結果中預測的部分正確抓取結果。

圖8 模型預測的部分抓取框圖

為了豐富實驗數據,進一步對比、驗證RP-ResNet網絡的可行性,進行了以下幾個方面的對比:

(1) 原ResNet模型和RP-ResNet模型檢測效果對比見表1。

表1 原ResNeT與RP-ResNet實驗結果對比

可以看出,RP-ResNet網絡模型在準確率、參數量、檢測時間上都有了明顯的提升,檢測效果優于原模型。雖然參數量相較于原模型增加了1%,但是模型的準確率提高了1.25百分點,而且檢測時間縮短了0.07 s。

實驗分析可知,深度神經網絡的底層網絡有著清晰的物體位置信息,使用區域建議網絡能夠快速定位目標位置,完成初步位置定位和抓取區域建議;嵌入的SENet機構有助于增強特征圖的感受視野,加強了通道間的聯系;而改進型空間金字塔結構能夠有效地融合高低層特征信息,加強低層次信息的表達能力,有助于增強小物體及物體細節的辨識能力。由于主要采用最大池化,因此模型參數量基本保持不變,并且有效提高了檢測精度。

(2) RP-ResNet算法與其他算法比較見表2。

表2 RP-ResNet算法與其他算法比較

將RP-ResNet網絡按照兩種不同數據集劃分方式進行訓練、實驗,并且與其他網絡算法進行對比。對比結果如表2所示。實驗結果表明,兩種不同劃分方式下RP-ResNet網絡檢測準確率優于其他檢測算法,雖然檢測時間相比Redmon檢測網絡長,但是檢測精度有了大幅度的提升。

圖9為RP-ResNet算法與文獻[8]算法復現對同一物體的抓取效果對比。

(a) 其他算法檢測效果

(b) RP-ResNet算法檢測效果圖9 其他算法與RP-ResNet算法檢測對比

圖9的對比效果表明,對于檢測同一種物體抓取位置,RP-ResNet預測的抓取框更加精細,抓取框居于物體中間,主要原因在于RP-ResNet使用的區域建議網絡和改進型金字塔池化結構都能夠很好地挖掘圖像中的信息,增強了網絡對目標細節信息的敏感度,加強檢測效果。

(3) 在區域建議網絡中,滑動窗口的尺寸通常為3×3、5×5、7×7三種,因此對比不同大小滑動窗口檢測效果如表3所示。

表3 不同大小滑動窗口提取效果對比

可以看出,隨著滑動窗口尺寸的增大,測試損失值越來越高,檢測精度上也有所下滑,在檢測時間上,3×3窗口優于其他兩個尺寸。因此綜合考慮測試損失、檢測精度、檢測時間三項數據,3×3的滑動窗口能夠在損失值最小的情況下,達到最高的檢測精度并且檢測時間最少,實現最優的檢測效果。

(4) 改進型空間金字塔池化結構與原模型比較見表4。

表4 改進型空間金字塔池化結構與原模型對比

改進型空間金字塔池化結構與其他模型的對比中可以看出,改進型空間金字塔池化結構與不含金字塔池化結構相比,準確率比不含改進型空間金字塔的模型提高了1.11百分點,參數量基本沒有改變,檢測時間上縮短了0.061 s;比含有原金字塔池化結構的模型準確率提高了0.54百分點,檢測時間縮短了0.09 s。實驗數據表明改進型空間金字塔結構使用不同分辨率對特征圖進行池化,保留更多圖像原始信息,有效提升了網絡性能。

4.5 復雜場景下檢測的分析

根據對YOLO系列網絡[14,21]以及文獻[22-27]的分析對比,提高復雜場景下的物體檢測準確率和檢測效率需要對網絡進行以下幾個方面的改進:

(1) 從YOLOv2[14]開始,YOLO就將歸一化、加速收斂和避免過擬合的方法改變為BN(Batch Normalization),將BN層和Leaky ReLU層接到每一層卷積層之后。因此網絡使用BN層會對輸入每一層的數據進行歸一化處理,防止產生過擬合現象;同時增加訓練時梯度,避免梯度消失產生問題;從而能使用更大的學習率,大幅提高訓練速度。

(2) 提高模型對檢測點位置的敏感度。從文獻[19-23]中可知,合理引入損失權重,采用不同的損失權重比可以有效提高位置敏感度,提升檢測效能。

(3) 優化特征金字塔錨點框數量及尺寸。從實驗四可以看出,優化錨點框大小對精度影響較大,而對檢測速度影響較小。結合文獻[24-26]中改變錨點框數量可知,合理增加錨點框數量、改變錨點框尺寸,可以極大提高檢測精度。

(4) 使用全卷積網絡代替全連接層。取消輸入圖像的尺寸限制,從文獻[25-26]可知根據網絡深度、結構合理修改輸入圖像尺寸,可以有效提高檢測精度。

5 結 語

為了加強機器人對不同類型、大小目標的抓取效率,適應更加復雜的環境,提出一種高精度、高實時性的RP-ResNet神經網絡模型,在傳統ResNet- 50深度神經網絡的基礎上進行了改進,一方面,通過區域建議網絡充分挖掘低層次圖像特征信息、目標物位置信息,增強小目標檢測的效果;另一方面,通過使用SENet-空間金字塔池化結構,有效地提升了網絡結構后半部分對物體細節的抓取能力和通道與通道之間的相互依賴關系,融合了不同層級之間的特征信息,提高了模型的泛化性和檢測準確率。該模型在Cornell數據集上的表現明顯優于其他模型,精準度達到了96.7%。RP-ResNet網絡模型準確率高、泛化性強,基本實現實時識別。

然而,Cornell數據集每幅圖像只有一個抓取目標,相對于復雜的生活場景太過簡單,所以,下一階段的任務是根據以上分析設計網絡,實現復雜場景的高效、實時抓取預測。